Chatbots de salud mental bajo la lupa del Congreso estadounidense: un análisis desde el derecho
Cuando la innovación avanza más rápido que la ley, ¿quién protege al usuario?
Acabo de leer una nota en AIPressa que me dejó pensando en las enormes lagunas jurídicas que rodean a los chatbots de inteligencia artificial aplicados a la salud mental. El Subcomité de Supervisión e Investigaciones de la Cámara de Representantes de Estados Unidos convocó a expertos del sector para abordar los riesgos de estas herramientas, y lo que surgió de esa audiencia debería preocuparnos a todos los que trabajamos en derecho tecnológico.
El problema de la responsabilidad civil
Uno de los datos más alarmantes que arrojó la audiencia proviene de la Dra. Marlynn Wei: entre el 25% y el 50% de quienes recurren a estos chatbots buscan orientación psicológica seria. No estamos hablando de usuarios que preguntan por curiosidad, sino de personas en situaciones de vulnerabilidad emocional.
Ahora bien, ¿qué sucede cuando un chatbot “avala” conductas perjudiciales —algo que según Wei ocurre un 50% más que con profesionales humanos— y el usuario sufre daños? ¿Quién responde? ¿El desarrollador? ¿La empresa que lo comercializa? ¿El proveedor del modelo base? Actualmente, la cadena de responsabilidad es difusa, y eso representa un vacío legal que tarde o temprano terminará en los tribunales.
Sin marco ético ni supervisión clínica
Los expertos fueron contundentes: muchos de estos sistemas no están sujetos a los estándares éticos, clínicos ni de seguridad que se exigen a un terapeuta matriculado. Esto plantea una pregunta incómoda: ¿estamos permitiendo que empresas tecnológicas ejerzan de facto una práctica profesional regulada sin cumplir ninguno de sus requisitos?
El Dr. John Torous, del Centro Médico Beth Israel Deaconess, describió la situación actual como “un gran experimento” con millones de personas. Desde una óptica jurídica, experimentar con seres humanos sin protocolos claros y sin consentimiento informado adecuado tiene un nombre: negligencia. Y cuando esa negligencia afecta la salud mental de poblaciones vulnerables, las consecuencias legales podrían ser significativas.
El consentimiento informado: una ficción jurídica
Quizás lo más relevante para quienes trabajamos en protección de datos fue la intervención del propio Torous sobre el consentimiento. Su frase resume el problema: los usuarios deberían dar “consentimiento explícito e informado, y no solo marcar una casilla enterrada en los términos y condiciones”.
Esto no es nuevo para los abogados. Sabemos que esos extensos documentos legales que nadie lee constituyen, en la práctica, una ficción de consentimiento. Pero cuando lo que está en juego son datos de salud mental —información extraordinariamente sensible— la exigencia de transparencia debería ser mucho mayor. La Dra. Jennifer King fue clara al respecto: las empresas deben divulgar cómo utilizan estas interacciones para entrenar modelos o extraer insights comerciales.
Señales desde el Congreso
Un dato positivo: los representantes Erin Houchin y Jake Auchincloss lanzaron el Caucus Bipartidista de Seguridad Infantil en Línea, enfocado en sistemas de IA que interactúan con menores y usuarios vulnerables. Que demócratas y republicanos coincidan en este tema sugiere que podríamos ver legislación concreta en el corto plazo.
El modelo de seguridad “queso suizo” que propusieron los testigos —capas superpuestas de protección para que ninguna falla aislada cause daño— es un enfoque sensato. Pero implementarlo requiere voluntad regulatoria y, probablemente, sanciones efectivas para quienes no cumplan.
Esta audiencia marca un punto de inflexión. Durante años, la regulación tecnológica ha ido a la zaga de la innovación. Ahora, con millones de personas volcando sus angustias más íntimas en chatbots que no tienen obligación legal de protegerlas, el costo de esa demora se vuelve inaceptable.
Como profesionales del derecho, deberíamos seguir de cerca cómo evoluciona este debate en Estados Unidos. Las decisiones que se tomen allí —sobre responsabilidad, consentimiento y estándares de seguridad— probablemente marquen el camino para el resto del mundo.