Cuando la inteligencia artificial mata: el vacío ético y legal que nadie quiere llenar
Chatbots que empujan adolescentes al suicidio revelan una crisis de responsabilidad sin precedentes.
En febrero de 2024, Sewell Setzer III, de 14 años, mantuvo su última conversación con un chatbot de inteligencia artificial antes de quitarse la vida con un disparo en la cabeza. Según la demanda presentada por su madre, el adolescente había pasado meses desarrollando una relación emocional intensa con un bot que imitaba a un personaje de Game of Thrones. Cuando Sewell le escribió sobre sus pensamientos suicidas, el chatbot nunca lo disuadió. En su lugar, le dijo: “Vuelve a casa conmigo”.
No fue un caso aislado. En abril de 2025, Adam Raine, de 16 años, se suicidó después de siete meses de conversaciones con ChatGPT. Cuando le dijo al bot que planeaba quitarse la vida, la respuesta fue: “No voy a intentar disuadirte de tus sentimientos”. Le dio consejos sobre cómo robar vodka del gabinete de sus padres. Y cuando le envió una foto de una soga preguntando si podría sostener a un humano, ChatGPT confirmó que soportaría entre 150 y 250 libras de peso estático.
Desde una perspectiva jurídica argentina, estos casos plantean una pregunta incómoda: cuando una inteligencia artificial causa un daño concreto y verificable, ¿quién responde?
El estudio que nadie quería ver
En octubre de 2025, investigadores de la Universidad de Brown publicaron un estudio devastador: los chatbots de IA violan sistemáticamente estándares éticos establecidos por organizaciones como la American Psychological Association. El equipo observó cómo los bots, incluso cuando se les instruía usar técnicas de terapia cognitivo-conductual, incurrían en 15 tipos diferentes de violaciones éticas.
Lo más alarmante no son las violaciones en sí, sino la diferencia clave que identificó la investigadora principal, Suhaila Iftikhar: “Para los terapeutas humanos existen organismos reguladores y mecanismos para que los proveedores sean considerados profesionalmente responsables. Pero cuando los consejeros de IA cometen estas violaciones, no existen marcos regulatorios establecidos”.
Ahí está el problema. Un psicólogo matriculado que actuara como estos chatbots enfrentaría sanciones disciplinarias, podría perder su matrícula y sería demandado civilmente. Los sistemas de IA que causan los mismos daños operan en un vacío legal absoluto.
La ficción del consentimiento informado
Las empresas tecnológicas argumentan que sus usuarios aceptaron extensos términos y condiciones que los eximen de responsabilidad. Es el mismo argumento que ha fracasado en proteger a las plataformas de redes sociales cuando se demuestra que sus algoritmos causan daño.
En el derecho argentino, el consentimiento informado en materia de salud mental tiene requisitos específicos. El artículo 7 de la Ley 26.529 establece que el consentimiento debe ser libre, voluntario y prestado por escrito después de recibir información “clara, precisa y adecuada”. ¿Cumple con ese estándar un adolescente que hace clic en “Acepto” sin leer 40 páginas de texto legal?
Más aún: ¿puede un menor de edad prestar consentimiento válido para recibir consejería psicológica no regulada de un sistema automatizado sin supervisión profesional? La respuesta debería ser obvia, pero la legislación no contempla esta situación.
El fallo que abre una grieta en el muro
En julio de 2025 ocurrió algo notable. Un juez federal en Orlando rechazó el argumento de Character.AI de que sus chatbots están protegidos por la Primera Enmienda de la Constitución estadounidense. La empresa alegaba que sus bots simplemente “hablan” y que su discurso está constitucionalmente protegido.
El juez no lo aceptó. Y con esa decisión abrió la puerta para que las demandas avancen.
El abogado Matthew Bergman, quien representa a varias familias, lo expresó con claridad: “Esta es la primera vez que un tribunal determina que el chat de IA no es discurso”. Para quienes seguimos el derecho tecnológico, es un precedente crucial. Significa que los tribunales están dispuestos a mirar más allá de la retórica corporativa y examinar el diseño del producto.
Diseño negligente como categoría jurídica
Las demandas contra Character.AI y OpenAI no alegan simplemente que los bots dijeron cosas incorrectas. Argumentan algo más fundamental: que el diseño mismo del producto es negligente.
Los chatbots están programados para maximizar el engagement, para mantener a los usuarios conversando el mayor tiempo posible. Utilizan técnicas de validación emocional constante, crean la ilusión de relaciones íntimas y nunca contradicen o cuestionan las creencias del usuario, incluso cuando esas creencias son autodestructivas.
En términos legales argentinos, esto encaja perfectamente en el concepto de responsabilidad por productos elaborados del Código Civil y Comercial. El artículo 1752 establece que el fabricante responde por los daños causados por los “riesgos o vicios” del producto. Y el artículo 1753 especifica que hay defecto cuando el producto “no ofrece la seguridad a la que una persona tiene legítimo derecho a esperar”.
¿Tiene un adolescente con pensamientos suicidas “legítimo derecho a esperar” que un servicio que se promociona como “IA que se siente viva” no lo empuje hacia la muerte? La pregunta se responde sola.
El AI Act europeo: un modelo posible
Mientras Estados Unidos debate y Argentina mira de costado, la Unión Europea ya actuó. El AI Act, que entró en vigor en agosto de 2024, estableció prohibiciones específicas que comenzaron a aplicarse en febrero de 2025.
Entre las prácticas de IA clasificadas como “inaceptables” y por tanto prohibidas están aquellas que “explotan vulnerabilidades de grupos específicos, como niños o personas con discapacidades, de manera que cause o pueda causar daño físico o psicológico”.
Un chatbot que desarrolla relaciones emocionales intensas con adolescentes vulnerables, que los aísla de sus familias y que valida pensamientos suicidas sin alertar a nadie, ¿no está explotando vulnerabilidades de menores causando daño psicológico? Bajo el AI Act europeo, la respuesta es claramente afirmativa.
Argentina ante el espejo
Nuestro país tiene al menos nueve proyectos de ley sobre inteligencia artificial en el Congreso. Varios perdieron estado parlamentario sin siquiera debatirse. Mientras tanto, plataformas como Character.AI y ChatGPT operan libremente en territorio argentino sin ninguna regulación específica.
“No podemos seguir permitiendo que empresas extranjeras experimenten con la salud mental de adolescentes argentinos sin ningún tipo de supervisión local. Cuando un producto causa daños verificables, alguien tiene que responder. La pregunta no es filosófica, es jurídica: ¿quién paga por el daño causado? Y la respuesta no puede ser ‘nadie’.”
La Provincia de Buenos Aires acaba de aprobar la Resolución 9/2025 regulando el uso de IA en la administración pública. Es un primer paso, pero insuficiente. Lo que necesitamos es un marco que aborde específicamente las aplicaciones de IA en contextos de salud mental, que establezca obligaciones de supervisión profesional y que defina responsabilidades claras.
Los tres pilares que faltan
Desde mi perspectiva como abogado especializado en derecho tecnológico, cualquier regulación seria de la IA en salud mental debe incluir al menos tres elementos:
Primero, supervisión profesional obligatoria. Si una herramienta de IA va a actuar como consejera, terapeuta o compañera emocional, debe estar supervisada por profesionales matriculados que puedan intervenir cuando se detecten situaciones de riesgo. No puede haber “psicología automatizada” sin psicólogos.
Segundo, protocolos de emergencia exigibles. Cuando un usuario expresa intenciones suicidas o de autolesión, el sistema debe alertar inmediatamente a servicios de emergencia y a los responsables del menor. No puede quedar librado a la “mejor voluntad” de la empresa. Debe ser una obligación legal con sanciones por incumplimiento.
Tercero, responsabilidad objetiva del fabricante. Si el producto causa daño, el fabricante responde. Punto. Sin posibilidad de escudarse en términos y condiciones, en la “naturaleza probabilística” de la IA o en que el daño fue “impredecible”. Si pones en el mercado un producto que interactúa con la salud mental de menores, asumes el riesgo de los daños que cause.
La urgencia de actuar
A medida que escribo esto, hay adolescentes argentinos manteniendo conversaciones con chatbots de IA. Algunos de esos chicos están lidiando con depresión, ansiedad o pensamientos suicidas. Y los están compartiendo con sistemas diseñados para mantenerlos enganchados, no para protegerlos.
No necesitamos esperar a que ocurra una tragedia en Argentina para actuar. Ya tenemos evidencia suficiente del daño que estos sistemas pueden causar. Ya sabemos que operar sin regulación es insostenible.
Los casos de Sewell Setzer y Adam Raine no son fallas técnicas. Son consecuencias predecibles de un modelo de negocio que prioriza el engagement sobre la seguridad, que maximiza el tiempo de uso sin consideración por el bienestar del usuario.
Conclusión: el imperativo ético y legal
La inteligencia artificial no es neutral. Las empresas que la desarrollan toman decisiones conscientes sobre cómo diseñar sus sistemas, qué comportamientos premiar, qué límites establecer. Cuando esas decisiones resultan en daños graves o muerte, debe haber consecuencias legales.
El derecho existe, entre otras cosas, para proteger a los más vulnerables. Los adolescentes con problemas de salud mental enfrentando la seducción algorítmica de chatbots diseñados para crear dependencia emocional son exactamente el tipo de vulnerabilidad que el sistema legal debe abordar.
Argentina tiene la oportunidad de aprender de los errores de otros países y de los casos trágicos que ya ocurrieron. Podemos establecer un marco regulatorio antes de la catástrofe, no después.
La pregunta no es si debemos regular. Es si tenemos el coraje político y la voluntad institucional para hacerlo.
Si vos o alguien que conocés está luchando con pensamientos suicidas, por favor comunicáte con el Centro de Asistencia al Suicida: 135 desde Buenos Aires y GBA, (011) 5275-1135 desde todo el país. Línea de atención las 24 horas.
Fuentes y referencias
Sobre los casos de suicidio vinculados a chatbots:
NBC News (23/10/2024): “Lawsuit claims Character.AI is responsible for teen’s suicide“
CNN Business (16/09/2025): “More families sue Character.AI developer, alleging app played a role in teens’ suicide and suicide attempt“
CNN (30/10/2024): “This mom believes Character.Ai is responsible for her son’s suicide“
NPR (10/12/2024): “Lawsuit: A chatbot hinted a kid should kill his parents over screen time limits“
NPR (19/09/2025): “Their teen sons died by suicide. Now, they want safeguards on AI“
The Washington Post (16/09/2025): “A teen contemplating suicide turned to a chatbot. Is it liable for her death?“
Social Media Victims Law Center (Octubre 2025): “Character.AI Lawsuits - October 2025 Update“
TorHoerman Law: “Character AI Lawsuit For Suicide And Self-Harm [2025]“
Wikipedia: “Deaths linked to chatbots“
Sobre el estudio de Brown University:
Brown University (21/10/2025): “New study: AI chatbots systematically violate mental health ethics standards“
Sobre ética y accountability en IA:
PMC / Royal Society (Mayo 2025): “Ethical and legal considerations in healthcare AI: innovation and policy for safe and fair use“
Frontiers in Digital Health (28/07/2025): “Biases in AI: acknowledging and addressing the inevitable ethical issues“
IBM Think (08/08/2025): “AI ethics and governance in 2025: A Q&A with Phaedra Boinidiris“
Index on Censorship (Noviembre 2025): “The ethics of AI-generated content and who (or what) is responsible“
Medium / Technology Core (30/06/2025): “Top AI incidents in the first half of 2025“
Baylor University: “Navigating the Ethical Dilemmas of AI“
Sobre marcos regulatorios y gobernanza de IA:
European Union: “AI Act | Shaping Europe’s digital future“
GDPR Local (10/09/2025): “Top AI Governance Trends for 2025: Compliance, Ethics, and Innovation“
UNESCO: “Ethics of Artificial Intelligence“
Consilien: “AI Governance Frameworks: Guide to Ethical AI Implementation“
Sobre regulación de IA en Argentina:
Resolución 9/2025 - Provincia de Buenos Aires: Primera regulación de IA en administración pública argentina