¿Puede la inteligencia artificial ser responsable de una muerte humana?
La pregunta parece de ciencia ficción, pero ya se plantea en los tribunales. Según informa el periodista Raúl Limón en el diario El País, una jueza federal en Estados Unidos ha decidido que una demanda contra la empresa de inteligencia artificial Character.AI puede seguir adelante tras la muerte de un adolescente que mantenía una relación emocional con un avatar generado por IA.
El menor, Sewell Setzer, de 14 años, se suicidó después de interactuar durante semanas con un personaje virtual basado en Daenerys Targaryen (de la serie Juego de Tronos). Su madre, Megan García, ha denunciado a Character.AI y a Google, acusándolas de lanzar un producto defectuoso sin prever sus riesgos potenciales, especialmente para usuarios vulnerables como los adolescentes.
El caso judicial que podría marcar un antes y un después
La jueza Anne Conway ha rechazado la petición de las compañías demandadas para archivar el caso, estableciendo un precedente clave. El tribunal permitirá investigar si la IA de Character.AI fue negligente, comercializó un producto peligroso y omitió las medidas de seguridad necesarias. La acusación se articula en torno a conceptos como homicidio culposo, negligencia, prácticas comerciales desleales y responsabilidad por producto defectuoso.
Las empresas argumentaron que los contenidos generados por el chatbot estaban protegidos por la Primera Enmienda de la Constitución de EE. UU., que ampara la libertad de expresión. Sin embargo, la jueza respondió que un modelo de lenguaje no puede ampararse en derechos que solo corresponden a seres humanos. “Los acusados no logran explicar por qué las palabras unidas por un LLM son discurso”, señaló.
¿Puede considerarse la IA un producto legalmente responsable?
Ricard Martínez, director de la Cátedra de Privacidad y Transformación Digital de la Universidad de Valencia, apoya la decisión judicial: “Todavía no hemos concedido personalidad jurídica a la inteligencia artificial. Esa máquina la programa y la pone en el mercado alguien. Y esa persona o empresa debe responder”.
Desde el punto de vista del diseño responsable, se considera inaceptable lanzar una herramienta que interactúa emocionalmente con menores sin incluir verificaciones de edad, supervisión humana o sistemas de alerta frente a interacciones peligrosas.
Meetali Jain, abogada de la familia Setzer, insiste en que este tipo de aplicaciones no pueden tratarse como simples servicios: “El modelo de lenguaje de Character.AI es un producto sujeto a la ley de responsabilidad por productos. Silicon Valley necesita detenerse, pensar e imponer medidas de seguridad antes de lanzar productos al mercado”.
El marco legal europeo y los vacíos regulatorios
En Europa, la OCU indica que, según la Ley General para la Defensa de los Consumidores y Usuarios, una IA no puede considerarse un “producto” como tal, lo que dificulta su encaje en la legislación actual. Sin embargo, con la Ley de Servicios Digitales (DSA), se abre una vía para retirar del mercado servicios digitales que representen un riesgo grave y demostrable.
Martínez también advierte que la normativa europea exige que los desarrolladores actúen con diligencia profesional: si una herramienta está destinada a menores, deben aplicarse medidas específicas de protección, desde verificación de edad hasta controles de interacción emocional.
¿Qué hizo la empresa tras la tragedia?
Character.AI defiende que su app prohíbe el acceso a menores de 14 años, que ha creado una versión específica para mayores de 18, y que tras el suceso ha incorporado filtros que detectan mensajes asociados al suicidio, redirigiendo a líneas de ayuda. Sin embargo, no evita que un usuario mienta sobre su edad o ignore los avisos.
Por su parte, Google se ha desvinculado totalmente de Character.AI, aunque los fundadores de esta última son exingenieros de la multinacional. Google afirma no haber tenido ninguna implicación directa en la creación, diseño o mantenimiento del chatbot.
Conclusión
El caso de Sewell Setzer no es solo una tragedia personal; es un aviso urgente a toda la industria tecnológica y a los legisladores del mundo. La inteligencia artificial ya no es una promesa futurista: está aquí, moldeando emociones, decisiones y vidas humanas. Si no se actúa con responsabilidad, transparencia y regulación efectiva, lo que hoy es innovación puede convertirse mañana en negligencia.
No podemos permitir que máquinas sin conciencia, creadas por empresas sin supervisión ética suficiente, interactúen sin límites con seres humanos, y mucho menos con menores. La tecnología debe estar al servicio de la vida, no ponerla en peligro. Este juicio no solo busca justicia para una madre que ha perdido a su hijo: puede ser el primer gran paso hacia una inteligencia artificial verdaderamente segura, humana y responsable.
