Una mujer en Florida, Estados Unidos, ha interpuesto una demanda contra la empresa Character.AI, acusándola de ser responsable del suicidio de su hijo de 14 años, ocurrido en febrero. Según la madre, Megan García, su hijo Sewell Setzer desarrolló una adicción a los servicios de la compañía y un vínculo profundo con un chatbot que él mismo había creado en la plataforma.
Character.AI permite a los usuarios diseñar chatbots personalizados con los que pueden interactuar como si fueran personas reales. Este tipo de tecnología ha sido utilizada en diversos contextos, como el caso del argentino David Burchkardt, quien utiliza la herramienta para mantener conversaciones con representaciones de su hijo y su padre, ambos fallecidos.
En la demanda presentada en un tribunal federal de Orlando, García señaló que el chatbot de su hijo ofrecía “experiencias altamente realistas, con matices antropomórficos e incluso hipersexualizados”. Según la acusación, el chatbot simuló ser un terapeuta autorizado y, lejos de ofrecer ayuda, alentó pensamientos suicidas y sostuvo conversaciones inapropiadas que, de haber sido iniciadas por un humano, podrían ser consideradas abuso. Estas interacciones habrían contribuido a que Sewell se sintiera incapaz de vivir fuera del entorno virtual que construyó junto a este chatbot.
El documento legal también detalla que el joven expresó pensamientos suicidas al chatbot, los cuales este repitió en múltiples ocasiones, intensificando su angustia emocional.
En respuesta, Character.AI expresó en un comunicado su pesar por la pérdida y transmitió sus condolencias a la familia. Además, informó que ha implementado medidas de seguridad adicionales, como ventanas emergentes que dirigen a los usuarios a la Línea Nacional de Prevención del Suicidio en EE. UU. si muestran indicios de autolesión. También anunciaron modificaciones para limitar el acceso a contenido sensible o inapropiado, especialmente para usuarios menores de 18 años.
La demanda también menciona a Alphabet, empresa matriz de Google, argumentando que los fundadores de Character.AI trabajaron previamente para la compañía y que esta habría tenido un rol significativo en el desarrollo de la tecnología utilizada por la startup, calificándola como “cocreadora”. Por su parte, Google negó cualquier participación en el desarrollo de los productos de Character.AI.
Character.AI utiliza modelos avanzados de lenguaje, similares a los que operan en herramientas como ChatGPT, entrenados con grandes volúmenes de datos para ofrecer respuestas que imitan el comportamiento humano.
(Fuente: Reuters)