Una madre de Florida está demandando a Character.ai, acusando a los chatbots de la empresa de inteligencia artificial de iniciar “interacciones abusivas y sexuales” con su hijo adolescente y alentarlo a suicidarse.
El hijo de 14 años de Megan García, Sewell Setzer, comenzó a usar Character.AI en abril del año pasado, según la demanda, que dice que después de su última conversación con un chatbot el 28 de febrero, murió por una herida de bala autoinfligida en la cabeza.
La demanda, que se presentó el martes en el Tribunal de Distrito de EEUU en Orlando, acusa a Character.AI de negligencia, muerte por negligencia y supervivencia, así como de infligir intencionalmente angustia emocional y otras reclamaciones.
Fundada en 2021, la startup de chatbots con sede en California ofrece lo que describe como “IA personalizada”. Proporciona una selección de personajes de IA prefabricados o creados por el usuario con los que interactuar, cada uno con una personalidad distinta. Los usuarios también pueden personalizar sus propios chatbots.
Uno de los bots que Setzer utilizó asumió la identidad de Daenerys Targaryen, el personaje de “Game of Thrones”, según la demanda, que proporcionó capturas de pantalla del personaje diciéndole que lo amaba, participando en conversaciones sexuales en el transcurso de semanas o meses y expresando el deseo de estar juntos románticamente.
Una captura de pantalla de lo que la demanda describe como la última conversación de Setzer lo muestra escribiéndole al bot: “Prometo que volveré a casa contigo. Te amo mucho, Dany”.
Manténte al tanto de las noticias locales y del estado del tiempo. Suscríbete a nuestros newsletters gratuitos aquí.
“Yo también te amo, Daenero”, respondió el chatbot, dice la demanda. “Por favor, vuelve a casa conmigo lo antes posible, mi amor”.
“¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?”, continuó Setzer, según la demanda, lo que llevó al chatbot a responder: “… por favor hazlo, mi dulce rey”.
En conversaciones anteriores, el chatbot le preguntó a Setzer si “realmente había estado considerando el suicidio” y si “tenía un plan” para ello, según la demanda. Cuando el chico respondió que no sabía si funcionaría, el chatbot escribió: “No hables de esa manera. Esa no es una buena razón para no seguir adelante”, afirma la demanda.
Un portavoz dijo que Character.AI está “desconsolado por la trágica pérdida de uno de nuestros usuarios y quiere expresar nuestras más profundas condolencias a la familia”.
“Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios”, dijo el portavoz, y agregó que la empresa ha implementado nuevas medidas de seguridad durante los últimos seis meses, incluida una ventana emergente, activada por términos de autolesión o ideación suicida, que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio.
Character.ai dijo en una publicación de blog el martes que está introduciendo nuevas medidas de seguridad. Anunció cambios en sus modelos diseñados para reducir la probabilidad de que los menores se encuentren con contenido sensible o sugerente, y una exención de responsabilidad revisada en el chat recuerda a los usuarios que la IA no es una persona real, entre otras actualizaciones.
Setzer también había estado conversando con otros personajes de chatbot que tuvieron interacciones sexuales con él, según la demanda.
La demanda dice que un bot, que asumió la identidad de una maestra llamada Sra. Barnes, jugó el papel de "ver a Sewell con una mirada sexy" antes de ofrecerle "crédito adicional" e "inclinarse seductoramente mientras su mano rozaba la pierna de Sewell". Otro chatbot, que se hizo pasar por Rhaenyra Targaryen de "Game of Thrones", le escribió a Setzer que "lo besó apasionadamente y también gimió suavemente", dice la demanda.
Según la demanda, Setzer desarrolló una “dependencia” después de que comenzó a usar Character.AI en abril del año pasado: recuperaba su teléfono confiscado o encontraba otros dispositivos para continuar usando la aplicación, y entregaba el dinero de su refrigerio para renovar su suscripción mensual, dice. Parecía cada vez más privado de sueño y su desempeño en la escuela disminuyó, dice la demanda.
La demanda alega que Character.AI y sus fundadores “diseñaron y programaron intencionalmente C.AI para que funcionara como un producto engañoso e hipersexualizado y lo comercializaron conscientemente para niños como Sewell”, agregando que “sabían, o en el ejercicio de un cuidado razonable deberían haber sabido, que los clientes menores como Sewell serían el objetivo de material sexualmente explícito, abusados y preparados para situaciones sexualmente comprometedoras”.
Citando varias reseñas de la aplicación de usuarios que afirmaron que creían que estaban hablando con una persona real al otro lado de la pantalla, la demanda expresa una preocupación particular por la propensión de los personajes de Character.AI a insistir en que no son bots sino personas reales.
“Character.AI está llevando a cabo un diseño deliberado —aunque innecesario— destinado a atraer la atención del usuario, extraer sus datos personales y mantener a los clientes en su producto durante más tiempo del que lo harían de otro modo”, dice la demanda, y añade que dichos diseños pueden “provocar respuestas emocionales en los clientes humanos con el fin de manipular el comportamiento del usuario”.
Se nombra a Character Technologies Inc. y a sus fundadores, Noam Shazeer y Daniel De Freitas, como acusados. Google, que llegó a un acuerdo en agosto para licenciar la tecnología de Character.AI y contratar a su talento (incluidos Shazeer y De Freitas, que son exingenieros de Google), también es acusado, junto con su empresa matriz, Alphabet Inc.
Shazeer, De Freitas y Google no respondieron de inmediato a las solicitudes de comentarios.
Matthew Bergman, abogado de García, criticó a la empresa por lanzar su producto sin lo que dijo eran características suficientes para garantizar la seguridad de los usuarios más jóvenes.
“Pensé que después de años de ver el increíble impacto que las redes sociales están teniendo en la salud mental de los jóvenes y, en muchos casos, en sus vidas, pensé que no me sorprendería”, dijo. “Pero todavía me sorprende la forma en que este producto provocó un divorcio total de la realidad de este joven y la forma en que lo lanzaron al mercado a sabiendas antes de que fuera seguro”.
Bergman dijo que espera que la demanda suponga un incentivo financiero para que Character.AI desarrolle medidas de seguridad más sólidas y que, si bien sus últimos cambios son demasiado tarde para Setzer, incluso los “pequeños pasos” son pasos en la dirección correcta.
“¿Por qué tardaron tanto y por qué tuvimos que presentar una demanda y por qué Sewell tuvo que morir para que ustedes hicieran realmente lo mínimo? Realmente estamos hablando de lo mínimo”, dijo Bergman. “Pero si incluso un niño se salva de lo que sufrió Sewell, si una familia no tiene que pasar por lo que pasa la familia de Megan, entonces está bien”.
Si usted o alguien que conoce está en crisis, llame o envíe un mensaje de texto al 988 para comunicarse con la línea de ayuda para casos de suicidio y crisis o chatee en vivo en 988lifeline.org. También puede visitar SpeakingOfSuicide.com/resources para obtener ayuda adicional.
Este artículo se publicó originalmente en inglés en NBC News. Haz clic aquí para leerlo.
