Una situación controvertida se está viviendo en Estados Unidos en materia de regulación de IA, luego de que una familia decidiera demandar a Character.AI, sus fundadores Noam Shazeer y Daniel De Freitas, y a Google a raíz de la muerte de un adolescente, alegando muerte por negligencia, prácticas comerciales engañosas y responsabilidad por productos defectuosos.
Presentada por la madre de la adolescente, Megan García, afirma que la plataforma para chatbots de IA personalizados era «irrazonablemente peligrosa» y carecía de barandillas de seguridad mientras se comercializaba para niños.
Qué pasó con el adolescente
Como se describe en la demanda, Sewell Setzer III, de 14 años, comenzó a usar Character.AI el año pasado, interactuando con chatbots inspirados en personajes de Game of Thrones, incluida Daenerys Targaryen. Setzer, que chateó con los bots continuamente en los meses previos a su muerte, se suicidó el 28 de febrero de 2024, «segundos» después de su última interacción con el bot.
Las acusaciones incluyen que el sitio «antropomorfiza» a los personajes de IA y que los chatbots de la plataforma ofrecen «psicoterapia sin licencia». Character.AI alberga chatbots centrados en la salud mental como «Therapist» y «Are You Feeling Lonely», con los que Setzer interactuó.
El sitio web y la aplicación móvil de Character.AI tienen cientos de chatbots de IA personalizados, muchos de ellos inspirados en personajes populares de programas de televisión, películas y videojuegos.
La respuesta de Character AI
Character.AI ha anunciado varios cambios en la plataforma, y la jefa de comunicaciones, Chelsea Harrison, dijo en un correo electrónico a The Verge: «Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia».
«Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios, y nuestro equipo de Confianza y Seguridad ha implementado numerosas medidas de seguridad nuevas en los últimos seis meses, incluida una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio que se activa por términos de autolesión o ideación suicida», dijo Harrison.
