Una situación controvertida se está viviendo en Estados Unidos en materia de regulación de IA, luego de que una familia decidiera demandar a Character.AI, sus fundadores Noam Shazeer y Daniel De Freitas, y a Google a raíz de la muerte de un adolescente, alegando muerte por negligencia, prácticas comerciales engañosas y responsabilidad por productos defectuosos.
Presentada por la madre de la adolescente, Megan García, afirma que la plataforma para chatbots de IA personalizados era “irrazonablemente peligrosa” y carecía de barandillas de seguridad mientras se comercializaba para niños.
Qué pasó con el adolescente
Como se describe en la demanda, Sewell Setzer III, de 14 años, comenzó a usar Character.AI el año pasado, interactuando con chatbots inspirados en personajes de Game of Thrones, incluida Daenerys Targaryen. Setzer, que chateó con los bots continuamente en los meses previos a su muerte, se suicidó el 28 de febrero de 2024, “segundos” después de su última interacción con el bot.
Las acusaciones incluyen que el sitio “antropomorfiza” a los personajes de IA y que los chatbots de la plataforma ofrecen “psicoterapia sin licencia”. Character.AI alberga chatbots centrados en la salud mental como “Therapist” y “Are You Feeling Lonely”, con los que Setzer interactuó.
El sitio web y la aplicación móvil de Character.AI tienen cientos de chatbots de IA personalizados, muchos de ellos inspirados en personajes populares de programas de televisión, películas y videojuegos.
La respuesta de Character AI
Character.AI ha anunciado varios cambios en la plataforma, y la jefa de comunicaciones, Chelsea Harrison, dijo en un correo electrónico a The Verge: “Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia”.
“Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios, y nuestro equipo de Confianza y Seguridad ha implementado numerosas medidas de seguridad nuevas en los últimos seis meses, incluida una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio que se activa por términos de autolesión o ideación suicida”, dijo Harrison.
