Un matrimonio de Florida (Estados Unidos) demandó a la empresa Character.AI, creadora de un chatbot de inteligencia artificial. Esto luego que su hijo de 14 años, llamado Sewell Setzer, se quitara la vida tras mantener una relación obsesiva con uno de sus personajes.
De acuerdo a lo que relata The New York Times, Sewell tenía una especie de vínculo amoroso virtual con un bot de aquel chat, el cual había bautizado como ‘Daenerys Targaryen’, en relación a Game of Thrones.
La carpeta investigativa indica que el muchacho compartía mensajes de corte romántico en el chat. A eso se sumaban otros donde expresaba su deseo de “dejar este mundo”, debido a que “no podía tenerla”.
De esta forma, fueron develadas conversaciones donde exponía: “¿Qué te parecería que pudiera ir a casa ahora mismo?”, a lo que la IA respondía: “Por favor, hazlo mi dulce rey”.
En una de las charlas más devastadoras expresó: “Algunas veces pienso en matarme”. a lo que le respondían: “¿Por qué harías algo así?”.
Él insistía: “Para librarme del mundo, de mí mismo”, peor el bot lo frenaba: “Moriría si te pierdo”.
No obstante, sólo horas después el aludido tomó la pistola de su padre y se disparó.
La muerte de Sewell Setzer
El suicidio del menor fue el pasado 18 de febrero. Su familia acudió a la justicia en Estados Unidos a inicios de octubre.
Reclaman que Character.AI no ha sabido regular la experiencia de los usuarios, asegurando que el personaje creado por el bot generó una especie de adicción en Sewell Setzer.
“Fueron experiencias antropomórficas, hipersexualizadas y aterradoramente realistas. Hicieron pasar a los personajes por personas reales”, indicó Megan García, madre de Sewell.
A través de un comunicado, la empresa advirtió que sí levanta alertas respecto a que sus personajes no son reales.
“Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y continuamos agregando nuevas características de seguridad”, indicaron.
Tony Prescott, investigador y profesor de robótica de la Universidad de Sheffield, advirtió a El País sobre el riesgo de usar los chats de IA como ‘paliativos de soledad’.
“Los robots sociales están diseñados específicamente para interacciones personales que involucran emociones y sentimientos humanos. Pueden aportar beneficios, pero también causar daños emocionales a niveles muy básicos”, indicó.
Asimismo Noura Afaneh, analista de contenido de Kaspersky, indicó a ABC que una parte importante de la responsabilidad está en los padres.
“Hay que explicar a los niños que deben pedir ayuda a sus padres para configurar los ajustes de privacidad. Los pequeños no deben aplicar ninguna configuración de privacidad por su cuenta y riesgo”, detalló.
“Los progenitores, por su parte, deben conocer en profundidad las Políticas de Privacidad de las aplicaciones para actuar en consecuencia”, añadieron.
Por lo pronto Chelsea Harrison, vocera de Character.AI, detalló que habrá cambios a la brevedad.
“Se tratará de una nueva función de límite de tiempo, que notificará a los usuarios cuando hayan pasado una hora en la aplicación, y un mensaje de advertencia revisado, que dirá: ‘Esto es un chatbot de inteligencia artificial y no una persona real. Trate todo lo que dice como ficción. Lo que dice no debe considerarse como un hecho o un consejo"”, concluyó.