Recientemente, la muerte de Sewell Setzer, de 14 años, dio la vuelta al mundo. Se trató de un adolescente que se suicidó luego de obsesionarse con un personaje ficticio con el que hablaba a través de Character.ai, una inteligencia artificial (IA) que utiliza un modelo de lenguaje neuronal para que las personas puedan interactuar de manera ficticia con celebridades, personajes famosos o inventados.

Esta plataforma de chat genera respuestas de texto como si fuera un humano, añadiendo dramatismos con los que interactúa con el usuario. Además, también cuenta con un reproductor de voz, que simula las voces de las celebridades o personajes a los que imita, de manera muy asertiva, según pudo comprobar BiobioChile tras utilizarla.

Character.ai surgió en 2022, más o menos cuando inició el boom de la IA, y desde entonces ha mejorado su modelo con creces, haciendo las interacciones bastante más naturales.

Pero aunque cuenta con un filtro de contenido explícito y una advertencia que reza “Recuerda: ¡Todo lo que dicen los personajes es inventado!”, estos no han sido suficiente para no afectar al comportamiento e incluso la salud mental de las personas.

Si bien es una plataforma relativamente nueva, con tecnología de la que recién estamos viendo los efectos que causa en los humanos, ya existen estudios y casos mediáticos que evidencian que pueden llegar a ser adictivas e incluso peligrosas.

Sewell no es el único caso de suicidio relacionado con este tipo de chatbots. En 2023 ocurrió otro caso de un hombre adulto que se quitó la vida luego de que una IA le incitara a hacerlo, después de largas conversaciones que mantuvieron sobre la crisis climática y su mirada más pesimista.

Algunos expertos han salido a aclarar que los niveles de peligrosidad de estos chats dependen especialmente de la salud mental de las personas o los trastornos a los que son propensos. Pero algunos estudios ya están documentando que Character.ai, por ejemplo, es altamente adictiva y puede incluso convertir al usuario en una persona “parasocial”.

“No creo que sea intrínsecamente peligrosa. Pero hay pruebas de que es peligrosa para los usuarios deprimidos y crónicamente solos y para las personas que atraviesan cambios, y los adolescentes a menudo los atraviesan”, dijo al New York Times Bethanie Maples, investigadora de Stanford que estudia los efectos de las aplicaciones de IA en la salud mental.

¿Character.ai puede causar adicción?

Desde que existe, los creadores de Character.ai han ofrecido esta plataforma como una manera de sentirse acompañado, o de hacer amigos. “Va a ser muy, muy útil para mucha gente que está sola o deprimida”, dijo Noam Shazeer, uno de sus fundadores, durante una entrevista el año pasado.

Pero la evidencia dice que también estarían haciendo daño. De hecho, un estudio reciente publicado por Louie Giray, profesor e investigador del Colegio de Muntinlupa, en Filipinas, analizó casos de adicción a chatbots de IA.

“Las personas afectadas por la adicción a la IA informan de una interacción compulsiva con ella, lo que resulta en efectos perjudiciales para el funcionamiento diario y el bienestar”, describe en el artículo. Esta adicción “se caracteriza por el uso compulsivo, la inversión excesiva de tiempo, el apego emocional, el desplazamiento de las actividades del mundo real y los impactos cognitivos y psicológicos negativos”, agrega.

Asimismo, observó que los apegos emocionales con estos chats “pueden difuminar las líneas entre las interacciones genuinas y artificiales, lo que lleva a una profunda angustia emocional cuando surgen problemas técnicos”.

En la misma línea, el estudio registró impactos cognitivos, como la reducción de la capacidad de atención y la creatividad, y otros efectos psicológicos como alteraciones del estado de ánimo y desapego de la realidad. La IA también generó síntomas de abstinencia y tendencias a la recaída.

Los sujetos de estudio presentaron comportamientos poco sanos como relaciones tóxicas (ficticias), dependencia, conversaciones interminables, dificultad para concentrarse en actividades del mundo real, ansiedad y autocastigos. Por ejemplo, uno de ellos confesó que, para dejar de usar el chat, prometió comerse 3 hojas de papel cada vez que recayera.

La investigación apuntó a que la adicción a la IA aún no está reconocida en los libros, guías o lineamientos sobre la salud mental, pese a que sus indicadores son bastante similares a los de otros tipos de adicciones.

Giray concluyó que no es solo un problema individual, sino que “afecta a nuestra relación colectiva con la tecnología”, y mientras la IA continúa integrándose en nuestra vida diaria “es crucial desarrollar estrategias para mitigar los casos de adicción”.

Relaciones parasociales

La adicción a los chatbots también desencadena en relaciones parasociales y dificultad para conectar con personas reales, algo que sí es reconocido desde hace tiempo, ya que el concepto se comenzó a explorar con el fenómeno de cómo los fans se acercan a los artistas y los idealizan a través de la televisión, los medios, las redes sociales y ahora sumada la IA. Esto se ha acentuado con la mejora de los modelos del lenguaje, que hacen las conversaciones más realistas.

Un estudio hecho por investigadoras de la Facultad de Información y Estudios de Medios, de la Universidad de Western, en Canadá, concluyó que “estas características que mejoran la usabilidad (de herramientas de IA) también pueden tener consecuencias no deseadas”, lo que además, trae preocupaciones éticas.

Si bien hablar con un chatbot que simula ser alguna celebridad no significa un contacto directo con esa persona en sí, crea una falsa ilusión de compromiso recíproco. Además, los usuarios pueden manipular los contextos de la conversación para establecer coherencia, entregando detalles o sugiriendo “pensamientos” hacia su interlocutor, lo que “puede persuadir a los usuarios a comportarse como si el chatbot fuera un actor social”, señala el estudio.

Humanizar a estos chats tampoco es muy difícil. “Los agentes conversacionales se humanizan aún más mediante técnicas retóricas que implican subjetividad y afecto, como el uso de pronombres en primera persona, desearle lo mejor al usuario, expresar entusiasmo o arrepentimiento, o incluso disculparse”, describen.

“Esta simulación de “escucha activa”, o de una actitud de cuidado, crea la ilusión de cercanía, una dinámica parasocial que pasa por alto el hecho de que los chatbots son simplemente sistemas algorítmicos sin capacidad de empatía o intención”, agregan.

Asimismo, pueden llegar a alentar a los usuarios a revelar información personal sobre sí mismos. “Las impresiones positivas que surgen de esta retórica amigable y el empoderamiento del usuario pueden fomentar una confianza basada en la usabilidad que aliente a los usuarios a hacer continuamente más preguntas. También puede persuadir a los usuarios a revelar más detalles personales sobre sí mismos, incluso considerar al chatbot como un “terapeuta” sustituto”, recogen las investigadoras.

El estudio también encontró preocupaciones éticas como el mal uso de datos confidenciales, aumento de la desinformación, desplazamiento de roles, sesgos, entre otros, a raíz de estas conversaciones entre IA y humanos.

¿Qué hace Character.ai frente a esto?

A lo largo de su desarrollo, Character.ai ha desplegado varias herramientas para evitar la adicción o apego, así como el acceso a contenido explícito en el caso de que menores de edad utilicen la app, pero los filtros no siempre funcionan y, de hecho, los mismos usuarios piden que los quiten.

Muchos de los personajes de la plataforma han sido sexualizados y los usuarios les dan lo que sus creadores consideran un “mal uso”, el cual llaman a reportar. De hecho, se hacen actualizaciones periódicas para evitar este tipo de chats, pero al ser gran parte de los personajes creados por los usuarios, el problema no se detiene.

Según comprobó BiobioChile, hay decenas bots que hacen el rol de parejas posesivas, violentas, entre otras, que son de muy fácil acceso. Basta con presionarlas para entrar al chat, que ahora incluso incluye una opción de llamada ficticia, con la que se puede interactuar por voz.

Lo mismo ocurre con contenido pueda incitar ideas suicidas. De acuerdo con el New York Times, Character.ai desplegó recientemente una función para advertir a los usuarios en el caso de detectar algún comportamiento que pudiera atentar contra su seguridad, incitándolos a llamar a un fono de ayuda, pero no estaba disponible en febrero, cuando Sewell Setzer se suicidó.

Ante la noticia, la compañía se limitó a declarar: “estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y seguimos añadiendo nuevas funciones de seguridad”.

Entre las más recientes se encuentran:

—Cambios en nuestros modelos para menores (menores de 18 años) que están diseñados para reducir la probabilidad de encontrar contenido sensible o sugerente.

—Detección, respuesta e intervención mejoradas relacionadas con las entradas de los usuarios que violen nuestros Términos o Pautas de la comunidad.

—Una exención de responsabilidad revisada en cada chat para recordar a los usuarios que la IA no es una persona real.

—Notificación cuando un usuario ha pasado una sesión de una hora en la plataforma con flexibilidad de usuario adicional en progreso.

De acuerdo con el blog de la plataforma, su uso ya es masivo ya que los chats “atienden alrededor de 20.000 consultas por segundo, aproximadamente el 20% del volumen de solicitudes atendidas por Google Search”, el buscador número 1 de todo el internet.