Lo más nuevo de los grandes modelos de lenguaje (LLM), explicado en detalle en la Parte 1/2: El Modelo, es su capacidad de aprender de manera no lineal, lo que implica un procesamiento de datos mucho mayor y por ende, resultados más precisos para distintas problemáticas de la vida.

Entonces, si todo suena fantástico, ¿cuál es el problema real o riesgo con la IA?

Aquí es donde aparece la guinda de la torta y se lo explicaré con una capacidad que poseemos los humanos, que usamos diariamente sin pensar: nuestra visión humana.

La visión humana puede entenderse como una tarea de procesamiento de información por capas que nos permite percibir y comprender el mundo que nos rodea. Así, imagine que Ud. tiene diferentes niveles de procesamiento, tal como capas en una cebolla:
– La primera capa es la captación de la luz. Nuestros ojos actúan como cámaras y capturan la luz reflejada en los objetos que vemos.
– La segunda capa es la retina, que es una parte especial de nuestros ojos. Aquí, la luz se convierte en señales eléctricas que pueden ser enviadas al cerebro a través del nervio óptico.
– La tercera capa es la de procesamiento en el cerebro. La información visual viaja desde la retina a través de diferentes áreas en el cerebro, como la corteza visual. Aquí es donde se realizan tareas más complejas, como reconocer formas, colores y movimiento.

En las capas más profundas, nuestro cerebro combina toda esta información para construir una representación completa y significativa de lo que estamos viendo. Así, cada capa de procesamiento agrega más detalles y complejidad a nuestra percepción visual, haciendo que veamos y comprendamos nuestro entorno de una manera única.

Volvamos a nuestros queridos amigos LLMs. Si Ud. realiza la analogía con nuestro ejemplo de visión humana, podrá darse cuenta de que al agregar más y más capas de procesamiento (y por tanto más parámetros a entrenar) el modelo se volverá más escalable y por tanto, su rendimiento en diferentes tareas podría ser mucho mejor. Efectivamente, los LLMs ahora son más poderosos y escalables, y fue lo que ha hecho tan popular a aplicaciones como ChatGPT y BARD, entre otros.

¿Fin de la historia y todos somos felices como las perdices?

Lamentablemente, muchos científicos se percataron de que al agregar más y más capas de procesamiento, los LLMs podían aprender relaciones no lineales que comenzaron a exhibir comportamientos o habilidades emergentes.

En general, un comportamiento emergente se refiere a un comportamiento o patrón que aparece cuando un grupo de elementos o individuos interactúa entre sí, pero que no puede ser atribuido a ninguno de los elementos de forma individual. Esto es como cuando se forman patrones o resultados sorprendentes a partir de la interacción y coordinación de varias personas. Este comportamiento cualitativo puede verse como entornos en los cuales las reglas del juego que guían la conducta, pueden variar drásticamente ante pequeños cambios.

Un ejemplo sencillo de conducta emergente podría ser una bandada de aves volando. Cada ave sigue su propio camino y no existe un líder que les diga qué hacer, pero juntos forman patrones coordinados en el aire. Aunque cada ave actúa de manera independiente, la conducta emergente del enjambre es algo que surge de la interacción colectiva. De manera similar, en otros contextos, como en grupos de personas o incluso en sistemas naturales, pueden surgir conductas emergentes. Estas pueden incluir cosas como la formación de patrones de tráfico en una ciudad, la autoorganización de hormigas en busca de comida o la toma de decisiones colectivas en grupos grandes de personas.

¿Cuál es el problema con este comportamiento emergente en los LLMs?

El problema es que estas habilidades emergentes pueden convertir los resultados de estos modelos en algo totalmente impredecible y que por tanto podría eventualmente escapar de las manos y ser dañino, en algún sentido. Estas habilidades emergentes de los LLMs no estaban presentes en los LMs más pequeños por lo que no se pueden predecir simplemente extrapolando la mejora en rendimiento en modelos más pequeños. Esto se debe a que los LLMs no se entrenaron directamente para poseer estas habilidades, las que surgen de forma rápida e impredecible. Estos comportamientos usualmente incluyen la realización de operaciones aritméticas, responder preguntas complejas, y otras que los LLMs simplemente aprenden observando el uso del lenguaje.

Sin embargo, estas nuevas habilidades no están exentas de riesgos pues a medida que los LLMs crecen y se vuelven más poderosos, también pueden mostrar comportamientos dañinos o indeseables. Estos riesgos emergentes incluyen problemas como la toxicidad, el sesgo y la posibilidad de engaño. Este mismo tipo de habilidad emergente causada por la no linealidad produce que modelos como GPT-4 o similares: aunque pueden generar texto convincente, también pueden ser propensos a generar información incorrecta o sesgada.

Por ejemplo, considere el caso de un LLM que se entrena sobre contenido sesgado. Cuando se prueba en una tarea relacionada con el sesgo de género, el modelo puede mostrar un comportamiento problemático. Así, este podría asociar ciertas ocupaciones con géneros específicos, como enfermeras siendo mujeres y electricistas siendo hombres. Este tipo de sesgo es un ejemplo de un riesgo emergente que surge de los datos de entrenamiento y se vuelve más pronunciado a medida que el modelo escala.

La toxicidad es otro riesgo emergente con el que se debe lidiar. En algunos casos, los LLMs pueden producir respuestas tóxicas u ofensivas cuando se les solicitan ciertas entradas. El desafío es entonces mitigar estos riesgos sin sofocar la creatividad y versatilidad del modelo.

Así, es importante tener en cuenta que, si bien los LLMs son poderosos, todavía son herramientas y no poseen comprensión o conocimiento profundo del mundo real. Por lo tanto, siempre es necesario revisar y verificar la información generada por el modelo para garantizar su precisión y relevancia. En consecuencia, no existe riesgo real contra la humanidad ni el fin de todas las actividades como las conocemos, ni nada por el estilo. Sin embargo, para reducir los riesgos que implican estas habilidades emergentes e impredecibles en la convivencia, seguridad y transparencia con la que se interactúa con humanos, claramente se requieren nuevas regulaciones y normativas en el desarrollo de sistemas de IA.