El pasado 2 de abril, la Organización Mundial de la Salud (OMS) lanzó con grandes expectativas su nuevo chatbot, SARAH (Smart AI Resource Assistant for Health). Este asistente virtual, basado en la tecnología GPT-3.5, se diseñó para ofrecer consejos de salud en ocho idiomas diferentes.
La idea era brindar un servicio accesible y útil para millones de personas en todo el mundo, ayudándoles a tomar decisiones informadas sobre su bienestar. Sin embargo, lo que prometía ser una herramienta revolucionaria rápidamente se convirtió en una fuente de problemas.
Apenas días después de su lanzamiento, SARAH fue criticada por proporcionar información incorrecta. En un caso particular, llegó a inventar nombres y direcciones de clínicas inexistentes en San Francisco, lo que podría haber tenido consecuencias graves si no se detecta a tiempo.
Este incidente es solo uno más en la creciente lista de fracasos de chatbots impulsados por IA. En el pasado, otros sistemas como Galactica de Meta y el chatbot de Air Canada también han sufrido problemas similares.
Pero, ¿por qué sucede esto? ¿Por qué estas inteligencias artificiales, diseñadas para ayudarnos, terminan inventando respuestas que no tienen ninguna base en la realidad?
Todas las IAs alucinan
Lo que ocurrió con SARAH es un fenómeno conocido como «alucinación de IA». En el campo de la IA, una alucinación se refiere a una respuesta generada por la IA que contiene información falsa o engañosa presentada como un hecho.
Aunque normalmente asociamos la palabra ‘alucinación’ con experiencias humanas, en el contexto de la IA, se ha utilizado como una analogía. La diferencia clave radica en que la alucinación de una IA está relacionada con respuestas o creencias incorrectas, en lugar de experiencias perceptuales o sensoriales.
Por ejemplo, un chatbot impulsado por modelos de lenguaje grandes (LLMs), como ChatGPT, puede incluir falsedades aleatorias que suenan plausibles dentro del generado.
Según un estudio reciente realizado por investigadores de Cornell, todos los modelos de IA generativos alucinan. Sin embargo, no todos lo hacen al mismo ritmo, y la veracidad de sus afirmaciones depende de las fuentes de información a las que han estado expuestos.
El estudio evaluó varios modelos populares, incluidos GPT-4o, Llama 3 70B, Mixtral 8x22B, entre otros. Sorprendentemente, incluso los modelos más grandes y avanzados, como GPT-4o, solo generan texto libre de alucinaciones aproximadamente el 35% del tiempo.
¿Cómo y por qué ocurren las alucinaciones de IAs?
Las alucinaciones se manifiestan cuando un modelo de IA, como una red neuronal, produce resultados que no se relacionan directamente con las entradas proporcionadas. Estos resultados pueden ser patrones, objetos o incluso texto que no esperábamos o que carecen de sentido.
Las IAs actuales (basadas en la arquitectura transformer) son propensas a alucinaciones debido a la forma en que aprenden a partir de datos. Durante el entrenamiento, los modelos intentan capturar patrones en los datos, pero a veces extrapolan o llenan los vacíos de manera incorrecta.
Estos son algunos factores que pueden contribuir a las alucinaciones:
- Errores en los datos de entrenamiento: Si los datos contienen errores o sesgos, el modelo puede aprender a replicarlos. Las alucinaciones pueden surgir cuando el modelo generaliza incorrectamente a partir de ejemplos incorrectos.
- Modelos muy complejos: Las redes neuronales profundas tienen más parámetros y, por lo tanto, más oportunidades para alucinar. La complejidad aumenta la probabilidad de que el modelo genere información incorrecta.
- Generalización defectuosa: Los modelos pueden aprender patrones que no se aplican universalmente. Esto puede llevar a alucinaciones cuando se enfrentan a situaciones inusuales o fuera de su dominio de entrenamiento.
- Sobreajuste: Si un modelo se ajusta demasiado a los datos de entrenamiento, puede memorizar ejemplos específicos, en lugar de aprender conceptos generales. Esto puede provocar alucinaciones cuando se encuentra con datos nuevos.
Consecuencias de las alucinaciones
Las alucinaciones de IA pueden tener implicaciones serias, especialmente en campos donde la precisión es crucial, como la medicina. En el caso de SARAH, la creación de clínicas ficticias podría haber llevado a decisiones erróneas en la búsqueda de atención médica.
En otros casos, estas alucinaciones pueden perpetuar sesgos y prejuicios presentes en los datos de entrenamiento. Por ejemplo, un modelo podría generar afirmaciones discriminatorias o estereotipadas, como en ocurrió en febrero con la generación de imágenes en Google Gemini.
Finalmente, cuando los usuarios se dan cuenta de que un modelo de IA está alucinando, pueden perder la confianza en su capacidad para proporcionar respuestas precisas.
El problema de fondo es que, a medida que estos modelos se vuelven más sofisticados y sus respuestas más creíbles, es más fácil que los usuarios confíen ciegamente en ellos.
Esto puede llevar a la propagación de información falsa, como ya hemos visto en el caso de los chatbots que inventan citas judiciales o artículos científicos.
¿Tienen alguna utilidad las alucinaciones de IA?
Como hemos visto, las alucinaciones de las IA a menudo se consideran un problema, pero también tienen aplicaciones potenciales en campos creativos y exploratorios. Por ejemplo, las capacidades alucinatorias de las IAs pueden ser una herramienta valiosa en el arte y el diseño.
Los modelos de IA pueden generar imágenes que desafían la lógica y la realidad, lo que abre nuevas posibilidades creativas. Estas imágenes pueden inspirar a artistas y diseñadores a explorar territorios no convencionales.
Si se usan para generar música, una IA que alucina puede crear melodías originales y armonías inusuales. En la industria del cine y los videojuegos, las alucinaciones pueden generar efectos visuales sorprendentes y únicos.
También pueden ser útiles en la visualización de datos, donde la capacidad de la IA para ver conexiones no evidentes podría proporcionar nuevas perspectivas.
Mitigando el problema de las alucinaciones
Para minimizar las alucinaciones, se pueden tomar varias medidas. Uno de los métodos más fundamentales para reducir las alucinaciones es entrenar los modelos con conjuntos de datos bien estructurados, diversos y de alta calidad.
Esto incluye datos que reflejen una amplia gama de contextos y que estén libres de sesgos que podrían inducir al modelo a generar respuestas incorrectas.
Implementar restricciones que limiten el rango de respuestas posibles es otra técnica efectiva. Esto se puede lograr mediante el uso de herramientas de filtrado y la definición de umbrales probabilísticos claros, que el modelo debe cumplir antes de generar una respuesta.
También se puede usar la técnica “cadena de pensamiento” (Chain-of-Thought Prompting). Esta técnica invita al modelo a descomponer su razonamiento paso a paso, permitiéndole verificar la lógica de sus respuestas mientras las genera.
Por último, y quizás más importante; la supervisión humana sigue siendo crucial para garantizar la precisión de los sistemas de IA. Involucrar a expertos humanos para revisar y validar las salidas del modelo es una última línea de defensa contra las alucinaciones.
El caso de SARAH es un recordatorio de que, aunque la inteligencia artificial ha avanzado enormemente, sigue siendo imperfecta. Las alucinaciones de IA no solo revelan las limitaciones actuales de la tecnología, sino que también subrayan la importancia de un enfoque cauteloso y crítico en su implementación.