En este punto de la historia humana, está claro que la inteligencia artificial (IA), al igual que los grandes modelos de lenguaje (LLM), han llegado para quedarse.
Modelos como GPT-3, GPT-4 y Stable Diffusion han facilitado la creación de textos, imágenes y música con solo unas pocas indicaciones, transformando sectores enteros como el entretenimiento, la educación y el marketing.
Sin embargo, esta proliferación de contenido generado por IA ha traído consigo un problema que muchos investigadores ya están advirtiendo: entrenar nuevas IA con datos generados por otras IA podría generar errores acumulativos.
Este fenómeno se conoce como “colapso de modelos” y, según los expertos, puede deteriorar la calidad de los modelos y comprometer gravemente el futuro de la inteligencia artificial.
El peligro de los datos “sintéticos”
Se necesitan grandes volúmenes de datos para entrenar eficazmente una inteligencia artificial (IA), especialmente en el caso de los modelos avanzados como las redes neuronales profundas o los modelos de lenguaje a gran escala (LLMs).
La razón principal es que estos modelos necesitan aprender patrones complejos y generalizar el conocimiento a partir de datos, y para hacerlo requieren de una amplia gama de ejemplos.
Algunos de estos datos pueden obtenerse de internet, y de grandes bases de datos públicas y privadas. Mientras que otros datos pueden generarse artificialmente.
Estos conjuntos de datos sintéticos son generados mediante algoritmos o simulaciones en lugar de ser recopilados directamente del mundo real.
Este tipo de datos “sintéticos” se ha vuelto cada vez más popular en la investigación y el desarrollo de modelos de machine learning e inteligencia artificial (IA) debido a varias razones.
Entre estas que destacan la escasez o la inaccesibilidad de datos reales, problemas de privacidad, y la necesidad de tener conjuntos de datos controlados.
¿Qué es el colapso de modelos?
El término “colapso de modelos” describe el deterioro progresivo de las inteligencias artificiales que se entrenan con datos generados por otras IA.
A medida que más contenido generado por IA empieza a inundar internet, los nuevos modelos, que dependen en gran parte de datos disponibles en línea, pueden acabar entrenándose en datos que no han sido producidos por humanos, sino por sus predecesores generativos.
Según la investigación de Ilia Shumailov y sus colegas, publicada en la revista “Nature” en julio de este año, este proceso puede llevar a una degeneración irreversible en los modelos.
¿Por qué colapsan los modelos?
El problema radica en que cuando una IA se entrena con contenido generado por otra IA, comienza a perder precisión y variabilidad.
Esto afecta especialmente a los “extremos” de la distribución de datos, es decir, a aquellos ejemplos menos comunes o que representan situaciones poco frecuentes en la realidad.
Con el tiempo, estos extremos desaparecen, lo que produce una pérdida de diversidad en los datos y una convergencia hacia una distribución muy limitada y predecible.
Shumailov y su equipo demostraron este proceso de colapso en varios tipos de modelos, incluyendo grandes modelos de lenguaje (LLMs), modelos de mezclas gaussianas (GMMs) y autoencoders variacionales (VAEs).
En cada caso, observaron cómo las sucesivas generaciones de IA se volvían menos precisas, hasta llegar al punto en que producían resultados incoherentes o absurdos.
El riesgo de entrenar IA con datos contaminados
Uno de los principales peligros de entrenar IA con datos generados por otras IA es que estos datos están contaminados con errores que se acumulan con cada generación. Como ejemplo, podemos imaginar una IA que ha sido entrenada principalmente en textos generados por GPT-4.
Si una nueva versión de GPT (digamos GPT-5) se entrena utilizando en gran medida textos que provienen de GPT-4, esos textos contendrán errores sutiles que su sucesor heredará y amplificará.
Con el tiempo, estos errores no solo se propagarán, sino que acabarán corrompiendo la capacidad de la IA para generar respuestas precisas y útiles.
Esto es lo que Shumailov y sus colegas llamaron “colapso tardío del modelo”, un punto en el que el modelo se desvía tanto de la realidad que pierde toda conexión con la distribución original de los datos humanos.
Un estudio llevado a cabo por Sarkar y otros investigadores en Edimburgo y Madrid mostró un fenómeno similar en modelos de difusión de imágenes.
Al entrenar repetidamente un modelo con datos generados por otras versiones del mismo modelo, las imágenes resultantes se volvían progresivamente más borrosas e irreconocibles.
Para la tercera generación, las imágenes de flores o pájaros, que al principio eran claras y definidas, se habían transformado en manchas abstractas sin sentido.
La analogía con la “era nuclear” y el acero
El fenómeno del colapso de modelos se ha comparado con un problema histórico del siglo XX: la contaminación del acero por la radiación nuclear.
Tras la Segunda Guerra Mundial, las pruebas nucleares liberaron partículas radiactivas a la atmósfera, lo que contaminó el acero que se fabricó a partir de entonces.
Para aplicaciones sensibles a la radiación, como los contadores Geiger, el acero moderno ya no era útil, y los científicos tuvieron que recurrir a acero de barcos hundidos anteriores a la era nuclear para obtener un material “limpio”.
Los datos “pre-IA” serán valiosos
De manera similar, algunos investigadores creen que en el futuro será necesario utilizar datos “pre-IA” para entrenar modelos que no estén contaminados por el contenido generado por otras inteligencias artificiales.
Sin embargo, a diferencia del acero, los datos no pueden ser simplemente “reciclados” del pasado. Como señala el investigador Ilia Shumailov, los datos históricos, aunque útiles en algunos casos, no reflejan el mundo en constante cambio.
Las normas sociales, el lenguaje y la tecnología evolucionan con el tiempo, lo que hace que los datos antiguos no sean adecuados para entrenar modelos que necesitan comprender las dinámicas actuales.
Por lo tanto, la solución no es simplemente mirar al pasado, sino encontrar maneras de filtrar el contenido generado por IA y asegurarse de que los datos de entrenamiento sean genuinamente humanos.
Impactos en la diversidad y los sesgos
Los modelos de lenguaje ya tienen dificultades para representar con precisión a grupos marginados o minoritarios, y el uso de datos generados por IA podría empeorar esta situación.
A medida que los modelos pierden la capacidad de captar los extremos de la distribución de datos, también pierden la capacidad de representar adecuadamente a personas y experiencias que se encuentran fuera de lo que los algoritmos consideran “normales” o frecuentes.
Este es un problema especialmente grave en contextos sensibles como la medicina, la justicia penal o la contratación laboral, donde las decisiones basadas en IA pueden tener consecuencias directas en la vida de las personas.
Si los modelos de IA se entrenan en datos contaminados que no representan adecuadamente a la sociedad en su conjunto, podrían tomar decisiones más sesgadas, amplificando las desigualdades existentes.
El colapso no es inevitable, pero será difícil
Para evitar el colapso de modelos, los investigadores están explorando varias soluciones. Una de ellas es la creación de conjuntos de datos curados y estandarizados, donde los humanos verifiquen que el contenido no ha sido generado por IA.
Estos conjuntos de datos “limpios” podrían ser compartidos abiertamente entre desarrolladores de IA, asegurando que los modelos se entrenen con datos genuinos y diversos.
Otra opción es desarrollar herramientas que puedan identificar si un contenido ha sido generado por IA o no. Aunque esta tecnología aún está en sus primeras etapas, sería un avance crucial para filtrar los datos y prevenir la contaminación en el entrenamiento de futuros modelos.
¿Se comerán las IAs a sí mismas?
El uso de datos generados por IA para entrenar nuevos modelos puede parecer una solución eficiente y económica, pero plantea serios riesgos para el futuro de la inteligencia artificial.
El colapso de modelos es un fenómeno real que amenaza con deteriorar la precisión, la diversidad y la utilidad de los modelos generativos.
Si queremos que la inteligencia artificial continúe avanzando de manera beneficiosa, es fundamental que abordemos estos problemas, asegurando que los datos de entrenamiento sean lo más representativos y “humanos” posible.
Solo así podremos evitar que las IAs “se coman a sí mismas” y mantener la confianza en esta tecnología revolucionaria.