À ce stade de l’histoire de l’humanité, il est clair que l’intelligence artificielle (IA), tout comme les grands modèles linguistiques (LLM), sont là pour rester.
Des modèles tels que GPT-3, GPT-4 et Stable Diffusion ont facilité la création de texte, d’images et de musique avec seulement quelques invites, transformant ainsi des secteurs entiers tels que le divertissement, l’éducation et le marketing.
Cependant, cette prolifération de contenus générés par l’IA a entraîné un problème contre lequel de nombreux chercheurs mettent déjà en garde : entraîner de nouvelles IA avec des données générées par d’autres IA pourrait conduire à des erreurs cumulatives.
Ce phénomène est connu sous le nom d’« effondrement des modèles » et, selon les experts, il peut détériorer la qualité des modèles et compromettre sérieusement l’avenir de l’intelligence artificielle.
Le danger des données « synthétiques »
De grands volumes de données sont nécessaires pour entraîner efficacement l’intelligence artificielle (IA), en particulier dans le cas de modèles avancés tels que les réseaux neuronaux profonds ou les modèles linguistiques à grande échelle (LLM).
La raison principale est que ces modèles doivent apprendre des modèles complexes et généraliser les connaissances à partir de données, et pour ce faire, ils nécessitent un large éventail d’exemples.
Certaines de ces données peuvent être obtenues sur Internet et à partir de grandes bases de données publiques et privées. Alors que d’autres données peuvent être générées artificiellement.
Ces ensembles de données synthétiques sont générés par des algorithmes ou des simulations plutôt que d’être collectés directement à partir du monde réel.
Ce type de données « synthétiques » est devenu de plus en plus populaire dans la recherche et le développement de modèles d’apprentissage automatique et d’intelligence artificielle (IA) pour plusieurs raisons.
Ceux-ci incluent la rareté ou l’inaccessibilité des données réelles, les problèmes de confidentialité et la nécessité de disposer d’ensembles de données contrôlés.
Qu’est-ce que l’effondrement du modèle ?
Le terme « effondrement du modèle » décrit la détérioration progressive des intelligences artificielles entraînées avec des données générées par d’autres IA.
Alors que de plus en plus de contenus générés par l’IA commencent à inonder Internet, de nouveaux modèles, qui s’appuient fortement sur les données disponibles en ligne, pourraient finir par s’entraîner sur des données qui n’ont pas été produites par des humains, mais par leurs prédécesseurs génératifs.
Selon les recherches d’Ilia Shumailov et de ses collègues, publiées dans la revue Nature en juillet de cette année, ce processus peut conduire à une dégénérescence irréversible des modèles.
Pourquoi les modèles s’effondrent-ils ?
Le problème est que lorsqu’une IA est entraînée avec du contenu généré par une autre IA, elle commence à perdre en précision et en variabilité.
Cela affecte particulièrement les « extrêmes » de la distribution des données, c’est-à-dire les exemples les moins courants ou ceux qui représentent des situations rares dans la réalité.
Au fil du temps, ces extrêmes disparaissent, entraînant une perte de diversité des données et une convergence vers une distribution très limitée et prévisible.
Shumailov et son équipe ont démontré ce processus d’effondrement dans plusieurs types de modèles, notamment les grands modèles de langage (LLM), les modèles de mélange gaussien (GMM) et les auto-encodeurs variationnels (VAE).
Dans chaque cas, ils ont vu les générations successives d’IA devenir moins précises, au point de produire des résultats incohérents ou absurdes.
Le risque d’entraîner l’IA avec des données contaminées
L’un des principaux dangers de l’entraînement de l’IA avec des données générées par d’autres IA est que ces données sont contaminées par des erreurs qui s’accumulent à chaque génération. A titre d’exemple, on peut imaginer une IA qui aurait été entraînée principalement sur des textes générés par GPT-4.
Si une nouvelle version de GPT (par exemple GPT-5) est formée en utilisant en grande partie des textes provenant de GPT-4, ces textes contiendront des erreurs subtiles dont son successeur héritera et amplifiera.
Au fil du temps, ces erreurs non seulement se propageront, mais finiront par corrompre la capacité de l’IA à générer des réponses précises et utiles.
C’est ce que Shumailov et ses collègues ont appelé « l’effondrement tardif du modèle », un point auquel le modèle s’écarte tellement de la réalité qu’il perd tout lien avec la distribution originale des données humaines.
Une étude réalisée par Sarkar et d’autres chercheurs à Édimbourg et Madrid a montré un phénomène similaire dans les modèles de diffusion d’images.
En entraînant à plusieurs reprises un modèle avec des données générées par d’autres versions du même modèle, les images résultantes sont devenues progressivement plus floues et méconnaissables.
À la troisième génération, les images de fleurs ou d’oiseaux, au début claires et définies, se sont transformées en flous abstraits dénués de sens.
L’analogie avec « l’ère nucléaire » et l’acier
Le phénomène d’effondrement des modèles a été comparé à un problème historique du XXe siècle : la contamination de l’acier par les radiations nucléaires.
Après la Seconde Guerre mondiale, les essais nucléaires ont libéré des particules radioactives dans l’atmosphère, contaminant l’acier fabriqué par la suite.
Pour les applications sensibles aux radiations telles que les compteurs Geiger, l’acier moderne n’était plus utile, et les scientifiques ont dû se tourner vers l’acier provenant de navires coulés avant l’ère nucléaire pour obtenir un matériau « propre ».
Les données « pré-IA » seront précieuses
De même, certains chercheurs estiment qu’à l’avenir il sera nécessaire d’utiliser des données « pré-IA » pour entraîner des modèles qui ne soient pas contaminés par des contenus générés par d’autres intelligences artificielles.
Cependant, contrairement à l’acier, les données ne peuvent pas être simplement « recyclées » du passé. Comme le souligne le chercheur Ilia Shumailov, les données historiques, bien qu’utiles dans certains cas, ne reflètent pas un monde en constante évolution.
Les normes sociales, le langage et la technologie évoluent avec le temps, rendant les anciennes données inadaptées aux modèles de formation qui doivent comprendre la dynamique actuelle.
Par conséquent, la solution ne consiste pas simplement à regarder vers le passé, mais à trouver des moyens de filtrer le contenu généré par l’IA et de garantir que les données d’entraînement sont véritablement humaines.
Impacts sur la diversité et les préjugés
Les modèles linguistiques ont déjà du mal à représenter avec précision les groupes marginalisés ou minoritaires, et l’utilisation de données générées par l’IA pourrait aggraver cette situation.
À mesure que les modèles perdent la capacité de capturer les extrêmes de la distribution des données, ils perdent également la capacité de représenter de manière adéquate les personnes et les expériences qui ne correspondent pas à ce que les algorithmes considèrent comme « normaux » ou fréquents.
Il s’agit d’un problème particulièrement grave dans des contextes sensibles tels que la médecine, la justice pénale ou le recrutement de main-d’œuvre, où les décisions basées sur l’IA peuvent avoir des conséquences directes sur la vie des personnes.
Si les modèles d’IA sont formés sur des données corrompues qui ne représentent pas adéquatement la société dans son ensemble, ils pourraient prendre des décisions plus biaisées, amplifiant ainsi les inégalités existantes.
L’effondrement n’est pas inévitable, mais il sera difficile
Pour éviter l’effondrement du modèle, les chercheurs explorent plusieurs solutions. L’une d’elles est la création d’ensembles de données organisés et standardisés, dans lesquels les humains vérifient que le contenu n’a pas été généré par l’IA.
Ces ensembles de données « propres » pourraient être partagés ouvertement entre les développeurs d’IA, garantissant ainsi que les modèles sont formés avec des données authentiques et diverses.
Une autre option consiste à développer des outils permettant d’identifier si le contenu a été généré par l’IA ou non. Bien que cette technologie en soit encore à ses débuts, elle constituerait une avancée cruciale pour filtrer les données et prévenir la contamination lors de la formation des futurs modèles.
Les IA vont-elles se manger elles-mêmes ?
Utiliser les données générées par l’IA pour entraîner de nouveaux modèles peut sembler une solution efficace et peu coûteuse, mais cela présente de sérieux risques pour l’avenir de l’intelligence artificielle.
L’effondrement des modèles est un phénomène réel qui menace de détériorer la précision, la diversité et l’utilité des modèles génératifs.
Si nous voulons que l’intelligence artificielle continue de progresser de manière bénéfique, il est essentiel que nous résolvions ces problèmes, en veillant à ce que les données d’entraînement soient aussi représentatives et « humaines » que possible.
Ce n’est qu’ainsi que nous pourrons empêcher les IA de « se manger elles-mêmes » et maintenir la confiance dans cette technologie révolutionnaire.
This post is also available in: