\u00c0 ce stade de l\u2019histoire de l\u2019humanit\u00e9, il est clair que l\u2019intelligence artificielle (IA), tout comme les grands mod\u00e8les linguistiques (LLM), sont l\u00e0 pour rester.<\/p>\n
Des mod\u00e8les tels que GPT-3, GPT-4 et Stable Diffusion ont facilit\u00e9 la cr\u00e9ation de texte, d’images et de musique avec seulement quelques invites, transformant ainsi des secteurs entiers tels que le divertissement, l’\u00e9ducation et le marketing.<\/p>\n
Cependant, cette prolif\u00e9ration de contenus g\u00e9n\u00e9r\u00e9s par l’IA a entra\u00een\u00e9 un probl\u00e8me contre lequel de nombreux chercheurs mettent d\u00e9j\u00e0 en garde\u00a0: entra\u00eener de nouvelles IA avec des donn\u00e9es g\u00e9n\u00e9r\u00e9es par d’autres IA pourrait conduire \u00e0 des erreurs cumulatives<\/strong>.<\/p>\n Ce ph\u00e9nom\u00e8ne est connu sous le nom d\u2019\u00ab effondrement des mod\u00e8les \u00bb et, selon les experts, il peut d\u00e9t\u00e9riorer la qualit\u00e9 des mod\u00e8les et compromettre s\u00e9rieusement l\u2019avenir de l\u2019intelligence artificielle.<\/p>\n De grands volumes de donn\u00e9es sont n\u00e9cessaires pour entra\u00eener efficacement l\u2019intelligence artificielle (IA), en particulier dans le cas de mod\u00e8les avanc\u00e9s tels que les r\u00e9seaux neuronaux profonds ou les mod\u00e8les linguistiques \u00e0 grande \u00e9chelle (LLM).<\/p>\n La raison principale est que ces mod\u00e8les doivent apprendre des mod\u00e8les complexes et g\u00e9n\u00e9raliser les connaissances<\/strong> \u00e0 partir de donn\u00e9es, et pour ce faire, ils n\u00e9cessitent un large \u00e9ventail d’exemples.<\/p>\n Certaines de ces donn\u00e9es peuvent \u00eatre obtenues sur Internet et \u00e0 partir de grandes bases de donn\u00e9es publiques et priv\u00e9es. Alors que d\u2019autres donn\u00e9es peuvent \u00eatre g\u00e9n\u00e9r\u00e9es artificiellement.<\/p>\n Ces ensembles de donn\u00e9es synth\u00e9tiques<\/strong> sont g\u00e9n\u00e9r\u00e9s par des algorithmes ou des simulations plut\u00f4t que d’\u00eatre collect\u00e9s directement \u00e0 partir du monde r\u00e9el.<\/p>\n Ce type de donn\u00e9es \u00ab synth\u00e9tiques \u00bb est devenu de plus en plus populaire dans la recherche et le d\u00e9veloppement de mod\u00e8les d\u2019apprentissage automatique et d\u2019intelligence artificielle (IA) pour plusieurs raisons.<\/p>\n Ceux-ci incluent la raret\u00e9 ou l’inaccessibilit\u00e9 des donn\u00e9es r\u00e9elles<\/strong>, les probl\u00e8mes de confidentialit\u00e9 et la n\u00e9cessit\u00e9 de disposer d’ensembles de donn\u00e9es contr\u00f4l\u00e9s.<\/p>\n Le terme \u00ab effondrement du mod\u00e8le \u00bb d\u00e9crit la d\u00e9t\u00e9rioration progressive des intelligences artificielles entra\u00een\u00e9es avec des donn\u00e9es g\u00e9n\u00e9r\u00e9es par d’autres IA<\/strong>.<\/p>\n Alors que de plus en plus de contenus g\u00e9n\u00e9r\u00e9s par l\u2019IA commencent \u00e0 inonder Internet, de nouveaux mod\u00e8les, qui s\u2019appuient fortement sur les donn\u00e9es disponibles en ligne, pourraient finir par s\u2019entra\u00eener sur des donn\u00e9es qui n\u2019ont pas \u00e9t\u00e9 produites par des humains, mais par leurs pr\u00e9d\u00e9cesseurs g\u00e9n\u00e9ratifs.<\/p>\n Selon les recherches d’Ilia Shumailov et de ses coll\u00e8gues, publi\u00e9es dans la revue Nature en juillet de cette ann\u00e9e, ce processus peut conduire \u00e0 une d\u00e9g\u00e9n\u00e9rescence irr\u00e9versible des mod\u00e8les.<\/p>\n Le probl\u00e8me est que lorsqu’une IA est entra\u00een\u00e9e avec du contenu g\u00e9n\u00e9r\u00e9 par une autre IA, elle commence \u00e0 perdre en pr\u00e9cision et en variabilit\u00e9<\/strong>.<\/p>\n Cela affecte particuli\u00e8rement les \u00ab extr\u00eames \u00bb de la distribution des donn\u00e9es, c’est-\u00e0-dire les exemples les moins courants ou ceux qui repr\u00e9sentent des situations rares dans la r\u00e9alit\u00e9.<\/p>\n Au fil du temps, ces extr\u00eames disparaissent, entra\u00eenant une perte de diversit\u00e9 des donn\u00e9es et une convergence vers une distribution tr\u00e8s limit\u00e9e et pr\u00e9visible.<\/p>\n Shumailov et son \u00e9quipe ont d\u00e9montr\u00e9 ce processus d’effondrement<\/strong> dans plusieurs types de mod\u00e8les, notamment les grands mod\u00e8les de langage (LLM), les mod\u00e8les de m\u00e9lange gaussien (GMM) et les auto-encodeurs variationnels (VAE).<\/p>\n Dans chaque cas, ils ont vu les g\u00e9n\u00e9rations successives d\u2019IA devenir moins pr\u00e9cises, au point de produire des r\u00e9sultats incoh\u00e9rents ou absurdes.<\/p>\n L\u2019un des principaux dangers de l\u2019entra\u00eenement de l\u2019IA avec des donn\u00e9es g\u00e9n\u00e9r\u00e9es par d\u2019autres IA est que ces donn\u00e9es sont contamin\u00e9es par des erreurs qui s\u2019accumulent \u00e0 chaque g\u00e9n\u00e9ration. A titre d\u2019exemple, on peut imaginer une IA qui aurait \u00e9t\u00e9 entra\u00een\u00e9e principalement sur des textes g\u00e9n\u00e9r\u00e9s par GPT-4.<\/p>\n Si une nouvelle version de GPT (par exemple GPT-5) est form\u00e9e en utilisant en grande partie des textes provenant de GPT-4, ces textes contiendront des erreurs subtiles dont son successeur h\u00e9ritera et amplifiera. <\/strong><\/p>\n Au fil du temps, ces erreurs non seulement se propageront, mais finiront par corrompre la capacit\u00e9 de l’IA \u00e0 g\u00e9n\u00e9rer des r\u00e9ponses pr\u00e9cises et utiles<\/strong>.<\/p>\n C\u2019est ce que Shumailov et ses coll\u00e8gues ont appel\u00e9 \u00ab l\u2019effondrement tardif du mod\u00e8le \u00bb, un point auquel le mod\u00e8le s\u2019\u00e9carte tellement de la r\u00e9alit\u00e9 qu\u2019il perd tout lien avec la distribution originale des donn\u00e9es humaines.<\/p>\n Une \u00e9tude r\u00e9alis\u00e9e par Sarkar et d’autres chercheurs \u00e0 \u00c9dimbourg et Madrid a montr\u00e9 un ph\u00e9nom\u00e8ne similaire dans les mod\u00e8les de diffusion d’images.<\/p>\n En entra\u00eenant \u00e0 plusieurs reprises un mod\u00e8le avec des donn\u00e9es g\u00e9n\u00e9r\u00e9es par d’autres versions du m\u00eame mod\u00e8le, les images r\u00e9sultantes sont devenues progressivement plus floues<\/strong> et m\u00e9connaissables.<\/p>\n \u00c0 la troisi\u00e8me g\u00e9n\u00e9ration, les images de fleurs ou d\u2019oiseaux, au d\u00e9but claires et d\u00e9finies, se sont transform\u00e9es en flous abstraits d\u00e9nu\u00e9s de sens.<\/p>\n Le ph\u00e9nom\u00e8ne d’effondrement des mod\u00e8les a \u00e9t\u00e9 compar\u00e9 \u00e0 un probl\u00e8me historique du XXe si\u00e8cle : la contamination de l’acier par les radiations nucl\u00e9aires.<\/p>\n Apr\u00e8s la Seconde Guerre mondiale, les essais nucl\u00e9aires ont lib\u00e9r\u00e9 des particules radioactives dans l\u2019atmosph\u00e8re, contaminant l\u2019acier fabriqu\u00e9 par la suite.<\/p>\n Pour les applications sensibles aux radiations telles que les compteurs Geiger, l’acier moderne n’\u00e9tait plus utile, et les scientifiques ont d\u00fb se tourner vers l’acier provenant de navires coul\u00e9s avant l’\u00e8re nucl\u00e9aire pour obtenir un mat\u00e9riau \u00ab propre \u00bb<\/strong>.<\/p>\n De m\u00eame, certains chercheurs estiment qu\u2019\u00e0 l\u2019avenir il sera n\u00e9cessaire d\u2019utiliser des donn\u00e9es \u00ab pr\u00e9-IA \u00bb pour entra\u00eener des mod\u00e8les qui ne soient pas contamin\u00e9s par des contenus g\u00e9n\u00e9r\u00e9s par d\u2019autres intelligences artificielles.<\/p>\n Cependant, contrairement \u00e0 l\u2019acier, les donn\u00e9es ne peuvent pas \u00eatre simplement \u00ab recycl\u00e9es \u00bb du pass\u00e9<\/strong>. Comme le souligne le chercheur Ilia Shumailov, les donn\u00e9es historiques, bien qu\u2019utiles dans certains cas, ne refl\u00e8tent pas un monde en constante \u00e9volution.<\/p>\n Les normes sociales, le langage et la technologie \u00e9voluent avec le temps, rendant les anciennes donn\u00e9es inadapt\u00e9es aux mod\u00e8les de formation qui doivent comprendre la dynamique actuelle.<\/p>\n Par cons\u00e9quent, la solution ne consiste pas simplement \u00e0 regarder vers le pass\u00e9<\/strong>, mais \u00e0 trouver des moyens de filtrer le contenu g\u00e9n\u00e9r\u00e9 par l’IA et de garantir que les donn\u00e9es d’entra\u00eenement sont v\u00e9ritablement humaines.<\/p>\n Les mod\u00e8les linguistiques ont d\u00e9j\u00e0 du mal \u00e0 repr\u00e9senter avec pr\u00e9cision les groupes marginalis\u00e9s ou minoritaires, et l\u2019utilisation de donn\u00e9es g\u00e9n\u00e9r\u00e9es par l\u2019IA pourrait aggraver cette situation.<\/p>\n \u00c0 mesure que les mod\u00e8les perdent la capacit\u00e9 de capturer les extr\u00eames de la distribution des donn\u00e9es, ils perdent \u00e9galement la capacit\u00e9 de repr\u00e9senter de mani\u00e8re ad\u00e9quate les personnes et les exp\u00e9riences qui ne correspondent pas \u00e0 ce que les algorithmes consid\u00e8rent comme \u00ab normaux \u00bb<\/strong> ou fr\u00e9quents.<\/p>\n Il s’agit d’un probl\u00e8me particuli\u00e8rement grave dans des contextes sensibles tels que la m\u00e9decine, la justice p\u00e9nale ou le recrutement de main-d’\u0153uvre, o\u00f9 les d\u00e9cisions bas\u00e9es sur l’IA peuvent avoir des cons\u00e9quences directes sur la vie des personnes.<\/p>\n Si les mod\u00e8les d\u2019IA sont form\u00e9s sur des donn\u00e9es corrompues qui ne repr\u00e9sentent pas ad\u00e9quatement la soci\u00e9t\u00e9 dans son ensemble, ils pourraient prendre des d\u00e9cisions plus biais\u00e9es<\/strong>, amplifiant ainsi les in\u00e9galit\u00e9s existantes.<\/p>\n Pour \u00e9viter l\u2019effondrement du mod\u00e8le, les chercheurs explorent plusieurs solutions. L\u2019une d\u2019elles est la cr\u00e9ation d\u2019ensembles de donn\u00e9es organis\u00e9s et standardis\u00e9s, dans lesquels les humains v\u00e9rifient que le contenu n\u2019a pas \u00e9t\u00e9 g\u00e9n\u00e9r\u00e9 par l\u2019IA.<\/p>\n Ces ensembles de donn\u00e9es \u00ab\u00a0propres\u00a0\u00bb pourraient \u00eatre partag\u00e9s ouvertement entre les d\u00e9veloppeurs d’IA, garantissant ainsi que les mod\u00e8les sont form\u00e9s avec des donn\u00e9es authentiques et diverses.<\/strong><\/p>\n Une autre option consiste \u00e0 d\u00e9velopper des outils permettant d\u2019identifier si le contenu a \u00e9t\u00e9 g\u00e9n\u00e9r\u00e9 par l\u2019IA ou non. Bien que cette technologie en soit encore \u00e0 ses d\u00e9buts, elle constituerait une avanc\u00e9e cruciale pour filtrer les donn\u00e9es et pr\u00e9venir la contamination lors de la formation des futurs mod\u00e8les.<\/p>\n Utiliser les donn\u00e9es g\u00e9n\u00e9r\u00e9es par l\u2019IA pour entra\u00eener de nouveaux mod\u00e8les peut sembler une solution efficace et peu co\u00fbteuse, mais cela pr\u00e9sente de s\u00e9rieux risques pour l\u2019avenir de l\u2019intelligence artificielle.<\/p>\n L’effondrement des mod\u00e8les est un ph\u00e9nom\u00e8ne r\u00e9el<\/strong> qui menace de d\u00e9t\u00e9riorer la pr\u00e9cision, la diversit\u00e9 et l’utilit\u00e9 des mod\u00e8les g\u00e9n\u00e9ratifs.<\/p>\n Si nous voulons que l’intelligence artificielle continue de progresser de mani\u00e8re b\u00e9n\u00e9fique, il est essentiel que nous r\u00e9solvions ces probl\u00e8mes, en veillant \u00e0 ce que les donn\u00e9es d’entra\u00eenement soient aussi repr\u00e9sentatives et \u00ab humaines \u00bb que possible<\/strong>.<\/p>\n Ce n\u2019est qu\u2019ainsi que nous pourrons emp\u00eacher les IA de \u00ab se manger elles-m\u00eames \u00bb et maintenir la confiance dans cette technologie r\u00e9volutionnaire.<\/p>\n","protected":false},"excerpt":{"rendered":" \u00c0 ce stade de l\u2019histoire de l\u2019humanit\u00e9, il est clair que l\u2019intelligence artificielle (IA), tout comme les grands mod\u00e8les linguistiques (LLM), sont l\u00e0 pour rester. Des mod\u00e8les tels que GPT-3, GPT-4 et Stable Diffusion ont facilit\u00e9 la cr\u00e9ation de texte, d’images et de musique avec seulement quelques invites, transformant ainsi des secteurs entiers tels que […]<\/p>\n","protected":false},"author":9,"featured_media":15067,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_uag_custom_page_level_css":"","_thinkrank_schema_form_data":"","_thinkrank_selected_schema_type":"","_thinkrank_additional_schemas":"","_thinkrank_canonical_url":"","_thinkrank_og_title":"","_thinkrank_og_description":"","_thinkrank_og_image":"","_thinkrank_twitter_title":"","_thinkrank_twitter_description":"","_thinkrank_twitter_image":"","_thinkrank_imported_from":"","_thinkrank_focus_keywords":[],"_thinkrank_focus_keyword":"","_thinkrank_robots_meta_enabled":0,"_thinkrank_robots_meta":"","_thinkrank_advanced_robots_meta":"","_thinkrank_exclude_from_search":0,"_thinkrank_exclude_from_archives":0,"_thinkrank_primary_category":0,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[718],"tags":[],"class_list":["post-27292","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-intelligence-artificielle"],"uagb_featured_image_src":{"full":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia.jpg",1344,768,false],"thumbnail":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia-150x150.jpg",150,150,true],"medium":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia-300x171.jpg",300,171,true],"medium_large":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia-768x439.jpg",768,439,true],"large":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia-1024x585.jpg",1024,585,true],"1536x1536":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia-1536x878.jpg",1536,878,true],"2048x2048":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia.jpg",1344,768,false]},"uagb_author_info":{"display_name":"marketing","author_link":"https:\/\/comunicagenia.com\/fr\/blog\/author\/marketing\/"},"uagb_comment_info":0,"uagb_excerpt":"\u00c0 ce stade de l\u2019histoire de l\u2019humanit\u00e9, il est clair que l\u2019intelligence artificielle (IA), tout comme les grands mod\u00e8les linguistiques (LLM), sont l\u00e0 pour rester. Des mod\u00e8les tels que GPT-3, GPT-4 et Stable Diffusion ont facilit\u00e9 la cr\u00e9ation de texte, d’images et de musique avec seulement quelques invites, transformant ainsi des secteurs entiers tels que\u2026","_links":{"self":[{"href":"https:\/\/comunicagenia.com\/fr\/wp-json\/wp\/v2\/posts\/27292","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/comunicagenia.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/comunicagenia.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/comunicagenia.com\/fr\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/comunicagenia.com\/fr\/wp-json\/wp\/v2\/comments?post=27292"}],"version-history":[{"count":0,"href":"https:\/\/comunicagenia.com\/fr\/wp-json\/wp\/v2\/posts\/27292\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/comunicagenia.com\/fr\/wp-json\/wp\/v2\/media\/15067"}],"wp:attachment":[{"href":"https:\/\/comunicagenia.com\/fr\/wp-json\/wp\/v2\/media?parent=27292"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/comunicagenia.com\/fr\/wp-json\/wp\/v2\/categories?post=27292"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/comunicagenia.com\/fr\/wp-json\/wp\/v2\/tags?post=27292"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Le danger des donn\u00e9es \u00ab synth\u00e9tiques \u00bb<\/h2>\n
Qu’est-ce que l’effondrement du mod\u00e8le\u00a0?<\/h2>\n
Pourquoi les mod\u00e8les s’effondrent-ils\u00a0?<\/h3>\n
Le risque d’entra\u00eener l’IA avec des donn\u00e9es contamin\u00e9es<\/h2>\n
L\u2019analogie avec \u00ab l\u2019\u00e8re nucl\u00e9aire \u00bb et l\u2019acier<\/h2>\n
Les donn\u00e9es \u00ab pr\u00e9-IA \u00bb seront pr\u00e9cieuses<\/h3>\n
Impacts sur la diversit\u00e9 et les pr\u00e9jug\u00e9s<\/h2>\n
L’effondrement n’est pas in\u00e9vitable, mais il sera difficile<\/h2>\n
Les IA vont-elles se manger elles-m\u00eames ?<\/h2>\n