A questo punto della storia umana, \u00e8 chiaro che l\u2019intelligenza artificiale (AI), cos\u00ec come i modelli linguistici di grandi dimensioni (LLM), sono qui per restare.<\/p>\n
Modelli come GPT-3, GPT-4 e Stable Diffusion hanno reso semplice la creazione di testo, immagini e musica con pochi comandi, trasformando interi settori come l’intrattenimento, l’istruzione e il marketing.<\/p>\n
Tuttavia, questa proliferazione di contenuti generati dall\u2019intelligenza artificiale ha portato con s\u00e9 un problema su cui molti ricercatori stanno gi\u00e0 mettendo in guardia: addestrare nuove IA con dati generati da altre IA potrebbe portare a errori cumulativi<\/strong>.<\/p>\n Questo fenomeno \u00e8 noto come \u201ccollasso dei modelli\u201d e, secondo gli esperti, pu\u00f2 deteriorare la qualit\u00e0 dei modelli e compromettere seriamente il futuro dell\u2019intelligenza artificiale.<\/p>\n Sono necessari grandi volumi di dati per addestrare efficacemente l\u2019intelligenza artificiale (AI), soprattutto nel caso di modelli avanzati come le reti neurali profonde o i modelli linguistici su larga scala (LLM).<\/p>\n La ragione principale \u00e8 che questi modelli devono apprendere modelli complessi e generalizzare la conoscenza<\/strong> dai dati e per farlo richiedono un\u2019ampia gamma di esempi.<\/p>\n Alcuni di questi dati possono essere ottenuti da Internet e da grandi database pubblici e privati. Mentre altri dati possono essere generati artificialmente.<\/p>\n Questi set di dati sintetici<\/strong> vengono generati tramite algoritmi o simulazioni anzich\u00e9 essere raccolti direttamente dal mondo reale.<\/p>\n Questo tipo di dati \u201csintetici\u201d \u00e8 diventato sempre pi\u00f9 popolare nella ricerca e nello sviluppo di modelli di machine learning e intelligenza artificiale (AI) per diversi motivi.<\/p>\n Questi includono la scarsit\u00e0 o inaccessibilit\u00e0 di dati reali<\/strong>, problemi di privacy e la necessit\u00e0 di avere set di dati controllati.<\/p>\n Il termine \u201ccollasso del modello\u201d descrive il progressivo deterioramento delle intelligenze artificiali addestrate con dati generati da altre IA<\/strong>.<\/p>\n Man mano che sempre pi\u00f9 contenuti generati dall\u2019intelligenza artificiale iniziano a inondare Internet, nuovi modelli, che fanno molto affidamento sui dati disponibili online, potrebbero finire per addestrarsi su dati che non sono stati prodotti dagli esseri umani, ma dai loro predecessori generativi.<\/p>\n Secondo una ricerca di Ilia Shumailov e dei suoi colleghi, pubblicata sulla rivista \u201cNature\u201d nel luglio di quest\u2019anno, questo processo pu\u00f2 portare a una degenerazione irreversibile dei modelli.<\/p>\n Il problema \u00e8 che quando un’intelligenza artificiale viene addestrata con contenuti generati da un’altra intelligenza artificiale, inizia a perdere precisione e variabilit\u00e0<\/strong>.<\/p>\n Ci\u00f2 colpisce soprattutto gli \u201cestremi\u201d della distribuzione dei dati, cio\u00e8 quegli esempi meno comuni o quelli che rappresentano situazioni rare nella realt\u00e0.<\/p>\n Nel tempo, questi estremi scompaiono, determinando una perdita di diversit\u00e0 nei dati e una convergenza verso una distribuzione molto limitata e prevedibile.<\/p>\n Shumailov e il suo team hanno dimostrato questo processo di collasso<\/strong> in diversi tipi di modelli, inclusi modelli di linguaggio di grandi dimensioni (LLM), modelli di miscela gaussiana (GMM) e autoencoder variazionali (VAE).<\/p>\n In ogni caso, hanno osservato che le generazioni successive di intelligenza artificiale diventavano meno precise, al punto da produrre risultati incoerenti o assurdi.<\/p>\n Uno dei principali pericoli dell\u2019addestramento dell\u2019IA con dati generati da altre IA \u00e8 che questi dati sono contaminati da errori che si accumulano ad ogni generazione. Ad esempio, possiamo immaginare un’intelligenza artificiale addestrata principalmente su testi generati da GPT-4.<\/p>\n Se una nuova versione di GPT (ad esempio GPT-5) viene addestrata utilizzando in gran parte testi provenienti da GPT-4, tali testi conterranno errori sottili che il suo successore erediter\u00e0 e amplificher\u00e0. <\/strong><\/p>\n Nel corso del tempo, questi errori non solo si propagheranno, ma finiranno per corrompere la capacit\u00e0 dell’intelligenza artificiale di generare risposte accurate e utili<\/strong>.<\/p>\n Questo \u00e8 ci\u00f2 che Shumailov e i suoi colleghi chiamano \u201ccollasso tardivo del modello\u201d, un punto in cui il modello si discosta cos\u00ec tanto dalla realt\u00e0 da perdere ogni connessione con la distribuzione originale dei dati umani.<\/p>\n Uno studio condotto da Sarkar e altri ricercatori a Edimburgo e Madrid ha mostrato un fenomeno simile nei modelli di diffusione delle immagini.<\/p>\n Addestrando ripetutamente un modello con dati generati da altre versioni dello stesso modello, le immagini risultanti diventavano progressivamente pi\u00f9 sfocate<\/strong> e irriconoscibili.<\/p>\n Alla terza generazione, le immagini di fiori o uccelli, che all’inizio erano chiare e definite, si erano trasformate in sfocature astratte senza significato.<\/p>\n Il fenomeno del collasso del modello \u00e8 stato paragonato a un problema storico del XX secolo: la contaminazione dell’acciaio da parte delle radiazioni nucleari.<\/p>\n Dopo la seconda guerra mondiale, i test nucleari rilasciarono particelle radioattive nell\u2019atmosfera, contaminando l\u2019acciaio successivamente prodotto.<\/p>\n Per le applicazioni sensibili alle radiazioni come i contatori Geiger, l\u2019acciaio moderno non era pi\u00f9 utile e gli scienziati dovettero ricorrere all\u2019acciaio delle navi affondate prima dell\u2019era nucleare per ottenere un materiale \u201cpulito\u201d<\/strong>.<\/p>\n Allo stesso modo, alcuni ricercatori ritengono che in futuro sar\u00e0 necessario utilizzare dati \u201cpre-AI\u201d per addestrare modelli che non siano contaminati da contenuti generati da altre intelligenze artificiali.<\/p>\n Tuttavia, a differenza dell\u2019acciaio, i dati non possono essere semplicemente \u201criciclati\u201d dal passato<\/strong>. Come sottolinea il ricercatore Ilia Shumailov, i dati storici, sebbene utili in alcuni casi, non riflettono il mondo in costante cambiamento.<\/p>\n Le norme sociali, il linguaggio e la tecnologia si evolvono nel tempo, rendendo i vecchi dati inadatti ai modelli di training che devono comprendere le dinamiche attuali.<\/p>\n Pertanto, la soluzione non \u00e8 semplicemente guardare al passato<\/strong>, ma trovare modi per filtrare i contenuti generati dall\u2019intelligenza artificiale e garantire che i dati di addestramento siano genuinamente umani.<\/p>\n I modelli linguistici hanno gi\u00e0 difficolt\u00e0 a rappresentare accuratamente i gruppi emarginati o minoritari e l\u2019uso di dati generati dall\u2019intelligenza artificiale potrebbe peggiorare la situazione.<\/p>\n Poich\u00e9 i modelli perdono la capacit\u00e0 di catturare gli estremi della distribuzione dei dati, perdono anche la capacit\u00e0 di rappresentare adeguatamente persone ed esperienze che non rientrano in ci\u00f2 che gli algoritmi considerano \u201cnormale\u201d<\/strong> o frequente.<\/p>\n Questo \u00e8 un problema particolarmente serio in contesti sensibili come la medicina, la giustizia penale o il reclutamento di lavoratori, dove le decisioni basate sull\u2019intelligenza artificiale possono avere conseguenze dirette sulla vita delle persone.<\/p>\n Se i modelli di intelligenza artificiale fossero addestrati su dati contaminati che non rappresentano adeguatamente la societ\u00e0 nel suo insieme, potrebbero prendere decisioni pi\u00f9 distorte<\/strong>, amplificando le disuguaglianze esistenti.<\/p>\n Per prevenire il collasso del modello, i ricercatori stanno esplorando diverse soluzioni. Uno di questi \u00e8 la creazione di set di dati curati e standardizzati, in cui gli esseri umani verificano che il contenuto non sia stato generato dall\u2019intelligenza artificiale.<\/p>\n Questi set di dati \u201cpuliti\u201d potrebbero essere condivisi apertamente tra gli sviluppatori di intelligenza artificiale, garantendo che i modelli siano addestrati con dati autentici e diversificati.<\/strong><\/p>\n Un\u2019altra opzione \u00e8 sviluppare strumenti in grado di identificare se il contenuto \u00e8 stato generato dall\u2019intelligenza artificiale o meno. Sebbene questa tecnologia sia ancora nelle fasi iniziali, rappresenterebbe un progresso cruciale nel filtraggio dei dati e nella prevenzione della contaminazione nell\u2019addestramento dei modelli futuri.<\/p>\n L\u2019utilizzo dei dati generati dall\u2019intelligenza artificiale per addestrare nuovi modelli pu\u00f2 sembrare una soluzione efficiente ed economica, ma comporta seri rischi per il futuro dell\u2019intelligenza artificiale.<\/p>\n El colapso de modelos es un fen\u00f3meno real<\/strong> que amenaza con deteriorar la precisi\u00f3n, la diversidad y la utilidad de los modelos generativos.<\/p>\n Si queremos que la inteligencia artificial contin\u00fae avanzando de manera beneficiosa, es fundamental que abordemos estos problemas, asegurando que los datos de entrenamiento sean lo m\u00e1s representativos y \u201chumanos\u201d posible<\/strong>.<\/p>\n Solo as\u00ed podremos evitar que las IAs \u201cse coman a s\u00ed mismas\u201d y mantener la confianza en esta tecnolog\u00eda revolucionaria.<\/p>\n","protected":false},"excerpt":{"rendered":" A questo punto della storia umana, \u00e8 chiaro che l\u2019intelligenza artificiale (AI), cos\u00ec come i modelli linguistici di grandi dimensioni (LLM), sono qui per restare. Modelli come GPT-3, GPT-4 e Stable Diffusion hanno reso semplice la creazione di testo, immagini e musica con pochi comandi, trasformando interi settori come l’intrattenimento, l’istruzione e il marketing. Tuttavia, […]<\/p>\n","protected":false},"author":9,"featured_media":15067,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_uag_custom_page_level_css":"","_thinkrank_schema_form_data":"","_thinkrank_selected_schema_type":"","_thinkrank_additional_schemas":"","_thinkrank_canonical_url":"","_thinkrank_og_title":"","_thinkrank_og_description":"","_thinkrank_og_image":"","_thinkrank_twitter_title":"","_thinkrank_twitter_description":"","_thinkrank_twitter_image":"","_thinkrank_imported_from":"","_thinkrank_focus_keywords":[],"_thinkrank_focus_keyword":"","_thinkrank_robots_meta_enabled":0,"_thinkrank_robots_meta":"","_thinkrank_advanced_robots_meta":"","_thinkrank_exclude_from_search":0,"_thinkrank_exclude_from_archives":0,"_thinkrank_primary_category":0,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[716],"tags":[],"class_list":["post-26314","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-intelligenza-artificiale"],"uagb_featured_image_src":{"full":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia.jpg",1344,768,false],"thumbnail":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia-150x150.jpg",150,150,true],"medium":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia-300x171.jpg",300,171,true],"medium_large":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia-768x439.jpg",768,439,true],"large":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia-1024x585.jpg",1024,585,true],"1536x1536":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia-1536x878.jpg",1536,878,true],"2048x2048":["https:\/\/comunicagenia.com\/wp-content\/uploads\/2024\/10\/colapso-entrenar-ias-con-otras-ia.jpg",1344,768,false]},"uagb_author_info":{"display_name":"marketing","author_link":"https:\/\/comunicagenia.com\/it\/blog\/author\/marketing\/"},"uagb_comment_info":0,"uagb_excerpt":"A questo punto della storia umana, \u00e8 chiaro che l\u2019intelligenza artificiale (AI), cos\u00ec come i modelli linguistici di grandi dimensioni (LLM), sono qui per restare. Modelli come GPT-3, GPT-4 e Stable Diffusion hanno reso semplice la creazione di testo, immagini e musica con pochi comandi, trasformando interi settori come l’intrattenimento, l’istruzione e il marketing. Tuttavia,…","_links":{"self":[{"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/posts\/26314","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/comments?post=26314"}],"version-history":[{"count":0,"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/posts\/26314\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/media\/15067"}],"wp:attachment":[{"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/media?parent=26314"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/categories?post=26314"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/comunicagenia.com\/it\/wp-json\/wp\/v2\/tags?post=26314"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Il pericolo dei dati \u201csintetici\u201d.<\/h2>\n
Cos’\u00e8 il collasso del modello?<\/h2>\n
Perch\u00e9 i modelli collassano?<\/h3>\n
Il rischio di addestrare l’IA con dati contaminati<\/h2>\n
L’analogia con \u201cl’era nucleare\u201d e l’acciaio<\/h2>\n
I dati \u201cpre-AI\u201d saranno preziosi<\/h3>\n
Impatti sulla diversit\u00e0 e sui pregiudizi<\/h2>\n
Il collasso non \u00e8 inevitabile, ma sar\u00e0 difficile<\/h2>\n
Le IA si mangeranno?<\/h2>\n