A questo punto della storia umana, è chiaro che l’intelligenza artificiale (AI), così come i modelli linguistici di grandi dimensioni (LLM), sono qui per restare.
Modelli come GPT-3, GPT-4 e Stable Diffusion hanno reso semplice la creazione di testo, immagini e musica con pochi comandi, trasformando interi settori come l’intrattenimento, l’istruzione e il marketing.
Tuttavia, questa proliferazione di contenuti generati dall’intelligenza artificiale ha portato con sé un problema su cui molti ricercatori stanno già mettendo in guardia: addestrare nuove IA con dati generati da altre IA potrebbe portare a errori cumulativi.
Questo fenomeno è noto come “collasso dei modelli” e, secondo gli esperti, può deteriorare la qualità dei modelli e compromettere seriamente il futuro dell’intelligenza artificiale.
Il pericolo dei dati “sintetici”.
Sono necessari grandi volumi di dati per addestrare efficacemente l’intelligenza artificiale (AI), soprattutto nel caso di modelli avanzati come le reti neurali profonde o i modelli linguistici su larga scala (LLM).
La ragione principale è che questi modelli devono apprendere modelli complessi e generalizzare la conoscenza dai dati e per farlo richiedono un’ampia gamma di esempi.
Alcuni di questi dati possono essere ottenuti da Internet e da grandi database pubblici e privati. Mentre altri dati possono essere generati artificialmente.
Questi set di dati sintetici vengono generati tramite algoritmi o simulazioni anziché essere raccolti direttamente dal mondo reale.
Questo tipo di dati “sintetici” è diventato sempre più popolare nella ricerca e nello sviluppo di modelli di machine learning e intelligenza artificiale (AI) per diversi motivi.
Questi includono la scarsità o inaccessibilità di dati reali, problemi di privacy e la necessità di avere set di dati controllati.
Cos’è il collasso del modello?
Il termine “collasso del modello” descrive il progressivo deterioramento delle intelligenze artificiali addestrate con dati generati da altre IA.
Man mano che sempre più contenuti generati dall’intelligenza artificiale iniziano a inondare Internet, nuovi modelli, che fanno molto affidamento sui dati disponibili online, potrebbero finire per addestrarsi su dati che non sono stati prodotti dagli esseri umani, ma dai loro predecessori generativi.
Secondo una ricerca di Ilia Shumailov e dei suoi colleghi, pubblicata sulla rivista “Nature” nel luglio di quest’anno, questo processo può portare a una degenerazione irreversibile dei modelli.
Perché i modelli collassano?
Il problema è che quando un’intelligenza artificiale viene addestrata con contenuti generati da un’altra intelligenza artificiale, inizia a perdere precisione e variabilità.
Ciò colpisce soprattutto gli “estremi” della distribuzione dei dati, cioè quegli esempi meno comuni o quelli che rappresentano situazioni rare nella realtà.
Nel tempo, questi estremi scompaiono, determinando una perdita di diversità nei dati e una convergenza verso una distribuzione molto limitata e prevedibile.
Shumailov e il suo team hanno dimostrato questo processo di collasso in diversi tipi di modelli, inclusi modelli di linguaggio di grandi dimensioni (LLM), modelli di miscela gaussiana (GMM) e autoencoder variazionali (VAE).
In ogni caso, hanno osservato che le generazioni successive di intelligenza artificiale diventavano meno precise, al punto da produrre risultati incoerenti o assurdi.
Il rischio di addestrare l’IA con dati contaminati
Uno dei principali pericoli dell’addestramento dell’IA con dati generati da altre IA è che questi dati sono contaminati da errori che si accumulano ad ogni generazione. Ad esempio, possiamo immaginare un’intelligenza artificiale addestrata principalmente su testi generati da GPT-4.
Se una nuova versione di GPT (ad esempio GPT-5) viene addestrata utilizzando in gran parte testi provenienti da GPT-4, tali testi conterranno errori sottili che il suo successore erediterà e amplificherà.
Nel corso del tempo, questi errori non solo si propagheranno, ma finiranno per corrompere la capacità dell’intelligenza artificiale di generare risposte accurate e utili.
Questo è ciò che Shumailov e i suoi colleghi chiamano “collasso tardivo del modello”, un punto in cui il modello si discosta così tanto dalla realtà da perdere ogni connessione con la distribuzione originale dei dati umani.
Uno studio condotto da Sarkar e altri ricercatori a Edimburgo e Madrid ha mostrato un fenomeno simile nei modelli di diffusione delle immagini.
Addestrando ripetutamente un modello con dati generati da altre versioni dello stesso modello, le immagini risultanti diventavano progressivamente più sfocate e irriconoscibili.
Alla terza generazione, le immagini di fiori o uccelli, che all’inizio erano chiare e definite, si erano trasformate in sfocature astratte senza significato.
L’analogia con “l’era nucleare” e l’acciaio
Il fenomeno del collasso del modello è stato paragonato a un problema storico del XX secolo: la contaminazione dell’acciaio da parte delle radiazioni nucleari.
Dopo la seconda guerra mondiale, i test nucleari rilasciarono particelle radioattive nell’atmosfera, contaminando l’acciaio successivamente prodotto.
Per le applicazioni sensibili alle radiazioni come i contatori Geiger, l’acciaio moderno non era più utile e gli scienziati dovettero ricorrere all’acciaio delle navi affondate prima dell’era nucleare per ottenere un materiale “pulito”.
I dati “pre-AI” saranno preziosi
Allo stesso modo, alcuni ricercatori ritengono che in futuro sarà necessario utilizzare dati “pre-AI” per addestrare modelli che non siano contaminati da contenuti generati da altre intelligenze artificiali.
Tuttavia, a differenza dell’acciaio, i dati non possono essere semplicemente “riciclati” dal passato. Come sottolinea il ricercatore Ilia Shumailov, i dati storici, sebbene utili in alcuni casi, non riflettono il mondo in costante cambiamento.
Le norme sociali, il linguaggio e la tecnologia si evolvono nel tempo, rendendo i vecchi dati inadatti ai modelli di training che devono comprendere le dinamiche attuali.
Pertanto, la soluzione non è semplicemente guardare al passato, ma trovare modi per filtrare i contenuti generati dall’intelligenza artificiale e garantire che i dati di addestramento siano genuinamente umani.
Impatti sulla diversità e sui pregiudizi
I modelli linguistici hanno già difficoltà a rappresentare accuratamente i gruppi emarginati o minoritari e l’uso di dati generati dall’intelligenza artificiale potrebbe peggiorare la situazione.
Poiché i modelli perdono la capacità di catturare gli estremi della distribuzione dei dati, perdono anche la capacità di rappresentare adeguatamente persone ed esperienze che non rientrano in ciò che gli algoritmi considerano “normale” o frequente.
Questo è un problema particolarmente serio in contesti sensibili come la medicina, la giustizia penale o il reclutamento di lavoratori, dove le decisioni basate sull’intelligenza artificiale possono avere conseguenze dirette sulla vita delle persone.
Se i modelli di intelligenza artificiale fossero addestrati su dati contaminati che non rappresentano adeguatamente la società nel suo insieme, potrebbero prendere decisioni più distorte, amplificando le disuguaglianze esistenti.
Il collasso non è inevitabile, ma sarà difficile
Per prevenire il collasso del modello, i ricercatori stanno esplorando diverse soluzioni. Uno di questi è la creazione di set di dati curati e standardizzati, in cui gli esseri umani verificano che il contenuto non sia stato generato dall’intelligenza artificiale.
Questi set di dati “puliti” potrebbero essere condivisi apertamente tra gli sviluppatori di intelligenza artificiale, garantendo che i modelli siano addestrati con dati autentici e diversificati.
Un’altra opzione è sviluppare strumenti in grado di identificare se il contenuto è stato generato dall’intelligenza artificiale o meno. Sebbene questa tecnologia sia ancora nelle fasi iniziali, rappresenterebbe un progresso cruciale nel filtraggio dei dati e nella prevenzione della contaminazione nell’addestramento dei modelli futuri.
Le IA si mangeranno?
L’utilizzo dei dati generati dall’intelligenza artificiale per addestrare nuovi modelli può sembrare una soluzione efficiente ed economica, ma comporta seri rischi per il futuro dell’intelligenza artificiale.
El colapso de modelos es un fenómeno real que amenaza con deteriorar la precisión, la diversidad y la utilidad de los modelos generativos.
Si queremos que la inteligencia artificial continúe avanzando de manera beneficiosa, es fundamental que abordemos estos problemas, asegurando que los datos de entrenamiento sean lo más representativos y “humanos” posible.
Solo así podremos evitar que las IAs “se coman a sí mismas” y mantener la confianza en esta tecnología revolucionaria.
This post is also available in: