Per anni l’intelligenza artificiale generativa è stata uno spettacolo di innovazione. Modelli come ChatGPT, capaci di scrivere testi o risolvere problemi complessi, hanno segnato un prima e un dopo nell’interazione con le tecnologie.
Questo progresso sembrava inarrestabile, alimentato da una formula semplice: addestrare modelli sempre più grandi con più dati e più GPU. Tuttavia qualcosa è cambiato.
Oggi, voci influenti nel settore, come Ilya Sutskever, cofondatrice di OpenAI, avvertono che questo percorso sta raggiungendo il limite. I nuovi modelli migliorano appena rispetto ai precedenti, nonostante gli investimenti colossali.
Allora cosa c’è che non va? Ancora più importante, cosa verrà dopo? Scopri perché i modelli formativi di prima non sono più sufficienti e come il settore sta cercando una nuova direzione per continuare a innovare.
L’ascesa e i limiti dell’approccio tradizionale
L’addestramento dei modelli di intelligenza artificiale ha dato risultati spettacolari nell’ultimo decennio. Strumenti come GPT-3 e GPT-4 hanno stupito il mondo digitando come esseri umani, rispondendo a domande complesse ed eseguendo attività creative con grande fluidità.
Tuttavia, questo successo ha avuto un prezzo. Addestrare un modello con queste caratteristiche richiede tempo e risorse enormi. **
I laboratori dietro queste tecnologie investono decine di milioni di dollari e mesi di lavoro per completare un ciclo di formazione, senza alcuna garanzia che i risultati siano significativi.
Inoltre, man mano che i modelli crescevano, i profitti cominciavano a diminuire. I miglioramenti tra le generazioni di modelli hanno avuto un impatto minore, anche se i costi continuano ad aumentare.
Questo è noto come “rendimenti decrescenti”. Non è più sufficiente aggiungere più dati o potenza di calcolo. I modelli attuali stanno raggiungendo un limite prestazionale, e ciò che una volta era sorprendente ora sembra incrementale.
##Segnali di stagnazione nel settore
Nonostante l’intelligenza artificiale generativa abbia rivoluzionato interi settori, i segnali di stagnazione sono sempre più evidenti:
Pubblicazioni deludenti
Modelli come Orion di OpenAI o Gemini di Google, che in passato avrebbero suscitato grande entusiasmo, sono ora percepiti come piccoli progressi.
Secondo quanto riferito, questi strumenti offrono miglioramenti incrementali rispetto ai loro predecessori, ma non molto. Le aziende stanno rinviando i lanci per perfezionare i propri modelli, ma la verità è che l’impatto non è più così sorprendente.
Costi elevati e rendimenti decrescenti
La formazione di questi modelli rimane estremamente costosa e richiede molto tempo. Ogni ciclo può costare decine di milioni di dollari e richiedere mesi per essere completato, senza alcuna garanzia di successo.
Questo rischio elevato ha indotto le aziende a riconsiderare se l’approccio attuale sia sostenibile.
Cambiamenti di focus
Leader del settore, come Ilya Sutskever e Yann LeCun, concordano sul fatto che il metodo di ridimensionamento delle risorse è stato esaurito.
Ciò rafforza l’idea che l’industria debba trovare nuove strategie per superare i limiti attuali e mantenere l’innovazione in movimento.
La nuova direzione: modelli che ragionano
L’industria dell’intelligenza artificiale sta esplorando una nuova strada: modelli che “ragionano”. Ciò mira a migliorare la capacità dei modelli di analizzare le proprie risposte in tempo reale prima di fornirle, il che ne aumenterebbe la precisione.
Una tecnica chiave in questa strategia è il calcolo del tempo di test. A differenza della formazione tradizionale, questa tecnica consente al modello di valutare più opzioni durante l’inferenza e di scegliere la risposta più appropriata.
OpenAI, ad esempio, sta implementando questo approccio nel suo modello O1, che esamina e filtra le sue possibili risposte prima di fornirne una definitiva. Questa transizione non viene esplorata solo da OpenAI.
Anche aziende come Anthropic, Google e Microsoft stanno lavorando su modelli simili. L’obiettivo è fornire all’intelligenza artificiale qualcosa di simile al pensiero critico, che rappresenta un cambiamento fondamentale nel modo in cui comprendiamo come funziona.
Dalle GPU all’hardware di inferenza
La stagnazione nell’addestramento di massa dei modelli di intelligenza artificiale generativa ha spinto l’attenzione verso la fase di inferenza, in cui i modelli generano risposte o eseguono compiti.
Questo cambiamento non è solo tecnico, ma strategico: invece di investire in GPU per addestrare modelli giganti, le aziende stanno sviluppando hardware specializzato per ottimizzare le prestazioni nell’inferenza.
Una figura chiave in questo cambiamento è Jensen Huang, CEO di Nvidia, che ha osservato che siamo entrati in una nuova era di scalabilità, focalizzata sul miglioramento dell’efficienza nell’utilizzo dell’intelligenza artificiale.
Nvidia ha introdotto Blackwell, una nuova generazione di chip progettati specificamente per l’inferenza, che promette una massiccia domanda nei data center.
Perché questo nuovo approccio promette di essere migliore?
Questo approccio consente ai modelli di eseguire compiti complessi in meno tempo, il che è essenziale per ragionare sui modelli. Inoltre, l’hardware specializzato potrebbe ridurre i costi operativi a lungo termine ottimizzando il consumo energetico e le prestazioni.
Anche altre aziende stanno lavorando a soluzioni simili, approfittando di questo cambiamento per competere in un mercato che richiede un’intelligenza artificiale più veloce e precisa.
Pertanto, la transizione dall’addestramento di massa all’inferenza potrebbe ridefinire il modo in cui i sistemi di intelligenza artificiale vengono costruiti e utilizzati.
L’unica costante è il cambiamento
Dopo un decennio caratterizzato da impressionanti progressi nell’intelligenza artificiale, l’approccio tradizionale di scalare le risorse all’infinito sta mostrando i suoi limiti. Tuttavia, questa apparente stagnazione non è la fine, bensì un invito al cambiamento.
Lo spostamento verso modelli di ragionamento e hardware specializzato per l’inferenza indica che l’industria sta imparando a guardare oltre la quantità, concentrandosi sulla qualità e sull’efficienza.
Questo cambiamento non solo promette di superare le sfide attuali, ma apre anche nuove opportunità per lo sviluppo di sistemi più intelligenti e utili.
Il futuro dell’IA non sarà un percorso lineare e questa è proprio la sua forza. L’innovazione trova sempre nuove strade e il cambiamento costante è ciò che garantisce che questa tecnologia continuerà a cambiare il mondo in modi che possiamo a malapena immaginare.
This post is also available in: