Raggiungere nuovi livelli di capacità e prestazioni sembra essere più impegnativo e costoso che mai per i modelli di intelligenza artificiale.
La comparsa di nuovi modelli come o3 di OpenAI evidenzia come i miglioramenti nell’intelligenza artificiale siano sempre più difficili da ottenere e, soprattutto, più costosi.
Man mano che i modelli avanzano, le “leggi di scala” che hanno guidato il progresso mostrano segni di esaurimento. Ma quel che è peggio, le nuove tecniche per superare queste limitazioni portano con sé nuove sfide.
Ciò solleva domande cruciali sul futuro dell’intelligenza artificiale, sui suoi usi pratici e sulla sostenibilità dei modelli avanzati. Esploriamo questo argomento interessante che sicuramente segnerà una tendenza in questo nuovo rilascio del 2025.
La seconda era delle Leggi sull’Escalation
Storicamente, le leggi di scalabilità hanno guidato lo sviluppo dei modelli di intelligenza artificiale: più dati, più parametri e più potenza di calcolo si traducono in risultati migliori.
Tuttavia, questo approccio sta mostrando rendimenti decrescenti. I ricercatori hanno iniziato a definire questa fase “la seconda era delle leggi di scala”, in cui i metodi tradizionali non sono più sufficienti per generare progressi significativi.
Al suo posto sta emergendo una nuova strategia nota come “inference-time scaling” o “test-time scaling”.
Inference Time Scaling: cos’è e come funziona?
Il time scaling dell’inferenza consiste nell’aumentare l’utilizzo delle risorse computazionali nella fase di inferenza, cioè quando il modello risponde ad una richiesta.
Nel caso di o3 di OpenAI, ciò significa utilizzare più chip, chip più potenti o utilizzarli per periodi di tempo più lunghi per generare risposte.
I risultati iniziali di questo approccio sono impressionanti. Ad esempio, il modello o3 ha ottenuto l’88% nel benchmark ARC-AGI, un test inteso a valutare i progressi verso l’intelligenza generale artificiale (AGI).
In confronto, il modello precedente di OpenAI, o1, raggiungeva solo il 32%. Inoltre, in un complesso test di matematica, l’o3 ha raggiunto il 25%, ben al di sopra del 2% degli altri modelli.
Tuttavia, questi risultati hanno un costo considerevole. Per ottenere il punteggio più alto su ARC-AGI, o3 ha utilizzato più di 1.000 dollari in risorse di elaborazione per attività, rispetto ai 5 dollari per attività del modello o1.
La versione ad alta efficienza dell’o3, che ha sacrificato solo il 12% delle prestazioni, utilizzava 170 volte meno risorse di elaborazione, ma rappresenta comunque un costo significativo rispetto ai modelli precedenti.
##Quali sono le cause di questi costi eccessivi?
Innanzitutto, abbiamo la dipendenza dall’informatica di massa. L’aumento dell’uso dei chip e la necessità di processori più potenti aumentano direttamente i costi operativi.
Ad esempio, i test ad alte prestazioni di o3 hanno utilizzato risorse per un valore di oltre 10.000 dollari per una singola attività.
Miglioramenti marginali nei modelli di intelligenza artificiale richiedono ora investimenti sproporzionati in infrastrutture e tempo. La difficoltà nel migliorare le prestazioni è dovuta al fatto che i guadagni facili sono già stati raggiunti e i prossimi miglioramenti richiedono approcci sempre più sofisticati.
Infine, non dobbiamo escludere l’esistenza di inefficienze nell’implementazione. Sebbene il ridimensionamento del tempo di inferenza produca risultati, aumenta anche i tempi di calcolo. In alcuni casi, sono necessari dai 10 ai 15 minuti affinché il modello produca una risposta ottimale.
A volte o3 è come uccidere le mosche con il fuoco dei cannoni
Considerando l’entità dei costi, modelli come l’o3 non sembrano essere progettati per le attività quotidiane. Usarlo per le attività più comuni, come comporre messaggi o riassumere testi, è come uccidere le mosche con un cannone.
Mentre strumenti come GPT-4o o Google Gemini 1.5 possono rispondere a domande semplici in modo rapido ed efficiente, o3 si concentra su query complesse che richiedono un elevato livello di ragionamento. **
Ad esempio, il modello potrebbe essere utile per istituzioni con tasche profonde, come gruppi di ricerca o aziende che cercano di risolvere problemi specifici e altamente rilevanti.
Tuttavia, anche in questi casi, o3 presenta ancora dei limiti. Secondo François Chollet, creatore del benchmark ARC-AGI, o3 non è AGI e fallisce comunque in compiti semplici che un essere umano potrebbe facilmente risolvere.
Inoltre, come la maggior parte dei modelli linguistici, o3 soffre ancora di problemi con allucinazioni, ovvero fornisce risposte errate ma convincenti.
Soluzioni e il futuro della scalabilità
Per affrontare le sfide in termini di costi ed efficienza, i ricercatori stanno esplorando diverse strategie:
- Sviluppo di chip più efficienti: aziende come Groq, Cerebras e MatX stanno lavorando alla creazione di processori che ottimizzino le prestazioni durante l’inferenza. Questi chip potrebbero ridurre drasticamente i costi associati al ridimensionamento del tempo di inferenza.
- Miglioramenti dell’algoritmo: l’ottimizzazione degli algoritmi di intelligenza artificiale potrebbe consentire ai modelli di generare risultati simili utilizzando meno risorse. Ciò includerebbe tecniche per regolare dinamicamente il livello di calcolo necessario a seconda della complessità del compito.
- Integrazione di approcci ibridi: Jack Clark, co-fondatore di Anthropic, suggerisce che la combinazione del ridimensionamento tradizionale e del ridimensionamento temporale dell’inferenza potrebbe massimizzare i rendimenti. Ciò consentirebbe di sfruttare i punti di forza di entrambi gli approcci per compiti specifici.
- Riduzione dei costi attraverso economie di scala: man mano che queste tecnologie diventano popolari, potrebbero emergere economie di scala che riducono i costi di produzione e operativi.
Ne vale la pena? Domande aperte sullo sviluppo dell’intelligenza artificiale
Il futuro della scalabilità nell’intelligenza artificiale solleva domande importanti. È sostenibile continuare ad aumentare i costi per ottenere miglioramenti marginali? Quali tipi di attività giustificherebbero l’utilizzo di modelli come o3?
Inoltre, quanto ulteriormente potrà avanzare l’intelligenza artificiale senza un cambiamento fondamentale nel modo in cui comprendiamo e sviluppiamo questi sistemi? La corsa all’IA è tutt’altro che finita, ma ogni passo avanti sembra richiedere un prezzo più alto.
This post is also available in: