Una delle maggiori sfide dell’intelligenza artificiale rimane la sua dipendenza da hardware specializzato, in particolare le costose unità di elaborazione grafica (GPU), necessarie per eseguire modelli complessi. Ma un recente progresso di Microsoft potrebbe cambiare questa realtà.
Grazie a una nuova architettura denominata BitNet b1.58 2B4T, è ora possibile eseguire modelli di intelligenza artificiale ad alte prestazioni direttamente sulle CPU, il tipo di processore più comune ed economico nei personal computer e dispositivi.
Analizziamo come questo modello basato su Microsoft Copilot segna un prima e un dopo nell’accessibilità dell’intelligenza artificiale, le tecniche che lo rendono possibile e cosa possiamo aspettarci per il futuro.
Il modello Microsoft: BitNet b1.58 2B4T
Il 13 aprile 2025, Microsoft ha rilasciato BitNet b1.58 2B4T, un modello AI di nuova generazione ottimizzato per l’esecuzione su CPU. Con 2 miliardi di parametri e addestrato con 4 miliardi di token, BitNet utilizza una tecnica di quantizzazione estrema che riduce tutti i suoi pesi a soli tre valori: -1, 0 e 1.
Questa radicale semplificazione consente al modello di operare con eccezionale efficienza sia in termini di memoria che di potenza di calcolo. Sorprendentemente, può funzionare anche su hardware come il chip M2 di Apple, senza richiedere una GPU.
Nonostante la sua leggerezza, BitNet non sacrifica le prestazioni. In benchmark come GSM8K e PIQA, ha sovraperformato modelli molto più grandi, sfidando il concetto tradizionale secondo cui “più grande è meglio”.
Inoltre, è disponibile pubblicamente su Hugging Facesotto la licenza MIT, facilitandone l’accesso a sviluppatori, ricercatori e appassionati.
Naturalmente non tutto è perfetto: BitNet non è compatibile con le GPU e dipende dall’ambiente bitnet.cpp personalizzato sviluppato da Microsoft. Tuttavia, rappresenta un passo da gigante verso la democratizzazione dell’intelligenza artificiale, aprendo nuove possibilità per chi non dispone di hardware specializzato.
Tecniche chiave per l’esecuzione di IA sulle CPU
Far funzionare modelli complessi come BitNet sulle CPU richiede più che buone intenzioni: si basa su una serie di tecniche avanzate che ne ottimizzano l’efficienza. Qui spieghiamo i tre principali:
Potatura
La potatura rimuove componenti del modello (come neuroni o connessioni) che non sono essenziali per le sue prestazioni.
Ciò ne riduce le dimensioni e accelera il tempo di inferenza, qualcosa di vitale quando si lavora con CPU non progettate per carichi pesanti. Naturalmente, la sua efficacia dipende dalla capacità dell’hardware di gestire bene queste strutture disperse.
Distillazione
La distillazione addestra un modello più piccolo, chiamato lo “studente”, ad imitarne uno più grande, il “maestro”.
In questo modo si ottiene un modello più leggero che mantiene buone prestazioni, ideale per compiti come la classificazione o l’analisi del testo. Inoltre, può essere combinato con altre tecniche, come la quantizzazione, per migliorare ulteriormente l’efficienza.
Quantizzazione
La quantizzazione riduce la precisione dei valori utilizzati dal modello. Ad esempio, puoi passare dall’utilizzo di 32 bit a solo 8, o anche 1 bit come fa BitNet.
Ciò riduce drasticamente le dimensioni del modello e accelera i calcoli, soprattutto sulle CPU che elaborano bene le operazioni a bassa precisione. È una delle strategie più efficaci per portare l’intelligenza artificiale avanzata sui dispositivi comuni.
Oltre all’accessibilità, queste tecniche promuovono anche la sostenibilità riducendo il consumo energetico e i costi operativi rispetto alle esigenze delle GPU.
Un’intelligenza artificiale più sostenibile e accessibile
Lo sviluppo di BitNet non è un caso isolato, ma fa parte di una tendenza più ampia nel settore tecnologico. Aziende come Ampere e NVIDIA stanno anche lavorando per ottimizzare i modelli di intelligenza artificiale per le CPU.
Ad esempio, Ampere, insieme a Wallaroo.AI, è riuscita a eseguire Whisper, il modello di riconoscimento vocale di OpenAI, su CPU con efficienza energetica fino a 3,6 volte maggiore di quella ottenuta sulle GPU.
Da parte sua, NVIDIA ha incorporato tecniche come la potatura e la distillazione nella sua piattaforma NeMo, con l’obiettivo di creare modelli più leggeri e accessibili.
Anche la comunità della ricerca non è da meno. Nuovi metodi come AQLM ed EfficientQAT sono in fase di studio, consentendo di eseguire la quantizzazione del modello con un massimo di 2 bit di precisione senza compromettere troppo le prestazioni.
Un altro esempio è exo, un progetto che cerca di eseguire modelli linguistici di grandi dimensioni (LLM) su cluster di server basati su CPU, che potrebbero rendere significativamente più economico l’accesso all’intelligenza artificiale di alto livello.
Tutto ciò punta verso un futuro in cui i modelli di intelligenza artificiale non saranno limitati ai data center con costosi rack di GPU.
Potrebbero invece essere eseguiti direttamente su personal computer, laptop o persino smartphone, grazie a miglioramenti sia nell’hardware che nelle tecniche di ottimizzazione.
IA decentralizzata, proprio dietro l’angolo
Il rilascio di BitNet b1.58 2B4T segna un punto di svolta nello sviluppo di modelli di intelligenza artificiale.
La sua capacità di funzionare su CPU senza sacrificare le prestazioni è il risultato di innovazioni in tecniche come potatura, distillazione e quantizzazione.
Questo progresso non solo democratizza l’accesso all’intelligenza artificiale, ma promuove anche un approccio più sostenibile ed efficiente, con minori consumi energetici e costi operativi.
E se aggiungiamo gli sforzi di altre aziende e della comunità scientifica, le prospettive diventano ancora più promettenti. Stiamo entrando in una nuova era in cui l’intelligenza artificiale sarà veramente onnipresente, accessibile ed efficiente. BitNet è solo l’inizio.
This post is also available in: