L’esecuzione di modelli LLM nell’intelligenza artificiale, anche quelli più semplici, è intrinsecamente impegnativa dal punto di vista computazionale. Farlo localmente sull’hardware domestico richiede vere bestie di potere.
Questa non è un’esagerazione. L’esecuzione di un modello modesto, come Llama 3.1 70B, con prestazioni accettabili, richiede una GPU di fascia alta con almeno 24 GB di VRAM, come NVIDIA RTX 3090, e almeno 64 GB di RAM.
Non tutti gli sviluppatori e gli appassionati hanno accesso a questo tipo di hardware. Pertanto, l’opzione preferita è utilizzare uno dei tanti modi per eseguirli nel cloud. Ci sarà un modo economico e accessibile per gestire un LLM a livello locale?
È qui che Exo si presenta come una soluzione innovativa: permette di distribuire il carico di lavoro su più dispositivi, massimizzando l’utilizzo delle risorse disponibili e rendendo l’AI più accessibile a tutti.
Cos’è Exo?
Exo è un software sperimentale sviluppato da Exo Labs che consente agli utenti di sfruttare la capacità di più dispositivi collegati in rete per eseguire modelli IA complessi.
La premessa di Exo è semplice ma rivoluzionaria: trasforma i tuoi normali dispositivi, come un iPhone, un iPad, un MacBook o anche un computer Linux, in un potente cluster di elaborazione AI senza la necessità di investire in costose schede grafiche o acceleratori AI.
Questo approccio rende la tecnologia dell’intelligenza artificiale più accessibile, soprattutto per le startup e le piccole e medie imprese (PMI) che desiderano immergersi nel mondo dell’intelligenza artificiale senza un esborso iniziale significativo in termini di hardware.
Lo sviluppo di Exo è recente ed è considerato un software sperimentale in costante cambiamento. Puoi trovare informazioni più aggiornate sulla loro pagina Github (github.com/exo-explore/exo).
##Come funziona Exo?
Il funzionamento di Exo si basa sulla capacità di dividere e distribuire un modello linguistico di grandi dimensioni (LLM) tra tutti i dispositivi disponibili sulla rete domestica. Exo utilizza uno schema di memoria che assegna attività in base alla quantità di memoria di cui dispone ciascun dispositivo.
In questo modo, un modello di intelligenza artificiale che normalmente richiederebbe una GPU potente può essere eseguito in modo efficiente utilizzando la somma delle capacità di diversi dispositivi meno potenti.
Il processo inizia installando il software Exo sui dispositivi supportati, che devono avere Python 3.12.0 o successivo.
Una volta installato e funzionante, Exo rileva automaticamente i dispositivi connessi alla rete e li aggiunge al cluster.
Ciò avviene tramite connessioni peer-to-peer, garantendo che tutti i dispositivi abbiano le stesse risorse e possano partecipare all’attività di elaborazione dell’IA.
Una delle caratteristiche più notevoli di Exo è il partizionamento dinamico del modello. Questa tecnologia consente di partizionare in modo ottimale i modelli in base alla topologia di rete e alle risorse disponibili sui dispositivi connessi.
Invece di fare affidamento su un singolo dispositivo per eseguire un modello di grandi dimensioni, Exo consente a più dispositivi di collaborare per eseguire l’attività, massimizzando l’efficienza e l’utilizzo dell’hardware disponibile.
Modelli di intelligenza artificiale supportati da Exo
Exo supporta un’ampia gamma di modelli di intelligenza artificiale popolari, incluso Llama 3 di Meta. Si tratta di un ampio modello linguistico open source che ha guadagnato popolarità per le sue prestazioni e flessibilità.
Inoltre, con piccole modifiche, Exo ti consente di integrare un’API compatibile con ChatGPT, semplificando l’esecuzione di modelli AI su hardware personale.
Questo ampio supporto per diversi modelli rende Exo un’opzione versatile per sviluppatori e aziende che desiderano sperimentare localmente con l’intelligenza artificiale senza essere limitati dalla mancanza di infrastrutture.
È possibile utilizzare GPT-4 con Exo?
GPT-4 è un modello proprietario sviluppato da OpenAI e non è disponibile come open source. Ciò significa che funziona su server OpenAI e non può essere scaricato o eseguito localmente su dispositivi personali.
Pertanto, per utilizzare Exo e software simili, ci limitiamo a modelli linguistici open source, come Llama 3 sopra menzionato.
Vantaggi dell’utilizzo di un cluster di dispositivi per l’intelligenza artificiale
L’utilizzo di Exo per creare un cluster AI con dispositivi domestici offre numerosi vantaggi significativi:
Il vantaggio principale è la riduzione dei costi. Invece di investire in hardware specializzato come le GPU, Exo ti consente di utilizzare i dispositivi che già possiedi, come smartphone, tablet e computer, per eseguire modelli IA complessi.
Ciò democratizza l’accesso all’intelligenza artificiale, consentendo a più persone e aziende di partecipare all’innovazione.
Supportando più tipi di dispositivi, Exo offre grande flessibilità nella configurazione del cluster.
Gli utenti possono usufruire di una varietà di dispositivi, consentendo una maggiore personalizzazione in base alle specifiche esigenze del progetto.
Grazie alla sua architettura peer-to-peer, Exo ti consente di scalare facilmente il cluster aggiungendo più dispositivi alla rete. Ogni nuovo dispositivo apporta risorse aggiuntive al cluster, migliorando le prestazioni complessive senza la necessità di riconfigurare il sistema.
Il partizionamento del modello dinamico garantisce che le risorse di ciascun dispositivo vengano utilizzate in modo ottimale.
Ciò significa che anche i dispositivi con capacità limitate possono contribuire in modo significativo all’elaborazione di modelli IA di grandi dimensioni, ottimizzando le prestazioni complessive.
Limitazioni e considerazioni finali
Essendo un software sperimentale, Exo potrebbe ancora presentare bug e problemi di stabilità. Ad esempio, esistono limitazioni sui dispositivi iOS (iPhone e iPad) dove il supporto è limitato e richiede un maggiore sviluppo per un utilizzo diffuso.
D’altro canto, l’efficienza del cluster dipenderà in gran parte dalla rete domestica e dalla qualità dei dispositivi collegati.
Infine, sebbene Exo ottimizzi la distribuzione delle attività, molti dispositivi con hardware molto limitato potrebbero non offrire le stesse prestazioni di un cluster basato su GPU di fascia alta.
Tuttavia, la sua capacità di trasformare i dispositivi di uso quotidiano in un potente cluster di intelligenza artificiale offre a sviluppatori, startup e PMI un potente strumento per esplorare e sfruttare il potenziale dell’intelligenza artificiale.
Exo promette di essere uno strumento chiave nella democratizzazione della tecnologia IA, consentendo a più persone di partecipare alla creazione e alla sperimentazione di modelli IA avanzati.
This post is also available in: