L’exécution de modèles LLM en intelligence artificielle, même les plus simples, est intrinsèquement exigeante en termes de calcul. Le faire localement sur du matériel domestique nécessite de véritables bêtes de puissance.
Ce n’est pas une exagération. Faire fonctionner un modèle modeste, comme le Llama 3.1 70B, avec des performances acceptables, nécessite un GPU haut de gamme avec au moins 24 Go de VRAM, comme le NVIDIA RTX 3090, et au moins 64 Go de RAM.
Tous les développeurs et passionnés n’ont pas accès à ce type de matériel. Par conséquent, l’option privilégiée consiste à utiliser l’une des nombreuses façons de les exécuter dans le cloud. Existe-t-il un moyen peu coûteux et accessible d’organiser un LLM localement ?
C’est là qu’Exo se présente comme une solution innovante : elle permet de répartir la charge de travail sur plusieurs appareils, maximisant l’utilisation des ressources disponibles et rendant l’IA plus accessible à tous.
Qu’est-ce qu’Exo ?
Exo est un logiciel expérimental développé par Exo Labs qui permet aux utilisateurs d’exploiter la capacité de plusieurs appareils en réseau pour exécuter des modèles d’IA complexes.
Le principe d’Exo est simple mais révolutionnaire : transformez vos appareils habituels, comme un iPhone, un iPad, un MacBook ou même un ordinateur Linux, en un puissant cluster de traitement d’IA sans avoir besoin d’investir dans des cartes graphiques coûteuses ou des accélérateurs d’IA.
Cette approche rend la technologie de l’IA plus accessible, en particulier pour les startups et les petites et moyennes entreprises (PME) qui cherchent à s’immerger dans le monde de l’IA sans une dépense initiale importante en matériel.
Le développement d’Exo est récent et il est considéré comme un logiciel expérimental en constante évolution. Vous pouvez trouver des informations plus récentes sur leur page Github (github.com/exo-explore/exo).
##Comment fonctionne Exo ?
Le fonctionnement d’Exo repose sur la capacité de diviser et de distribuer un grand modèle de langage (LLM) entre tous les appareils disponibles sur le réseau domestique. Exo utilise un schéma de mémoire qui attribue des tâches en fonction de la quantité de mémoire dont dispose chaque appareil.
De cette manière, un modèle d’IA qui nécessiterait normalement un GPU puissant peut être exécuté efficacement en utilisant la somme des capacités de plusieurs appareils moins puissants.
Le processus commence par l’installation du logiciel Exo sur les appareils pris en charge, qui doivent disposer de Python 3.12.0 ou version ultérieure.
Une fois installé et exécuté, Exo détecte automatiquement les appareils connectés au réseau et les ajoute au cluster.
Cela se fait via des connexions peer-to-peer, garantissant que tous les appareils disposent de ressources égales et peuvent participer à la tâche de traitement de l’IA.
L’une des fonctionnalités les plus remarquables d’Exo est son partitionnement dynamique de modèle. Cette technologie permet de partitionner les modèles de manière optimale en fonction de la topologie du réseau et des ressources disponibles sur les appareils connectés.
Au lieu de s’appuyer sur un seul appareil pour exécuter un grand modèle, Exo permet à plusieurs appareils de collaborer pour effectuer la tâche, maximisant ainsi l’efficacité et l’utilisation du matériel disponible.
Modèles d’IA pris en charge par Exo
Exo prend en charge un large éventail de modèles d’IA populaires, notamment Llama 3 de Meta. Il s’agit d’un vaste modèle de langage open source qui a gagné en popularité pour ses performances et sa flexibilité.
De plus, avec de petites modifications, Exo vous permet d’intégrer une API compatible ChatGPT, facilitant ainsi l’exécution de modèles d’IA sur du matériel personnel.
Cette large prise en charge de différents modèles fait d’Exo une option polyvalente pour les développeurs et les entreprises cherchant à expérimenter localement l’IA sans être limités par leur manque d’infrastructure.
GPT-4 peut-il être utilisé avec Exo ?
GPT-4 est un modèle propriétaire développé par OpenAI et n’est pas disponible en open source. Cela signifie qu’il fonctionne sur des serveurs OpenAI et ne peut pas être téléchargé ou exécuté localement sur des appareils personnels.
Par conséquent, pour utiliser Exo et des logiciels similaires, nous sommes limités aux modèles de langage open source, comme Llama 3 mentionné ci-dessus.
Avantages de l’utilisation d’un cluster de périphériques pour l’IA
Utiliser Exo pour créer un cluster d’IA avec des appareils domestiques offre plusieurs avantages significatifs :
Le principal avantage est la réduction des coûts. Au lieu d’investir dans du matériel spécialisé tel que des GPU, Exo vous permet d’utiliser des appareils que vous possédez déjà, tels que des smartphones, des tablettes et des ordinateurs, pour exécuter des modèles d’IA complexes.
Cela démocratise l’accès à l’IA, permettant à davantage de personnes et d’entreprises de participer à l’innovation.
En prenant en charge plusieurs types de périphériques, Exo offre une grande flexibilité dans la configuration du cluster.
Les utilisateurs peuvent profiter d’une variété d’appareils, permettant une plus grande personnalisation en fonction des besoins spécifiques du projet.
Grâce à son architecture peer-to-peer, Exo vous permet de faire évoluer le cluster facilement en ajoutant plus de périphériques au réseau. Chaque nouveau périphérique apporte des ressources supplémentaires au cluster, améliorant ainsi les performances globales sans qu’il soit nécessaire de reconfigurer le système.
Le partitionnement dynamique du modèle garantit que les ressources de chaque appareil sont utilisées de manière optimale.
Cela signifie que même les appareils dotés de capacités limitées peuvent contribuer de manière significative au traitement de grands modèles d’IA, optimisant ainsi les performances globales.
Limites et considérations finales
Étant un logiciel expérimental, Exo peut encore présenter des bugs et des problèmes de stabilité. Par exemple, il existe des limitations sur les appareils iOS (iPhone et iPad) où la prise en charge est limitée et nécessite davantage de développement pour une utilisation généralisée.
En revanche, l’efficacité du cluster dépendra largement du réseau domestique et de la qualité des appareils connectés.
Enfin, même si Exo optimise la répartition des tâches, de nombreux appareils dotés d’un matériel très limité peuvent ne pas offrir les mêmes performances qu’un cluster basé sur des GPU haut de gamme.
Cependant, sa capacité à transformer les appareils du quotidien en un puissant cluster d’IA offre aux développeurs, startups et PME un outil puissant pour explorer et exploiter le potentiel de l’intelligence artificielle.
Exo promet d’être un outil clé dans la démocratisation de la technologie de l’IA, permettant à davantage de personnes de participer à la création et à l’expérimentation de modèles d’IA avancés.
This post is also available in: