Atteindre de nouveaux niveaux de capacité et de performances semble être plus difficile et plus coûteux que jamais pour les modèles d’intelligence artificielle.
L’apparition de nouveaux modèles comme l’o3 d’OpenAI montre à quel point les améliorations de l’IA sont de plus en plus difficiles à réaliser et, surtout, plus coûteuses.
À mesure que les modèles progressent, les « lois d’échelle » qui ont guidé les progrès montrent des signes d’épuisement. Mais pire encore, les nouvelles techniques permettant de surmonter ces limitations entraînent de nouveaux défis.
Cela soulève des questions cruciales sur l’avenir de l’IA, ses utilisations pratiques et la durabilité des modèles avancés. Explorons ce sujet intéressant qui créera sûrement une tendance dans ce nouveau 2025.
La deuxième ère des lois d’escalade
Historiquement, les lois d’échelle ont guidé le développement des modèles d’IA : plus de données, plus de paramètres et plus de puissance de calcul se traduisent par de meilleurs résultats.
Cependant, cette approche donne des résultats décroissants. Les chercheurs ont commencé à qualifier cette étape de « deuxième ère des lois d’échelle », dans laquelle les méthodes traditionnelles ne suffisent plus à générer des progrès significatifs.
À sa place, une nouvelle stratégie connue sous le nom de « mise à l’échelle du temps d’inférence » ou « mise à l’échelle du temps de test » fait son apparition.
Mise à l’échelle du temps d’inférence : qu’est-ce que c’est et comment ça marche ?
La mise à l’échelle du temps d’inférence consiste à augmenter l’utilisation des ressources de calcul dans la phase d’inférence, c’est-à-dire lorsque le modèle répond à une requête.
Dans le cas de l’o3 d’OpenAI, cela signifie utiliser plus de puces, des puces plus puissantes, ou les faire fonctionner pendant de plus longues périodes pour générer des réponses.
Les premiers résultats de cette approche sont impressionnants. Par exemple, le modèle o3 a obtenu un score de 88 % au benchmark ARC-AGI, un test destiné à évaluer les avancées vers l’intelligence artificielle générale (AGI).
En comparaison, le modèle précédent d’OpenAI, o1, n’atteignait que 32 %. De plus, lors d’un test de mathématiques complexe, l’o3 a obtenu 25 %, bien au-dessus des 2 % des autres modèles.
Cependant, ces réalisations ont un coût considérable. Pour obtenir le score le plus élevé sur ARC-AGI, l’o3 a utilisé plus de 1 000 $ en ressources informatiques par tâche, contre 5 $ par tâche pour le modèle o1.
La version à haut rendement de l’o3, qui n’a sacrifié que 12 % des performances, a nécessité 170 fois moins de calcul, mais représente tout de même un coût important par rapport aux modèles plus anciens.
Quelles sont les causes de ces coûts excessifs ?
Premièrement, nous avons la dépendance à l’informatique massive. L’utilisation accrue de puces et le besoin de processeurs plus puissants augmentent directement les coûts d’exploitation.
Par exemple, les tests de haute performance d’o3 ont utilisé plus de 10 000 $ de ressources pour une seule tâche.
Les améliorations marginales des modèles d’IA nécessitent désormais des investissements disproportionnés en infrastructure et en temps. La difficulté à améliorer les performances vient du fait que les gains faciles ont déjà été réalisés et que les prochaines améliorations nécessitent des approches de plus en plus sophistiquées.
Enfin, il ne faut pas exclure l’existence d’inefficacités dans la mise en œuvre. Bien que la mise à l’échelle du temps d’inférence produise des résultats, elle augmente également les temps de calcul. Dans certains cas, il faut 10 à 15 minutes au modèle pour produire une réponse optimale.
Parfois, o3, c’est comme tuer des mouches avec des tirs de canon
Compte tenu de l’ampleur des coûts, les modèles comme le o3 ne semblent pas conçus pour les tâches quotidiennes. L’utiliser pour les tâches les plus courantes, comme composer des messages ou résumer des textes, revient à tuer des mouches avec un canon.
Alors que des outils comme GPT-4o ou Google Gemini 1.5 peuvent répondre à des questions simples rapidement et efficacement, o3 se concentre sur les requêtes complexes qui nécessitent un haut niveau de raisonnement. **
Par exemple, le modèle pourrait être utile aux institutions disposant de ressources financières considérables, telles que des équipes de recherche ou des entreprises cherchant à résoudre des problèmes spécifiques très pertinents.
Cependant, même dans ces cas, o3 présente encore des limites. Selon François Chollet, créateur du benchmark ARC-AGI, o3 n’est pas AGI et échoue toujours sur des tâches simples qu’un humain pourrait facilement résoudre.
De plus, comme la plupart des modèles de langage, o3 souffre toujours de problèmes d’hallucinations, c’est-à-dire qu’il fournit des réponses incorrectes mais convaincantes.
Solutions et avenir de la mise à l’échelle
Pour relever les défis de coût et d’efficacité, les chercheurs explorent plusieurs stratégies :
- Développement de puces plus efficaces : Des sociétés telles que Groq, Cerebras et MatX travaillent à la création de processeurs qui optimisent les performances lors de l’inférence. Ces puces pourraient réduire considérablement les coûts associés à la mise à l’échelle du temps d’inférence.
- Améliorations des algorithmes : L’optimisation des algorithmes d’IA pourrait permettre aux modèles de générer des résultats similaires en utilisant moins de ressources. Cela inclurait des techniques permettant d’ajuster dynamiquement le niveau de calcul nécessaire en fonction de la complexité de la tâche.
- Intégration d’approches hybrides : Jack Clark, co-fondateur d’Anthropic, suggère que la combinaison de la mise à l’échelle traditionnelle et de la mise à l’échelle du temps d’inférence pourrait maximiser les rendements. Cela permettrait de tirer parti des atouts des deux approches pour des tâches spécifiques.
- Réduction des coûts grâce aux économies d’échelle : À mesure que ces technologies deviennent populaires, des économies d’échelle pourraient émerger, réduisant ainsi les coûts de production et d’exploitation.
Ça vaut le coup ? Questions ouvertes sur le développement de l’IA
L’avenir de la mise à l’échelle de l’IA soulève des questions importantes. Est-il viable de continuer à augmenter les coûts pour obtenir des améliorations marginales ? Quels types de tâches justifieraient l’utilisation de modèles comme o3 ?
De plus, jusqu’où l’IA peut-elle progresser sans un changement fondamental dans la façon dont nous comprenons et développons ces systèmes ? La course à l’IA est loin d’être terminée, mais chaque pas en avant semble nécessiter un prix plus élevé.
This post is also available in: