Depuis des années, l’intelligence artificielle générative est un spectacle d’innovation. Des modèles comme ChatGPT, capables d’écrire des textes ou de résoudre des problèmes complexes, ont marqué un avant et un après dans l’interaction avec les technologies.
Cette avancée semblait imparable, alimentée par une formule simple : entraîner des modèles de plus en plus grands avec plus de données et plus de GPU. Cependant, quelque chose a changé.
Aujourd’hui, des voix influentes au sein du secteur, comme Ilya Sutskever, co-fondateur d’OpenAI, préviennent que cette voie atteint ses limites. Les nouveaux modèles ne s’améliorent guère par rapport aux précédents, malgré des investissements colossaux.
Alors, qu’est-ce qui ne va pas ? Plus important encore, que se passe-t-il ensuite ? Découvrez pourquoi les modèles de formation comme avant ne suffisent plus et comment l’industrie cherche une nouvelle direction pour continuer à innover.
L’essor et les limites de l’approche traditionnelle
La formation des modèles d’IA a donné des résultats spectaculaires au cours de la dernière décennie. Des outils comme GPT-3 et GPT-4 ont étonné le monde en tapant comme des humains, en répondant à des questions complexes et en effectuant des tâches créatives avec une grande fluidité.
Cependant, ce succès a un prix. Former un modèle présentant ces caractéristiques nécessite énormément de temps et de ressources. **
Les laboratoires à l’origine de ces technologies investissent des dizaines de millions de dollars et des mois de travail pour réaliser un cycle de formation, sans aucune garantie que les résultats seront significatifs.
De plus, à mesure que les modèles se développaient, les bénéfices commençaient à diminuer. Les améliorations entre les générations de modèles ont moins d’impact, même si les coûts continuent d’augmenter.
C’est ce qu’on appelle des « rendements décroissants ». Il ne suffit plus d’ajouter davantage de données ou de puissance de calcul. Les modèles actuels atteignent un plafond de performances, et ce qui était autrefois incroyable semble désormais progressif.
Signes de stagnation dans l’industrie
Même si l’intelligence artificielle générative a révolutionné des secteurs entiers, les signes de stagnation sont de plus en plus évidents :
Sorties décevantes
Des modèles comme Orion d’OpenAI ou Gemini de Google, qui auraient suscité un grand enthousiasme dans le passé, sont désormais perçus comme des avancées mineures.
Ces outils offriraient des améliorations progressives par rapport à leurs prédécesseurs, mais pas beaucoup. Les entreprises reportent les lancements pour peaufiner leurs modèles, mais la vérité est que l’impact n’est plus aussi frappant.
Coûts élevés et rendements décroissants
La formation de ces modèles reste extrêmement coûteuse et prend beaucoup de temps. Chaque cycle peut coûter des dizaines de millions de dollars et prendre des mois, sans aucune garantie de succès.
Ce risque élevé a amené les entreprises à reconsidérer si l’approche actuelle est durable.
Changements d’orientation
Les leaders de l’industrie, tels qu’Ilya Sutskever et Yann LeCun, conviennent que la méthode de mise à l’échelle des ressources a été épuisée.
Cela renforce l’idée selon laquelle l’industrie doit trouver de nouvelles stratégies pour surmonter les limites actuelles et maintenir l’innovation.
La nouvelle direction : des modèles qui raisonnent
L’industrie de l’IA explore une nouvelle voie : des modèles qui « raisonnent ». Cela vise à améliorer la capacité des modèles à analyser leurs propres réponses en temps réel avant de les fournir, ce qui augmenterait leur précision.
Une technique clé de cette stratégie est le calcul au moment du test. Contrairement à la formation traditionnelle, cette technique permet au modèle d’évaluer plusieurs options lors de l’inférence et de choisir la réponse la plus appropriée.
OpenAI, par exemple, met en œuvre cette approche dans son modèle O1, qui examine et filtre ses réponses possibles avant de fournir une réponse définitive. Cette transition n’est pas seulement explorée par OpenAI.
Des sociétés comme Anthropic, Google et Microsoft travaillent également sur des modèles similaires. L’objectif est de doter l’IA de quelque chose de similaire à la pensée critique, ce qui représente un changement fondamental dans la façon dont nous comprenons son fonctionnement.
Des GPU au matériel d’inférence
La stagnation de la formation de masse des modèles d’IA générative a entraîné un déplacement de l’attention vers l’étape d’inférence, où les modèles génèrent des réponses ou exécutent des tâches.
Ce changement n’est pas seulement technique, mais stratégique : au lieu d’investir dans des GPU pour entraîner des modèles géants, les entreprises développent du matériel spécialisé pour optimiser les performances en inférence.
Un personnage clé de ce changement est Jensen Huang, PDG de Nvidia, qui a souligné que nous sommes entrés dans une nouvelle ère de mise à l’échelle, axée sur l’amélioration de l’efficacité de l’utilisation de l’IA.
Nvidia a présenté Blackwell, une nouvelle génération de puces spécialement conçues pour l’inférence, qui promet une demande massive dans les centres de données.
Pourquoi cette nouvelle approche promet-elle d’être meilleure ?
Cette approche permet aux modèles d’effectuer des tâches complexes en moins de temps, ce qui est essentiel pour raisonner les modèles. De plus, du matériel spécialisé pourrait réduire les coûts d’exploitation à long terme en optimisant la consommation d’énergie et les performances.
D’autres entreprises travaillent également sur des solutions similaires, profitant de ce changement pour rivaliser sur un marché qui exige une IA plus rapide et plus précise.
Ainsi, la transition de la formation de masse à l’inférence pourrait redéfinir la manière dont les systèmes d’intelligence artificielle sont construits et utilisés.
La seule constante est le changement
Après une décennie marquée par des avancées impressionnantes en matière d’IA, l’approche traditionnelle consistant à faire évoluer les ressources à l’infini montre ses limites. Cependant, cette stagnation apparente n’est pas la fin, mais plutôt une invitation au changement.
L’évolution vers des modèles de raisonnement et du matériel d’inférence spécialisé indique que l’industrie apprend à regarder au-delà de la quantité, en se concentrant sur la qualité et l’efficacité.
Ce changement promet non seulement de surmonter les défis actuels, mais également d’ouvrir de nouvelles opportunités pour le développement de systèmes plus intelligents et plus utiles.
L’avenir de l’IA ne sera pas linéaire et c’est précisément sa force. L’innovation trouve toujours de nouvelles voies, et le changement constant garantit que cette technologie continuera à changer le monde d’une manière que nous pouvons à peine imaginer.
This post is also available in: