Les systèmes d’IA autonomes ou agents de type « Opérateur » sont des systèmes capables de transformer des indications textuelles en actions réelles sur des interfaces graphiques, permettant à des modèles de langage d’exécuter des tâches telles que des recherches sur le Web, le remplissage de formulaires ou encore des achats en ligne, sans intervention directe de l’utilisateur.
Le nom est récent, puisqu’en janvier 2025, OpenAI présentait Operator, une avant-première destinée aux abonnés Pro aux États-Unis qui démontrait le potentiel de cette approche pour tout automatiser, de la gestion des dépenses à la mise à jour des profils professionnels.
Face à cette proposition propriétaire, HuggingFace a récemment lancé Open Computer Agent, une démo gratuite et open source qui démontre jusqu’où les modèles d’IA ouverts peuvent aller dans « l’utilisation des ordinateurs » dans le cloud.
A quoi servent les agents de type « Opérateur » ?
Les agents d’IA sont des programmes dans lesquels les sorties d’un modèle de langage contrôlent l’ensemble du flux de travail, accordant au LLM une « agence » pour interagir avec des outils externes et des environnements réels.
Ce concept va au-delà de la simple génération de texte : il s’agit de traduire des instructions en actions concrètes, que ce soit en cliquant sur des boutons, en tapant des formulaires ou en téléchargeant des fichiers.
Grâce à l’intégration de modèles de vision dotés d’une capacité de mise à la terre (c’est-à-dire la capacité de localiser des éléments sur l’écran à l’aide de leurs coordonnées), ces agents peuvent opérer sur des interfaces graphiques avec un degré de fiabilité croissant.
Origines
- Opérateur OpenAI : lancé le 23 janvier 2025, il a constitué la première expérience majeure d' »IA propulsée par ordinateur » pour les abonnés Pro, abordant de manière autonome les tâches quotidiennes dans le navigateur.
- Évolution des frameworks : des bibliothèques comme smolagents (décembre 2024) de Hugging Face ont simplifié la création d’agents avec seulement quelques dizaines de lignes de code, facilitant l’adoption de ce paradigme dans les projets de recherche et développement.
Ouvrir l’agent informatique par HuggingFace
Principales fonctionnalités
OpenComputerAgent, accessible via un Espace HuggingFace, propose :
- Environnement Linux distant : fonctionne dans une machine virtuelle préconfigurée avec des applications telles que Firefox, reproduisant l’utilisation réelle du navigateur.
- **Vision Grounding : utilise des modèles comme Qwen‑VL pour identifier et cliquer sur les éléments de l’interface à l’aide des coordonnées de l’écran.
- Interface Web simple : décrivez simplement la tâche (« Trouver le siège social de HuggingFace sur GoogleMaps ») et voyez comment l’agent exécute les étapes de manière autonome.
- Open source : construit sur la bibliothèque smolagents, vous permet de modifier les outils, d’échanger le modèle sous-jacent ou d’étendre l’ensemble des fonctionnalités.
Limites actuelles
Malgré son accessibilité, OpenComputerAgent présente des problèmes dans les environnements réels :
- Ne prend pas en charge les flux complexes : plante ou fait des erreurs dans des tâches comportant plusieurs étapes, telles que la recherche et la réservation de vols.
- Inutile pour les CAPTCHA avancés : ne peut pas résoudre les problèmes d’authentification avancés, interrompant ainsi une grande partie des interactions Web.
- Files d’attente d’accès : en fonction de la demande, les utilisateurs attendent de quelques secondes à quelques minutes pour démarrer chaque session.
- Vitesse d’exécution : la démo est sensiblement plus lente que les solutions commerciales, reflétant sa nature de preuve de concept.
Comment Open Computer Agent se compare-t-il à Operator ?
Alors qu’OpenAI’s Operator est distribué en version préliminaire fermée pour les abonnés Pro aux États-Unis, offrant une expérience optimisée, Open Computer Agent se distingue par son ouverture et sa gratuité mondiales.
Operator base ses actions sur la combinaison de GPT-4o avec un environnement de navigation propriétaire, tandis que HuggingFace utilise Qwen-VL pour la vision et le framework smolagents pour l’orchestration des agents.
En termes de personnalisation, OpenComputerAgent vous permet d’intégrer vos propres outils et de changer de modèle, ce qu’Operator restreint à son écosystème interne.
Enfin, Operator atteint des performances supérieures en termes de vitesse et de fiabilité, mais n’a pas la flexibilité qu’un projet open source comme HuggingFace peut offrir aux développeurs et aux chercheurs.
À quoi peut servir Open Computer Agent ?
Dans son état actuel, OpenComputerAgent est déjà utile pour des tâches telles que :
- Recherche d’emplacement : trouver et capturer l’adresse des bureaux ou des points d’intérêt sur des cartes en ligne.
- Capture et téléchargement de données : extraction d’informations publiques et sauvegarde de captures d’écran ou de fichiers.
- Automatisation légère : complétion de formulaires simples et export des résultats vers des fichiers locaux.
Ces scénarios démontrent les capacités de base de navigation et de manipulation de l’interface graphique, jetant les bases de flux de travail plus complexes à l’avenir.
Perspectives d’avenir
Selon une enquête de KPMG, 65 % des entreprises expérimentent déjà des agents d’IA pour augmenter leur productivité et réduire leurs coûts opérationnels, et ce nombre devrait augmenter à mesure que la stabilité et la sécurité des solutions s’améliorent.
L’amélioration des modèles de vision avec une base plus précise permettra d’identifier et d’opérer sur des interfaces de plus en plus complexes, tandis que l’exécution sûre du code dans des environnements isolés (tels que E2B) ouvrira la porte à l’analyse de données, au scraping avancé ou aux microservices automatisés au sein du même agent.
L’approche open source de smolagents et OpenComputerAgent réduit les barrières à l’entrée pour les PME et les développeurs indépendants, encourageant la collaboration sur le HuggingFace Hub.
Cet écosystème partagé promet d’accélérer l’émergence d’agents spécialisés dans des secteurs tels que le service client, la logistique ou la finance, générant une vague d’innovation collaborative.
This post is also available in: