Microsoft souhaitait mettre l’accent sur l’intelligence artificielle (IA) dans la création de technologies adaptées à la vie quotidienne des utilisateurs. Bien qu’il soit tôt pour juger des résultats, l’un de ses développements les plus récents est Copilot Vision.
Il s’agit d’une fonctionnalité expérimentale qui permet à votre assistant Copilot de « voir » ce que l’utilisateur consulte dans son navigateur et de proposer une aide en fonction de cela.
Cette avancée du système connecté Microsoft Copilot est conçue pour enrichir l’expérience utilisateur en permettant à l’IA d’interagir avec le contenu Web en temps réel.
Dans cet article, nous explorerons ce que nous pouvons attendre de Copilot Vision et comment il s’intègre dans la vision plus large de Microsoft concernant le rôle de l’IA.
Qu’est-ce que Copilot Vision ?
Copilot Vision est une fonctionnalité conçue pour permettre à l’assistant Copilot AI de Microsoft de « voir » et de comprendre le contenu à l’écran, qu’il s’agisse de texte, d’images ou de graphiques, et de réagir en conséquence.
Cette capacité visuelle vous permet d’interpréter les pages Web dans le navigateur Microsoft Edge, de sorte que l’utilisateur n’a qu’à activer la fonction en appuyant sur l’icône « Vision » pour que l’assistant commence à analyser le contenu visible.
Au lieu de décrire ce qu’il voit ou de poser des questions détaillées sur le contexte, l’utilisateur peut interagir directement avec les informations à l’écran.
Cette fonction est idéale pour répondre aux questions, faire des recommandations ou guider l’utilisateur dans ses décisions rapidement et sans interruption.
Comment utiliser Copilot Vision ?
Imaginez, par exemple, que quelqu’un planifie un voyage et examine plusieurs options de destination sur une page Web.
Au lieu d’avoir à quitter la page pour rechercher des informations supplémentaires, l’utilisateur peut activer Copilot Vision et demander directement des recommandations ou des comparaisons sur les destinations qu’il consulte.
Vous pouvez également rechercher des substitutions d’ingrédients dans une recette ou même obtenir des conseils sur la façon de disposer les meubles lors de la décoration d’un nouvel appartement. L’idée est de faciliter la navigation et la prise de décision sans avoir besoin d’effectuer des recherches supplémentaires.
Principales fonctionnalités de Copilot Vision
Microsoft a inclus plusieurs fonctionnalités clés pour que Copilot Vision se démarque en termes de convivialité et de confidentialité.
- Interaction en temps réel : Copilot Vision peut analyser le texte et les images d’une page Web pour répondre à des questions ou suggérer des actions suivantes en fonction de ce qu’il voit. Son objectif est d’aider les utilisateurs sans interrompre leur flux de travail.
- Prise en charge de certains sites Web : En tant que fonctionnalité expérimentale, Copilot Vision n’est disponible que sur une liste limitée de sites populaires. Cela permet à Microsoft de limiter les risques potentiels tout en garantissant la sécurité des utilisateurs.
- L’accent est mis sur la confidentialité : Copilot Vision est une fonctionnalité entièrement facultative, et l’utilisateur décide quand l’activer et la désactiver. Chaque session est éphémère, ce qui signifie que les informations analysées par Copilot Vision sont supprimées à la fin de la session et ne sont pas enregistrées ni utilisées pour entraîner le modèle d’IA.
- Aucun accès au contenu payant ou sensible : L’outil ne peut pas interagir avec du contenu restreint ou protégé payant, tel que les articles sous paywall. Cela garantit que vous ne violez pas les droits d’auteur et ne partagez pas de contenu non autorisé.
Sécurité et confidentialité dans Copilot Vision
Microsoft affirme avoir mis un accent particulier sur la sécurité et la confidentialité avec cette fonctionnalité. Copilot Vision traite uniquement les données pendant la session active, sans stocker les informations de l’utilisateur ni les utiliser pour améliorer ou entraîner ses modèles d’IA.
De plus, dans le cadre de son engagement en faveur d’une IA responsable, Microsoft a mis en œuvre une série d’évaluations de sécurité en plusieurs étapes.
Ceux-ci incluent des tests avec des évaluateurs humains et des techniques contradictoires pour détecter les risques potentiels, garantissant ainsi que Copilot Vision reste dans les limites d’un environnement sûr et contrôlé.
La vision de Microsoft : Un compagnon IA personnalisé
Au-delà des capacités visuelles, Microsoft a défini une mission claire pour sa technologie Copilot : créer un « compagnon » IA accessible et personnalisé qui permet aux utilisateurs de se sentir accompagnés dans leur quotidien.
Selon Mustafa Suleyman, vice-président exécutif et PDG de Microsoft AI, l’objectif est que Copilot soit une présence étroite, alignée sur les intérêts et les besoins de chaque utilisateur et agissant uniquement avec sa permission.
Au lieu d’être simplement un outil parmi d’autres, Copilot est conçu pour évoluer et s’adapter aux goûts et aux routines de chaque utilisateur, en fournissant une aide et des conseils personnalisés qui peuvent aller de la gestion des e-mails à l’organisation d’événements ou à la prise de décisions complexes.
Fonctionnalités supplémentaires dans l’écosystème Microsoft
Aujourd’hui, Microsoft a intégré Copilot dans diverses plates-formes, telles que Edge, Bing et Windows, permettant aux utilisateurs d’accéder facilement à son assistant depuis différents appareils et environnements.
Dans le navigateur Edge, Copilot peut résumer des pages Web, répondre aux questions et traduire du texte instantanément, permettant aux utilisateurs de trouver des informations et de résoudre des questions avec une simple interaction.
De plus, avec le lancement de Copilot sur mobile, WhatsApp et le Web, Microsoft étend sa portée pour créer une IA omniprésente et accessible.
Le laboratoire expérimental de Microsoft, Copilot Labs, joue également un rôle clé dans cette stratégie de développement.
Cet environnement contrôlé permet aux utilisateurs d’essayer de nouvelles fonctionnalités, telles que « Think Deeper », un outil qui permet à Copilot de fournir des réponses plus détaillées** et d’analyser en profondeur des questions complexes.
Cela fait de Copilot une ressource pour les problèmes de la vie quotidienne qui peuvent nécessiter une réflexion plus détaillée.
Une IA au service du « bien-être humain »
Microsoft a souligné que la création de Copilot n’est pas seulement une réponse à la concurrence dans le domaine de l’IA, mais un engagement à améliorer l’expérience technologique de manière humanisée.
Avec une technologie qui « comprend » et « voit » ce dont l’utilisateur a besoin, l’objectif de Microsoft est de réduire le stress lié à l’information et de simplifier la vie de ses utilisateurs.
En bref, Microsoft Copilot Vision représente une nouvelle approche de la façon dont nous interagissons avec la technologie, intégrant la vision et le langage en une seule expérience qui vise finalement à nous aider à chaque moment important de notre vie.
This post is also available in: