Microsoft ha querido destacar su enfoque en Inteligencia Artificial (IA) en crear tecnologías alineadas la vida diaria de los usuarios. Aunque es temprano para juzgar los resultados uno de sus desarrollos más recientes es Copilot Vision.

Esta es una característica experimental que permite a su asistente Copilot «ver» lo que el usuario está visualizando en su navegador y ofrecerle ayuda basada en ello.

Este avance, que se encuentra en fase de pruebas dentro de la plataforma Copilot Labs, está diseñado para enriquecer la experiencia de los usuarios al hacer que la IA interactúe con el contenido web en tiempo real.

En este artículo, exploraremos lo que podemos esperar de Copilot Vision y cómo se integra en la visión más amplia de Microsoft sobre el papel de la IA.

¿Qué es Copilot Vision?

Copilot Vision es una función diseñada para hacer que el asistente de IA Copilot de Microsoft pueda «ver» y comprender el contenido en pantalla, ya sea texto, imágenes o gráficos, y responder en consecuencia.

Esta capacidad visual le permite interpretar páginas web en el navegador Microsoft Edge, por lo que el usuario solo necesita activar la función pulsando el icono de «Visión» para que el asistente comience a analizar el contenido visible.

En lugar de describir lo que está viendo o hacer preguntas detalladas sobre el contexto, el usuario puede interactuar directamente con la información de la pantalla.

Esta función es ideal para responder preguntas, hacer recomendaciones o guiar al usuario en sus decisiones de manera rápida y sin interrupciones.

¿Cómo se podría usar Copilot Vision?

Imaginemos, por ejemplo, que alguien está planeando un viaje y está revisando varias opciones de destinos en una página web.

En lugar de tener que salir de la página para buscar información adicional, el usuario puede activar Copilot Vision y solicitar directamente recomendaciones o comparaciones sobre los destinos que está visualizando.

También podría consultar sustituciones para ingredientes en una receta o incluso recibir sugerencias sobre cómo organizar muebles al decorar un nuevo apartamento. La idea es facilitar la navegación y tomar decisiones sin la necesidad de realizar búsquedas adicionales.

Principales características de Copilot Vision

Microsoft ha incluido varias características clave para que Copilot Vision se destaque en términos de utilidad y privacidad.

  • Interacción en tiempo real: Copilot Vision puede analizar texto e imágenes en una página web para responder preguntas o sugerir próximas acciones en función de lo que ve. Su propósito es ayudar a los usuarios sin interrumpir su flujo de trabajo.
  • Compatibilidad con sitios web seleccionados: Al ser una función experimental, Copilot Vision solo está disponible en una lista limitada de sitios populares. Esto permite a Microsoft limitar los riesgos potenciales y, al mismo tiempo, garantizar la seguridad de los usuarios.
  • Énfasis en la privacidad: Copilot Vision es una función completamente opcional, y el usuario decide cuándo activarla y desactivarla. Cada sesión es efímera, lo que significa que la información que analiza Copilot Vision se descarta al final de la sesión y no se guarda ni se utiliza para entrenar el modelo de IA.
  • Sin acceso a contenido de pago o sensible: La herramienta no puede interactuar con contenido restringido o protegido por pagos, como artículos bajo paywall. Esto asegura que no infrinja los derechos de autor ni comparta contenido no autorizado.

Seguridad y privacidad en Copilot Vision

Microsoft dice haber puesto un énfasis especial en la seguridad y privacidad con esta función. Copilot Vision solo procesa los datos durante la sesión activa, sin almacenar información del usuario ni utilizarla para mejorar o entrenar sus modelos de IA.

Además, como parte de su compromiso con la IA responsable, Microsoft ha implementado una serie de evaluaciones de seguridad en varias etapas.

Estas incluyen pruebas con evaluadores humanos y técnicas adversariales para detectar posibles riesgos, asegurando que Copilot Vision se mantenga dentro de los límites de un entorno seguro y controlado.

La visión de Microsoft: Un compañero de IA personalizado

Más allá de la capacidad visual, Microsoft ha definido una misión clara para su tecnología Copilot: crear un “compañero” de IA accesible y personalizado que permita a los usuarios sentirse apoyados en su vida diaria.

En palabras de Mustafa Suleyman, Vicepresidente Ejecutivo y CEO de Microsoft AI, el objetivo es que Copilot sea una presencia cercana, alineada con los intereses y necesidades de cada usuario y actuando solo con su permiso.

En lugar de ser simplemente una herramienta más, Copilot está diseñado para evolucionar y adaptarse a los gustos y rutinas de cada usuario, brindando ayuda y consejos personalizados que pueden ir desde el manejo del correo electrónico hasta la organización de eventos o la toma de decisiones complejas.

Funciones adicionales en el ecosistema de Microsoft

En la actualidad, Microsoft ha integrado Copilot en diversas plataformas, como Edge, Bing y Windows, facilitando que los usuarios accedan a su asistente desde diferentes dispositivos y entornos.

En el navegador Edge, Copilot puede resumir páginas web, responder preguntas y traducir texto al instante, permitiendo a los usuarios encontrar información y resolver dudas con una simple interacción.

Además, con el lanzamiento de Copilot en dispositivos móviles, WhatsApp y la web, Microsoft está ampliando su alcance para crear una IA omnipresente y accesible.

El laboratorio experimental de Microsoft, Copilot Labs, también desempeña un papel clave en esta estrategia de desarrollo.

Este entorno controlado permite a los usuarios probar funciones nuevas, como «Think Deeper», una herramienta que permite a Copilot dar respuestas más detalladas y analizar preguntas complejas de manera profunda.

Esto convierte a Copilot en un recurso para problemas de la vida cotidiana que pueden requerir una reflexión más detallada.

Una IA para el “bienestar humano”

Microsoft ha subrayado que la creación de Copilot no es solo una respuesta a la competencia en el campo de la IA, sino una apuesta por mejorar la experiencia tecnológica de manera humanizada.

Con una tecnología que «entiende» y «ve» lo que el usuario necesita, el propósito de Microsoft es reducir el estrés de la información y simplificar la vida de sus usuarios.

En resumen, Microsoft Copilot Vision representa un nuevo enfoque en la forma en que interactuamos con la tecnología, integrando la visión y el lenguaje en una sola experiencia que, en última instancia, pretende asistirnos en cada momento importante de nuestras vidas.