TL;DR
- Google affirme que sa nouvelle expérience Magic Pointer, basée sur l’IA, est désormais déployée sur Gemini dans Chrome.
- La fonctionnalité permet à Gemini de comprendre vers quoi pointe votre curseur afin que vous puissiez interagir plus naturellement avec le contenu de la page Web.
- Google a également partagé de nouveaux détails sur la réflexion derrière Magic Pointer.
Google vient de nous donner un premier aperçu de Magic Pointer, la nouvelle expérience de curseur basée sur l’IA qui arrive sur ses ordinateurs portables Googlebook récemment annoncés. La société a maintenant confirmé que Magic Pointer ne se limiterait pas aux livres Google et que l’expérience se dirigerait également vers Gemini dans Chrome.
Je ne veux pas manquer le meilleur de Autorité Android?


Dans un nouveau article de blogdes chercheurs de Google DeepMind ont détaillé les idées et les principes d’interaction derrière Magic Pointer.
DeepMind affirme que le pointeur de la souris a « à peine évolué depuis plus d’un demi-siècle », et Google souhaite maintenant changer cela grâce à la compréhension contextuelle basée sur Gemini.
L’objectif est de créer « une IA intuitive qui répond aux utilisateurs sur tous les outils qu’ils utilisent, sans interrompre leur flux ».
Cela signifie qu’au lieu de copier du texte dans Gemini ou d’écrire de longues invites, les utilisateurs de Chrome peuvent simplement pointer quelque chose sur l’écran et demander de l’aide. Google affirme que le système peut comprendre à la fois ce que vous pointez et ce que vous essayez d’en faire.
« À partir d’aujourd’hui, au lieu d’écrire une invite complexe, vous pouvez désormais utiliser votre pointeur pour interroger Gemini dans Chrome sur la partie de la page Web qui vous intéresse. Par exemple, vous pouvez sélectionner quelques produits sur une page et demander à comparer, ou indiquer l’endroit où vous souhaitez visualiser un nouveau canapé dans votre salon », a noté DeepMind sur son blog.
Google décrit l’expérience Magic Pointer comme une expérience dans laquelle les utilisateurs peuvent « simplement pointer du doigt, et l’IA sait exactement pour quel mot, paragraphe, partie d’image ou bloc de code l’utilisateur a besoin d’aide ».
L’entreprise affirme également qu’elle souhaite que les interactions avec l’IA soient plus humaines et conversationnelles. Au lieu de saisir des invites détaillées, les utilisateurs peuvent faire des requêtes simples telles que « Réparer ceci », « Déplacer cela ici » ou « Qu’est-ce que cela signifie ? tout en s’appuyant sur des gestes physiques et un contexte partagé pour communiquer l’intention.
L’une des idées les plus intéressantes mises en avant par Google consiste à transformer « les pixels en entités exploitables ». Essentiellement, Gemini peut reconnaître des objets, des dates, des lieux et d’autres contenus directement à partir de ce qui est à l’écran. Google affirme que cela pourrait permettre aux utilisateurs d’interagir instantanément avec des éléments tels que des listes de restaurants dans des vidéos, des notes manuscrites ou des destinations de voyage.
Il semble que les capacités plus complexes de Magic Pointer résideront dans les prochains livres Google, tandis que son expérience Chrome pourrait offrir des fonctionnalités de base telles que la comparaison et la visualisation.
Google n’a pas indiqué quelles régions ou quels utilisateurs ont accès en premier à l’expérience Magic Pointer via Gemini dans Chrome. Nous avons également vérifié nous-mêmes Gemini dans Chrome et n’avons pas encore pu accéder aux fonctionnalités de Magic Pointer, le déploiement peut donc être limité ou progressif.
Merci de faire partie de notre communauté. Lisez notre politique de commentaires avant de publier.