Les nouvelles fonctionnalités de « multirecherche » de Google laissent présager un avenir pour les lunettes AR

En avril, Google a introduit une nouvelle fonctionnalité de « multirecherche » qui offrait un moyen de rechercher sur le Web en utilisant à la fois du texte et des images. Aujourd’hui, lors de la conférence des développeurs d’E/S de Google, la société a annoncé une extension de cette fonctionnalité, appelée « Multisearch Near Me ». Cet ajout, qui arrivera plus tard en 2022, permettra aux utilisateurs de l’application Google de combiner une image ou une capture d’écran avec le texte « près de moi » pour être dirigés vers des options pour les détaillants ou restaurants locaux qui auraient les vêtements, les articles ménagers ou la nourriture que vous ‘re à la recherche de. Il pré-annonce également un développement à venir de la recherche multiple qui semble être conçu avec des lunettes AR à l’esprit, car il peut rechercher visuellement plusieurs objets dans une scène en fonction de ce que vous « voyez » actuellement via le viseur d’une caméra de smartphone.

Avec la nouvelle requête multi-recherche « près de chez moi », vous pourrez trouver des options locales liées à votre combinaison de recherche visuelle et textuelle actuelle. Par exemple, si vous travailliez sur un projet de bricolage et que vous trouviez une pièce que vous deviez remplacer, vous pouvez prendre une photo de la pièce avec l’appareil photo de votre téléphone pour l’identifier, puis trouver une quincaillerie locale qui a une pièce de rechange en stock. .

Ce n’est pas si différent de la façon dont la recherche multiple fonctionne déjà, explique Google – il s’agit simplement d’ajouter le composant local.

Crédits image : Google

À l’origine, l’idée de la recherche multiple était de permettre aux utilisateurs de poser des questions sur un objet devant eux et d’affiner ces résultats par couleur, marque ou autres attributs visuels. Aujourd’hui, la fonctionnalité fonctionne mieux avec les recherches d’achat, car elle permet aux utilisateurs d’affiner les recherches de produits d’une manière que les recherches Web textuelles standard pourraient parfois avoir du mal à faire. Par exemple, un utilisateur peut prendre une photo d’une paire de baskets, puis ajouter du texte pour demander à les voir en bleu pour ne montrer que ces chaussures dans la couleur spécifiée. Ils pourraient choisir de visiter le site Web des baskets et de les acheter immédiatement. L’extension pour inclure l’option « près de chez moi » limite désormais simplement les résultats afin d’orienter les utilisateurs vers un détaillant local où le produit donné est disponible.

Pour aider les utilisateurs à trouver des restaurants locaux, la fonctionnalité fonctionne de la même manière. Dans ce cas, un utilisateur peut effectuer une recherche basée sur une photo qu’il a trouvée sur un blog culinaire ou ailleurs sur le Web pour savoir quel est le plat et quels restaurants locaux pourraient avoir l’option sur leur menu pour le dîner, le ramassage ou la livraison. . Ici, la recherche Google combine l’image avec l’intention que vous recherchiez un restaurant à proximité et analyse des millions d’images, d’avis et de contributions de la communauté à Google Maps pour trouver l’endroit local.

La nouvelle fonctionnalité « près de moi » sera disponible dans le monde entier en anglais et sera déployée dans d’autres langues au fil du temps, indique Google.

L’ajout le plus intéressant à la recherche multiple est la possibilité de rechercher dans une scène. À l’avenir, Google indique que les utilisateurs pourront déplacer leur caméra pour en savoir plus sur plusieurs objets dans cette scène plus large.

Google suggère que la fonctionnalité pourrait être utilisée pour scanner les étagères d’une librairie, puis voir plusieurs informations utiles superposées devant vous.

Crédits image : Google

« Pour rendre cela possible, nous associons non seulement la vision par ordinateur, la compréhension du langage naturel, mais nous les associons également à la connaissance du Web et de la technologie sur appareil », a déclaré Nick Bell, directeur principal de Google Search. « Donc, les possibilités et les capacités de cela vont être énormes et importantes », a-t-il noté.

La société – qui est arrivée tôt sur le marché de la RA avec sa sortie Google Glass – n’a pas confirmé qu’elle avait une sorte de nouveau dispositif de type lunettes AR en préparation, mais a fait allusion à cette possibilité.

« Avec les systèmes d’intelligence artificielle actuels, ce qui est possible aujourd’hui – et le sera au cours des prochaines années – ouvre en quelque sorte de nombreuses opportunités », a déclaré Bell. En plus de la recherche vocale, de la recherche sur ordinateur et de la recherche mobile, la société pense que la recherche visuelle occupera également une place plus importante dans l’avenir, a-t-il noté.

Crédits image : Google

« Il y a 8 milliards de recherches visuelles sur Google avec Lens chaque mois maintenant et ce nombre est trois fois plus important qu’il y a à peine un an », a poursuivi Bell. « Ce que nous constatons définitivement chez les gens, c’est que l’appétit et le désir de chercher visuellement sont là. Et ce que nous essayons de faire maintenant, c’est de nous pencher sur les cas d’utilisation et d’identifier où cela est le plus utile », a-t-il déclaré. « Je pense que lorsque nous réfléchissons à l’avenir de la recherche, la recherche visuelle en est certainement un élément clé. »

La société, bien sûr, travaillerait sur un projet secret, nommé Project Iris, pour construire un nouveau casque AR avec une date de sortie prévue en 2024. Il est facile d’imaginer non seulement comment cette capacité de numérisation de scène pourrait fonctionner sur un tel appareil, mais aussi comment toute sorte de fonction de recherche d’image plus texte (ou voix !) pourrait être utilisée sur un casque AR. Imaginez à nouveau regarder la paire de baskets que vous aimez, par exemple, puis demander à un appareil de naviguer jusqu’au magasin le plus proche où vous pourriez effectuer l’achat.

« En regardant plus loin, cette technologie pourrait être utilisée au-delà des besoins quotidiens pour aider à relever les défis sociétaux, comme aider les défenseurs de l’environnement à identifier les espèces végétales qui ont besoin de protection, ou aider les secouristes rapidement recherchés grâce à des dons en cas de besoin », a suggéré Prabhakar Raghavan, Google. Search SVP, s’exprimant sur scène à Google I/O.

Malheureusement, Google n’a pas proposé de calendrier pour le moment où il s’attendait à mettre la capacité de numérisation de scène entre les mains des utilisateurs, car la fonctionnalité est toujours « en développement ».