Google Multisearch kommt: Gleichzeitig mit Text und Bildern suchen

Im vergangenen Jahr stellte Google die Technologie Multitask Unified Model (MUM) vor, um multimodale Suchen zu ermöglichen. Jetzt wird diese Form der Suchanfragen aus Basis verschiedener Elemente eingeführt. User können fortan eine Bildersuche starten und diese mit einer Search Box um die Texteingabe erweitern. Auf diese Weise lässt sich die Suche immens verfeinern. Und Suchende finden womöglich Kleidungsstücke, Einrichtungsgegenstände, Pflanzen oder architektonische Besonderheiten, die sie allein mit Wörtern nicht oder nicht so schnell finden würden.

So funktioniert die Google Multisearch via Lens

Googles Technologie MUM basiert – wie Googles BERT – auf der sogenannten Transformer Architecture. Laut dem Suchmaschinenunternehmen ist MUM allerdings „1.000 Mal kraftvoller“. Das Multitask Unified Model ist für 75 Sprachen trainiert und kann verschiedene Aufgaben parallel bewältigen. Dazu kann es Informationen auf verschiedenen Leveln verstehen, zum Beispiel auf Text- oder Bildebene.

Auf dem Google Blog The Keyword erklärt Belinda Zeng, Product Manager für Search, wie die neue Suchfunktion funktioniert. User können in der Google App bei Android und iOS auf die Suche zugreifen und das Lens Icon mit der Kamera antippen. Dann haben sie die Option, einen Screenshot zur Suche einzusetzen oder ein Bild aus der Umgebung zu machen. Zum Beispiel lasssen sich so ein hübsches paar Schuhe oder eine Lampe, die gefällt, einfangen. Mit einem Swipe-up können die User dann den neuen „+ Add to your search“ Button nutzen, um Textelemente zur Bildersuche hinzuzufügen. Dann ist es möglich, Fragen zum für die Suche gewählten Bild zu stellen. Außerdem haben User die Option, die Suche nach Farbe oder einem anderen visuellen Attribut einzugrenzen. Findet man also das passende Paar Schuhe, aber in der falschen Farbe, ist eine Anpassung über das Textfeld schnell möglich. So kann das Ganze dann aussehen: