Google Assistant antwortet öfter, besser und ausführlicher als Alexa, Cortana und Siri

01Die Künstliche Intelligenz hält vor allem in Form von Sprachassistenten Einzug in den Alltag der Nutzer. Um zu ermitteln, wie vor allem sprachbasierte Assistenten wie Siri, der Google Assistant oder Alexa abschneiden, wenn es um die korrekte Beantwortung verschiedenster Fragen geht, wurde ein umfassender Test durchgeführt. Dabei wurde deutlich: der Google Assistant antwortet meist am besten; und die Anzahl richtiger Antworten steigt bei allen Assistenten.

Eine Studie mit 800 Fragen für jeden Sprachassistenten

Die Analysten von Loup Ventures führen seit 2017 einen jährlichen IQ-Test für digitale Sprachassistenten durch. In diesem Jahr bezog sich dieser auf Apples Siri, den Google Assistant, Amazons Alexa und Cortana von Microsoft. Damit wurden Assistenten sowohl auf dem Smartphone als auch auf Smart Speakern fokussiert. 800 Fragen wurden an jeden Assistenten gestellt; das berichten Gene Munster und Will Thompson beim offiziellen Blogpost zur Studie. Die offensichtlichsten Erkenntnisse sind vielversprechend. Bei den korrekten Antworten wie bei der Zahl richtig verstandener Fragen steigt die Prozentzahl im Gegensatz zum Vorjahr. Vor allem der Google Assistant weiß zu überzeugen. Hat er 2017 noch rund 75 Prozent richtig beantworten können, sind es inzwischen knapp 86 Prozent. Dabei hat er alle an ihn gestellten Fragen richtig verstanden. Auch Siri schlägt sich im Vergleich gut. 78,5 Prozent richtig beantwortete Fragen (2017 waren es nur 66,1 Prozent) bei 99 Prozent richtig verstandenen Fragen.

Doch ein genauerer Blick auf die Studie ermöglicht dahingehend Einsichten, welche Assistenten in welchem Kontext am zuverlässigsten sind.

Verschiedene Assistenten zeigen bei unterschiedlichen Situationen ihre Stärken

Der Annual Digital Assistant IQ Test von Loup Ventures hat in diesem Jahr erstmals auch Amazons Alexa in den Vergleich integriert. In diesem Kontext sollte erwähnt sein, dass diese Sprachassistenz, die über Amazons Smart Speaker abgerufen wird, durch ihre häufige Verwendung zuhause doch andere Stärken und Einsatzfelder aufweist als etwa Siri.

Bei der Erstellung der 800 Fragen haben die Analysten sich einiger Modifikationen bedient. Der Grund hierfür ist das wachsende Repertoire an Fähigkeiten und Wissen bei den Assistenten. Somit sollte die Studie gründliche Abfragen stellen. Bei den Fragen wurde zunächst geprüft: hat der Sprachassistent die Frage richtig verstanden? Daraufhin wurde ermittelt: hat der Sprachassistent eine korrekte Antwort auf die Frage gegeben? Das Set der Fragen war hierfür in fünf Kategorien unterteilt:

• Local: Where is the nearest coffee shop?
• Handel: Can you order me more paper towels?
• Navigation: How do I get to uptown on the bus?
• Informationen: Who do the Twins play tonight?
• Befehl: Remind me to call Steve at 2pm today.

Getestet wurde der Google Assistant auf einem Pixel XL, Alexa über die iOS App, Cortana über die iOS App sowie Siri über iOS 11.4. Während Googles Assistant auch in den meisten Kategorien die beste Antwortquote aufweist, ist Siri zumindest bei den Befehlen die beste Assistenz. Demnach beantwortet Apples Sprachassistent hier 90 Prozent aller Anfragen richtig, bei Google sind es nur 76. Dagegen kommen Alexa und Cortana lediglich auf 54 beziehungsweise 47 Prozent. Allerdings ist der Assistant von Google bei den Informationen (93 Prozent richtige Antworten) und der Navigation (91 Prozent) die beste Referenz.

Bei den Informationen zeigt sich – wenig überraschend – insgesamt die beste Performance der Sprachassistenten. Diese ist jedoch im Bereich Local ähnlich überzeugend. Hier tun sich Googles Assistant (88 Prozent) und Siri (87 Prozent) nicht viel. Cortana und Alexa sind hier mit je 63 Prozent richtig beantworteten Fragen ebenfalls recht konstant.

Eigenheiten der unterschiedlichen Sprachassistenten

Nur der Google Assistant hat alle Fragen richtig verstanden. In diesem Kontext zeigte sich besonders Cortana schwach. Neben der Zahl von nur 52 Prozent richtig beantworteten Fragen wurden auch 19 der 800 Fragen erst gar nicht richtig verstanden. Trotzdem gehen die Analysten von Loup Ventures davon aus, dass schon sehr bald alle gängigen Assistenten sämtliche Fragen richtig verstehen werden.

Insgesamt offenbarte sich in der Studie auch, dass Siri Vorteile bei der Bedienung von Smart Home, bei der Kontrolle des Smartphones und beim Handling der Musik bietet. Im Bereich der Antworten des Google Assistant zu Fragen von eher informativem Charakter beeindruckten diese durch ihre Tiefe und hilfreiche Qualität. Ein Vorteil, den Google gegenüber den anderen Sprachassistenten bietet, sind die Featured Snippets. Verweisen Siri oder Alexa bei manchen Fragen per Link auf eine Antwort, kann Googles Assistant die entsprechende direkt aus dem Snippet vorlesen.

Eine Problematik Alexas ist wiederum, dass bei Fragen zum Kauf bestimmter Produkte beinah immer ein Amazon’s Choice-Produkt als Antwort vorgeschlagen wurde. Das kann zwar von Interesse sein, muss es aber nicht. Außerdem beantwortet es die Frage nicht direkt. Letztlich lässt sich noch festhalten, dass Cortana und Alexa in diesem Fall mobil in der App getestet wurden, was nicht unbedingt ihre wahren Potentiale vollends widerspiegelt. Dennoch haben sie in diesem Kontext gegenüber dem Google Assistant und Siri definitiv Aufholbedarf. Diese beiden Sprachassistenten zeigen mit ihrer starken Entwicklung bei der Beantwortung der Fragen, wohin der Weg in der Voice Search führen wird. Mit elf Prozent (Google Assistant) und 13 Prozent (Siri) mehr richtig beantworteten Fragen als im Vorjahr haben die beiden Top Player im Mobile-Bereich noch einmal unterstrichen, wie effektiv sie bereits arbeiten.

Diese Studie darf jedoch nicht darüber hinwegtäuschen, dass Alexa und damit Amazons Smart Speaker unabhängig von Smartphones oder Tablets eine außerordentlich starke Konkurrenz gerade für Google darstellen. Immerhin kann Alexa inzwischen per Sprachbefehl lokale Businessdaten wie bei einem Knowledge Panel vorlesen, wenn danach gefragt wird.

Wie wichtig die Sprachsuche für SEOs schon jetzt ist, zeigt unter anderem die aufschlussreiche Infografik von Seotribunal zum Thema. Während nun immer mehr Features, allen voran die Suche, zu Voice hin verlagert werden, zeigt besonders Google, wie die eigenen Ressourcen für eine optimale Voice UX instrumentalisiert werden können. Doch je alltäglicher Voice wird, desto schneller werden sich alle Sprachassistenten an die Anforderungen der Nutzer anpassen und sich zu einer immer besseren Referenz entwickeln. SEOs können dann ihr Übriges tun, um die Sprachsuche, ob über den Google Assistant oder Alexa, für die Nutzer und damit am Ende auch für die eigenen Seiten positiv zu gestalten.