Cortana, Siri, Google Home: Welcher Sprachassistent ist am schlauesten?

Die Sprachassistenten werden immer mehr Teil unseres Alltags. Voice Search entwickelt sich zu einer gängigen Größe, auch als Folge des Aufschwungs von Mobile. Nun haben Nutzer aber verschiedene Sprachassistenten zur Verfügung. Ein Test mit Cortana, Siri und Google Home demonstriert, wer noch in den Kinderschuhen steckt und wo die besten Ergebnisse zu erwarten sind.

Von Cortana bis Google Home: Zwei Tests und eine Tendenz

Malte Landwehr von Searchmetrics hat beim Blog des Unternehmens seinen persönlichen Test von Sprachassistenten veröffentlicht. Schon im August 2017 hatte er Microsofts Cortana, Apples Siri und Google Home im Hinblick auf ihre Alltagstauglichkeit getestet. Dabei hatte sich Google Home als Gewinner hervorgetan.

Nun hat Landwehr erneut 100 Fragen mit einem monatlichen Suchvolumen zwischen 2.000 und 180.000 an die drei genannten Assistenten gestellt. Die Untersuchung wurde mit einem Google Home-Gerät, Cortana auf einem Windows-PC und Siri auf dem iPhone durchgeführt. Hierbei war das grundlegende Ergebnis: Google Home zeigt eine Antwortquote von 55 Prozent und ist mit Abstand der zuverlässigste Sprachassistent in diesem Test. Denn der Smart Speaker konnte seine Antwortquote in knapp sieben Monaten sogar um 17 Prozent steigern.

Damit ist bereits auf eine digital fast allgemeingültige Richtung hingewiesen. Nämlich dass Google, auch über den Sprachassistent, immer mehr und präzisere Antworten zu geben imstande ist.

Testerkenntnisse zum Google Home

Zum einen erklärt Malte Landwehr, dass das Gerät bei einigen gängigen Fragen wie Wann ist Fasching? keine Antwort mehr geben konnte. Allerdings haben sich die Antwortquoten bei Keywords oder Phrasen mit sehr hohem Suchvolumen deutlich verbessert. Dazu kommt, dass Google Home inzwischen ebenso Apps und Funktionen starten kann. Und Antworten zu Fragen, für deren Beantwortung keine Direct Answers oder Featured Snippets zur Verfügung stehen, sind genauso optimiert worden. Landwehr berichtet, dass sogar vier mal häufiger eine menschliche, weil lustige Antwort gegeben wurde als beim vormaligen Test. Acht mal wurde sogar explizit Wikipedia als Quelle genannt.

Nur bei der Differenzierung scheint es weiterhin Schwierigkeiten zu geben. Wenn nämlich danach gefragt wird, was im Fernsehen läuft, dann kommt zumindest etwa die Antwort, dass TV-Programme noch nicht unterstützt werden. Bei der Frage, was im TV  läuft, kommen unpassende Vorschläge.

Testerkenntnisse zu Apples Siri

Siri hat beim Test von Malte Landwehr noch Platz zwei inne, aber im Vergleich zu vor sieben Monaten sogar bei der Antwortquote eingebüßt. Auch, weil für einige Suchanfragen noch immer nur verquere Antworten gegeben werden.

Testerkenntnisste zu Cortana

Bei Cortana zeigten sich nur punktuell Verbesserungen. Die Antwortquote liegt nach Landwehr bei 25 Prozent. So zeigte der Sprachassistent dem Tester häufiger passende Wikipediabeiträge bei Suchanfragen an; allerdings ohne die relevanten Teile prominent darzustellen. Dennoch werden die meisten Fragen verstanden, obwohl einzelne Begriffe für das System unbekannt scheinen. Demnach werden dann Suchanfragen gerne mal verkürzt. Aus der Frage: Was bedeutet # wurde dann nur noch Was bedeutet und Cortana lieferte eine Definition für das Pronomen was.

Konkretere Ergebnisse der Analyse

Gibt es eine Knowledge Graph-Integration, kann Google Home inzwischen alle Fragen beantworten. Aber besonders, wenn ein Featured Snippet oder eine Direct Answer in den Suchergebnissen für eine Anfrage vorhanden ist, zeigt sich wie gut Google Home im Vergleich operiert. 72 Prozent der Fragen werden dann beantwortet, während Siri und Cortana nur 17 Prozent erreichen. Und der Anteil der Fragen, für die Google Featured Snippets oder Direct Answers ausspielt, wächst auch kontinuierlich an.

In den USA liegt der Wert für das letzte Quartal 2017 laut Landwehr bereits bei 33 Prozent. Außerdem wird derzeit mit Quick Answer-Optionen experimentiert. Daher springen die Werte für Fragen, die eine Quick Answer erhalten, derzeit sehr stark.

Als ein weiteres Beispiel des Tests wird deutlich, dass die Sprachassistenten bislang am besten mit Was-Fragen umgehen können.

Offenbar wird bei der Grafik noch, dass Google Home bei den W-Fragen am besten abschneidet und Siri in diesem Bereich zu verlernen scheint.

Aussichten für Voice Search und Googles Entwicklung

Malte Landwehr glaubt, dass sich Google deutlich von Siri und Cortana wird abheben können. Dazu geht er davon aus, dass sich der Anteil der von Google Home korrekt beantworteten Fragen schon im Laufe des nächsten Jahres gen 100 Prozent bewegen könnte.

Nun muss festgehalten werden, dass es sich bei all den Erkenntnissen um einen persönlichen Test handelt. Der spiegelt jedoch wider, was alle Nutzer immer öfter erleben dürften. Dass einerseits die Suchergebnisse bei Google immer genauer werden und dass auch der Sprachassistent von Google stetig besser mit sprachlichen Suchanfragen zurande kommt. Sicherlich wird die Optimierung in deutscher Sprache immer ein wenig verzögert im Vergleich zum Englischen stattfinden. Doch eine spürbare Verbesserung der Bedingungen für Voice Search insgesamt ist unabdingbar.

Wie man sich auf Voice Search, ebenfalls im Hinblick auf Mobile First, vorbereiten kann und wie relevant das sein wird, zeigt unser Beitrag. Außerdem finden sich verschiedene Ansätze, mit denen die SEO speziell auf die Sprachsuche ausgerichtet werden kann.

Im Voice-Segment wird Google wohl weiterhin eine übergeordnete Rolle spielen; aber ein Player – der hier nicht Teil des Tests war – wird dem Google Home Smart Speaker große Konkurrenz machen. Amazons Alexa befindet sich als Sprachassistent der Echo-Geräte bereits in Millionen Haushalten und sorgt für das alltägliche Verschmelzen von digitaler Welt und Sprachbefehlen. Damit auch Apple wettbewerbsfähig bleibt, hat das Unternehmen Googles AI-Chef John Giannandrea vom Konkurrenten losgeeist. Das wurde gestern in der New York Times bekannt.

Der starke Wettbewerb hat für die Nutzer den Vorteil, dass die Sprachsuche sich womöglich sehr schnell weiterentwickeln wird, sodass es schon bald kaum mehr Probleme bei der Beantwortung von Fragen durch die Sprachassistenten geben dürfte.

Wer Interesse an den kompletten Ausführungen Malte Landwehrs zu seinem Test hat, kann hier den Blogeintrag bei Searchmetrics lesen.