Große Entwicklung bei Google: Chatbot Meena kann Smalltalk

Eine große Herausforderung für Entwickler ist es seit Jahren, Chatbots zu trainieren, die menschenähnlich oder menschengleich eine Konversation führen können. Sogenannte Open-Domain Chatbots sollen sich tatsächlich mit Usern unterhalten – anders als Closed-Domain Chatbots, die auf Keywords reagieren und nur das Erfüllen bestimmter Aufgaben als Ziel haben. Noch antworten Open-Domain Chatbots jedoch häufig unsinnig auf Fragen, ignorieren, was zuvor bereits gesagt wurde oder verstehen generelle Zusammenhänge nicht. So hat wohl jeder schon einmal gehört, wie Siri, Alexa und Co. seltsam oder unpassend auf Gesagtes reagierten. Googles neu vorgestellter Chatbot „Meena“ soll das ändern.

Meena führt Konversationen fast so gut wie ein Mensch

Google beschreibt Meena im Blogpost als „a 2.6 billion parameter end-to-end trained neural conversational model.“ Der Open-Domain Chatbot wurde mit einem 341-Gigabyte-Datenset trainiert, das gefiltert aus öffentlichen Social-Media-Konversationen gewonnen wurde. Der Anspruch? Meena soll nicht nur inhaltlich passend und natürlich antworten, sondern vor allem auch sinnvoll und spezifisch. Dafür stellt Google eine Metrik für Open-Domain Chatbots vor – der Sensibleness and Specificity Average (SSA). Laut Google sei beispielsweise „I don’t know“ auf so gut wie jeden Satz oder jede Frage eine sinnvolle (sensible) Antwort, jedoch keine besonders spezifische (specific). Um Chatbot Meena zu testen, würde bei jeder Antwort gefragt „Does it make sense?“ und „Is it specific?“. Auf dieser Basis erfolgte eine Bewertung des Chatbots.

Im Vergleich zu anderen bekannten Chatbots schnitt Meena unter diesem Framework in Googles Forschungen deutlich besser ab.

Auch der Sprung zu dem Durchschnitt von menschlichen Konversationen (auch wir antworten nicht immer passend oder besonders spezifisch) scheint nicht mehr besonders groß. Mit einem SSA von 79 Prozent verbleibt nur eine Steigerung um sieben Prozent, um auf dem menschlichen SSA von 86 Prozent zu landen.

Chatbot Meena: Anwendungsmöglichkeiten für die Zukunft

Ein Chatbot, der menschenähnliche Konversationen führen kann, könnte besonders bei der Fokussierung auf Messenger Marketing von großem Nutzen sein. Es ist jedoch zu vermuten, dass Google eher das Ziel verfolgt, mit einem guten Chatbot Sprachassistenten tiefer in den Alltag der User einzubinden und den Umgang mit ihnen zu einem positiveren Erlebnis zu machen.

Im Blogpost wird angemerkt, dass auch Meena noch ihre Fehler hat. Zwar ermöglicht der gute SSA einen natürlichen Konversationsfluss, jedoch fehlen noch andere Attribute, die zu einem guten Gesprächspartner gehören:

While we have focused solely on sensibleness and specificity in this work, other attributes such as personality and factuality are also worth considering in subsequent works. 

Deswegen und wegen einiger Sicherheitsbedenken wird es derzeit noch keine öffentliche Vorführung des Chatbots geben. Es sei jedoch durchaus möglich, dass sich dies in den kommenden Monaten ändert, heißt es abschließend.