Twitter-Suche: Trenderkennung in Echtzeit

Twitter hat nun einen interessanten Blick hinter die Kulissen freigegeben, der die spannende Frage erklärt, wie der Kurznachrichtendienst überhaupt Trends erkennen kann, ganz egal, ob es sich dabei um die Präsidentschaftswahl, ein Fährunglück oder Justin Biebers neue Freundin handelt.

Das System hinter der Twitter Suche ist gleichzeitig beeindruckend wie aufschlussreich. Im Hintergrund läuft eine Kombination aus automatisierten Datenabfragen und menschlicher Beurteilung, die interessante Suchanfragen erkennt, bewertet und schließlich in das Twitter-Backend einfügt. Durch Learnings können dann verschiedene Anzeigen oder Empfehlungen ausgesprochen. Das System lässt sich in verschiedene Stationen aufteilen.

1. Jede Suchphrase, die bei Twitter vermehrt gesucht wird, wird durch „Storm“ überwacht. Storm ist ein Programm zur Verarbeitung von Daten genutzt und hilft dabei, Statistiken über einzelne Suchabfragen zu erstellen.
Als Beispiel nennt Twitter die Suchanfrage [BigBird], welche innerhalb der „Storm“-Überwachung eine deutliche Spitze im US-amerikanischen Raum angezeigt hat.

2. Nachdem die Spitzen erkannt worden sind, werden diese an den „Amazon’s Mechanical Turk crowdsourcing Internet marketplace“ geschickt, über den Twitter „menschliche Begutachter“ erhält. Diese Begutachter müssen einen Fragenkatalog über die Suchanfrage beantworten, etwa ob es sich dabei um eine Person oder ein Ereignis handelt und ob es interessante Bilder dazu gibt.

3. Sobald die Beurteilung durch die externen Mitarbeiter durchlaufen wurde, wird die Suchanfrage mit allen Informationen, die im vorherigen gesammelt worden sind, in das Twitter-Backend eingefügt. Dadurch lernt das System, kann bei zukünftigen Suchabfragen reagieren und entsprechende Anzeigen einblenden.

Um bei dem Beispiel der vermehrt aufkommenden Suchanfrage [BigBird] zu bleiben: Die externen Mitarbeiter haben diese spezielle Suchanfrage mit der Kategorie Politik versehen, da Mitt Romney diesen Begriff in seinem Wahlkampf genutzt und sich daraus eine Protestbewegung entwickelt hat, um „Big Bird“ vor den Kürzungen des Republikaners zu retten.
Twitter konnte nun, anhand der Informationen aus den einzelnen Prozessen, bei zukünftigen Suchanfragen Anzeigen von @barackobama oder @mittromney anzeigen und den User so besser abfangen, als würde Twitter Anzeigen für @a_cookiemonster anzeigen.

Twitter hat mit seinem System in jedem Fall einen großen Schritt in Richtung „User verstehen und handeln“ gemacht.

Der komplette Beitrag über die interessanten Mechanismen hinter Twitter kann hier gelesen werden.