BotMaker: Twitters neue Waffe gegen Spam

Spam ist besonders Twitter ein Dorn im Auge. Gerade mit der Entdeckung, dass bis zu 23 Millionen Bots auf der Plattform unterwegs sind, ist das Thema umso brisanter. Der Kurznachrichtendienst veröffentlichte nun eine Auswertung seines Tools BotMaker, das bereits aktiv für weniger Spam sorgt.

Transparenz hat auch seine Nachteile

Die Programmierer bei Twitter haben es nicht leicht. Die APIs der Entwickler sind öffentlich einsehbar, also wissen die Spammer genau, wie sie vorgehen müssen. Das A und O der Plattform sind außerdem Inhalte in Real-Time. Somit bleibt nicht viel Raum und Zeit für Spam-Detektoren.

Die neu-entwickelte Waffe im Kampf gegen Spammer heißt BotMaker. Sie scannt Milliarden von Nachrichten täglich, erstellt Regeln (firmenintern Bots genannt) und sorgte bislang für einen 40-prozentigen Rückgang der Key Spam Metriken. Die drei Grundpfeiler des Tools sind das Verhindern der Veröffentlichung des Spams an sich, das Löschen der entsprechenden Tweets so schnell wie möglich und die effiziente Analyse von neuen Spam-Methoden.

Die Funktionsweise

Um das System der Plattform zu erhalten, haben die Entwickler eine Kombination aus verschiedenen Programmen geschaffen (siehe Grafik). Dazu gehören laut Raghav Jeyaraman, Tech Lead Anti-Spam Engineering bei Twitter:

1. Real time (Scarecrow): Scarecrow detects spam in real time and prevents spam content from getting into the system, and it must run with low latency. Being in the synchronous path of all actions enables Scarecrow to deny writes and to challenge suspicious actions with countermeasures like captchas.
2. Near real time (Sniper): For the spam that gets through Scarecrow’s real time checks, Sniper continuously classifies users and content off the write path. Some machine learning models cannot be evaluated in real time due to the nature of the features that they depend on. These models get evaluated in Sniper. Since Sniper is asynchronous, we can also afford to lookup features that have high latency.
3. Periodic jobs: Models that have to look at user behavior over extended periods of time and extract features from massive amounts of data can be run periodically in offline jobs since latency is not a constraint. While we do use offline jobs for models that need data over a large time window, doing all spam detection by periodically running offline jobs is neither scalable nor effective.

Damit kann einerseits die Geschwindigkeit von Twitter bewart werden, von der das soziale Netzwerk lebt. Andererseits schafft dies Raum für die Mitarbeiter, um schnell zu reagieren und neue Regeln sowie Modelle für die Anti-Spam Software zu realisieren. Vorher konnte es Stunden oder auch Tage dauern, bis eine effektive Lösung gefunden beziehungsweise übertragen wurde.

Die Analyse

Die Grafik zeigt die Reduzierung des Spams nach Launch von BotMaker. Innerhalb einer Zeitspanne von 30 Tagen ist die Anzahl von verdächtigen Tweets um 55 Prozent gefallen.

Ausführlichere Untersuchungsergebnisse und Code-Beispiele des BotMaker können auf dem Twitter Blog nachgelesen werden.

Quelle: Twitter Blog