Experimentelles Design: Machine Learning schlägt A/B-Tests

Vom Kaufmann John Wanamaker, der als Pionier der modernen Werbung gilt, stammt der Ausspruch: „Ich weiß, dass die Hälfte meines Werbebudgets vergeudet ist. Ich weiß nur nicht, welche Hälfte.“ Dank moderner Methoden verfügen Marketiers heute über Techniken, die aufzeigen, welche Elemente einer Kampagne bei den Kunden Resonanz erzeugen und warum sie erfolgreich sind. Zu den vielversprechendsten Methoden gehört hier das experimentelle Design.

Was ist experimentelles Design?

Experimentelles Design ist ein Forschungs-, Test- und Optimierungsansatz, der dazu dient, Daten zu organisieren und statistische Tests durchzuführen, um Ursache-Wirkungs-Beziehungen zwischen Input und Ergebnissen zu identifizieren.

Im Rahmen einer Marketingkampagne ermöglicht das experimentelle Design Marken, verschiedene Elemente separat zu kennzeichnen und Variationen jedes Elements zu testen, um zu sehen, welche Kombination die beste ist. Auf diese Weise lässt sich nicht nur die beste Version jedes Elements identifizieren, sondern es lässt sich auch beurteilen, welche Elemente in Kombination die größte Wirkung haben.

Hier ein Beispiel: Ein Markenunternehmen, das versucht, das beste Design für eine Website zu finden, kann verschiedene Variationen der Headline, des Slogans, des Bildes und des Call to Action-Buttons separat markieren und dann vier oder fünf Variationen jedes Elements testen, um zu sehen, welche Kombination die Kunden am effektivsten zum Handeln animiert. Auf diese Weise können Vermarkter viele verschiedene Varianten verschiedener Seitenelemente schnell und maßstabsgetreu testen.

Wie unterscheidet sich experimentelles Design von A/B-Tests?

Eine der häufigsten Methoden, mit denen Marketingspezialisten unterschiedliche Botschaften testen, ist der A/B-Test. A/B-Tests ermöglichen, Adressaten nach dem Zufallsprinzip in zwei Gruppen einzuteilen und eine Version einer Botschaft an eine Gruppe zu liefern und eine andere Version an die zweite Gruppe zu liefern. Der Test zeigt auf, welche Botschaft erfolgreicher ist. A/B-Tests sind eine Art Test zwischen der Champion-Version und der Challenger-Version.

A/B-Tests zeigen sehr effektiv, welche von einer kleinen Handvoll Optionen die beste Leistung bringt, wie Ron Kohavi von Microsoft und Stefan Thomke von der Harvard Business School in ihrem Artikel 2017 in der Harvard Business Review hervorheben. Für Marken, die nur zwei oder drei Variationen eines Elements testen wollen, kann ein A/B-Test ein brauchbares Ergebnis bei einem geringen Stichprobenumfang liefern. Diese Einfachheit hat A/B-Tests sehr beliebt gemacht.

Doch der Nutzen von A/B-Tests ist in der heutigen Zeit des Massenmarketings und der Echtzeit-Kommunikation sehr begrenzt. Diese Tests können beispielsweise nicht effizient mehrere Versionen mehrerer Seitenelemente einer Website gegeneinander testen oder zeigen, warum eine bestimmte Botschaft besser abschneidet als eine andere. Sie können auch nicht aufzeigen, warum eine Botschaft keine oder eine negative Reaktion hervorgerufen hat. Und genau das ist der wunde Punkt für moderne Marketiers. Die Resultate des Marketings lassen sich nur dann fortlaufend verbessern, wenn man Einblick hat, warum einige Botschaften funktionieren und andere nicht. Auf diese Weise entwickelt sich das Marketing zu einer Insights-getriebenen Disziplin.

Ebenso können Marken keine A/B-Tests verwenden, um mehrere Elemente derselben Botschaft effizient zu bewerten. Sie müssten für jede Variation einen separaten A/B-Test durchführen, der sich sehr schnell zu einer unüberschaubaren Anzahl von Tests vervielfachen würde. Vier verschiedene Versionen von fünf einzelnen Elementen auf einer Website würden beispielsweise mehr als 500.000 separate A/B-Tests erfordern, die jeweils von einer großen Anzahl von Personen gesehen werden müssten, um ein statistisch valides Ergebnis zu erhalten.

Im Gegensatz dazu können Marketingspezialisten mit dem experimentellen Design eine Reihe von Variationen testen und dann mit Hilfe der vorausschauenden Analytik diejenige Kombination aus unzähligen möglichen Kombinationen identifizieren, die den besten Erfolg erzielen wird.

Experimentelles Design in Aktion

Als Beispiel für den Vorteil des experimentellen Designs soll hier der experimentelle Prozess dienen, mit dessen Hilfe das beste Design für ein Papierflugzeug ermittelt wird. Die Grundelemente, die getestet werden müssen, sind die Papiergröße, das Papiergewicht und zwei verschiedene Design-Varianten. Insgesamt ergeben sich damit jeweils acht Versionen des Flugzeugs.

Ein A/B-Testansatz würde von den „Flugzeugkonstrukteuren“ verlangen, dass sie jede Flugzeugvariante mit jeder anderen Variante vergleichen und testen, wie gut bestimmte Variablen im Vergleich mit einer anderen spezifischen Variable abschneiden. Das experimentelle Design hingegen erfordert nur vier Tests, da es die Ergebnisse auf jedem Element so anordnet, dass sich vorhersagen lässt, wie sie in verschiedenen Kombinationen funktionieren. Dieses Testdesign liefert die Möglichkeit zu vergleichen, welche Variante das beste Ergebnis erzielt und für welche Variante das beste Ergebnis vorhergesagt wurde.

Selbst das Testen von Papierflugzeugen mit einer Handvoll Elementen und Variablen kann den ganzen Tag dauern. Und es kann leicht passieren, dass die Zeit nicht ausreicht und man die optimale Kombination übersieht. Im Marketing sind Menschen auf Grund der enormen Datenmengen keinesfalls in der Lage, das bestmögliche Ergebnis zu erkennen oder vorhersagen. 

A/B-Tests erfordern eine Hypothese, die zu beweisen oder zu widerlegen ist. Was wäre jedoch, wenn es eine Kombination von Variablen gäbe, die alles, was der menschliche Tester annehmen könnte, weit übertreffen würde?

Zurück zum Beispiel Website-Design: Das Ergebnis, das laut Vorhersage am meisten Erfolg haben wird, könnte die Headline A zusammen mit dem Text B, dem Bild C und dem Call to Action D sein. Das Ergebnis mit der besten Erfolgsprognose ist dasjenige, das der Machine-Learning-Algorithmus auf der Grundlage des experimentellen Designs als das beste vorhersagt. Diese Optionen werden dann in reale Tests umgesetzt, um die tatsächliche Leistung zu testen. Auf diese Weise bietet das experimentelle Design Marketiers mehr Insights – in kürzerer Zeit und mit weniger Aufwand als bei einem A/B-Test.

Umsatz steigern mit experimentellem Design

Eine Person kann mehrfach mit einer Marke in Kontakt kommen, bevor sie sich entscheidet, Kunde zu werden. Jede Gelegenheit zur Kommunikation und Interaktion mit potenziellen Kunden zählt. Wenn eine Marke die Anzahl der Kontakte erhöhen kann, die auf ihre Marketingbotschaften reagieren, wird sie auch die Konversionsrate erhöhen. Jede Interaktion zahlt auf den Erfolg ein, deshalb ist es entscheidend zu wissen, wie sich Kunden schnell, effektiv und erfolgreich ansprechen lassen.

Eine positive Kundenerfahrung erreichen Marketiers, wenn sie wissen, welche Botschaften beim Kunden Erfolg haben, welche nicht und was die Gründe für Erfolg oder Misserfolg sind. Bei Website-Kampagnen ist es zum Beispiel oftmals so, dass die Wirkung der unterschiedlichen Botschaften vom Channel abhängt. Kunden können sehr unterschiedlich reagieren, abhängig vom Kanal, über den sie die Website erreichen. Personen, die von einer E-Mail aus durchklicken, können ein anderes Engagement-Profil haben als Personen, die von einer Social-Media-Anzeige aus durchklicken. Experimentelles Design erlaubt es, die Botschaften nach Channels getrennt zu betrachten und für jeden Channel diejenige Botschaft mit dem besten Resultat und der höchsten Konversionsrate zu identifizieren. Zudem kann das Marketing die Erkenntnisse aus dieser differenzierten Analyse für andere Kampagnen verwenden.

Diese Personalisierung dank Künstlicher Intelligenz ermöglicht eine optimierte Zielgruppen­ansprache. Personalisierung durch KI ist ein großer Trend im digitalen Marketing. Das belegt auch die aktuelle Studie „Digital Dialog Insights 2019“, durchgeführt von United Internet Media gemeinsam mit der Hochschule der Medien Stuttgart. Befragt wurden Experten aus den Branchen Handel, Dienstleistung und Produktion. 83 Prozent der Befragten sind überzeugt, dass Personalisierungs­strategien die Qualität der Werbebotschaften steigern können und damit einen echten Mehrwert für das digitale Marketing darstellen. Und KI-gestütztes experimentelles Design ist ein wichtiges Element, um eine effektive Personalisierung voranzutreiben.