So setzt du mit A/B-Testing deine Budgets effizient ein

Unter A/B-Testing versteht man das Ausprobieren von Ideen und Funktionen für Websites oder Apps, aber auch für Anzeigentexte oder Kampagnenentwürfe. Das hilft dabei, Budget optimal einzusetzen und vermeidet Kampagnen, bei denen die Conversion hinter den Erwartungen zurückbleibt. Konkret lassen sich so unterschiedliche Varianten nach Zufallskriterien bei identischen Zielgruppen ausspielen. Bei der Durchführung eines A/B-Tests wird der eingehende Traffic aufgeteilt, wobei ein Teil des Besucher:innenstroms von der ursprünglichen Seite abgezweigt und auf eine leicht abgewandelte Seite geleitet wird. Dieses Splitting erfolgt willkürlich und ohne das Wissen der jeweiligen Nutzer:innen.

Obwohl A/B-Testing seit den 90er Jahren im Marketing angekommen ist, gibt es noch immer erschreckend viele Unternehmen, die wider besseres Wissen nicht damit arbeiten. Es hat ja bisher auch so funktioniert, ist eine Aussage, die in diesem Zusammenhang häufig fällt. Dabei ist Testing dem Bauchgefühl in nahezu allen Fällen vorzuziehen, weil es eben nicht die Eindrücke und Erfahrungen der Macher:innen einer Kampagne, der Initiator:innen eines Projekts oder Produkts widerspiegelt, sondern sich an der Zielgruppe orientiert. Hinzu kommt, dass es sich bei A/B-Testing um die Arbeit mit harten statistischen Erkenntnisse und Zahlen handelt, die unabhängig davon sind, ob eine Idee oder Veränderung von Praktikant:innen kam oder von einer Abteilung oder Person im Unternehmen, die aufgrund ihrer beruflichen Position Entscheidungen durchdrücken kann.

Gute Methode für viele Entscheidungen im Digitalgeschäft

A/B-Testing funktioniert in ganz vielen Umfeldern – egal, ob es um die Entscheidung geht, wie eine Website oder App von Design, Farbgebung oder Inhalt aufgebaut sein sollte, welche Headlines bei einem Newsletter zu einer besonders hohen Öffnungsrate beitragen können oder auf welche Anzeige die Nutzer:innen am wahrscheinlichsten klicken. Ziel von A/B-Tests ist stets die Optimierung der Conversion und das Generieren von mehr Umsatz. Gleichzeitig lernt das Unternehmen anhand belastbarer Zahlen aber auch viel über das eigene Projekt und sieht, was bei der eigenen Zielgruppe ankommt oder welche Dinge – mitunter entgegen dem Bauchgefühl – eben nicht funktionieren.

Besonders verbreitet und vergleichsweise unkompliziert zu realisieren ist etwa das A/B-Testing von Google-Anzeigen. Hervorragende Lösungen bietet das Unternehmen sogar innerhalb der eigenen Anzeigen-Tools unter „Entwürfe und Tests“ im Google Ads Interface, sodass sich Anzeigenentwürfe erstellen und gegeneinander testen lassen. Auch lassen sich Keywords und Wortgruppen finden, die sich oft wiederholen. Der Traffic Split muss übrigens nicht zwingend bei 50:50 liegen, du kannst ihn auch variieren. Das ist etwa dann sinnvoll, wenn du von einer bestimmten Variante nicht allzu überzeugt bist und diese daher nur nebenbei fahren willst, um den Erfolg nicht zu sehr zu gefährden.

Während A/B-Testing offline sehr zeitintensiv und teuer ist und genau genommen auch statistisch valide kaum zu realisieren ist, lässt sich das in der digitalen Welt mit den passenden Tools oder Funktionen sehr leicht durchführen. Und die sind inzwischen in vielen Shop-Systemen, Werbenetzwerken und Content-Management-Systemen implementiert oder lassen sich über die entsprechende API nachrüsten und ansprechen.

Von der Bestandsaufnahme zum Testdesign

Wichtig ist im Vorfeld die Frage, was genau dein Unternehmen mit dem Test erreichen will. Das sollte in der Regel ein genaues, klar definiertes Ziel sein. Dies zu formulieren sorgt dafür, dass du dich nicht verzettelst und im Nachhinein auch gut dokumentieren kannst, was du erreicht hast und wie erfolgreich das Unterfangen war. Für Lead-Generierung sind dabei andere Variablen wichtig als für Umsatzsteigerung oder für Brand Building. Daraus ergibt sich, was man messen will – und dieses lückenlose Tracking der aussagekräftigen Daten ist die Voraussetzung für Validität, also ein aussagekräftiges Ergebnis, das dich und deine Organisation weiterbringt.

Das aus der Perspektive des Users agierende Sieben-Ebenen-Modell zur Conversion-Optimierung kann dabei ein gutes Hilfsmittel sein, um entsprechende Stellschrauben zu finden. Dieses Modell ermöglicht unabhängig vom eigenen beruflichen Hintergrund sehr einfach, Fragestellungen zu entwickeln.

Tipp: Bewährt hat sich bei den Hypothesen, die diskutiert werden, eine einfache Struktur von „Wenn … dann … weil“.

Diese Fragen solltest du dir vor dem Start eines A/B-Tests stellen:

• Was ist die Hypothese? Spiegelt die Hypothese wider, welche Erkenntnisse erreicht werden sollen?
• Eignet sich der Test, um die Hypothese zu bestätigen oder zu widerlegen? Welche KPIs eignen sich für die Beurteilung? Werden diese KPIs erfasst, sind sie messbar und existiert eine Vergleichsbasis?
• An welchen Stellen der Strategie helfen diese Erkenntnisse weiter? Welche Maßnahmen sollten nach Erreichen der Ergebnisse umgesetzt werden?
• Wie kann die Randomisierung der Zielgruppe sichergestellt werden?
• Welcher Testzeitraum kann angesetzt werden. Ist dieser Testzeitraum repräsentativ und lang genug, um eine ausreichende Datengrundlage zu erreichen? Welches Budget wird dafür nötig sein?
• Kann die Performance auch negativ beeinflusst werden und bin ich bereit, dieses Risiko auf mich zu nehmen?

Vor der Entwicklung verschiedener zu testender Varianten steht aber stets die Analyse des Ist-Zustands einer Website oder Landing Page. Wohin schauen die Nutzer:innen, wie weit scrollen sie, was sagen die Google-Analytics-Daten über Verweildauer und angeklickte Links aus, wie hoch sind Absprungraten? Anhand der Erkenntnisse zu diesen Fragen entstehen meist schon viele Vermutungen und Hypothesen bezüglich der optimalen Herangehensweise an eine Kampagne oder einen Relaunch. So zahlengetrieben ein A/B-Testing grundsätzlich ist, so sehr spielen hier aber gerade im Rahmen der Entwicklung auch Erfahrungswerte, Know-how und zu einem nicht geringen Teil ebenso Intuition eine Rolle. Deswegen kann auch ein Unternehmen hinzugezogen werden, das über ausreichend Erfahrungswerte verfügt und mit den Mechanismen von Online Marketing und User Experience vertraut ist.

Für ein klares Bild: Immer nur einzelne Elemente anpassen

Bei der Entscheidung, welche Hypothese du verfolgst, ist es wichtig, mit konkreten Veränderungen zu arbeiten, die sich im Einzelnen nachvollziehen lassen. Vereinfacht gesagt: Änderst du mehrere Parameter, lässt sich meistens nicht mehr klar nachweisen, woraus eine bessere oder schlechtere Conversion tatsächlich resultiert. Beim A/B-Test geht es also darum, Schritt für Schritt einzelne Varianten gegeneinander laufen zu lassen und sicherzustellen, dass sich diese unterschiedlichen Effekte nicht gegenseitig beeinflussen. Übrigens können dies – entgegen dem Namen – auch mehr als zwei Varianten sein, wenn sich diese jeweils in demselben Element unterscheiden.

Wie lange ein Testing laufen muss, um verlässliche und aussagekräftige Daten zu liefern, hängt von der Fragestellung, aber auch von der Menge des Traffics ab. Im Schnitt sollten Tests etwa vier Wochen laufen, weil das Testing Tool sich entsprechend einspielen muss und die Verteilung des Traffics erst mit der Zeit kommt. Auch wenn die Ergebnisse der ersten Tage wenig aussagekräftig scheinen, solltest du den Test weiterlaufen lassen, weil das eigentlich Zeitaufwendige eher die Konzeption, das Testdesign und das Onboarding sind. Gerade wenn mehr als zwei Varianten miteinander verglichen werden, sollte eine ausreichend hohe Fallzahl gegeben sein, um ein valides Ergebnis zu erzielen.

Nicht immer führt ein Test zum Conversion Uplift

Die Auswertung danach ist nur theoretisch einfach. Schauen kannst du dabei, ob du mit einer der neuen Varianten einen Conversion und Umsatz-Uplift gegenüber dem zu vergleichenden Original erzielst und ob du die primären Ziele erreicht hast. Hier kannst du das Ergebnis ebenfalls mit dem Erfahrungsschatz eines Dienstleistungsunternehmens genau analysieren, um zu verhindern, dass etwa saisonale Sondersituationen oder eine parallel abgehaltene Promotion oder Aktion von Mitbewerber:innen das Ergebnis verwässern. Als schlüssig und valide gelten die Ergebnisse dann, wenn ein Konfidenzniveau über 95 Prozent erreicht wurde.

Du kannst dabei die Ergebnisse auf Teilaspekte runterbrechen, etwa verschiedene Endgerätegattungen (Desktop vs. Mobile) oder bestimmte Tageszeiten oder Wochentage anschauen. Um einen größeren Überblick zu bekommen, lassen sich auch zusätzliche Daten wie Traffic, Absprungrate, Umsätze etc. einbringen. Außerdem lässt sich so evaluieren, ob eine bestimmte Maßnahme etwa bei Paid Media besser funktioniert als bei organischer Reichweite. Stellt man etwa fest, dass eine bestimmte Veränderung für E-Commerce-Kund:innen, die mit dem Tablet am Wochenende und in den Abendstunden vom Sofa aus einkaufen, gut funktioniert, ist das auch eine wichtige Erkenntnis, die in die nächsten Hypothesen und Tests einfließen wird.

In manchen Fällen besteht das Learning, ob Kund:innen etwas mehr schätzen oder kaufen, aber einfach auch darin, dass es keinen signifikanten Unterschied macht oder dass die neue Variante sogar schlechter performt. Das zu wissen bringt dich gegebenenfalls auch weiter, weil du so nicht an irrelevanten Stellschrauben weiterarbeitest oder merkst, dass die alte Strategie nicht falsch war.

Auswertung mit Tools je nach Fragestellung und Komplexität

An Tools zum A/B-Testing selbst mangelt es nicht. Zusätzlich zu Google Analytics, das für viele Fragestellungen eine gute quantitative Grundlage sein kann, gibt es eine Reihe von Tools, beispielsweise Hotjar und Mouseflow. Diese analysieren eher qualitativ, wie sich Nutzer:innen auf einer Seite bewegen, wie tief sie scrollen und in welchem Zeitraum sie das tun. Hilfreich ist hierbei auch die Aufbereitung der Daten in Form einer Heatmap und das Herausrechnen einzelner Fälle oder Fall-Cluster. Diese zusätzlichen Informationen tragen dazu bei, dass du ein umfassendes Bild gewinnst und das Nutzer:innenverhalten besser verstehst als mit einer rein quantitativen Herangehensweise.

In manchen Fällen wird Google Optimize als kostenloses Tool ausreichend sein, insbesondere im mittelständischen Bereich oder bei überschaubaren Aufgaben. Vorteil ist hier die passgenaue Integration mit Analytics oder den AdWords-Konten von Google. Aber auch für Tools wie Optimizely, Dynamic Yield oder A/B Tasty gibt es gute Argumente, insbesondere wenn es sich um ein größeres Unternehmen oder einen Konzern handelt und – nicht zu vergessen – die hierfür notwendigen Budgets vorhanden sind.

Neben der Frage, wie groß dein Team ist und was man genau an Testing geplant hat, eignen sich solche aufwendigeren Lösungen immer dann, wenn du regelmäßig umfangreichere Tests durchführen willst, wie es etwa größere E-Commerce-Konzerne tun. Diese Kontinuität beim A/B-Testing kann dazu beitragen, dass du deine Conversions kontinuierlich verbesserst, was meist sinnvoller ist als ein kompletter Relaunch. Hilfreich ist bei der Wahl der passenden Software aber auch, dich auf das Dienstleistungsunternehmen deiner Wahl zu verlassen, das ja in aller Regel die am Markt verfügbaren Werkzeuge kennt und auch selbst Erfahrungswerte hat, ob eine Testing-Lösung stimmig oder überdimensioniert ist.

Intensives Testing macht sich fast immer bezahlt

Das Testing von Varianten ist ein wertvolles Element, um einerseits Usern die für sie optimale Website oder App zu präsentieren und die Conversion zu optimieren. Du sorgst so dafür, dass die Spendings und Budgets effizient verwendet werden und stellst außerdem sicher, dass du deine Nutzer:innen im Laufe der Zeit immer besser einschätzen kannst und Lösungen zielgruppengerecht realisierst. Gerade bei vermeintlich einfachen AdWords-Kampagnen lässt sich so mit überschaubarem Aufwand die optimale Conversion erzielen, was sich nahezu immer bezahlt macht und Fehlinvestitionen verhindert.

Wichtig ist aber auch, langfristige Aspekte im Blick zu behalten. So zeigt sich aktuell beispielsweise, dass die CPCs branchenübergreifend steigen und auch die Zahl der Anzeigen pro Suchanfrage (Anzeigentiefe) zunimmt. Das ist ein Indiz für einen härteren Wettbewerb im Markt, in dem die Akteur:innen bereit sind, höhere Preise zu zahlen und aggressiver zu agieren. Das wiederum sollte erst recht ein Argument fürs Testing sein.