Es gibt keine fehlgeschlagenen A/B-Tests: So stellst du sicher, dass du aus jedem Experiment aussagekräftige Ergebnisse gewinnst

Bis ins späte 19. Jahrhundert hinein ging man in der rationalen Welt davon aus, dass eine mysteriöse unsichtbare Substanz die Welt umgibt, die durch Licht und Klang schwebt – der Äther. Die Wissenschaftler Albert A. Michelson und Edward W. Morley machten es sich zum Ziel, die Existenz des Äthers mit ihrer eigenen Technologie ein für alle Mal nachzuweisen. Entgegen allen Prognosen ergab ihr Experiment das genaue Gegenteil: Der Äther existiert nicht. Ein Schock für die Wissenschaftler und die gesamte Welt! Später sollte dieses Experiment als das bekannteste fehlgeschlagene Experiment in die Geschichte eingehen. Zwar wurde die Hypothese der Wissenschaftler widerlegt, doch sie war auch der Grundstein für eine neue Sicht auf das Mysterium des Universums. Letztendlich ebnete dieses Experiment den Weg für Einsteins Relativitätstheorie, die heute als eine der beiden Säulen der modernen Physik bekannt ist.

Das Experiment von Michelson und Morley scheiterte grandios und änderte damit grundlegend unsere Einstellung zu Experimenten. Die CRO Manager von heute verwenden bei ihren Tests die gleiche Sprache und Methodik wie Wissenschaftler:innen. Sie erstellen eine Hypothese und schließen den Test mit einem Ergebnis ab. Sie sind jedoch häufig so versessen auf aussagekräftige Ergebnisse oder ein gewünschtes Ergebnis, dass es ihnen unmöglich ist, über das offensichtliche Ergebnis hinauszusehen. Ein Test wird als Gewinner:in und der andere als Verlierer:in bezeichnet. Tatsache ist jedoch, dass es keine gescheiterten Tests gibt. Das einzige Ergebnis sind die gewonnenen Erkenntnisse.

Im weiteren Verlauf erfährst du, wie du eine unangreifbare Testmethodik entwickelst, die aussagekräftige Ergebnisse garantiert, und warum es keine fehlgeschlagenen Tests gibt. Unterstrichen werden diese Informationen durch Erfahrungswerte der weltweit führenden eCommerce-Marken.

Ein neues Testkonzept

Ein typischer A/B-Test ist häufig mit einem KPI gekoppelt. Ein:e Einzelhändler:in, der oder die wissen möchte, welche Empfehlungsstrategie zu mehr Artikeln im Warenkorb und somit letztendlich zu einem höheren Umsatz führt, wird sich vor allem ansehen, welche Variation Kund:innen effektiver zum Handeln motiviert. Selbstverständlich liegt es im Interesse des CRO Managers, durch Tests einen höheren Umsatz zu erzielen. Sollte ein Test nicht in der Lage sein, den Status quo zu verbessern, gilt dieser Test normalerweise als fehlgeschlagen.

Doch wir können so viel aus fehlgeschlagenen Tests lernen. Jedes Experiment zieht unabhängig vom Ergebnis einzigartige Lehren nach sich. Es ist an der Zeit, das Konzept fehlgeschlagener Experimente ein für alle Mal zu vergessen und Tests in Zukunft mit wissenschaftlicher Neugierde zu betrachten. Von diesem Umdenken profitieren nicht nur zukünftige Tests. Unternehmen entwickeln ein besseres Verständnis für Einkaufserlebnisse und eine umfassende Kund:innenerfahrung und können in Zukunft neue Wege einschlagen, die sich auf langfristige Sicht lohnen werden.

Hieb- und stichfeste A/B-Tests

Die Wissenschaft hat es bereits vorgemacht und auch CRO Manager können einen maximalen Mehrwert aus einem Experiment herausholen, wenn sie bei Tests auf eine fundierte Methodik setzen. Du hast Glück, denn wir haben unsere eigene wissenschaftliche Methode entwickelt – einen hieb- und stichfesten Testplan, bestehend aus sieben Schritten, die dir dabei helfen, aus jedem Test aussagekräftige Erkenntnisse und ein Fazit abzuleiten.

1. Stelle eine Frage

Das Hinterfragen einer unbekannten Variablen und die Lösungsfindung sind der Grundstein für dein Experiment. Du musst daraus eine zentrale Frage ableiten, die das Experiment ins Rollen bringt. Aus der Frage leitest du nicht nur deine Hypothese ab, sondern sie ist auch dein Ausgangspunkt für eine fundierte Vermutung.

Sehen wir uns die einzelnen Schritte des Experiments am besten an einem Beispiel an: Steigern Rabatte für Neukund:innen den Umsatz pro Kund:in?

2. Formuliere anhand dieser Frage eine Hypothese

Verwende deine bisherigen Kenntnisse zu deinem Vorteil, bevor du eine Hypothese erstellest. Sämtliche Informationen, die zu deinem Unternehmen oder deinen Kund:innen bereits vorhanden sind, geben wertvolle Aufschlüsse zur Testmethodik. Sie helfen dir, deine zentrale Frage so spezifisch wie möglich zu formulieren, bevor du mit dem Experiment fortfährst. Solltest du die Effizienz von Rabatten oder Incentives bereits in der Vergangenheit erforscht oder getestet haben, nutze die daraus gewonnenen Ergebnisse.

Gehen wir einmal davon aus, dass du herausgefunden hast, dass Neukund:innen sehr genau auf die Preise achten und selten Waren über einem Wert von 60 US-Dollar bestellen. Dies ist ein starkes Indiz dafür, dass Incentives dann erfolgversprechend sind, wenn der Nettopreis unter 60 US-Dollar gesenkt wird.

Richte dein Experiment dahingehend aus, dass das Incentive den durchschnittlichen Bestellwert auf unter 60 US-Dollar senkt. Zehn Proeznt Rabatt oder mehr sollten dafür ausreichen.

Formuliere aus deiner Frage nun eine fundierte Vermutung – eine Hypothese: Das Angebot eines Rabattes in Höhe von mindestens zehn Prozent wird den Umsatz pro Kund:in wahrscheinlich steigern.

3. Identifiziere die Variablen

Indem wir die vorliegende Frage eingrenzen, können wir die wichtigsten Variablen für unser Experiment bestimmen. Jedes Experiment benötigt mindestens eine unabhängige und eine abhängige Variable. In diesem Fall ist der Rabatt die unabhängige Variable und die abhängige Variable ist der Umsatz, denn der Rabatt könnte sich auf den Umsatz auswirken. Als Kontrollvariable testest du das Ergebnis, wenn Kund:innen kein Rabatt gewährt wird.

Verwende stets Variablen, die nach dem Test als eindeutiger Wegweiser dienen. Teste beispielsweise Rabatte in Höhe von zehn Prozent, 15 Prozent und 20 Prozent jeweils als Variante in einem Test. So findest du heraus, ob die Höhe des Rabattes wichtig ist und ob sie bei zukünftigen Tests erhöht oder gesenkt werden sollte.

Uns bleibt mindestens eine nicht identifizierte Variable: die Zugehörigkeit der Zielgruppe. Neukund:innen können aus verschiedenen Quellen stammen, wie etwa organische Suche, bezahlte Suche, Direct Traffic usw. Jeder dieser Faktoren kann sich auf die Reaktion der Kund:innen auf das Experiment auswirken. Du solltest außerdem stets sicherstellen, dass du die Leistung einer Kampagne für wichtige Zielgruppen nachverfolgen kannst, bevor du mit dem Testen beginnst. Teste nur Variablen, die wirklich relevant sind für dein Experiment.

4. Lege eine angemessene Messmethode fest

Mangelnder Uplift ist noch lange kein Zeichen für einen fehlgeschlagenen Test. Ein Test kann nur dann fehlschlagen, wenn er nicht richtig vorbereitet wird und dadurch zu unzuverlässigen und nicht auswertbaren Ergebnissen führt. Wenn du davon ausgehst, dass dein Test mehrere abhängige Variablen beeinflusst, musst du rechtzeitig festlegen, wie du die Auswirkung auf jede einzelne messen möchtest. Nur so kannst du sicherstellen, dass deine Ergebnisse so genau wie möglich sind.

5. Führe das Experiment aus

Du hast die Frage, Variablen und die Messung der Ergebnisse festgelegt. Jetzt ist es an der Zeit, den Test durchzuführen. Wir empfehlen, den Test mindestens 30 Tage auszuführen, um statistisch relevante Ergebnisse zu erzielen. Berücksichtige deine Zielgruppenvariablen (in unserem Beispiel die Traffic-Quellen). Es kann länger dauern, statistische Relevanz für Zielgruppen zu erzielen, als dies bei deinem allgemeinen Experiment der Fall ist.

6. Werte die Ergebnisse aus

Bei Tests geht es nicht nur darum, höhere Umsätze zu erzielen, sondern auch darum, Informationen zu gewinnen. Du kannst deine Gewinne erst steigern, wenn du Informationen gewonnen hast, mit denen du Testergebnisse positiv beeinflussen und die Leistung zukünftiger Kampagnen optimieren kannst.

Es reicht nicht aus, sich einfach nur anzusehen, ob ein Test einen positiven oder negativen Uplift ergibt. Kehre zurück zu deiner Hypothese und stelle fest, ob sie richtig war oder nicht.

 Diese Fragen solltest du dir nach Abschluss des Experiments stellen:

• Haben alle Zielgruppen gleich reagiert?
• Haben die Ergebnisse andere unerwartete Variablen aufgedeckt?
• Gibt es weitere abhängige Variablen (das heißt eine Conversion Rate)?
• Inwiefern hat sich der Wert der Variable auf das Ergebnis ausgewirkt? (Ergeben zehn Prozent Rabatt ein anderes Ergebnis als 20 Prozent Rabatt?)

7. Optimiere deine Kampagne

Nachdem du deine Ergebnisse sorgfältig ausgewertet hast, solltest du eine Antwort auf deine ursprüngliche Frage erhalten. Nutze die Ergebnisse, um die nächsten Schritte festzulegen. Du kannst unter anderem ein neues Verfahren in deine Marketing-Strategie integrieren oder weitere Tests ausführen, um detailliertere Ergebnisse zu erhalten. Die Erkenntnisse zur Zielgruppen-Performance und die Auswirkungen der einzelnen unabhängigen Variablen auf deinen KPI können die Basis für weitere Experimente darstellen. Diese Experimente sind individueller und sie heben für jede wichtige Zielgruppe Variationen hervor, die höchstwahrscheinlich zutreffend sind.

Aufschlüsselung der tatsächlichen Auswirkung der Testergebnisse

Du hast jetzt alle Tools, die du für die Durchführung eines Experiments benötigst. Sehen wir uns jetzt die Auswertung der Ergebnisse an. Ein Experiment kann zu einem wenig aussagekräftigen Test führen. Entgegen der gängigen Meinung bietet dieses Ergebnis jedoch eine große Chance, Informationen zu gewinnen. Ein nicht aussagekräftiger Test ist ein Test, der keinen signifikanten Performance-Unterschied zwischen der Kontrollvariable und den Variationen erkennt. Hierfür gibt es mehrere Gründe: das Timing, die Zielgruppengröße oder eine nicht vorhergesehene Variable. Nicht aussagekräftige Tests und Tests mit einem negativen Uplift können jedoch langfristig häufig zu größeren Uplifts führen.

Wie hoch der Lift ausfällt, hängt vom Ausmaß der Veränderung ab. Große Veränderungen können einschüchternd sein, da sie möglicherweise negative Ergebnisse nach sich ziehen. Wenn du aufgrund dieser Angst keine Risiken eingehst, hat dein Unternehmen niemals die Chance, eine tiefgreifende Transformation zu durchlaufen und zu wachsen. Aber sei beruhigt. Nur die wenigsten Tests bleiben für alle Zielgruppen ergebnislos. Es gibt immer eine Zielgruppe, die positiv reagiert. Du musst nur herausfinden, um welche Zielgruppe es sich dabei handelt.

Mit diesem Wissen kannst du optimistisch in die Zukunft blicken. Aber vergiss nicht, dein Personalisierungsprogramm wird dann erfolgreich sein, wenn du Risiken eingehst, denn die Informationen, die du erhältst, sind unglaublich wertvoll.

Chal-Tec – mit Risiko zu höheren Gewinnen

Sehen wir uns eine Kampagne an, die von Chal-Tec durchgeführt wurde. Anfangs verkaufte das Unternehmen lediglich DJ-Ausrüstung. Doch mit der Zeit kamen mehr und mehr Produktkategorien hinzu. Zwar stieg der Gesamtumsatz dadurch, doch das Unternehmen verlor seinen Kontakt zu seiner ursprünglichen Zielgruppe, den DJs.

Chal-Tec konnte zu seinen Wurzeln zurückkehren, da das Unternehmen keine Angst vor ergebnislosen Tests hatte. Das Unternehmen startete ein enormes Experiment, bei dem die gesamte Website-Erfahrung auf die DJ-Zielgruppe ausgerichtet wurde. Es wurde einfach alles geändert, vom Logo bis hin zur Navigation. Das Ausmaß der Änderungen garantierte eines ganz sicher: Das Ergebnis würde dramatisch ausfallen, entweder im positiven oder im negativen Sinn.

Das Unternehmen wollte mit dem Test-Design sicherstellen, dass die gewonnenen Informationen wichtige Schlussfolgerungen und Maßnahmen ermöglichten. Diese Schlussfolgerungen sollten die zukünftige Marketing-Strategie und die Entwicklung des Kund:innenerlebnisses transformieren.

• Ein negativer oder ausgeglichener Lift würde dazu führen, die Zielgruppe zu überdenken. Es könnte eine Aufteilung der Zielgruppe in mehrere Untergruppen erfolgen, die möglicherweise positiv auf den Test reagieren.

• Ein positiver Uplift würde das Unternehmen in seinem Vorhaben bestärken, mit dem personalisierten Ansatz für DJ-Ausrüstung fortzufahren.

Das Ergebnis des Tests sollte dem Unternehmen Recht geben. Es verzeichnete einen Performance-Anstieg von 37 Prozent. Für Unternehmen wie Chal-Tec sind diese Ergebnisse unbezahlbar. Sie erzielen damit nicht nur das Testziel, sondern können auch ein weit größeres Unternehmensziel erreichen – ein erfolgreiches Kund:innenerlebnis. Nur so können Unternehmen in der Ära von Amazon bestehen.

Unerwartete Ergebnisse und der Weg auf die Erfolgsspur

Wir arbeiten mit über 400 internationalen Marken bei der Implementierung von Tests zusammen. Wir haben schon einige „fehlgeschlagene“ Tests erlebt. Aber wir haben auch erlebt, wie völlig unerwartete Ergebnisse einem Team den Weg auf die Erfolgsspur geebnet haben.

Ein:e US-amerikanische:r Unterwäschehersteller:in wollte die eigenen Marketing-Ausgaben optimieren

Das Unternehmen war besorgt, dass die Inhalte der Homepage schnell langweilig werden. Es investierte in qualitativ hochwertige Fotos, damit der Inhalt der Homepage mehrmals pro Monat aktualisiert werden konnte. Anschließend wurde ein Test ausgeführt, der bestätigen sollte, dass diese Investition Umsatz generierte. Der A/B-Test wurde zwei Monate lang ausgeführt. Website-Besucher:innen wurden für die Dauer des Tests in zwei verschiedene Gruppen aufgeteilt.

Test-Design:

• Kontrolle: Content-Aktualisierung 1 Mal pro Monat
• Variation: Content-Aktualisierung 2 Mal pro Monat

Überraschenderweise führte die Variation zu keinem Umsatz-Uplift im Vergleich zur Kontrollvariable. Das Unternehmen betrachtete den Test jedoch keinesfalls als fehlgeschlagen. Es änderte lediglich seine Meinung zum Mehrwert regelmäßig aktualisierter Inhalte. Letztendlich entschied sich das Unternehmen, nicht mehr intensiv in Fotos zu investieren. Zwar führte der Test nicht direkt zu einem höheren Umsatz, doch das Unternehmen erhielt die nötigen Erkenntnisse, um sein Budget besser aufzuteilen und unnötige Ausgaben zu vermeiden.

Ein:e US-amerikanische:r Modehändler:in hat herausgefunden, wie die Rabattcodes optimiert werden können

Das Modelabel entschied sich, ein Rabattangebot in Höhe von zehn Prozent für seine australischen Kund:innen zu starten. Dies erfolgte über eine einfache Benachrichtigung mit einem Angebotscode.

Das Unternehmen stellte die Hypothese auf, dass ein Rabatt von zehn Prozent zu mehr Conversions führen würde und den durchschnittlichen Umsatz pro Kund:in um fünf bis zehn Prozent steigern könnte. Tatsächlich sanken die Conversions jedoch um 23 Prozent. Nach weiteren Analysen entdeckte das Unternehmen eine Moderatorvariable. Diese Variable ermöglichte es, wichtige Schlüsse aus dem Test zu ziehen. Wenn Kund:innen zuerst auf einer Referral-Partner-Website auf den Rabatt aufmerksam gemacht wurden, freuten sie sich darüber, anschließend auch noch die Benachrichtigung dazu zu erhalten. Bei einem zweiten Test wurde nur der Referral Traffic berücksichtigt. Das Ergebnis war ein Uplift von 14 Prozent.

Neubewertung von Annahmen

Fehlgeschlagene Tests sollten dich dazu veranlassen, deine Annahmen zu überdenken. Wenn deine Erwartungen näher an der Realität sind, kannst du intelligentere Geschäftsentscheidungen treffen. Wenn du Testergebnisse maximal ausschöpfen möchtest, bereite dich darauf vor, auf ein negatives oder ausgeglichenes Ergebnis zu reagieren. Sieh dir genau an, weshalb ein Test zu einem bestimmten Ergebnis geführt hat. Sieh dir die Ergebnisse auf Zielgruppenebene an und entwickle einen Prozess, der dir Aufschluss darüber gibt, weshalb ein Experiment zu einem bestimmten Ergebnis geführt hat. Bereiten dich auf überraschende Ergebnisse vor und denke daran: Manchmal sind es die unerwarteten Ergebnisse, die das Potenzial haben, die größten Veränderungen ins Rollen zu bringen.

Wenn du mehr darüber erfahren möchtest, wie Dynamic Yield dich dabei unterstützen kann, deine individuellen Geschäftsziele mit Personalisierung zu erreichen oder zu übertreffen, dann besuche dynamicyield.com oder vereinbare eine Produktdemo.