Eine Chance für A/B-Test-Verlierer:innen

CRO und A/B-Tests funktionieren. Daran gibt es keine Zweifel, denn sie sorgen seit Jahren für massive Conversions und Einnahmen für jene, die in der Lage sind, die beste Variante für Seitenbesucher:innen anzuzeigen. Es wird jedoch immer wichtiger für die Customer Experience, personalisierte Interaktionen bereitzustellen. Experimente, die die einzigartigen Anforderungen einer bestimmten Zielgruppe außer Acht lassen, werden unklare Ergebnisse liefern und es wird schwieriger werden, statistisch relevante Ergebnisse zu erzielen.

A/B-Test: Manche Besucher:innen überzeugt die beste Testvariante nicht

Das komplexe Konstrukt der Personalisierung zieht die Interaktion mit individuellen Usern der Interaktion mit vielen Usern vor. Es erklärt sich von selbst, dass ein „durchschnittlicher User“ nun nicht mehr für „alle Seitenbesucher:innen“ stehen kann. Bisherige Herangehensweisen zur Identifikation der besten Experiences reichen nicht mehr aus. Da reicht es auch nicht, sich auf bewährte Methoden für die Stichprobengröße, den Entwurf einer Hypothese und die KPI-Optimierung zu verlassen.

Verlassen sich Marketer heutzutage einfach auf Testergebnisse und stellen Varianten dazu bereit, von denen sie davon ausgehen, dass sie bei allen Nutzer:innen gut ankommen, riskieren sie, dass die Experience für einen Teil der Seitenbesucher:innen darunter leidet. Es wird immer Besucher:innen geben, die die beste Testvariante nicht überzeugen kann. Erst, wenn du dir dieses Makels bei Testanalysen bewusst wirst, erkennst du, dass die Verlierervariante bei A/B-Tests dich tatsächlich auf die Erfolgsspur bringen könnte. Verborgene Chancen, die zuvor keine Beachtung fanden, könnten durch eine moderne auf Personalisierung ausgerichtete Denkweise ans Ziel führen.

Im Beispiel unten siehst du tatsächliche Ergebnisse aus einem Experiment, das 30 Tage lang durchgeführt wurde. Auf den ersten Blick ein Kopf-an-Kopf-Rennen, doch die Kontrollvariable scheint gegen den „Herausforderer“ zu gewinnen.

Schlüsseln wir den Bericht zum Experiment jedoch nach Gerät auf (eine grundlegende und einfache Maßnahme), zeigt sich ein völlig anderes Bild. Die Kontrollvariable mag zwar für Desktop PCs vorne liegen, doch der „Herausforderer“ liegt sowohl bei Tablets als auch bei Smartphones um Längen voraus.

Wäre im obigen Testszenario nur die Gewinner:innenstrategie berücksichtigt worden (wie viele es tun), hätte eine große Besucher:innengruppe lediglich eine minderwertige Experience erhalten, die auf eine:n durchschnittliche:n Besucher:in „angepasst“ wurde – und das, obwohl die zweite Variante bei Smartphones und Tablets klar überzeugte.

In einem weiteren Beispiel schnitt die Kontrollgruppe im Durchschnitt schlechter ab. Bei eingehender Analyse stellte sich jedoch heraus, dass sie dennoch auf „alle anderen Nutzer:innen“ angewendet werden sollte, während das weit größere „Direct Traffic“-Segment die bevorzugte Variante 2 erhalten würde.

Testergebnisse lassen sich für verschiedene Zielgruppen nutzen

Diese Beispiele zeigen, wie wichtig es ist, Testergebnisse für verschiedene Zielgruppen auszuwerten, und zwar unabhängig davon, wie die Segmente definiert werden. Nimm dir die Zeit, Testergebnisse für verschiedene Segmente genauer zu analysieren. Denn erst dann können umfassendere Optimierungschancen identifiziert werden. Dies gilt auch für Tests, die keinen Uplift für durchschnittliche Nutzer:innen liefern (was jedoch nicht wirklich vorkommt).

Bei einigen dieser Szenarien reicht ein kurzer Blick von CRO-Expert:innen für eine schnelle Analyse, doch aufgrund unzähliger Testzyklen und sich ständig ändernder Prioritäten finden diese häufig keine Zeit dafür. Je mehr Tests, Variationen und Segmente ins Spiel kommen, desto schwieriger wird es, da die Datenmenge ins Unendliche steigt.

Aber jetzt, wo du dies weißt, wie kannst du da den Status quo akzeptieren? Wie kannst du Ergebnisse einfach hinnehmen und Varianten einfach ausblenden?

Finde die beste Lösung

Mitarbeiter:innen, denen Leistung wirklich wichtig ist, sollten alles daran setzen, die beste Lösung zu finden – und heute ist genau das einfacher als je zuvor. Mit Predictive Targeting von Dynamic Yield profitierst du von Machine Learning für die Analyse der Leistung von A/B-Testvarianten für unterschiedliche Zielgruppensegmente in Echtzeit. Du kannst Uplift-Chancen analysieren, bei denen die eigentliche Verlierer:innen am Ende die Nase vorne haben (umgekehrt gilt dies natürlich auch).

Die Predictive Targeting Engine von Dynamic Yield bietet dir Empfehlungen zum Segment-Targeting mit den besten Ergebnissen, ohne, dass du dich selbst durch die Datenanalyse quälen musst. Mit nur einem Klick setzt du einen durchgehend personalisierten Ansatz in die Tat um, der für dich und dein Team optimale Ergebnisse liefert.

Wenn du mehr darüber erfahren möchtest, wie Dynamic Yield dich dabei unterstützt, deine individuellen Geschäftsziele mit Personalisierung zu erreichen oder zu übertreffen, besuche dynamicyield.com oder vereinbare eine Produktdemo.