A/B-Testing: 3 häufige Fehlerquellen und Lösungswege

A/B-Tests sind ein Instrument der Conversion Rate Optimierung, bei der aufgrund der Veränderung einer Variablen untersucht wird, welche Variante besser konvertiert. Marketer können auf Grundlage der Ergebnisse das geeignete Werbemittel zum Einsatz bringen. Beim A/B-Testing gibt es aber auch Stolperfallen, denen man leicht aus dem Weg gehen kann. Brad Tiller hat sich auf Unbounce mit der Thematik auseinandergesetzt und dafür Michael Aagaard, Senior Conversion Optimization Consultant bei ContentVerve und absoluten Experten des Fachbereiches, zurate gezogen.

Fehlerquelle 1: Voreilige Schlüsse

Eine Variante nach dem kurzzeitigem Anstieg der Conversions als Sieger zu erklären, ist ein voreiliger Schluss. Zwar suggerieren die Conversions vermeintlich Sicherheit, jedoch benötigen A/B-Tests etwas mehr als spontane Ansprünge, deren Gründe nicht bekannt sind. Um aussagekräftige Daten zu bekommen, muss der A/B-Test über einen längeren Zeitraum laufen. Denn der Internetkonsum differiert täglich: Während montags Müdigkeit vorherrscht, wird freitags nachmittags eher prokrastiniert und am Wochenende stehen meist Familienausflüge an. Auch gibt es Unterscheidungen des Konsums zu Monatsbeginn sowie am Monatsende. Abhängig von den angebotenen Produkten (hinsichtlich der Preisklasse) kann der Unterschied immens sein.

Aagaard rät daher den Test über mindestens einen Monat laufen zu lassen und für jede Testvariante mindestens 100, eher aber 200 Conversions anzupeilen.

Fehlerquelle 2: Durchführen von A/B-Tests trotz eines geringen Trafficvolumens 

Zwar ist A/B-Testing ein Instrument auf das du bei der Conversion Rate Optimierung zurückgreifen kannst, es muss aber nicht zwangsläufig eine Lösung darstellen. Im Gegenteil – ein A/B-Test auf einer Webseite mit geringem Trafficaufkommen kann sogar nachteilig sein. Aagaard gibt dabei zu bedenken, dass sich schon eine Conversion massiv auf kleine Datensätze von wenigen hundert Visits auswirken und das Ergebnis verzerren kann. Auch den Test so lange laufen zu lassen, bis ausreichend Daten zur Verfügung stehen, ist nicht ratsam, so Aagaard. Denn unter Zuhilfenahme eines A/B-Test Rechners, der die Dauer eines Testes errechnet, kann sich schnell herausstellen, dass der Test bei 100 Besuchern täglich über drei Jahre dauern müsste. Aagaard rät bei solchen Fällen statt zu quantitativen eher zu qualitativen Untersuchungen und der Validierung von Hypothesen, bevor Elemente auf der Landing Page ausgetauscht werden. Qualitative Untersuchungen zeigen auf, warum etwas passiert, während quantivative Tests darstellen, was passiert. Zwei mögliche Varianten qualitativer Untersuchungen sind Interviews und Fallstudien.

Interviews

Interviews mit Kunden und der Zielgruppe lassen tiefe Einblicke zu und sind ein starkes Instrument der Conversion Optimierung. Niemand kann die User Experience und Usability besser beurteilen, als die eigenen User. Daher sind sie eine der ersten Anlaufstellen bei qualitativen Tests.

Fallstudien

Erfolgreiche Praxisbeispiele können als Inspirationsquelle genutzt werden. Maßnahmen, die nämlich auf der einen Webseite gut funktionieren, müssen nicht zwangsläufig auch für die eigene Landing Page geeignet sein.

Fehlerquelle 3: „Gute“ Conversion Rates

Die Conversion Rate ist tagesformabhängig und kann schon aufgrund von Faktoren wie der Tageszeit variieren. Das Ziel beim A/B-Testing ist vorrangig nicht die Steigerung der CR, sondern das Ändern von Parametern, die zu einer höheren Conversion Rate führen können. Aagaard konstatiert, dass der Sinn und Zweck hinter der Conversion Rate Optimierung nicht die Steigerung der CR ansich ist. Er rät vor diesem Hintergrund dazu, sich eher auf die Lead Qualität sowie die Umsätze zu fokussieren.

Bevor ein A/B-Test zum Einsatz kommt, sollte also überprüft werden, ob er sich überhaupt eignet oder nicht besser andere Alternativen Anwendung finden sollten. Führst du dir die oben stehenden Fehlerquellen allerdings immer vor Augen, kann im Grund genommen wenig schief gehen.

Quelle: Unbounce