• deutsch
  • english

Wenn bei A/B-Tests A und B gewinnen

Es gibt Gut und Böse, Schwarz und Weiß und immer genau einen Sieger bei einem A/B-Test. So ist das! Zumindest wäre es aus der Sicht vieler Menschen schön, wenn es immer so wäre. Alles wäre so wunderbar einfach. Doch so funktioniert es nicht immer: weder in Bezug auf Gut und Böse noch bei Schwarz und Weiß, und, nein, auch nicht bei A/B-Tests. Manchmal gibt es bei Letzteren tatsächlich Ergebnisse und andere Teilergebnisse für bestimmte Segmente.

Zwei Sieger ... bei A/B-Tests keine Seltenheit

Zwei Sieger ... bei A/B-Tests keine Seltenheit

Ein klares Ergebnis

Hier einmal ein einfacher Beispieltest: Es werden die Varianten A und B einer Landingpage geprüft, welche sich im dargestellten Produktfoto unterscheiden. Variante B erzielt beim A/B-Test eine um 28 Prozent höhere Conversion-Rate als Variante A. Variante B ist also Sieger! Der Test ist erledigt, der Sieger gefunden! Schwarz ist Schwarz, Weiß ist Weiß und dazwischen gibt es nichts!

Ein Blick auf einzelne Segmente

Je nach Umfang der erhobenen Daten bei einem Test kann man das Gesamtergebnis außen vor lassen, sich die Conversion-Raten bei den Varianten A und B für einzelne Segmente ansehen und dabei eine Reihe möglicherweise sehr interessanter Fragen beantworten, wie zum Beispiel:

• Wie sieht das Ergebnis des A/B-Tests bei Frauen aus? Und wie bei Männern?
• Wie unterscheidet sich das Ergebnis bei Neukunden von dem bei Bestandskunden?
• Welches Ergebnis erzielen die Varianten A und B bei Menschen, die die jeweilige Landingpage über Bannerwerbung erreichen? Und wie schneiden sie bei denjenigen ab, die über Google Adwords-Textwerbung auf die Seite gelangen?

Wenn Klares plötzlich nicht mehr klar ist

Möglicherweise ähneln sich die Ergebnisse mit Blick auf unterschiedliche Segmente. Männer bevorzugen Variante B der Landingpage ebenso wie Frauen, Neukunden wie Bestandskunden. Eventuell treten an dieser Stelle aber auch deutliche und interessante Unterschiede zutage. So ist beispielsweise denkbar, dass Neukunden Variante B bevorzugen und Bestandskunden Variante A, weil für sie andere Landingpage-Elemente wichtig sind als für Neukunden. Man sollte deshalb keine voreiligen Schlüsse ziehen und nach nur einem Test behaupten: Das ist so! Besser ist es zu sagen: Das könnte so sein!

Je näher die Conversion-Raten von A und B bei einem A/B-Test beieinander liegen, desto eher könnten sich Detailergebnisse beim Blick auf Untergruppen vom Gesamtergebnis unterscheiden. Und dann gewinnen vielleicht wirklich Variante A und Variante B. Dieses Ergebnis sollte in diesem Fall viel mehr berücksichtigt werden als das Gesamtergebnis Ihres A/B-Tests, weshalb weder Variante A noch Variante B völlig verworfen werden sollten.



1 Kommentar

  1. […] Teil einer Optimierungsstrategie. Es ist allerdings nur der Auftakt und mitnichten ein Ersatz für A/B- oder multivariate Tests. Denn nur diese verraten, welche Version profitabel […]


Schreibe einen Kommentar





Erforderliche Felder sind mit (*) markiert.