A/B-Testing in der Praxis: Fünf Schritte für eine erfolgreiche Umsetzung

prudsys, prudsys RDE, Omnichannel, Handel, E-Commerce, Echtzeit, Personalisierung, A/B-Test

Ziel von A/B-Tests im E-Commerce ist es, Maßnahmen zu identifizieren, die eine Erhöhung oder Maximierung einer Akzeptanz- oder Interessensrate (z.B. Click-trough-rate oder Conversion-rate) ergeben. Wie der Name A/B-Test nahe legt, werden dabei immer zwei Varianten verglichen. Die Varianten unterscheiden sich dabei in der konkreten Gestaltung in einem Detail und sind ansonsten absolut identisch. Getestet wird, welchen Einfluss der Detailunterschied auf das Benutzerverhalten hat. Für eine erfolgreiche Durchführung sollten die folgenden Schritte berücksichtigt werden.

Schritt 1: Auswahl der Varianten (A/B) für den Vergleich
Wichtig ist, dass die Varianten sich nur im Testdetail unterscheiden und andere Effekte keinen Einfluss haben. Wenn Sie inhaltliche Unterschiede testen wollen, vermeiden Sie Unterschiede in der Anordnung von anderen Elementen, z.B. bei einem Design mit Empfehlungen und einem Design ohne Empfehlungen. Denn Sie testen immer das ganze Design!

Schritt 2: Auswahl der Messgrößen für den Vergleich und Prüfung, ob diese auf einem min. 95%igen Konfidenzniveau erhoben werden können
Stellen Sie Ihre Beobachtungsgrößen nach dem methodisch Sinnvollen, den technischen Möglichkeiten und Ihren Businessanforderungen zusammen. Verwenden Sie dabei genau diese Reihenfolge, auch wenn es schwer fällt. Gewünschte Messgrößen aus Businessanforderungen haben keine sinnvolle Aussagekraft, wenn sie technisch oder methodisch (z.B. kein sessionübergreifendes Usertracking, zu wenig Conversions oder zu große Streuung des Umsatzes) nicht valide geliefert werden können. Konzentrieren Sie sich auf die Messung valider Kennzahlen und verwenden Sie stattdessen grundlegende Hochrechnungen für weiterführende Aussagen.

Schritt 3: Testumsetzung

Nun heißt es wiederum testen, nämlich die richtige Umsetzung und Einbindung der Varianten sowie die korrekte Ermittlung der Messgrößen. Hier schleichen sich häufig mehr Fehler ein, als man gemeinhin denkt. Also Augen auf und Zeit und Ressourcen für den Test der Umsetzung einplanen! Großes Augenmerk benötigt die Verteilung der User bzw. Sessions auf die Gruppen. Wichtig ist z.B. eine möglichst gleiche (50:50) und absolut unerlässlich eine unabhängige Verteilung der Gruppen. Ebenso müssen immer alle Sessions, egal welcher Gruppe zugeordnet und unabhängig von deren Länge, auf den Sessioncounter der jeweiligen Gruppe aufzählen. Ist der Sessioncounter (Visits) fehlerhaft, sind alle weiteren relativen Werte (Conversion Rates) die sich in Relation zu den Visits ermitteln, ebenfalls fehlerhaft.

Schritt 4: Testlauf
Wenn der Test läuft, ist Geduld gefragt. Häufig müssen für valide Aussagen längere Zeiträume in Kauf genommen werden. Wichtig ist, dass während dieser Zeit keine weiteren Tests die Varianten A und B beeinflussen. Weisen Sie deshalb die Kollegen auf den laufenden Test hin! Im Beitrag
„A/B-Testing – Wann ist stabil wirklich stabil?“ erfahren Sie mehr über die Notwendigkeit der maximalen Konstanz aller Umweltbedingungen.

Schritt 5: Auswertung
Beachten Sie für den Vergleich, neben den absoluten Zahlen, die ausgegebenen Konfidenzintervalle. Der tatsächliche Wert ist nicht der gemessene Mittelwert, sondern die Statistik sagt aus, dass der tatsächliche Wert mit einer Wahrscheinlichkeit von 95% in diesem Konfidenzintervall liegt! Wichtig ist ein hohes Konfidenzniveau und ein möglichst kleines Konfidenzintervall, um sichere Aussagen über den wahren Wert (gemessener Parameter) treffen zu können!

Autor: Jens Scholz, prudsys AG

 

Weiterführende Beiträge:

A/B-Testing: Wann ist stabil wirklich stabil?

Mathematik für A/B-Tests im E-Commerce: Wieviel mehr ist mehr?

 

1 Antwort

Trackbacks & Pingbacks

  1. […] Zusammenfassend kann gesagt werden: da wir den Mehrwert der Personalisierung messen wollen, und nicht die Differenz zum „Wenigerwert“ der Kontrollgruppe, ist die Berechnung gemäß (1) auch die inhaltlich saubere. Mehr zum Thema erfolgreiche Umsetzung eines A/B-Tests im  E-Commerce erfahren Sie im Beitrag “A/B-Testing in der Praxis: Fünf Schritte für eine erfolgreiche Umsetzung”. […]

Dein Kommentar

Want to join the discussion?
Feel free to contribute!

Schreib einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *