Mathematik für A/B-Tests im E-Commerce: Wieviel mehr ist mehr?

Bereits im Juni hatten wir uns im Blogbeitrag „A/B-Testing – Wann ist stabil wirklich stabil?“ mit den Herausforderungen bei der Durchführung von A/B-Tests im E-Commerce auseinandergesetzt. Am Beispiel des Simpson’s Paradoxon wurde aufgezeigt, wie wichtig eine methodisch sorgfältige Planung und Umsetzung für eine optimale Testführung ist. Heute widmen wir uns einem weiteren kuriosen Effekt: Verschiedene Berechnungen des Mehrwerts liefern verschiedene Ergebnisse. Anhand unserer Beispiel-Rechnungen werden die Unterschiede deutlich.

A/B-Tests im E-Commerce

Zahlreiche Dienstleistungen und Services versprechen Onlineshop-Betreibern höhere Umsätze. Was eine jede Maßnahme tatsächlich an Mehrwert bringt, kann mittels A/B-Test ermittelt werden. So auch bei der personalisierten Ansprache im Onlineshop. Im Blogebeitrag „A/B-Testing – Wann ist stabil wirklich stabil?“ hatten wir festgestellt, dass zur Berechnung des Mehrwerts m der Personalisierung das Verhältnis der gewünschten Kennzahlen k_q durch den Sessionquotienten s_q dividiert wird:

m = (k_q / s_q – 1)*100%. (1)

Dabei hatten wir ein einfaches Beispiel für den Mehrumsatz durch Personalisierung betrachtet. Dabei seien 90% der Sessions der Personalisierungsgruppe zugeordnet und 10% der Kontrollgruppe, also s_q = 9. Der Umsatz in der Personalisierungsgruppe betrage 9.500 EUR und in der Kontrollgruppe 1.000 EUR, also k_q = 9,5. Dann ergibt sich gemäß (1) der prozentuale Mehrumsatz der Personalisierung als

m = (9,5 / 9,0 – 1)*100% = 5,56%.

Nun könnten wir anstatt (1) den Mehrumsatz m analog wie folgt berechnen:

m= (1 – s_q / k_q)*100%. (2)

Instinktiv würde man das gleiche Ergebnis wie in (1) erwarten, oder? Probieren wir es aus. Für unsere Beispielzahlen erhalten wir:

m = (1 – 9,0 / 9,5)*100% = 5,26%.

Der Mehrumsatz fällt im Vergleich zu (1) etwas geringer aus! Zufälliges Ausprobieren mit anderen Beispieldaten führt uns immer wieder zum gleichen Ergebnis. Das bringt uns zu der generellen Frage, ob bzw. unter welchen Bedingungen die Beziehung

m > m (3)

gilt. Um die Bedingungen zu finden, setzen wir (1) und (2) in (3) ein:

(k_q / s_q – 1)*100% > (1 – s_q / k_q)*100%

k_q / s_q – 1 > 1 – s_q / k_q

k_q / s_q + s_q / k_q > 2.

Unter Einführung des Quotienten x = k_q / s_q führt uns (3) schließlich zu

x + 1 / x > 2. (4)

Unter den nichtrestriktiven Annahmen k_q > 0 und s_q > 0 sind x und deren Inverse immer definiert und (4) lässt sich in eine quadratische Form umformulieren:

f(x) = x2 – 2x + 1 > 0.

A/B-Tests im E-Commerce

Quadratische Funktion A/B-Test

Die Funktion f ist also eine quadratische Funktion (Abbildung), deren Scheitelpunkt das absolute Minimum repräsentiert. Wir bestimmen daher den Scheitelpunkt x_s:

f‘(x_s) = 0

2 x_s– 2 = 0

x_s = 1.

Für den Scheitelpunkt x_s = 1 erhalten wir f(x_s) = 0 und somit gilt für alle anderen Werte f(x) > 0. Damit ist zugleich (3) stets erfüllt, sofern x 1, und für x = 1 gilt die Gleichheit. Zusammengefasst erhalten wir

m≥m,

d.h. die Berechnung gemäß (1) lässt die Personalisierung zumeist erfolgreicher erscheinen als (2). Bleibt die Frage, welches der Verfahren das inhaltlich richtigere ist. Angenommen, die Sessions sind gleichverteilt, also s_q = 1. Weiterhin stellen wir k_q explizit dar als Quotient der Kennzahlen der Personalisierungsgruppe k_p und Kontrollgruppe k_c:

k_q = k_p / k_c.

Somit erhalten wir

m = (k_p / k_c – 1)*100%, m = (1 – k_c / k_p)*100%.

Zusammenfassend kann gesagt werden: da wir den Mehrwert der Personalisierung messen wollen, und nicht die Differenz zum „Wenigerwert“ der Kontrollgruppe, ist die Berechnung gemäß (1) auch die inhaltlich saubere. Mehr zum Thema erfolgreiche Umsetzung eines A/B-Tests im E-Commerce erfahren Sie im Beitrag „A/B-Testing in der Praxis: Fünf Schritte für eine erfolgreiche Umsetzung“.

Weiterführende Beiträge:

A/B Testing – Wann ist stabil wirklich stabil?

A/B Testing in der Praxis: Fünf Schritte für eine erfolgreiche Umsetzung

1 Antwort

Ihr Kommentar

Sie haben weitere Anmerkungen zu diesem Thema?
Wir freuen uns auf eine spannende Diskussion.

Schreib einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *