Fünf Tipps für erfolgreiche A/B-Splittests

Eine E-Mail, welche weniger als 100x geöffnet oder geklickt wurde, hat im Rahmen eines Tests so gar keine Aussagekraft.


2) Besser als jeder irreführende oder falsch durchgeführte/ausgewertete Test ist gar kein Test! Konzentrieren Sie sich daher besser auf weniger Tests, die dafür aussagekräftig sind! Bei einem A/B-Splittest sollte der Unterschied der Klicks/Öffnungen schon mehr als das Doppelte der Quadratwurzel der Gesamtmenge betragen. Beispiel:

A bringt 50.000 Öffnungen
B bringt 40.000 Öffnungen
Summe = 90.000
Differenz= 10.000

Die doppelte Quadratwurzel der Summe beträgt 600.
Die doppelte Quadratwurzel der Differenz beträgt 200.
600 > 200

Ergo: Der Test ist aussagefähig – und A ist der Gewinner.