Signifikanz von Split A/B/n-Tests – die Bonferroni-Korrektur

Fast alle tauglichen Versandlösungen bieten Verantwortlichen heute die Möglichkeit, per Mausklick vor einem Hauptversand “Splits” des versandfertigen Mailings anzulegen. Also Kopien, bei denen einzelne Parameter, wie die Betreffzeile, im Handumdrehen für Experimentierzwecke variiert werden können. Im einfachsten Fall werden vor dem großen Hauptversand zwei Mailing-Varianten – A und B – an zwei zufällig aus dem Adressverteiler ausgewählte Teilgruppen verschickt und so gegeneinander getestet. Erzielen die beiden Test-Aussendungen unterschiedlich hohe Bestellraten, kann dies auf den Betreff oder auf andere Einflüsse zurückzuführen sein. Auch ein Split A/B/C/D/E-Test mit entsprechend 5 Betreffzeilen-Variationen ist im Nu realisiert. Die Wahrscheinlichkeit, mit der der Betreff oder Zufall verantwortlich sind, lässt sich anhand statistischer Tests ermitteln. Man spricht in diesem Zusammenhang von der Signifikanz des Tests. Da multiple Tests allerdings die zugrunde liegende Statistik beeinflussen, müssen Signifikanz-Berechnung und die Mindeststichprobengröße angepasst werden.