A/B-Testing: Die sieben größten Anfängerfehler

Wer die letzten Jahre nicht unter einem Stein verbracht hat, kennt die Vorteile von A/B-Tests: Sie zeigen bereits im Vorfeld präzise, was auf einer Webseite in Sachen Customer Journey funktioniert und was nicht. Das spart Zeit und steigert im besten Fall die Umsätze. Dennoch liefern viele A/B-Tests keine brauchbaren Ergebnisse. Kein Wunder: Hier lauern zahlreiche Stolperfallen – dieser Ratgeberartikel enttarnt sie.

Fehler eins: Sie starten mit zu komplizierten Tests

Mit dem Kopf durch die Wand – diese Vorgehensweise sorgt meist nur für eins: Kopfschmerzen. In puncto A/B-Testing heißt das: Bleiben Sie locker und überstürzen Sie nichts. Immer der Reihe nach und keine zu großen Schritte am Anfang. Wie beim Bodybuilding: Wer mit zu hohen Gewichten beginnt, handelt sich nicht nur einen Muskelkater ein, sondern vielleicht sogar eine Verletzung. Nehmen Sie deshalb anfangs nur kleine Gewichte, konzentrieren Sie sich auf die exakten Bewegungsabläufe und prägen Sie sich diese ein. Übertragen auf A/B-Tests heißt das: Zeit lassen, auf Details achten, Sicherheitsmaßnahmen einbauen. Einfache Tests haben am Anfang noch einen weiteren Vorteil: Es stellen sich schnell Erfolgserlebnisse ein. Zu komplexe Aufgaben sorgen für Frust und demotivieren. Leicht überspringbare Hürden sorgen hingegen für gute Laune und Lust auf mehr. Motivierende Aufgaben können beispielsweise das Testen von Produkttexten und Landing Pages sein.

Fehler zwei: Nicht jeder Test wurde mit einer Hypothese im Hinterkopf entwickelt

Kein Konzept? Keine gute Idee! A/B-Tests ohne Ideen und solide Datengrundlagen bringen nichts – Bauchgefühl, Münzwurf oder vage Vermutungen reichen nicht als Grundlage. Jedem seriösen Test sollte eine Analyse der Webseitendaten vorausgehen, um Schwachpunkte zu identifizieren. Sie benötigen solide Theorien und Hypothesen, ohne die A/B-Testläufe häufig scheitern. Diese lassen sich aus Datenquellen wie Analytics, Heatmaps, Umfragen, Interviews, Usability-Tests oder heuristischen Analysen aufstellen. Dabei hilft es, sich in den Kunden zu versetzen. Stichwort: Empathie. Wieso verhält sich die Kundschaft nicht immer so, wie Sie es erwarten? Befragen Sie sich selbst, wenn Sie über die Seite surfen: Was stört Sie? Oft fehlt Testern der Abstand zu der Website, treten Sie ein paar Schritte zurück und betrachten Sie das Ganze mit anderen Augen. Dann fällt das Erstellen einer Hypothese leichter. Das könnte ungefähr so aussehen: „Indem ich Änderung x vornehme, wird Messgröße y oder z kaum, etwas oder deutlich besser, weil … (Daten/Theorie einfüllen)“. Diese Vorgehensweise optimiert nicht nur die Tests, sondern auch die Conversions. Los geht’s mit dem ersten Test, der Ihre Hypothese überprüft.

Fehler drei: Roadmap und Prozesse vergessen

Erfolgreiche A/B-Tests benötigen eine Roadmap und Prozesse. Erstere hilft dabei, wichtige Elemente zu testen und das Ziel fest im Auge zu behalten. Die Roadmap stellt elementare Fragen: Welchen Geschäftszielen dient die Website? Wie hilft sie beim Erfüllen dieser Ziele? Welche Seiten sind besonders beliebt, wo herrscht Nachholbedarf? Welche Stolpersteine lauern im Conversion-Prozess? Nach welcher Messgröße wollen Sie den Erfolg beurteilen? Schreiben Sie alle Punkte auf und achten Sie darauf, dass alle Beteiligten hinter diesen Elementen stehen. Zu den Prozessen: A/B-Tests ähneln wissenschaftlichen Experimenten – man muss methodisch vorgehen und präzise arbeiten. Damit nichts schiefgeht, ist ein Korsett aus immer wiederkehrenden Prozessen und Sicherheitsmaßnahmen nötig – individuell abhängig vom jeweiligen Unternehmen. Meist sehen die Schritte folgendermaßen aus: Messen, Priorisieren, Testen, Lernen, Kommunizieren.

Fehler vier: Sie priorisieren Ihre Tests nicht

So weit, so gut. Aber in welcher Reihenfolge sollen all diese schönen Testideen überprüft werden? Wer den Überblick bewahren und keine Zeit verschwenden möchte, muss die Tests priorisieren. Dabei hilft es, sich nicht in nebensächlichen Details zu verheddern, etwa der Farbe eines Anklick-Buttons – wichtig ist in erster Linie, dass sich dieser deutlich vom Rest der Seite abhebt. Grundsätzlich gilt: Wenn Sie sich unsicher mit einer Testidee sind, sollten Sie keine Zeit und Traffic investieren. Natürlich können Sie später auch Details beobachten, anfangs sollten Sie sich aber auf elementare Fragen beschränken. Konzentrieren Sie sich also lieber auf Tests mit den größten Auswirkungen und viel Potenzial. Wenn Ihr Auto einen Platten hat, reparieren Sie zuerst den Reifen – und nicht Kratzer auf dem Armaturenbrett, oder? Jeder Testlauf wird nach drei Kriterien mit je maximal zehn möglichen Punkten bewertet: potenzieller Gewinn (Verbesserungsspielraum auf dieser Seite?), Wichtigkeit (Wie wertvoll ist der Traffic auf dieser Seite?) sowie Machbarkeit (Wie leicht kann der Test auf der entsprechenden Seite umgesetzt werden?). Zählen Sie die erzielten Punkte zusammen – schon haben Sie eine Liste zum Abarbeiten.

Fehler fünf: Optimierung der falschen KPIs

Wir kennen zwei Conversion-Arten: Mikro- und Makro-Conversions. Als Mikro-Conversion gilt ein Schritt (zum Beispiel „Teilen“ in sozialen Netzwerken, Newsletter-Anmeldung, „In den Warenkorb“) auf dem Weg zur Makro-Conversion. Unter Letzterer verstehen wir das eigentliche Ergebnis mit konkreten Auswirkungen (wie den Check-Out-Prozess), sprich die hauptsächlichen Conversion-Ziele Ihrer Website. Beide müssen bei jedem Test gemessen werden, die Tests dürfen sich also nicht allein auf Mikro-Conversions konzentrieren. Richten Sie Ihr Hauptaugenmerk auf Optimierungen, die geradlinig auf eine Makro-Conversion zulaufen. Mithilfe dieser Prozessecksteine lässt sich erkennen, wo UX-Verbesserungen besonders nötig sind. Zweitrangige Aktionen sollten Sie ebenfalls messen, da diese Stolpersteine aufdecken und den Überblick über den gesamten Prozess vervollständigen. Das soll jedoch nicht heißen, für zweitrangige Conversions zu optimieren – siedeln Sie Ihre Ziele so nah wie möglich am Umsatz an.

Fehler sechs: Sie ignorieren kleine Erfolge

Klar, eigentlich sollten Sie sich auf A/B-Tests mit großen Erfolgen konzentrieren, wie wir gelernt haben. Dennoch dürfen kleine Erfolge nicht unter den Tisch fallen. Unterschätzen Sie niemals die Mathematik. Kleine Gewinne, die permanent ignoriert werden, häufen sich im Laufe der Zeit zu einem großen Berg an. Ein Beispiel: Bei einem Test vergrößerte die bessere Variante die Conversions um fünf Prozent – da sammelt sich von Monat zu Monat einiges an, bis zu 80 Prozent in einem Jahr. Sie sehen: Kleinvieh macht auch Mist. Hinzu kommt, dass die Webseite mit jedem Test mehr Gewinn abwirft – da sehen die Ergebnisse bei jedem Test nicht mehr so spektakulär aus. Wer nur noch kleine Sprünge nach vorne macht, muss nicht auf dem Holzweg sein – vermutlich bedeutet es nur, dass die Seite bereits eine gute Performance bietet und nur noch wenig Raum nach oben hat.

Fehler sieben: Sie testen nicht ständig

Ein wenig Raum nach oben gibt es aber immer: Testen Sie deshalb permanent, immer und immer wieder. Denn jeder Tag ohne Experimente ist ein verlorener Tag mit verpassten Chancen. Tests verraten viel über die Besucher Ihrer Website, wodurch Sie bessere Entscheidungen treffen und letztlich mehr Geld verdienen können. Worauf warten Sie noch?

Noch ein wichtiger Tipp zum Schluss: Informieren Sie sich, wann Sie einen Test beenden. Hier geht es um Signifikanzniveau, Stichprobengröße, Dauer und Datenvariabilität. Hören Sie zu früh auf, sind die Ergebnisse verfälscht.