Testing im E-Mail Marketing – welche Verfahren gibt es?

Testing gehört zu den effektivsten Optimierungsmethoden im E-Mail Marketing. Mit Tests kann das Unternehmen leicht herausfinden, welche Faktoren eines Mailings erfolgreich funktionieren und welche Arten von Mailings welche Kunden ansprechen. Testing hilft dabei, Mailings persönlicher zu gestalten. Mehr über die Personalisierung im E-Mail Marketing erfahren Sie in unserem Beitrag. Vor der Wahl des Testverfahrens im E-Mail Marketing ist es wichtig, den Ablauf zu planen, denn um richtig zu testen, bedarf es gezielter Vorbereitung. Zum einen ist die Planung des Testablaufes entscheidend, zum anderen aber auch die gewählte Testvariante. Im Beitrag stellen wir die wichtigsten Planungsschritte und einige Testverfahren vor.

E-Mail Marketing testen - Planung des Ablaufs

• Zunächst gilt es, einen Überblick über die vorhandene Datenbasis zu erlangen. Dazu muss im ersten Schritt selektiert werden, wer überhaupt angeschrieben werden darf. Normalerweise sind das die Kontakte die ein Newsletter Opt-In gegeben haben. Natürlich ist das auch immer davon abhängig, was getestet werden soll und welche Inhalte das Mailing kommuniziert. • Im zweiten Schritt werden die unterschiedlichen Segmente herausgefiltert. Handelt es sich beispielsweise um Interessenten oder um ehemalige Kunden? Je präziser die Nutzer segmentiert werden können, desto aussagekräftiger fallen die späteren Testergebnisse aus, da wahrscheinlich für unterschiedliche Segmente unterschiedliche Arten von E-Mails funktionieren. Mit der Anzahl an Segmenten steigt aber gleichzeitig die Komplexität. Technologien, wie die Realtime Marketing Automation Suite ELAINE von artegic erlauben es allerdings auch, den Prozess umzudrehen und das Testing zu nutzen, um überhaupt erst Zielgruppen zu definieren. Das ist insb. sinnvoll, wenn nicht ausreichend Daten zur Segmentierung vorliegen. Siehe dazu, den Abschnitt „Real Time KI basiert“ weiter unten. • In Schritt drei werden die Kontexte und Maßnahmen gewählt, in denen getestet werden soll. Geht es um einen „klassischen“ monatlichen Newsletter, der möglichst viele Inhalte abdecken soll? Geht es um Couponkampagnen für bestimmte Kundengruppen? Um Location-Based Maßnahmen am POS? Was der beste Kontext für jedes Segment ist und für welche Segmente welche Inhalte funktionieren, sind zentrale Fragen in dieser Phase. Auch hier gilt: Falls noch keine Erkenntnisse vorliegen, für welche Segmente welche Arten von Kontexten und Inhalten überhaupt funktionieren könnten, lässt sich dies ebenfalls mit den richtigen Testverfahren ermitteln, z.B. mit dem artegic ELAINE KI Optimizer. • Schritt vier beschäftigt sich mit der Variantenplanung. Welche Elemente sollen getestet werden? Betreffzeile? Grafiken? Anrede? Etc. Und wie viele Varianten jedes Elements sollen getestet werden? Im letzten Schritt werden die Stufen geplant – wann soll was passieren. Typischerweise gibt es bei einem Test mehrere Stufen in der Abfolge. So können die Testergebnisse der ersten Stufe sofort in den Test auf der zweiten Stufe einfließen, usw. So können z.B. diejenigen Nutzer, die eine E-Mail in der ersten Stufe nicht öffnen, in der zweiten Stufe eine andere Betreffzeile erhalten, die möglicherweise besser funktioniert. So werden die getesteten Elemente sukzessive optimiert und ggf. ermittelt für welche Segmente, welche Varianten am besten funktionieren. Es geht darum, einen Plan zu entwickeln, was wann mit wem getestet wird. Beispiel (siehe Bild): In der ersten Woche kann die Ansprache getestet werden, je nach Reaktion wird dann in der zweiten Woche die Anrede verwendet oder ein Vorteilsargument hinzugefügt usw. Denn wenn das Mailing gar nicht erst geöffnet wird bleibt logischerweise auch unbekannt ob der Person der Inhalt gefallen hat oder nicht.

Die richtige Testmethode für das Testing auswählen

Multivariat, Realtime oder Split Run? Es gibt viele verschiedene Arten von Testings im E-Mail Marketing. Wir geben einen kurzen Überblick, wie die Tests funktionieren und wann sich welche Art von Test besonders gut eignet.

Split Run
Der Split-Run ist ein sehr einfaches Testverfahren. Wie der Name schon andeutet, wird die Empfängergruppe in der Hälfte geteilt und zwar die gesamte Empfängergruppe. Die eine Hälfte erhält Variante A, die andere Hälfte erhält Variante B der E-Mail oder des Newsletters etc. Zukünftige Versände werden an die Variante angepasst, die besser funktioniert hat. Es kann sich lohnen, an die Empfänger die bei Variante A nicht geklickt haben, nochmal die Variante B zu schicken und umgekehrt. Bei Split Runs wird üblicherweise nur ein Element getestet, z.B. die Betreffzeile.

Sampling Pre-Test
Beim Sampling Pre-Test werden nur etwa 20 Prozent der Kontakte zum Testen gebraucht (je nach Verteilergröße auch mehr oder weniger). Jeweils 10 Prozent erhalten Variante A oder B. Die restlichen 80 Prozent erhalten dann einige Zeit später die Variante, die besser funktioniert hat. Der große Vorteil dieser Art des Testings ist, dass die bessere Variante direkt für einen Großteil der Kontakte verwendet werden kann.

Multivariat
Bei multivariaten Tests wird nicht nur ein Element getestet, wie zum Beispiel ein grünes oder blaues Layout, sondern viele verschiedene Elemente gleichzeitig und diese auch noch unabhängig voneinander, beispielsweise: Betreffzeile, Schriftgröße, Layout, verschiedene Calls-to-Action, etc. So kann z.B. getestet werden, welche Kombination dieser Elemente am besten funktioniert. Die Variablen sind dabei unabhängig voneinander, d.h. die Schriftgröße hängt zum Beispiel nicht mit der Farbgebung zusammen. Trotzdem werden vom System natürlich sinnvolle Kombinationen ausgespielt. Wird segmentweise getestet, überprüft der multivariate Test welche Kombination in welchem Segment wie gut performt. Das spannende dabei ist, dass das System auch Bereiche segmentiert die nicht so offensichtlich sind, denn an dem Punkt wird oft nicht weiter getestet. Wenn nämlich einem Empfänger Variante A besser gefallen hat als Variante B muss das nicht heißen das B auch die richtige für ihn ist – vielleicht wäre die beste Variante auch C gewesen.

Realtime Multivariat
Multivariat funktioniert auch in Realtime, dabei meint „real time“ generell, dass es nicht mehr feste Phasen in der Optimierung gibt. In der „alten“ Vorgehensweise wird nach der Samplingphase die beste Zusammenstellung berechnet und dann nur noch das optimierte Mailing ausgespielt. In der neuen Vorgehensweise mit real time wird fortlaufend gemessen und kontrolliert. Sobald ein Element in einer Variante signifikant besser performt als ein anderes wird nur noch diese Variante ausgespielt. Beispiel: Um 8 Uhr wird ein Mailing versendet, um 10:27 Uhr stellt das System fest, dass der signifikante Punkt erreicht wurde, dann wird ab diesem Zeitpunkt nur noch optimiert. Eine kleine Menge an Daten kollidiert beim Testing oft mit dem Wunsch nach Signifikanz. Dieses Problem kann auch durch real time gelöst werden, denn dann testet das System so lange bis es sagt, dass ein signifikantes Ergebnis vorhanden ist. Signifikant heißt dann auch wirklich im statistischen Sinne signifikant.

Realtime KI basiert
Bei dem hier angewandten Testverfahren werden die Testelemente mit verschiedenen Segmentierungsfaktoren getaggt (z.B. Mikrosegmente wie Markenvorlieben oder Preisklassen) und die Kontakte während des Testprozesses abhängig von ihren Reaktionen auf die jeweiligen Elemente segmentiert. Auf künstlicher Intelligenz (KI) basierend bedeutet dabei, dass die Ausspielung von Varianten segmentweise erfolgt, d.h. für jedes Segment wird die jeweils bestperformende Zusammenstellung gewählt. Die Segmentbildung erfolgt dabei basierend auf Machine-Learning-Methoden vom System selbst. Ein weiterer Vorteil des auf KI basierenden Realtime Tests ist die Entstehung unterschiedlicher Ergebnismengen, denn dadurch werden Verfälschungen ausgeschlossen. Gewinnt die Variante „grünes Layout“ nur weil in einem Verteiler nur Männer sind, bedeutet das nicht automatisch, dass diese Variante auch die Beste ist, da einem anderen Kundentyp (in diesem Fall Frauen) ein anderes Layout besser gefallen könnte. Die sinnvolle Anwendung eines Tests der auf KI basiert ist stark von der Menge der vorhandenen Datensätze abhängig, denn es kann schnell zu kleine Segmente geben. Es empfiehlt sich, mit dem Split Run klein und einfach anzufangen. Durch das Ausarbeiten von mehrstufigen Kampagnen und die Verwendung mehrstufiger Tests wird sich nochmal ein deutlicher Uplift ergeben. Die Anzahl der Varianten und die Größe der Testgruppen sollte dabei allerdings immer im Verhältnis gehalten werden, damit die Ergebnisse signifikant bleiben.