A/B-Testing für E-Mails: Der praktische Guide

Was du bei SaaS-E-Mails vergleichen kannst

Wähle eine Nachricht mit einem klaren Produktziel, etwa den ersten wichtigen Einrichtungsschritt, die Nutzung einer Kernfunktion oder den Übergang aus einer Testphase. Mögliche Testvariablen sind Betreff, Einstieg, Erklärung, Handlungsaufforderung oder Versandzeit. Ändere pro Versuch nur eine davon; sonst bleibt offen, wodurch ein Unterschied entstanden ist. Eine Öffnung allein ist für produktnahe E-Mails selten das eigentliche Ziel.

Hypothese und Messgröße festlegen

Formuliere vor dem Start, für wen die Nachricht bestimmt ist, welches Hindernis du vermutest und welches Verhalten sich durch die Änderung bewegen soll. Zum Beispiel: „Wenn wir den nächsten Einrichtungsschritt direkt benennen, schließen mehr neue Konten diesen Schritt ab.“ Lege dazu eine primäre Messgröße fest, etwa abgeschlossene Aktivierung, und notiere ergänzende Schutzgrößen wie Abmeldungen oder Beschwerden.

Stichprobe und Laufzeit einordnen

Wie viele Empfänger du brauchst, hängt von der üblichen Schwankung deiner Kennzahl und von der kleinsten Veränderung ab, die für dein Team relevant wäre. Bei seltenen Ereignissen wie einem Upgrade braucht es meist mehr Beobachtungen als bei häufigen Klicks. Plane die Laufzeit so, dass typische Versandtage und das relevante Verhalten abgedeckt sind. Beende den Test nicht jedes Mal dann, wenn das Zwischenergebnis gerade günstig aussieht.

Ergebnis nicht mit Gewissheit verwechseln

Statistische Signifikanz beschreibt, wie gut ein beobachteter Unterschied mit Zufall vereinbar ist, unter den Annahmen des gewählten Verfahrens. Sie beweist weder, dass die Variante im Alltag dauerhaft besser ist, noch dass der Unterschied für das Geschäft wichtig ist. Betrachte Effektgröße, Unsicherheit, Stichprobe und die vorab festgelegte Laufzeit gemeinsam; wenn die Daten keine klare Entscheidung tragen, halte das Ergebnis als offen fest.

Öffnungen vorsichtig lesen

Apple Mail Privacy Protection kann Nachrichteninhalte im Hintergrund laden und dadurch Öffnungen ausweisen, ohne dass eine Person die Nachricht tatsächlich gelesen hat. Öffnungsraten sind deshalb als Testziel verzerrbar. Für SaaS-E-Mails sind Klicks und nachgelagerte Produktaktionen wie Aktivierung oft aussagekräftiger, sofern Tracking und Einwilligungen passend umgesetzt sind. Miss nur Ereignisse, die zu deiner Hypothese passen.

Testgruppen und Holdout sauber führen

Teile geeignete Empfänger zufällig auf, damit sich die Gruppen nicht systematisch nach Plan, Nutzung oder Account-Alter unterscheiden. Bei einer Holdout-Gruppe erhält ein Teil der geeigneten Konten die betreffende Nachricht nicht; so lässt sich prüfen, ob die E-Mail gegenüber dem normalen Produktverhalten etwas beiträgt. Halte Ausschlüsse, parallele Kampagnen und Zuordnungen auf Kontoebene fest, damit Personen eines SaaS-Accounts nicht in verschiedene Varianten geraten.

Erkenntnisse dauerhaft dokumentieren

Notiere Datum, Segment, Hypothese, geänderte Variable, Varianten, primäre Kennzahl, Laufzeit und Entscheidung. Ergänze, welche Unsicherheit blieb und ob du den Befund in einer weiteren Sequenz prüfen willst. Ein sauber dokumentierter Nullbefund verhindert, dass dasselbe Experiment später ohne neuen Grund wiederholt wird.

Werkzeuge nach dem Arbeitsablauf wählen

Prüfe bei einem E-Mail-System, ob es zufällige Aufteilung, passende Ereignisse, Ausschlüsse und einen Export der Resultate unterstützt. Für die Auswertung von Aktivierung oder Umsatz muss die Verbindung zum Produkt- beziehungsweise Abrechnungssystem nachvollziehbar sein. Die interne Übersicht zu Sequenzy ist ein möglicher Startpunkt für den Funktionsvergleich; entscheide anhand deines konkreten Messablaufs.