A/B-Testing: Anleitung für saubere Tests und belastbare Ergebnisse

Ein A/B-Test vergleicht zwei Varianten einer Seite oder eines Elements an echten Besuchern und zeigt, welche Variante ein festgelegtes Ziel besser erreicht. Aussagekräftig wird das Ergebnis nur, wenn du Hypothese, Stichprobengröße und Laufzeit vor dem Start festlegst und den Test nicht abbrichst, sobald er gut aussieht.

Was ist ein A/B-Test und wofür eignet er sich?

Ein A/B-Test ist ein kontrolliertes Experiment, bei dem Besucher zufällig auf eine Kontrollvariante (A) und eine veränderte Variante (B) verteilt werden und beide Gruppen anhand derselben Kennzahl verglichen werden, zum Beispiel der Anfragequote.

Die Nielsen Norman Group beschreibt den Nutzen so: Mit A/B-Tests lassen sich Varianten derselben Seite auf Mikro- und Makro-Conversions vergleichen, und moderne Tools brauchen dafür kaum Entwicklungsaufwand (Quelle). Die Grenze liegt in der Methode selbst: Ein Test wählt nur den Gewinner unter den Varianten, die du ihm gibst. Basieren alle Varianten auf einer falschen Annahme, gewinnt trotzdem eine falsche Variante. Deshalb gehört vor jeden Test Recherche: Umfragen, Usability-Tests, Analytics und Aufzeichnungen zeigen, wo Besucher tatsächlich abspringen.

Ein A/B-Test beantwortet die Frage „Welche Variante funktioniert besser?“, nicht die Frage „Warum?“. Das Warum liefert die qualitative Vorarbeit.

Wie läuft ein sauberer A/B-Test Schritt für Schritt ab?

Ein sauberer Test folgt immer demselben Ablauf, und die wichtigsten Entscheidungen fallen vor dem Start.

1. Problem finden: Wo bricht der Funnel ein? Nutze Analytics, Heatmaps, Session-Aufzeichnungen und Kundenfragen. Ein Beispiel: Viele Besucher erreichen das Kontaktformular, aber nur wenige schicken es ab.
2. Hypothese formulieren: „Wenn wir das Formular von sechs auf vier Felder kürzen, steigt die Zahl der Absendungen, weil weniger Aufwand nötig ist.“ Eine Hypothese enthält Änderung, erwartete Wirkung und Begründung.
3. Primäre Kennzahl festlegen: Eine Hauptmetrik (etwa Formular-Absendungen), dazu Schutzmetriken wie Lead-Qualität oder Absprungrate.
4. Stichprobengröße berechnen: Aus aktueller Conversion-Rate und kleinster relevanter Verbesserung ergibt sich, wie viele Besucher du pro Variante brauchst (mehr dazu unten).
5. Laufzeit festlegen: Plane ganze Wochen ein, damit Wochentagseffekte beide Varianten gleich treffen.
6. Test starten und in Ruhe lassen: Kontrolliere nur, ob die Technik stimmt, nicht, wer vorne liegt.
7. Auswerten und dokumentieren: Halte Hypothese, Ergebnis und Erkenntnis fest, auch bei einem Test ohne Gewinner.

Wie viele Besucher brauchst du für einen aussagekräftigen Test?

Die nötige Stichprobe hängt von deiner Ausgangs-Conversion-Rate und der kleinsten Veränderung ab, die du sicher erkennen willst, und eine feste Zahl wie „1.000 Sitzungen pro Variante“ passt deshalb nur für wenige Fälle.

Evan Miller fragt in seinem Sample-Size-Rechner dafür drei Dinge ab: die Basis-Conversion-Rate, den „Minimum Detectable Effect“ (die kleinste Veränderung, die der Test noch erkennen soll) sowie Signifikanzniveau und Power (Quelle). Für überschlägige Rechnungen nennt Miller die Faustformel n = 16·σ²/δ² pro Variante, wobei δ der kleinste nachzuweisende Unterschied ist und σ² bei Conversion-Raten p·(1−p) beträgt (Quelle).

Eine eigene Beispielrechnung mit dieser Faustformel: Liegt deine Conversion-Rate bei 3 % und du willst einen Anstieg um 20 % relativ (also auf 3,6 %) erkennen, ist δ = 0,006 und σ² = 0,03 × 0,97 = 0,0291. Daraus ergeben sich rund 12.900 Besucher pro Variante. Willst du dagegen nur große Effekte entdecken, etwa 50 % relativ, genügen deutlich weniger. Die Zahlen zeigen: Seiten mit wenig Traffic können kleine Änderungen oft nicht sauber testen. Dann sind größere Änderungen, Nutzertests oder eine einfache Vorher-Nachher-Analyse mit offen benannter Unsicherheit die ehrlichere Wahl.

Was bedeutet statistische Signifikanz?

Statistische Signifikanz ist ein Maß dafür, wie unwahrscheinlich ein beobachteter Unterschied wäre, wenn es in Wirklichkeit gar keinen gäbe. Bei einem Signifikanzniveau von 5 % akzeptierst du in einem von 20 Tests ohne echten Effekt trotzdem ein „Ergebnis“. Signifikant heißt nicht automatisch relevant: Ein winziger Unterschied kann signifikant und geschäftlich bedeutungslos sein.

Warum solltest du einen Test nicht zu früh beenden?

Wer einen Test beim ersten „signifikanten“ Zwischenstand stoppt, erhöht die Zahl falscher Gewinner erheblich.

Evan Miller zeigt das an einem Beispiel: Wird ein Test ohne echten Effekt beendet, sobald er 5 % Signifikanz erreicht oder 150 Beobachtungen vorliegen, entstehen in dem von ihm beschriebenen Szenario 26,1 % falsch-positive Ergebnisse, mehr als das Fünffache der erwarteten 5 % (Quelle). Das Problem entsteht, weil die übliche Berechnung eine vorab festgelegte Stichprobengröße voraussetzt.

So vermeidest du es:

• Lege Stichprobe und Laufzeit vor dem Start fest und halte sie ein.
• Schau nicht täglich auf die Signifikanz, um den Test zu stoppen.
• Wenn du Zwischenauswertungen brauchst, nutze Verfahren, die dafür gebaut sind (sequenzielle oder bayessche Designs). Miller nennt beide als Möglichkeit, jederzeit gültige Aussagen zu treffen.

Welche Fehler verfälschen Testergebnisse außerdem?

Neben dem frühen Abbruch verfälschen vor allem technische Fehler, zu viele gleichzeitige Änderungen und Auswertung ohne Segmentierung die Ergebnisse.

• Sample Ratio Mismatch (SRM): Das ist eine statistisch auffällige Abweichung zwischen der geplanten und der tatsächlichen Verteilung auf die Varianten, etwa 50/50 geplant, aber 54/46 gemessen. Die Fachpublikation „Diagnosing Sample Ratio Mismatch in Online Controlled Experiments“ nennt SRM einen der nützlichsten Indikatoren für Datenqualitätsprobleme (Quelle). Prüfe die Verteilung mit einem Chi-Quadrat-Test, bevor du Ergebnisse glaubst.
• Zu viele Änderungen auf einmal: Wenn Headline, Bild und Button gleichzeitig wechseln, weißt du nicht, was gewirkt hat. Das ist kein Verbot, aber dann testest du ein Gesamtpaket.
• Zu viele Kennzahlen: Wer zehn Metriken prüft, findet fast immer eine, die zufällig positiv ausfällt. Lege die Hauptmetrik vorher fest.
• Verzerrte Zeiträume: Aktionen, Feiertage oder Kampagnenstarts verändern das Verhalten. Ein Test über nur zwei Tage bildet keine Woche ab.
• Kein Lerneffekt: Ein Test ohne Dokumentation wird später wiederholt.

Was lohnt sich zu testen?

Am meisten lernst du aus Tests an Stellen mit viel Traffic und klarer Reibung, also dort, wo viele Besucher ankommen und wenige weitermachen.

• Überschrift und Nutzenversprechen im ersten Bildschirmbereich (siehe Above the Fold)
• Call-to-Action: Text, Position und Anzahl der Optionen
• Formularlänge und Reihenfolge: Mehr dazu in unserem Beitrag zu mehrstufigen Lead-Formularen
• Vertrauenselemente: Bewertungen, Zertifikate oder Garantien in der Nähe der Handlung
• Preisdarstellung und Versandinformationen im Shop

Welche Variante gewinnt, hängt von Zielgruppe und Angebot ab. Pauschale „Gewinner“ aus Fallstudien anderer Firmen sind Ideen für Hypothesen, keine Vorhersagen für deine Seite.

Welche Tools gibt es nach dem Ende von Google Optimize?

Google Optimize wurde am 30. September 2023 eingestellt, und Google verweist seitdem auf Integrationen mit Drittanbietern.

Laut Google-Hilfe wurden Optimize und Optimize 360 zu diesem Datum beendet; Google nannte die Zusammenarbeit mit AB Tasty, Optimizely und VWO und machte die APIs öffentlich, damit weitere Anbieter sich mit Google Analytics verbinden können (Quelle). Welches Tool passt, hängt von Traffic, Budget, Datenschutzanforderungen und technischem Setup ab:

Die Auswahl der Tools ist zweitrangig gegenüber der Qualität der Hypothesen. Prüfe außerdem, ob das Tool vor der Einwilligung Daten verarbeitet. Das ist ein Datenschutzthema und keine Rechtsberatung: Kläre die Einbindung mit deinem Datenschutzbeauftragten.

Wie gehen A/B-Tests und SEO zusammen?

A/B-Tests schaden der Suchmaschinenoptimierung nicht, solange du Google und Besuchern dieselben Inhalte zeigst und Tests nicht länger als nötig laufen lässt.

Google gibt in der Search-Central-Dokumentation vier Hinweise: Zeige Googlebot nicht andere URLs als Menschen (Cloaking), nutze bei getrennten URLs rel=“canonical“ statt noindex, leite mit einer temporären 302-Weiterleitung statt 301 um und entferne Testvarianten und Skripte zügig nach Abschluss (Quelle). Wenn du Tests auf Landingpages für bezahlte Anzeigen und organische Seiten betreibst, stimmen wir das im Zusammenspiel mit der SEO-Strategie ab.

Was machst du, wenn kein Gewinner herauskommt?

Ein Test ohne Gewinner ist ein gültiges Ergebnis: Er sagt, dass die Änderung bei deiner Stichprobengröße keinen erkennbaren Unterschied gemacht hat.

Das ist wertvoll, weil du damit eine Annahme widerlegt hast, bevor du sie in die ganze Seite eingebaut hast. Frag dich danach drei Dinge. Erstens: War die Änderung groß genug, um überhaupt bemerkt zu werden? Eine leicht umformulierte Button-Beschriftung verändert selten das Verhalten. Zweitens: Passte die Hypothese zum Problem, oder lag die Reibung an einer anderen Stelle im Funnel? Drittens: Gab es technische Auffälligkeiten wie eine ungleiche Verteilung auf die Varianten? Erst wenn diese Punkte geklärt sind, lohnt ein Folgetest. Tests ohne Gewinner solltest du genauso dokumentieren wie erfolgreiche, damit niemand dieselbe Idee in einem Jahr erneut testet.

Wie fängst du pragmatisch an?

Starte mit einer Seite, einer Hypothese und einer Kennzahl, und bau erst danach ein Testprogramm auf.

Für den Einstieg empfiehlt sich diese Reihenfolge: Funnel analysieren, die größte Reibung identifizieren, eine Hypothese schreiben, Stichprobe berechnen, testen, dokumentieren. Bei geringem Traffic starte mit Nutzertests, die laut Nielsen Norman Group schon mit etwa fünf Personen die größten Usability-Probleme aufdecken (Quelle). Wenn du Hilfe bei der Priorisierung oder Umsetzung auf deiner Website willst, melde dich über die Kontaktseite. Wir arbeiten mit einem Festpreis-Angebot und zeigen einen Entwurf vor dem Auftrag.