A/B-Test Stichprobengrößen-Rechner

Der A/B-Test-Stichprobengrößen-Rechner plant einen A/B-Test, bevor Sie ihn starten. Geben Sie die Basis-Konversionsrate, den für Sie relevanten minimal erkennbaren Effekt (MDE), das Signifikanzniveau (Alpha) und die gewünschte statistische Power ein. Der Rechner liefert Ihnen die erforderliche Stichprobengröße pro Gruppe sowie die Gesamtzahl — plus eine automatische Schätzung der Testdauer basierend auf Ihrem täglichen Traffic und Traffic-Anteil, eine Power-Kurve zur Veranschaulichung des Power-Wachstums bei steigender Stichprobengröße, eine Sensitivitätstabelle zum Vergleich der Kosten verschiedener MDE-Optionen, eine Visualisierung der Traffic-Zuweisung und ein leicht verständliches Machbarkeitsurteil. Speziell entwickelt für A/B-Tests von Konversionsraten (Z-Test für zwei Proportionen, Cohen-Formulierung) mit optionaler Bonferroni-Korrektur für multivariate Tests.

Bedienungsanleitung

1. Geben Sie die Basis-Konversionsrate der aktuellen Variante (A) ein, gemessen über einen aktuellen, repräsentativen Zeitraum.
2. Legen Sie den minimal erkennbaren Effekt (MDE) fest — den kleinsten Lift, der Ihre Entscheidung tatsächlich beeinflussen würde. Schalten Sie flexibel zwischen relativem Prozentsatz und absoluten Prozentpunkten um.
3. Wählen Sie ein Signifikanzniveau (Alpha) — 5% (95% Konfidenz) ist der Branchenstandard.
4. Wählen Sie die statistische Power — 80% ist der Branchenstandard; erhöhen Sie auf 90% für geschäftskritische Rollouts.
5. Wählen Sie zweiseitig (B unterscheidet sich von A in beide Richtungen, Standard) oder einseitig (nur der Fall, dass B besser als A abschneidet, wird gewertet).
6. Wenn Sie einen multivariaten Test durchführen, legen Sie die Anzahl der Varianten fest — der Rechner wendet automatisch eine Bonferroni-Korrektur an.
7. Geben Sie die täglichen Besucher der Seite und den Traffic-Anteil ein, der in das Experiment fließen soll.
8. Klicken Sie auf Stichprobengröße berechnen, um die Stichprobengröße pro Gruppe und insgesamt, die erwartete Testdauer, die Power-Kurve, die Sensitivitätstabelle und den mathematischen Rechenweg abzulesen.

Verwendete Formel (Power-Formel für zwei Proportionen)

Was diesen Stichprobengrößen-Rechner auszeichnet

• Live-Vorschau vor dem Absenden — jeder Tastendruck aktualisiert sofort die Stichprobengröße pro Gruppe, die Gesamtzahl der Besucher, die Ziel-Konversionsrate und die geschätzte Dauer.
• Testdauer in Echtzeit — verwandelt die abstrakte Aussage „Sie benötigen 31.000 Besucher“ in ein konkretes Szenario wie „Ihr Test wird 8 Tage lang mit 4.000 Besuchern/Tag im Test laufen“.
• Animierte Power-Kurve — sehen Sie genau, wo Ihre Zielstichprobengröße auf der Power-Kurve liegt und wie viel mehr Power Ihnen eine zusätzliche Woche Traffic bringen würde.
• MDE-Sensitivitätstabelle — vergleichen Sie den Stichprobenaufwand für das Erkennen von 2%, 5%, 10%, 15%, 20% und 25% Lift direkt nebeneinander, um den kleinsten noch machbaren Lift zu wählen.
• Relativer oder absoluter MDE — Wechseln Sie mit nur einem Klick zwischen den zwei gängigsten Arten, wie Produktteams Lift-Ziele definieren.
• Multivariate Unterstützung mit Bonferroni — bewältigt A/B/C- und A/B/C/D-Tests mit automatischer Korrektur; viele Rechner nutzen für multivariate Eingaben fälschlicherweise die einfache A/B-Mathematik.
• Visualisierung der Traffic-Zuweisung — ein gestapeltes Balkendiagramm, das genau zeigt, wie sich der Test-Traffic auf die Kontrollgruppe und die einzelnen Varianten aufteilt.
• Machbarkeitsurteil in Alltagssprache — ein grünes/gelbes/rotes Banner, das langwierige Tests signalisiert, noch bevor Sie diese starten.
• Schnellszenarien — Ein-Klick-Voreinstellungen für typische Basislinien im E-Commerce, bei SaaS, E-Mails und App-Installationen.

Das Machbarkeitsurteil richtig interpretieren

• Grün — Machbar. Der Test ist in weniger als zwei Wochen abgeschlossen. Sie haben reichlich Traffic, um den gewählten Lift mit der gewünschten Konfidenz nachzuweisen.
• Gelb — Machbar. Der Test dauert zwei bis sechs Wochen. Planen Sie mindestens einen vollen Geschäftszyklus ein und widerstehen Sie dem Drang, Zwischenergebnisse zu prüfen.
• Rot — Langsam. Der Test dauert länger als sechs Wochen (oder kann gar nicht abgeschlossen werden). Lange Tests sind anfällig für Saisonalität und verändertes Nutzerverhalten — erhöhen Sie entweder den MDE, der für Sie relevant ist, oder den Traffic-Anteil im Experiment.

Warum die Stichprobengröße so schnell ansteigt

Hierbei spielen vor allem zwei Beziehungen eine Rolle. Erstens skaliert die erforderliche Stichprobengröße mit eins durch das Quadrat des MDE — eine Halbierung des Lifts, den man erkennen möchte, vervierfacht die benötigte Stichprobe. Zweitens erfordern Tests mit niedriger Basislinie mehr Aufwand — bei einer Basislinie von 1% benötigt man etwa 25-mal mehr Besucher als bei einer Basislinie von 5%, um denselben relativen Lift nachzuweisen. Zusammen erklären diese beiden Effekte, warum selbst stark frequentierte Websites Mühe haben, kleine Lifts bei Abläufen mit niedrigen Raten zu erkennen.

Häufige Fehler bei der A/B-Test-Planung

• Den MDE zu niedrig ansetzen. Treibt die Stichprobengröße in Bereiche, die Sie in angemessener Zeit nicht erreichen können. Wählen Sie den kleinsten Lift, der Ihre Rollout-Entscheidung tatsächlich beeinflussen würde — keine optimistische Schätzung.
• Power unter 80%. Ein Test mit 60% Power hat eine 40%ige Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt zu übersehen. Der Standard für Produktentscheidungen liegt bei 80%; senken Sie diesen Wert nicht, nur damit der Test „passt“.
• Frühzeitiger Abbruch bei niedrigem p-Wert. Das Prüfen von Zwischenergebnissen (Peeking) und der Abbruch in dem Moment, in dem p < 0,05 ist, treibt die Falsch-Positiv-Rate drastisch in die Höhe. Verpflichten Sie sich vor dem Start auf die geplante Stichprobengröße.
• Die Kosten multivariater Tests ignorieren. Ein A/B/C/D-Test mit vier Varianten erfordert das über Bonferroni korrigierte Alpha — was meist das 2- bis 3-Fache der Stichprobe pro Gruppe eines einfachen A/B-Tests bedeutet.
• Wochenendeffekte vernachlässigen. Ein Test von mindestens 7 Tagen ermöglicht es, den Traffic-Mix der Wochentage auszugleichen; sehr kurze Tests können durch Unterschiede zwischen Werktagen und dem Wochenende verzerrt werden.
• Den Zuweisungs-Overhead unterschätzen. Wenn Sie nur 50% des Traffics in den Test leiten, halbiert sich die Rate pro Gruppe — was die Gesamtdauer im Kalender verdoppelt.

Auswahl von Alpha und Power

Alpha ist die Falsch-Positiv-Rate — die Wahrscheinlichkeit, Variante B zum Gewinner zu erklären, obwohl sie es in Wahrheit nicht ist. Power ist eins minus die Falsch-Negativ-Rate — die Wahrscheinlichkeit, einen echten Gewinner in der Größe des MDE zu erkennen. Die Branchenstandards liegen bei Alpha = 0,05 und Power = 0,80. Verwenden Sie Alpha = 0,01 und Power = 0,90 bei folgenschweren Rollouts, bei denen eine Fehlentscheidung kostspielig ist. Beide Entscheidungen verschärfen die Testbedingungen und erhöhen die erforderliche Stichprobengröße: Eine Senkung von Alpha von 0,05 auf 0,01 verdoppelt die Stichprobe in etwa; eine Erhöhung der Power von 0,80 auf 0,90 steigert sie um weitere 30%.

Relativer vs. absoluter MDE

Relativer MDE (% der Basislinie) ist die gängigste Formulierung: „Ich möchte einen Lift von 10% auf meine aktuelle Konversionsrate von 5% erkennen“, was p₂ = 5,5% bedeutet. Absoluter MDE (Prozentpunkte) ist der richtige Ansatz, wenn der geschäftliche Erfolg in Punkten ausgedrückt wird: „Ich möchte einen Lift von +0,5 pp auf meine Basislinie von 5% erkennen“, was ebenfalls p₂ = 5,5% bedeutet. Beide Angaben sind mathematisch gleichwertig — wählen Sie einfach die Variante, die der Denkweise Ihrer Stakeholder entspricht.

Multivariate Tests und Bonferroni-Korrektur

Wenn Sie K Varianten mit einer Kontrolle vergleichen, führen Sie K − 1 Tests gleichzeitig durch. Die naive Falsch-Positiv-Rate steigt mit jedem zusätzlichen Vergleich — drei unabhängige Tests mit Alpha = 0,05 haben eine kombinierte Falsch-Positiv-Wahrscheinlichkeit von rund 14%, nicht 5%. Die klassische Lösung ist die Bonferroni-Korrektur: Teilen Sie Ihr nominales Alpha durch die Anzahl der Vergleiche, bevor Sie den kritischen Z-Wert berechnen. Dieser Rechner wendet die Korrektur automatisch an, sobald Sie die Anzahl der Varianten auf über 2 ansetzen. Das Ergebnis ist eine größere erforderliche Stichprobengröße pro Gruppe — multivariate Tests kosten mehr Traffic pro Gruppe als einfache A/B-Tests.

FAQ

Welche Stichprobengröße benötige ich für einen A/B-Test?

Das hängt von vier Werten ab: der Basis-Konversionsrate, dem minimal erkennbaren Effekt (MDE), dem Signifikanzniveau (Alpha) und der statistischen Power. Für einen typischen E-Commerce-Test mit einer Basislinie von 5%, einem relativen Lift-Ziel von 10%, Alpha 0,05 und 80% Power benötigen Sie rund 31.000 Besucher pro Variante. Niedrigere Basislinien und kleinere MDEs steigern die erforderliche Stichprobengröße drastisch.

Was ist der minimal erkennbare Effekt (MDE) und wie wähle ich ihn aus?

Der MDE ist der kleinste Lift, den der Test zuverlässig erkennen soll. Wählen Sie ihn auf Basis der geschäftlichen Auswirkungen — die kleinste Verbesserung, die Ihre Rollout-Entscheidung beeinflussen würde. Typische Ausgangspunkte: 5 bis 10% relativ für Checkout- und Registrierungsstrecken mit viel Traffic, 15 bis 25% relativ für Bereiche mit weniger Traffic. Ein kleinerer MDE erfordert eine weitaus größere Stichprobe, setzen Sie ihn also nicht zu niedrig an.

Welches Signifikanzniveau und welche Power sollte ich verwenden?

Alpha 0,05 (95% Konfidenz) und 80% Power sind die Branchenstandards für Produkt- und Marketingtests. Nutzen Sie Alpha 0,01 und 90% Power bei kritischen Rollouts. Eine Senkung von Alpha oder Beta erfordert eine größere Stichprobe — Sie wägen hierbei zwischen falsch-positiven Ergebnissen (Alpha), falsch-negativen Ergebnissen (Beta) und der Testdauer ab.

Warum benötigt mein Test so viele Besucher pro Variante?

Zwei Faktoren sind hier ausschlaggebend. Erstens erhöhen niedrigere Basis-Konversionsraten die erforderliche Stichprobe drastisch — das Erkennen eines kleinen Lifts bei einer Basislinie von 1% benötigt etwa 25-mal mehr Besucher als bei einer Basislinie von 5%. Zweitens skaliert die Stichprobengröße mit eins durch das Quadrat des MDE — eine Halbierung des MDE vervierfacht die benötigte Stichprobe. Erhöhen Sie den für Sie relevanten MDE oder akzeptieren Sie eine längere Testdauer.

Wie wird die Formel abgeleitet?

Es handelt sich um die Standard-Power-Formel für zwei Proportionen, basierend auf der Normalverteilung. Die Stichprobengröße pro Gruppe entspricht dem Quadrat aus (z_α mal der gepoolten Standardabweichung unter der Nullhypothese plus z_β mal der Standardabweichung unter der Alternativhypothese), geteilt durch die quadrierte Raten-Differenz. Der Rechner verwendet die gepoolte Varianz für den Null-Term und die ungepoolte Varianz für den Alternativ-Term — die gängigste Lehrbuchformulierung (Cohen 1988, Fleiss et al. 1980).

Wie gehe ich mit multivariaten Tests mit mehr als einer Variante um?

Wenn Sie K Varianten mit einer Kontrolle vergleichen, wendet der Rechner eine Bonferroni-Korrektur an, indem er Alpha vor der Berechnung des kritischen Z-Werts durch (K − 1) teilt. Dies schützt vor der erhöhten Falsch-Positiv-Rate, die bei der Durchführung mehrerer Vergleiche auftritt. Das Ergebnis ist eine größere erforderliche Stichprobengröße pro Gruppe — multivariate Tests kosten mehr Traffic pro Gruppe als einfache A/B-Tests.

Sollte ich den Test für die empfohlene Anzahl von Tagen laufen lassen oder abbrechen, wenn er Signifikanz erreicht?

Lassen Sie ihn über die empfohlene Dauer laufen und werten Sie die Signifikanz erst am Ende aus. Ein Abbruch in dem Moment, in dem ein p-Wert unter 0,05 fällt (Peeking), treibt die Falsch-Positiv-Rate weit über das nominale Alpha hinaus. Die von diesem Rechner angezeigte Stichprobengröße ist das geplante Ziel — verpflichten Sie sich vor dem Start dazu und widerstehen Sie dem Drang, den Gewinner vorzeitig zu kürzen. Nach Abschluss des Tests können Sie Ihre Ergebnisse in den dazugehörigen A/B-Test-Signifikanz-Rechner eingeben, um den p-Wert und das Konfidenzintervall abzulesen.

Was ist, wenn meine Konversionsrate sehr niedrig ist (unter 1%)?

Die Normalverteilung kann leicht ungenau werden, wenn np oder n(1 − p) klein ist. Für Tests mit sehr niedrigen Raten (z. B. eine Basislinie von 0,1%) liefert der Rechner dennoch eine solide Planungsschätzung, allerdings sollten Sie einen kleinen zusätzlichen Puffer (10-15%) auf die empfohlene Stichprobengröße aufschlagen. Für sehr kleine Stichproben pro Gruppe ist der exakte Test nach Fisher eine konservativere Alternative in der Analysephase.