Stichprobengröße
Die Stichprobengröße ist die Anzahl der Besucher oder Beobachtungen pro Testvariante, die groß genug ist, um einen relevanten Unterschied mit akzeptabler Zuverlässigkeit zu erkennen.
Im Detail
Die nötige Stichprobengröße wird vor dem Start durch eine Power-Berechnung bestimmt, die Ihre Basis-Conversion-Rate, den kleinsten relevanten Effekt sowie Ihr gewähltes Konfidenzniveau und die statistische Power kombiniert. Kleinere Effekte, niedrigere Basiswerte und höhere Konfidenz erhöhen die nötige Besucherzahl, manchmal drastisch, weshalb ehrgeizige Tests auf Seiten mit wenig Traffic Monate dauern können.
Der häufigste Fehler ist die Unterausstattung mit Daten: Ein Test mit zu wenigen Besuchern liefert verrauschte Ergebnisse, die zwischen Durchläufen schwanken und Teams zur falschen Variante verleiten. Im Quiz-Funnel setzt eine vorab berechnete Stichprobengröße eine klare Ziellinie, verhindert vorzeitiges Peeking und zeigt schon vor dem Einsatz von Design- und Entwicklungszeit, ob ein geplanter Test angesichts Ihres Wochen-Traffics überhaupt machbar ist.
Beispiel aus der Praxis
Häufig gestellte Fragen
Wie berechne ich die richtige Stichprobengröße?
Nutzen Sie einen Power-Rechner, der Basis-Conversion-Rate, kleinsten nachweisbaren Effekt, Konfidenzniveau und statistische Power berücksichtigt. Er liefert die nötigen Besucher pro Variante vor dem Teststart.
Was passiert, wenn meine Stichprobengröße zu klein ist?
Ein unterausgestatteter Test liefert verrauschte, instabile Ergebnisse, die fälschlich einen Gewinner ausrufen oder einen echten Unterschied verfehlen. Sie riskieren, Änderungen auszurollen, die Conversions gar nicht verbessern.
Kann ich einen A/B-Test in einem Quiz-Funnel mit wenig Traffic durchführen?
Ja, aber kleine Effekte können mehr Traffic erfordern, als Sie in vertretbarer Zeit erzeugen. Berechnen Sie zuerst die Stichprobengröße oder konzentrieren Sie sich auf größere, mutigere Änderungen.