Statistische Signifikanz
Statistische Signifikanz zeigt an, dass ein beobachteter Unterschied zwischen Varianten unwahrscheinlich auf Zufall beruht, in der Regel wenn der p-Wert unter einer gewählten Schwelle wie 0,05 liegt.
Im Detail
Statistische Signifikanz wird mit einem p-Wert beurteilt, der die Wahrscheinlichkeit schätzt, ein mindestens so extremes Ergebnis wie Ihres zu sehen, wenn es tatsächlich keinen Unterschied zwischen den Varianten gäbe. Eine übliche Schwelle ist 0,05, also eine akzeptierte 5-prozentige Chance auf ein falsch positives Ergebnis; das Erreichen sagt nur, dass das Ergebnis kaum Rauschen ist, aber nichts über die Größe oder geschäftliche Relevanz des Effekts.
Der klassische Fehler ist das Peeking: Wiederholtes Prüfen eines Tests und Stoppen, sobald 0,05 unterschritten wird, erhöht die Falsch-Positiv-Rate stark. Im Quiz-Funnel könnten Sie Abschlussraten zweier Intros vergleichen, doch einen Gewinner vor Erreichen der Signifikanz auszurufen kann eine schlechtere Variante festschreiben. Die Kombination von Signifikanz mit fester Stichprobengröße und einer relevanten Effektschwelle hält Optimierungsentscheidungen vertrauenswürdig.
Beispiel aus der Praxis
Häufig gestellte Fragen
Welcher p-Wert gilt als statistisch signifikant?
Ein p-Wert unter 0,05 ist die häufigste Schwelle und entspricht einem Falsch-Positiv-Risiko von 5 %. Manche kritischen Tests nutzen strengere Schwellen wie 0,01, um das Risiko weiter zu senken.
Bedeutet statistische Signifikanz, dass das Ergebnis für mein Unternehmen relevant ist?
Nein, Signifikanz sagt nur, dass ein Unterschied wahrscheinlich real ist, nicht dass er groß oder wertvoll ist. Berücksichtigen Sie immer auch die Effektgröße und den praktischen Nutzen.
Warum sollte ich einen Test nicht stoppen, sobald er signifikant wird?
Wiederholtes Prüfen und Stoppen im ersten signifikanten Moment, Peeking genannt, erhöht die Falsch-Positiv-Rate stark. Legen Sie die Stichprobengröße vorab fest oder nutzen Sie sequenzielle Testverfahren.