Gewinnervariante
Eine Gewinnervariante ist die Version eines A/B-Tests, die die anderen bei der primären Kennzahl mit ausreichender statistischer Sicherheit übertrifft.
Im Detail
Einen Gewinner zu erklären ist mehr als die höchste Zahl im Dashboard zu erkennen. Ein echter Gewinner hat die vorab definierte Stichprobengröße und Signifikanzschwelle erreicht, und sein Vorsprung ist stabil und nicht nur ein kurzer Ausschlag durch Zufallsstreuung oder einen Neuheitseffekt. Gewinner zu früh auszurufen, der häufigste Fehler in der CRO, befördert wiederholt Varianten, die zum Mittelwert zurückkehren, sobald der volle Traffic eintrifft.
Eine Gewinnervariante sollte zudem an der richtigen Kennzahl gemessen werden, nicht an einem schmeichelhaften Stellvertreter. Eine Quiz-Funnel-Variante, die mehr Quiz-Starts bringt, aber weniger qualifizierte Leads, hat nicht wirklich gewonnen, auch wenn die Zahl am Funnel-Anfang beeindruckt. Ist ein echter Gewinner bestätigt, wird er zur neuen Kontrolle und Basislinie, und die Verbesserung ist vor der nächsten Testrunde gesichert.
Beispiel aus der Praxis
Häufig gestellte Fragen
Woran erkenne ich, dass eine Variante wirklich gewonnen hat?
Ein echter Gewinner hat Ihre vorab festgelegte Stichprobengröße und Signifikanz erreicht, und sein Vorsprung bleibt stabil statt täglich zu schwanken. Schrumpft der Abstand mit mehr Traffic, war es vermutlich Rauschen.
Kann eine Variante an der falschen Kennzahl gewinnen?
Ja, eine Variante kann eine Funnel-Anfangszahl steigern und zugleich die wirklich wichtige Kennzahl wie qualifizierte Leads oder Umsatz schädigen. Beurteilen Sie Gewinner stets an der primären Geschäftskennzahl.
Was tue ich nach dem Bestimmen eines Gewinners?
Rollen Sie den Gewinner auf den gesamten Traffic aus und machen Sie ihn zur neuen Kontrolle, dann überwachen Sie kurz, ob der Uplift hält. Das nächste Experiment startet von dieser verbesserten Basislinie.