Kazanan Varyant
Kazanan varyant, bir A/B testinde birincil metrikte diğerlerini üzerinde işlem yapmaya yetecek istatistiksel güvenle geride bırakan sürümdür.
Derinlemesine
Bir kazanan ilan etmek, panodaki en yüksek sayıyı fark etmekten fazlasıdır. Gerçek bir kazanan, önceden tanımlanan örneklem büyüklüğüne ve anlamlılık eşiğine ulaşmıştır ve önderliği rastgele dalgalanmanın ya da yenilik etkisinin neden olduğu anlık bir sıçrama değil, istikrarlıdır. Kazananları erken ilan etmek, CRO'daki en sık hatadır ve tam trafik geldiğinde ortalamaya gerileyen varyantları tekrar tekrar yayına alır.
Kazanan varyant ayrıca doğru metriğe göre değerlendirilmelidir, yanıltıcı bir vekile göre değil. Quiz başlatmalarını artıran ama nitelikli lead gönderimlerini düşüren bir quiz hunisi varyantı, huni başındaki sayısı etkileyici görünse de aslında kazanmamıştır. Gerçek bir kazanan doğrulandığında yeni kontrol ve temel çizgi olur, böylece iyileştirme bir sonraki test turundan önce sabitlenir.
Pratikte örnek
Sıkça sorulan sorular
Bir varyantın gerçekten kazandığını nasıl anlarım?
Gerçek bir kazanan, önceden belirlediğiniz örneklem büyüklüğüne ve anlamlılık düzeyine ulaşmıştır ve önderliği günden güne dalgalanmak yerine istikrarlı kalır. Trafik arttıkça fark daralıyorsa muhtemelen gürültüydü.
Bir varyant yanlış metrikte kazanabilir mi?
Evet, bir varyant huni başındaki bir sayıyı artırırken nitelikli lead ya da gelir gibi asıl önemli metriğe zarar verebilir. Kazananları her zaman yanıltıcı bir vekile değil birincil iş metriğine göre değerlendirin.
Bir kazanan ilan ettikten sonra ne yaparım?
Kazananı tüm trafiğe yayın ve onu yeni kontrolünüz yapın, ardından artışın korunduğunu doğrulamak için kısa süre izleyin. Bir sonraki deney bu iyileştirilmiş temel çizgiden başlar, böylece kazanımlar zamanla birikir.