Güven Düzeyi
Güven düzeyi, deney tekrarlandığında bir testin güven aralığının gerçek değeri ne sıklıkta içereceğini ifade eden yüzdedir ve genellikle %95 olarak ayarlanır.
Derinlemesine
Güven düzeyi, anlamlılık eşiğinizin tümleyenidir: %95'lik bir güven düzeyi 0,05'lik bir alfaya karşılık gelir. Sonuçları tek bir sayı yerine bir aralık olarak çerçeveler; gerçek dönüşüm farkının olası aralığını ve bu aralığın tekrarlanan testlerde gerçeği ne kadar güvenilir biçimde yakaladığını söyler.
Sık görülen bir yanlış anlama, %95 güveni B varyantının daha iyi olma olasılığının %95 olması şeklinde okumaktır; aslında bu, tek bir test sonucunu değil, yöntemin uzun vadeli davranışını tanımlar. Düzeyi seçmek bir denge meselesidir: daha yüksek güven yanlış pozitifleri azaltır ancak daha fazla trafik ve zaman gerektirir. Mütevazı haftalık hacme sahip bir quiz hunisinde %99 güvende ısrar etmek optimizasyonu durdurabilir, bu yüzden ekipler titizliği daha yavaş yinelemenin maliyetine karşı dengeler.
Pratikte örnek
Sıkça sorulan sorular
Güven düzeyi ile istatistiksel anlamlılık arasındaki fark nedir?
İkisi aynı madalyonun iki yüzüdür: %95'lik bir güven düzeyi 0,05'lik bir anlamlılık eşiğine karşılık gelir. Güven düzeyi güvenilirliği bir yüzde ve aralık olarak, anlamlılık ise bir p-değeri sınırı olarak ifade eder.
%95 güven, B varyantının daha iyi olma şansının %95 olduğu anlamına mı gelir?
Hayır, bu yaygın bir yanlış yorumdur. Bu, yöntemin aralığının çok sayıda tekrarda gerçek değeri ne sıklıkta yakaladığını tanımlar, herhangi bir tek testin olasılığını değil.
Her zaman mümkün olan en yüksek güven düzeyini kullanmalı mıyım?
Mutlaka değil, çünkü daha yüksek güven çok daha fazla trafik gerektirir ve test temponuzu yavaşlatır. %99'u yüksek riskli kararlar için saklayın ve rutin quiz hunisi deneyleri için %95 kullanın.