İstatistiksel Anlamlılık
İstatistiksel anlamlılık, varyantlar arasında gözlemlenen bir farkın rastgele şans eseri olma olasılığının düşük olduğunu gösterir; genellikle p-değeri 0,05 gibi seçilen bir eşiğin altına düştüğünde geçerlidir.
Derinlemesine
İstatistiksel anlamlılık, varyantlar arasında gerçekte hiçbir fark olmasaydı sizinki kadar uç bir sonucu görme olasılığını tahmin eden bir p-değeriyle değerlendirilir. Yaygın bir eşik 0,05'tir; yani %5'lik bir yanlış pozitif olasılığını kabul edersiniz. Bu eşiğe ulaşmak sonucun gürültü olmadığını söyler ancak etkinin ne kadar büyük veya işle ne kadar ilgili olduğunu söylemez.
Klasik tuzak, dikizlemektir (peeking): bir testi tekrar tekrar kontrol edip 0,05'i geçer geçmez durdurmak yanlış pozitifleri çarpıcı biçimde artırır. Bir quiz hunisi bağlamında iki girişin tamamlanma oranlarını karşılaştırabilirsiniz, ancak anlamlılığa ulaşmadan bir kazanan ilan etmek aslında daha kötü performans gösteren bir varyantı sabitleyebilir. Anlamlılığı önceden belirlenmiş bir örneklem büyüklüğü ve anlamlı bir etki eşiğiyle birleştirmek, optimizasyon kararlarını güvenilir tutar.
Pratikte örnek
Sıkça sorulan sorular
Hangi p-değeri istatistiksel olarak anlamlı sayılır?
0,05'in altındaki bir p-değeri en yaygın eşiktir ve %5'lik bir yanlış pozitif riskine karşılık gelir. Bazı kritik testler, riski daha da azaltmak için 0,01 gibi daha katı eşikler kullanır.
İstatistiksel anlamlılık, sonucun işletmem için önemli olduğu anlamına mı gelir?
Hayır, anlamlılık yalnızca bir farkın muhtemelen gerçek olduğunu söyler, büyük veya değerli olduğunu değil. Karar vermeden önce her zaman etki boyutu ve pratik etkiyle birlikte değerlendirin.
Bir testi anlamlılığa ulaşır ulaşmaz neden durdurmamalıyım?
Tekrar tekrar kontrol edip ilk anlamlı anda durdurmak, yani dikizlemek, yanlış pozitifleri çarpıcı biçimde artırır. Örneklem büyüklüğünü önceden belirleyin veya sıralı test yöntemleri kullanın.