A/B test anlamlılık hesaplayıcı
İki sürümün dönüşüm oranını karşılaştırın: fark gerçek mi, şans mı? Teste başlamadan önce de kaç ziyaretçiye ihtiyacınız olduğunu hesaplayın.
A/B test hesaplayıcı ne işe yarar?
Bir buton rengini, başlığı ya da fiyat sunumunu değiştirdiniz ve yeni sürüm biraz daha iyi görünüyor. Peki bu fark gerçek bir iyileşme mi, yoksa rastlantısal bir dalgalanma mı? İnsan zihni, rastlantıda bile örüntü görmeye yatkındır. Bu araç, kararınızı sezgiye değil istatistiğe dayandırmanıza yardım eder.
Sık yapılan hatalar
- Erken bakıp durdurmak: Test her gün kontrol edilip anlamlı çıktığı ilk anda durdurulursa yanlış pozitif oranı yüzde 5'in çok üzerine çıkar.
- Küçük örneklem: Birkaç düzine dönüşümle yapılan testler büyük farklar gösterse bile güvenilir değildir.
- Çok sayıda metrik: On farklı metriğe bakarsanız, biri tesadüfen “anlamlı” çıkabilir. Birincil metriği önceden seçin.
- Hafta içi etkisi: Kullanıcı davranışı günlere göre değişir. Testi en az bir, tercihen iki tam hafta çalıştırın.
Nasıl kullanılır?
- Teste başlamadan önce “Örneklem büyüklüğü” sekmesinde gereken ziyaretçi sayısını bulun.
- Test bu sayıya ulaştığında “Sonucu değerlendir” sekmesine her sürümün ziyaretçi ve dönüşüm sayısını girin.
- p değerine, güven aralığına ve uyarılara bakarak kararınızı verin.
Sık sorulan sorular
p değeri ne anlama gelir?
İki sürüm arasında gerçekte hiçbir fark olmasaydı, en az bu kadar büyük bir farkı yalnızca şans eseri görme olasılığıdır. Örneğin p = 0,02, böyle bir farkın şans eseri ortaya çıkma ihtimalinin yüzde 2 olduğunu söyler. p değeri, B'nin daha iyi olma olasılığı değildir.
Test anlamlı çıkınca hemen durdurabilir miyim?
Hayır. Sonuçlara sürekli bakıp anlamlı çıktığı ilk anda durdurmak (peeking), yanlış pozitif oranını ciddi şekilde artırır. Örneklem büyüklüğünü önceden belirleyin ve teste o sayıya ulaşana kadar devam edin. Haftanın günlerine bağlı dalgalanmaları yakalamak için en az bir tam hafta çalıştırın.
SRM uyarısı nedir?
Örneklem oranı uyumsuzluğu (Sample Ratio Mismatch), trafiği yüzde 50-50 bölmeyi planlarken gerçekleşen dağılımın şansla açıklanamayacak kadar farklı olmasıdır. Genellikle bir yönlendirme, izleme ya da bot sorununa işaret eder ve sonucu güvenilmez kılar.
Hangi istatistiksel test kullanılıyor?
Anlamlılık için havuzlanmış standart hatayla iki oranlı z testi, fark için Wald güven aralığı, her sürümün oranı için Wilson aralığı, SRM için ki-kare uyum testi kullanılır. Örneklem hesabı da iki oranlı z testinin güç formülüne dayanır.