Kalkulator Ukuran Sampel Tes A/B

Kalkulator Ukuran Sampel Tes A/B merencanakan tes A/B sebelum Anda meluncurkannya. Masukkan tingkat konversi dasar, minimum detectable effect (MDE) yang Anda pedulikan, tingkat signifikansi (alpha), serta kekuatan statistik yang Anda inginkan, dan kalkulator akan menampilkan ukuran sampel per varian dan total yang diperlukan — ditambah estimasi durasi pengujian otomatis dari lalu lintas harian dan bagian lalu lintas Anda, kurva kekuatan yang menunjukkan bagaimana kekuatan tumbuh seiring ukuran sampel, tabel sensitivitas yang membandingkan biaya dari berbagai pilihan MDE, visualisasi alokasi lalu lintas, dan putusan kelayakan dalam bahasa sehari-hari. Dibuat khusus untuk pengujian A/B tingkat konversi (z-test dua proporsi, formulasi Cohen), dengan koreksi Bonferroni opsional untuk pengujian multivariat.

Cara Menggunakan

1. Masukkan tingkat konversi dasar dari varian saat ini (A), yang diukur selama periode representatif baru-baru ini.
2. Atur minimum detectable effect (MDE) — lift terkecil yang benar-benar akan mengubah keputusan Anda. Beralihlah antara persentase relatif dan poin persentase absolut.
3. Pilih tingkat signifikansi (alpha) — 5% (konfidensi 95%) adalah default industri.
4. Pilih kekuatan statistik — 80% adalah default industri; naikkan ke 90% untuk peluncuran berdampak tinggi.
5. Pilih dua sisi (two-tailed) (B berbeda dari A ke salah satu arah, default) atau satu sisi (one-tailed) (hanya menghitung jika B mengalahkan A).
6. Jika Anda menjalankan pengujian multivariat, atur jumlah varian — kalkulator akan menerapkan koreksi Bonferroni secara otomatis.
7. Masukkan pengunjung harian ke halaman dan bagian lalu lintas yang diarahkan ke dalam eksperimen.
8. Klik Hitung Ukuran Sampel untuk membaca ukuran sampel per varian dan total, perkiraan durasi pengujian, kurva kekuatan, tabel sensitivitas, dan matematika langkah demi langkah.

Rumus yang Digunakan (Rumus Kekuatan Dua Proporsi)

Apa yang Membuat Kalkulator Ukuran Sampel Ini Berbeda

• Pratinjau langsung sebelum Anda mengirimkan — setiap ketukan tombol akan memperbarui ukuran sampel per varian, total pengunjung, tingkat konversi target, dan perkiraan durasi secara real-time.
• Durasi pengujian secara real-time — mengubah kalimat abstrak \"Anda membutuhkan 31.000 pengunjung\" menjadi lebih konkret \"pengujian Anda akan berjalan selama 8 hari dengan 4.000 pengunjung/hari dalam pengujian.\"
• Kurva kekuatan beranimasi — lihat dengan tepat di mana ukuran sampel target Anda berada pada kurva kekuatan dan seberapa besar kekuatan tambahan yang bisa didapatkan dari lalu lintas ekstra satu minggu.
• Tabel sensitivitas MDE — bandingkan biaya ukuran sampel untuk mendeteksi lift 2%, 5%, 10%, 15%, 20%, dan 25% secara berdampingan, sehingga Anda dapat memilih lift terkecil yang masih layak dilakukan.
• MDE Relatif atau Absolut — peralihan satu klik di antara dua cara paling umum yang digunakan tim produk untuk menentukan target lift.
• Dukungan multivariat dengan Bonferroni — menangani pengujian A/B/C dan A/B/C/D dengan koreksi otomatis; banyak kalkulator lain yang diam-diam menggunakan matematika A/B sederhana untuk input multivariat.
• Visualisasi alokasi lalu lintas — grafik batang bertumpuk yang menunjukkan dengan tepat bagaimana lalu lintas pengujian dibagi antara kontrol dan setiap varian.
• Putusan kelayakan dalam bahasa sehari-hari — spanduk hijau/kuning/merah yang menandai pengujian yang lambat sebelum Anda meluncurkannya.
• Skenario cepat — preset satu klik untuk kasus e-commerce, SaaS, email, dan instalasi seluler yang umum.

Membaca Putusan Kelayakan

• Hijau — Layak. Pengujian selesai dalam dua minggu. Anda memiliki lalu lintas yang cukup untuk mendeteksi lift yang dipilih pada tingkat konfirmasi yang ditentukan.
• Kuning — Bisa Dilakukan. Pengujian memakan waktu dua hingga enam minggu. Rencanakan setidaknya di sekitar satu siklus bisnis penuh dan tahan keinginan untuk mengintip hasil.
• Merah — Lambat. Pengujian memakan waktu lebih dari enam minggu (atau tidak dapat selesai). Pengujian yang lama rentan terhadap faktor musiman dan perubahan perilaku pengguna — tingkatkan MDE yang Anda pedulikan atau tambah bagian lalu lintas yang dimasukkan ke eksperimen.

Mengapa Ukuran Sampel Meningkat Begitu Cepat

Dua hubungan sangat menentukan di sini. Pertama, ukuran sampel yang diperlukan berbanding lurus dengan satu per kuadrat dari MDE — membagi dua lift yang ingin dideteksi akan melipatgandakan sampel yang diperlukan. Kedua, pengujian dengan nilai dasar rendah membutuhkan biaya lebih besar — pada nilai dasar 1%, Anda memerlukan sekitar 25 kali lebih banyak pengunjung daripada pada nilai dasar 5% untuk mendeteksi lift relatif yang sama. Kedua efek ini menjelaskan mengapa situs web dengan traffic tinggi sekalipun kesulitan mendeteksi lift kecil pada alur dengan tingkat konversi rendah.

Kesalahan Umum dalam Perencanaan Tes A/B

• Mengatur MDE terlalu kecil. Meningkatkan ukuran sampel ke angka yang tidak dapat Anda kumpulkan dalam waktu yang wajar. Pilih lift terkecil yang benar-benar akan mengubah keputusan peluncuran Anda — bukan tebakan penuh harapan.
• Kekuatan di bawah 80%. Pengujian dengan kekuatan 60% memiliki peluang 40% untuk melewatkan efek yang nyata. Standar untuk keputusan produk adalah 80%; jangan menurunkannya hanya agar pengujian \"terlihat cocok.\"
• Berhenti lebih awal karena p-value yang rendah. Mengintip hasil sementara dan berhenti saat p < 0.05 akan meningkatkan tingkat positif palsu secara dramatis. Berkomitmenlah pada ukuran sampel yang direncanakan sebelum peluncuran.
• Mengabaikan biaya multivariat. Pengujian A/B/C/D dengan empat varian membutuhkan alpha yang dikoreksi Bonferroni — biasanya membutuhkan 2-3x sampel per varian dari tes A/B sederhana.
• Melupakan efek akhir pekan. Pengujian minimal 7 hari memungkinkan Anda meratakan bauran lalu lintas harian; pengujian yang sangat singkat dapat menyimpang karena perbedaan karakteristik hari kerja/akhir pekan.
• Meremehkan overhead alokasi. Jika Anda hanya mengarahkan 50% lalu lintas ke dalam pengujian, tingkat per varian berkurang setengahnya — yang berarti melipatgandakan durasi kalender.

Memilih Alpha dan Kekuatan

Alpha adalah tingkat positif palsu — probabilitas menyatakan B sebagai pemenang ketika aslinya tidak. Kekuatan adalah satu dikurangi tingkat negatif palsu — probabilitas mendeteksi pemenang nyata dari ukuran MDE. Default industri adalah alpha = 0.05 dan kekuatan = 0.80. Gunakan alpha = 0.01 dan kekuatan = 0.90 untuk peluncuran taruhan tinggi di mana keputusan yang salah akan memakan biaya besar. Kedua pilihan tersebut memperketat pengujian dan meningkatkan ukuran sampel yang diperlukan: menurunkan alpha dari 0.05 ke 0.01 kira-kira melipatgandakan sampel; menaikkan kekuatan dari 0.80 ke 0.90 meningkatkannya sebesar 30% lagi.

MDE Relatif vs Absolut

MDE Relatif (% dari dasar) adalah pembingkaian yang paling umum: \"Saya ingin mendeteksi lift 10% pada tingkat konversi saat ini yang sebesar 5%,\" yang berarti p₂ = 5.5%. MDE Absolut (poin persentase) adalah pembingkaian yang tepat ketika dampak bisnis dinyatakan dalam poin: \"Saya ingin mendeteksi lift +0.5 pp pada dasar 5% saya,\" yang berarti p₂ = 5.5%. Keduanya setara — pilih mana saja yang sesuai dengan cara pemangku kepentingan Anda memikirkan metrik tersebut.

Pengujian Multivariat dan Koreksi Bonferroni

Jika Anda membandingkan K varian terhadap satu kontrol, Anda sedang menjalankan K − 1 pengujian simultan. Tingkat positif palsu naif akan meningkat pada setiap perbandingan ekstra — tiga pengujian independen pada alpha = 0.05 memiliki probabilitas positif palsu gabungan sekitar 14%, bukan 5%. Solusi standarnya adalah koreksi Bonferroni: bagi alpha nominal Anda dengan jumlah perbandingan sebelum menghitung nilai z kritis. Kalkulator ini menerapkan koreksi tersebut secara otomatis ketika Anda mengatur jumlah varian di atas 2. Hasilnya adalah ukuran sampel per varian yang diperlukan menjadi lebih besar — pengujian multivariat memakan lebih banyak lalu lintas per varian daripada tes A/B sederhana.

FAQ

Berapa ukuran sampel yang saya butuhkan untuk tes A/B?

Itu tergantung pada empat angka: tingkat konversi dasar, minimum detectable effect (MDE), tingkat signifikansi (alpha), dan kekuatan statistik. Untuk pengujian e-commerce tipikal dengan dasar 5%, target lift relatif 10%, alpha 0.05, dan kekuatan 80%, Anda membutuhkan sekitar 31.000 pengunjung per varian. Dasar yang lebih rendah dan MDE yang lebih kecil sama-sama meningkatkan ukuran sampel yang diperlukan secara dramatis.

Apa itu minimum detectable effect (MDE) dan bagaimana cara memilihnya?

MDE adalah lift terkecil yang ingin Anda deteksi secara andal melalui pengujian. Pilih berdasarkan dampak bisnis — peningkatan terkecil yang akan mengubah keputusan peluncuran Anda. Titik awal yang umum: 5 hingga 10% relatif untuk alur checkout dan pendaftaran ber-traffic tinggi, 15 to 25% relatif untuk fitur dengan traffic lebih rendah. MDE yang lebih kecil berarti ukuran sampel yang jauh lebih besar, jadi jangan mengaturnya terlalu rendah.

Berapa tingkat signifikansi dan kekuatan yang harus saya gunakan?

Alpha 0.05 (konfidensi 95%) dan kekuatan 80% adalah default industri untuk pengujian produk dan pemasaran. Gunakan alpha 0.01 dan kekuatan 90% untuk peluncuran berdampak tinggi. Menurunkan alpha atau beta membutuhkan ukuran sampel yang lebih besar — trade-off terjadi antara positif palsu (alpha), negatif palsu (beta), dan berapa lama pengujian berlangsung.

Mengapa pengujian saya membutuhkan begitu banyak pengunjung per varian?

Dua faktor mendominasi. Pertama, tingkat konversi dasar yang lebih rendah meningkatkan ukuran sampel yang diperlukan — mendeteksi lift kecil pada dasar 1% membutuhkan sekitar 25× lebih banyak pengunjung daripada pada dasar 5%. Kedua, ukuran sampel yang diperlukan berbanding lurus dengan satu per kuadrat dari MDE — membagi dua MDE akan melipatgandakan sampel yang diperlukan. Tingkatkan MDE yang Anda pedulikan atau terima pengujian yang lebih lama.

Bagaimana rumus tersebut diturunkan?

Ini adalah rumus kekuatan dua proporsi standar berdasarkan pendekatan normal. Ukuran sampel per varian sama dengan kuadrat dari (z_α dikali simpangan baku gabungan di bawah hipotesis nol ditambah z_β dikali simpangan baku di bawah alternatif), dibagi dengan kuadrat selisih tingkat. Kalkulator menggunakan varians gabungan untuk suku nol dan varians tidak digabung untuk suku alternatif — formulasi buku teks yang paling umum (Cohen 1988, Fleiss et al. 1980).

Bagaimana cara menangani pengujian multivariat dengan lebih dari satu varian?

Ketika Anda membandingkan K varian terhadap satu kontrol, kalkulator menerapkan koreksi Bonferroni dengan membagi alpha dengan (K − 1) sebelum menghitung nilai z kritis. Ini melindungi terhadap peningkatan tingkat positif palsu akibat menjalankan beberapa perbandingan. Hasilnya adalah ukuran sampel per varian yang diperlukan menjadi lebih besar — pengujian multivariat memakan lebih banyak lalu lintas per varian daripada tes A/B sederhana.

Haruskah saya menjalankan pengujian selama jumlah hari yang direkomendasikan atau berhenti ketika mencapai signifikansi?

Jalankan pengujian selama durasi yang direkomendasikan dan hanya evaluasi signifikansi di akhir. Berhenti saat nilai p-value turun di bawah 0.05 (mengintip) akan meningkatkan tingkat positif palsu jauh di atas alpha nominal. Ukuran sampel yang ditunjukkan oleh kalkulator ini adalah target yang direncanakan — berkomitmenlah padanya sebelum peluncuran dan tahan keinginan untuk menentukan pemenang lebih awal. Setelah pengujian berakhir, masukkan hasil Anda ke Kalkulator Signifikansi Tes A/B pendamping untuk membaca p-value dan interval konfidensi.

Bagaimana jika tingkat konversi saya sangat rendah (di bawah 1%)?

Pendekatan normal bisa sedikit tidak akurat ketika np atau n(1 − p) bernilai kecil. Untuk pengujian dengan tingkat konversi sangat rendah (misalnya dasar 0.1%), kalkulator ini masih memberikan estimasi perencanaan yang wajar, namun pertimbangkan untuk menambahkan sedikit buffer ekstra (10-15%) di atas ukuran sampel yang direkomendasikan. Untuk ukuran sampel per varian yang sangat kecil, uji eksak Fisher adalah alternatif yang lebih konservatif untuk tahap analisis.