Calculateur de Taille d'Échantillon pour Test A/B

Le Calculateur de taille d'échantillon pour test A/B planifie un test A/B avant de le lancer. Saisissez le taux de conversion de référence, l'effet minimum détectable (MDE) qui vous intéresse, le niveau de signification (alpha) ainsi que la puissance statistique souhaitée, et le calculateur renverra la taille d'échantillon totale et par bras requise — ainsi qu'une estimation automatique de la durée du test basée sur votre trafic quotidien et votre part de trafic, une courbe de puissance montrant comment la puissance augmente avec la taille de l'échantillon, un tableau de sensibilité qui compare le coût des différents choix de MDE, une visualisation de la répartition du trafic et un verdict de faisabilité en langage clair. Conçu spécifiquement pour les tests A/B de taux de conversion (test z à deux proportions, formulation de Cohen), avec correction optionnelle de Bonferroni pour les tests multivariés.

Comment l'utiliser

1. Saisissez le taux de conversion de référence de la variante actuelle (A), mesuré sur une période représentative récente.
2. Définissez l'effet minimum détectable (MDE) — la plus petite amélioration qui modifierait réellement votre décision. Basculez entre le pourcentage relatif et les points de pourcentage absolus.
3. Choisissez un niveau de signification (alpha) — 5% (confiance de 95%) est la valeur par défaut de l'industrie.
4. Choisissez une puissance statistique — 80% est la valeur par défaut de l'industrie ; augmentez-la à 90% pour les déploiements à fort impact.
5. Choisissez bilatéral (B différent de A dans un sens ou dans l'autre, par défaut) ou unilatéral (seul le cas où B bat A est pris en compte).
6. Si vous effectuez un test multivarié, définissez le nombre de variantes — le calculateur applique automatiquement une correction de Bonferroni.
7. Saisissez les visiteurs quotidiens sur la page et la part de trafic orientée vers l'expérience.
8. Cliquez sur Calculer la taille d'échantillon pour lire la taille d'échantillon par bras et totale, la durée attendue du test, la courbe de puissance, le tableau de sensibilité et le calcul détaillé étape par étape.

Formule utilisée (Formule de puissance à deux proportions)

Ce qui rend ce calculateur de taille d'échantillon unique

• Aperçu en direct avant soumission — chaque touche saisie met à jour la taille de l'échantillon par bras, les visiteurs totaux, le taux de conversion cible et la durée estimée.
• Durée du test en temps réel — transforme l'énoncé abstrait « vous avez besoin de 31 000 visiteurs » en une réalité concrète : « votre test durera 8 jours avec 4 000 visiteurs/jour dans le test ».
• Courbe de puissance animée — visualisez exactement où se situe votre taille d'échantillon cible sur la courbe de puissance et quelle part de puissance supplémentaire une semaine de trafic en plus vous apporterait.
• Tableau de sensibilité au MDE — comparez côte à côte le coût en taille d'échantillon pour détecter des améliorations de 2%, 5%, 10%, 15%, 20% et 25%, afin de choisir la plus petite amélioration qui reste réalisable.
• MDE relatif ou absolu — basculez en un clic entre les deux manières les plus courantes pour les équipes produit de spécifier les objectifs d'amélioration.
• Prise en charge du multivarié avec Bonferroni — gère les tests A/B/C et A/B/C/D avec une correction automatique ; de nombreux calculateurs utilisent silencieusement des calculs simples de test A/B pour les saisies multivariées.
• Visualisation de la répartition du trafic — une barre empilée montrant exactement comment le trafic du test se répartit entre le contrôle et chaque variante.
• Verdict de faisabilité en langage clair — une bannière verte/ambre/rouge qui signale les tests lents avant de les lancer.
• Scénarios rapides — des préréglages en un clic pour les références types du e-commerce, du SaaS, des e-mails et des installations d'applications mobiles.

Lire le verdict de faisabilité

• Vert — Faisable. Le test se termine en moins de deux semaines. Vous disposez d'un trafic amplement suffisant pour détecter l'amélioration choisie au niveau de confiance sélectionné.
• Ambre — Réalisable. Le test prend de deux à s'exécuter six semaines. Planifiez le test autour d'au moins un cycle commercial complet et résistez à l'envie de regarder les résultats en cours de route (peeking).
• Rouge — Lent. Le test prend plus de six semaines (ou ne peut pas se terminer). Les longs tests sont exposés à la saisonnalité et aux changements de comportement des utilisateurs — augmentez le MDE qui vous intéresse ou augmentez la part de trafic allouée à l'expérience.

Pourquoi la taille de l'échantillon augmente si vite

Deux relations comptent par-dessus tout. Premièrement, la taille d'échantillon requise évolue de manière proportionnelle à l'inverse du carré du MDE — diviser par deux l'amélioration que vous souhaitez détecter quadruple l'échantillon requis. Deuxièmement, les tests avec une référence basse coûtent plus cher — avec une référence de 1%, vous avez besoin d'environ 25 fois plus de visiteurs qu'avec une référence de 5% pour détecter la même amélioration relative. Ensemble, ces deux effets expliquent pourquoi même les sites à fort trafic ont du mal à détecter de petites améliorations sur des parcours à faible taux de conversion.

Pièges courants dans la planification des tests A/B

• Définir un MDE trop petit. Cela fait grimper la taille de l'échantillon à des chiffres impossibles à collecter dans un délai raisonnable. Choisissez la plus petite amélioration qui modifierait réellement votre décision de déploiement — pas une supposition optimiste.
• Une puissance inférieure à 80%. Un test avec une puissance de 60% a 40% de chances de manquer un effet réel. La norme pour les décisions produit est de 80% ; ne la baissez pas simplement pour faire « entrer » le test dans vos délais.
• S'arrêter tôt face à une faible valeur p. Regarder les résultats intermédiaires et s'arrêter dès que p < 0.05 fait grimper considérablement le taux de faux positifs. Engagez-vous sur la taille d'échantillon prévue avant le lancement.
• Ignorer le coût du multivarié. Un test A/B/C/D avec quatre variantes nécessite l'alpha corrigé de Bonferroni — généralement 2 à 3 fois l'échantillon par bras d'un simple test A/B.
• Oublier les effets de week-end. Un test de 7 jours minimum permet de lisser la répartition du trafic selon les jours de la semaine ; les tests très courts peuvent être biaisés par les différences entre jours de semaine et week-end.
• Sous-estimer l'impact de la répartition. Si vous n'orientez que 50% du trafic vers le test, le taux par bras est divisé par deux — doublant ainsi la durée calendaire.

Choisir l'alpha et la puissance

Alpha est le taux de faux positifs — la probabilité de déclarer la variante B gagnante alors qu'elle ne l'est pas réellement. La puissance est un moins le taux de faux négatifs — la probabilité de détecter un vrai gagnant de la taille du MDE. Les valeurs par défaut de l'industrie sont alpha = 0.05 et puissance = 0.80. Utilisez alpha = 0.01 et puissance = 0.90 pour les lancements à enjeux élevés où une mauvaise décision coûte cher. Les deux choix resserrent le test et augmentent la taille d'échantillon requise : abaisser alpha de 0.05 à 0.01 double environ l'échantillon ; augmenter la puissance de 0.80 to 0.90 l'accroît encore de 30%.

MDE relatif vs absolu

Le MDE relatif (% de la référence) est la formulation la plus courante : « Je veux détecter une amélioration de 10% sur mon taux de conversion actuel de 5% », ce qui signifie p₂ = 5.5%. Le MDE absolu (points de pourcentage) est la bonne approche lorsque l'impact commercial est exprimé en points : « Je veux détecter une hausse de +0.5 pp sur ma référence de 5% », ce qui signifie p₂ = 5.5%. Les deux sont équivalents — choisissez celui qui correspond à la façon dont vos parties prenantes conçoivent l'indicateur.

Tests multivariés et correction de Bonferroni

Si vous comparez K variantes à un seul contrôle, vous effectuez K − 1 tests simultanés. Le taux de faux positifs naïf augmente avec chaque comparaison supplémentaire — trois tests indépendants avec un alpha = 0.05 ont une probabilité combinée de faux positifs d'environ 14%, et non de 5%. La solution standard est la correction de Bonferroni : divisez votre alpha nominal par le nombre de comparaisons avant de calculer la valeur critique de z. Ce calculateur applique automatiquement la correction lorsque vous définissez un nombre de variantes supérieur à 2. Le résultat est une taille d'échantillon requise par bras plus grande — les tests multivariés coûtent plus de trafic par bras que les simples tests A/B.

FAQ

De quelle taille d'échantillon ai-je besoin pour un test A/B ?

Cela dépend de quatre chiffres : le taux de conversion de référence, l'effet minimum détectable (MDE), le niveau de signification (alpha) et la puissance statistique. Pour un test e-commerce typique avec une référence de 5%, un objectif d'amélioration relative de 10%, un alpha de 0.05 et une puissance de 80%, vous avez besoin d'environ 31 000 visiteurs par variante. Des références plus basses et des MDE plus petits augmentent considérablement la taille d'échantillon requise.

Qu'est-ce que l'effet minimum détectable (MDE) et comment le choisir ?

Le MDE est la plus petite amélioration que vous souhaitez que le test détecte de manière fiable. Choisissez-le en fonction de l'impact commercial — la plus petite amélioration qui modifierait votre décision de déploiement. Points de départ courants : 5 à 10% relatif pour les tunnels de paiement et d'inscription à fort trafic, 15 à 25% relatif pour les fonctionnalités à plus faible trafic. Un MDE plus petit signifie une taille d'échantillon beaucoup plus grande, alors ne le sous-estimez pas.

Quels niveaux de signification et de puissance dois-je utiliser ?

Un alpha de 0.05 (confiance de 95%) et une puissance de 80% sont les valeurs par défaut de l'industrie pour les tests de produits et de marketing. Utilisez un alpha de 0.01 et une puissance de 90% pour les lancements à fort impact. Diminuer l'alpha ou le bêta nécessite une taille d'échantillon plus grande — le compromis se fait entre les faux positifs (alpha), les faux négatifs (bêta) et la durée du test.

Pourquoi mon test a-t-il besoin de tant de visiteurs par variante ?

Deux facteurs dominent. Premièrement, des taux de conversion de référence plus bas augmentent la taille d'échantillon requise — détecter une petite amélioration sur une référence de 1% nécessite environ 25× plus de visiteurs que sur une référence de 5%. Deuxièmement, la taille d'échantillon requise évolue de manière inversement proportionnelle au carré du MDE — diviser le MDE par deux quadruple l'échantillon requis. Augmentez le MDE qui vous intéresse ou acceptez un test plus long.

Comment la formule est-elle dérivée ?

Il s'agit de la formule standard de puissance à deux proportions basée sur l'approximation normale. La taille de l'échantillon par bras est égale au carré de (z_α multiplié par l'écart-type combiné sous l'hypothèse nulle plus z_β multiplié par l'écart-type sous l'hypothèse alternative), divisé par le carré de la différence des taux. Le calculateur utilise la variance combinée pour le terme nul et la variance non combinée pour le terme alternatif — la formulation de manuel la plus courante (Cohen 1988, Fleiss et al. 1980).

Comment gérer les tests multivariés avec plus d'une variante ?

Lorsque vous comparez K variantes à un contrôle, le calculateur applique une correction de Bonferroni en divisant alpha par (K − 1) avant de calculer la valeur critique de z. Cela protège contre l'inflation du taux de faux positifs qui accompagne les comparaisons multiples. Le résultat est une taille d'échantillon requise par bras plus grande — les tests multivariés coûtent plus de trafic par bras que les simples tests A/B.

Dois-je exécuter le test pendant le nombre de jours recommandé ou m'arrêter lorsqu'il atteint la significativité ?

Exécutez-le pendant la durée recommandée et n'évaluez la significativité qu'à la fin. S'arrêter au moment où une valeur p descend en dessous de 0.05 (le peeking) gonfle le taux de faux positifs bien au-dessus de l'alpha nominal. La taille de l'échantillon affichée par ce calculateur est l'objectif prévu — engagez-vous à l'atteindre avant le lancement et résistez à l'envie de déclarer un gagnant prématurément. Une fois le test terminé, insérez vos résultats dans le Calculateur de significativité de test A/B complémentaire pour lire la valeur p et l'intervalle de confiance.

Et si mon taux de conversion est très bas (moins de 1%) ?

L'approximation normale peut être légèrement imprécise lorsque np ou n(1 − p) est petit. Pour les tests à taux très bas (par exemple, une référence de 0.1%), le calculateur fournit toujours une estimation de planification raisonnable, mais envisagez une petite marge de sécurité supplémentaire (10-15%) en plus de la taille d'échantillon recommandée. Pour les très petits échantillons par bras, le test exact de Fisher constitue une alternative plus prudente pour la phase d'analyse.