Calcolatore Dimensione Campione Test A/B

Il Calcolatore della Dimensione del Campione per Test A/B consente di pianificare un test A/B prima del suo lancio. Inserendo il tasso di conversione di base, l'effetto minimo rilevabile (MDE) di interesse, il livello di significatività (alpha) e la potenza statistica desiderata, il calcolatore restituisce la dimensione del campione necessaria per braccio e totale. Fornisce inoltre una stima automatica della durata del test in base al traffico giornaliero e alla quota di traffico allocata, una curva di potenza che mostra come la potenza cresce con la dimensione del campione, una tabella di sensibilità che confronta il costo di diverse scelte di MDE, una visualizzazione dell'allocazione del traffico e un verdetto di fattibilità espresso in parole semplici. Sviluppato specificamente per i test A/B sui tassi di conversione (z-test a due proporzioni, formulazione di Cohen), con correzione opzionale di Bonferroni per i test multivariati.

Istruzioni per l'Uso

1. Inserisci il tasso di conversione di base della variante corrente (A), misurato in un periodo recente e rappresentativo.
2. Imposta l'effetto minimo rilevabile (MDE) — il lift più piccolo che comporterebbe un effettivo cambiamento nella tua decisione. Passa dal valore percentuale relativo ai punti percentuali assoluti tramite l'apposito selettore.
3. Scegli un livello di significatività (alpha) — il 5% (95% di confidenza) rappresenta l'impostazione predefinita del settore.
4. Scegli una potenza statistica — l'80% è il valore predefinito del settore; aumentalo al 90% per implementazioni ad alto impatto.
5. Seleziona a due code (la variante B differisce da A in entrambe le direzioni, opzione predefinita) o a una coda (viene considerato solo il caso in cui B supera A).
6. Se stai eseguendo un test multivariato, imposta il numero di varianti — il calcolatore applicherà automaticamente la correzione di Bonferroni.
7. Inserisci i visitatori giornalieri della pagina e la quota di traffico indirizzata all'esperimento.
8. Fai clic su Calcola Dimensione Campione per visualizzare la dimensione del campione totale e per braccio, la durata prevista del test, la curva di potenza, la tabella di sensibilità e i relativi passaggi matematici.

Formula Utilizzata (Formula della Potenza per Due Proporzioni)

Caratteristiche Distintive di Questo Calcolatore

• Anteprima in tempo reale prima dell'invio — ogni modifica ai campi aggiorna istantaneamente la dimensione del campione per braccio, i visitatori totali, il tasso di conversione obiettivo e la stima della durata.
• Durata del test in tempo reale — converte il dato astratto "servono 31.000 visitatori" nell'indicazione concreta "il test durerà 8 giorni con 4.000 visitatori/giorno nel test".
• Curva di potenza animata — individua con esattezza dove si colloca la dimensione del campione obiettivo sulla curva di potenza e valuta quanta potenza aggiuntiva si potrebbe ottenere estendendo il test di una settimana.
• Tabella di sensibilità MDE — confronta affiancati i requisiti di campionamento per rilevare lift del 2%, 5%, 10%, 15%, 20% e 25%, consentendo di individuare il lift minimo ancora sostenibile.
• MDE relativo o assoluto — un selettore rapido permette di alternare tra i due approcci più diffusi utilizzati dai team di prodotto per definire gli obiettivi di lift.
• Supporto multivariato con Bonferroni — gestisce test A/B/C e A/B/C/D con correzione automatica; molti calcolatori applicano erroneamente formule per semplici test A/B anche in presenza di input multivariati.
• Visualizzazione dell'allocazione del traffico — un grafico a barre in pila mostra chiaramente la ripartizione del traffico del test tra il controllo e ciascuna variante.
• Verdetto di fattibilità in linguaggio semplice — un banner colorato (verde/arancione/rosso) segnala la presenza di test eccessivamente lenti prima del loro avvio.
• Scenari rapidi — profili preimpostati con un clic per scenari tipici di e-commerce, SaaS, email e installazioni di app mobili.

Interpretazione del Verdetto di Fattibilità

• Verde — Fattibile. Il test si completa entro due settimane. Il traffico disponibile è ampiamente sufficiente per rilevare il lift desiderato con il livello di confidenza scelto.
• Arancione — Gestibile. Il test richiede da due a sei settimane. È opportuno pianificare l'esperimento tenendo conto di almeno un intero ciclo commerciale, evitando di analizzare i dati parziali in anticipo.
• Rosso — Lento. Il test richiede più di sei settimane (o non può essere completato). I test prolungati risentono della stagionalità e delle variazioni nei comportamenti degli utenti — si raccomanda di incrementare l'MDE d'interesse o di aumentare la quota di traffico allocata all'esperimento.

Perché la Dimensione del Campione Cresce Così Rapidamente

Due relazioni matematiche risultano fondamentali. In primo luogo, la dimensione del campione richiesta varia in modo proporzionale all'inverso del quadrato dell'MDE — dimezzare il lift che si desidera rilevare quadruplica il campione necessario. In secondo luogo, i test con linee di base basse comportano costi superiori — a titolo d'esempio, con una linea di base dell'1% occorrono circa 25 volte più visitatori rispetto a una linea di base del 5% per rilevare lo stesso lift relativo. L'azione combinata di questi due effetti spiega il motivo per cui anche i siti ad alto traffico riscontrano difficoltà nel rilevare piccoli incrementi su flussi caratterizzati da tassi di conversione ridotti.

Errori Comuni nella Pianificazione dei Test A/B

• Impostazione di un MDE troppo ridotto. Gonfia la dimensione del campione a livelli non raggiungibili in tempi ragionevoli. Scegli il lift minimo che determinerebbe un effettivo cambiamento nelle decisioni di rilascio, evitando stime eccessivamente ottimistiche.
• Potenza inferiore all'80%. Un test con una potenza del 60% presenta un rischio del 40% di non rilevare un effetto realmente esistente. Lo standard di riferimento per le decisioni di prodotto è fissato all'80%; non ridurlo al solo scopo di rendere il test "sostenibile".
• Interruzione anticipata basata su un valore p basso. Esaminare i risultati intermedi e interrompere il test non appena p < 0.05 incrementa notevolmente il tasso di falsi positivi. Definisci e rispetta la dimensione del campione pianificata prima del lancio.
• Mancata considerazione dei costi del multivariato. Un test A/B/C/D con quattro varianti richiede l'applicazione di un valore alpha corretto tramite il metodo di Bonferroni — richiedendo in genere un campione per braccio da 2 a 3 volte superiore rispetto a un semplice test A/B.
• Sottovalutazione degli effetti del fine settimana. Un test della durata minima di 7 giorni consente di bilanciare le variazioni del mix di traffico legate ai diversi giorni della settimana; test troppo brevi rischiano di essere falsati dalle differenze tra giorni feriali e festivi.
• Sottostima dei tempi di allocazione del traffico. Se all'esperimento viene destinato solo il 50% del traffico complessivo, la quota giornaliera per braccio si dimezza — raddoppiando di fatto la durata temporale del test.

Scelta di Alpha e della Potenza

Alpha rappresenta il tasso di falsi positivi — la probabilità di dichiarare vincente la variante B quando in realtà non lo è. La potenza corrisponde a uno meno il tasso di falsi negativi — ovvero la probabilità di rilevare un effetto reale pari alla dimensione dell'MDE impostata. I valori predefiniti del settore sono alpha = 0.05 e potenza = 0.80. Si consiglia di impostare alpha = 0.01 e potenza = 0.90 per rilasci critici o ad alto rischio, in cui una valutazione errata comporterebbe costi elevati. Entrambe le scelte rendono il test più stringente e aumentano la dimensione del campione richiesta: ridurre alpha da 0.05 a 0.01 quasi raddoppia il campione necessario; elevare la potenza da 0.80 a 0.90 comporta un ulteriore incremento del 30%.

MDE Relativo vs Assoluto

L'MDE relativo (% della linea di base) rappresenta l'approccio più comune: "Desidero rilevare un lift del 10% rispetto al mio attuale tasso di conversione del 5%", il che implica un p₂ = 5.5%. L'MDE assoluto (punti percentuali) costituisce la scelta corretta quando l'impatto aziendale è misurato in punti: "Desidero rilevare un incremento di +0.5 pp rispetto alla mia linea di base del 5%", il che comporta un p₂ = 5.5%. Le due opzioni si equivalgono — seleziona quella che meglio si adatta alle modalità di valutazione metriche adottate dai tuoi stakeholder.

Test Multivariati e Correzione di Bonferroni

Quando si confrontano K varianti rispetto a un unico controllo, si eseguono di fatto K − 1 test simultanei. Il tasso di falsi positivi aumenta con ogni ulteriore confronto: tre test indipendenti condotti con un valore alpha = 0.05 presentano una probabilità complessiva di falsi positivi pari a circa il 14%, anziché il 5%. La soluzione standard è rappresentata dalla correzione di Bonferroni, che prevede di dividere l'alpha nominale per il numero di confronti eseguiti prima del calcolo del valore z critico. Questo calcolatore applica automaticamente tale correzione ogniqualvolta il numero di varianti impostato è superiore a 2. Il risultato comporta una dimensione del campione per braccio più elevata — i test multivariati richiedono un volume di traffico per braccio superiore rispetto ai semplici test A/B.

FAQ

Di quale dimensione del campione ho bisogno per un test A/B?

Dipende da quattro parametri: il tasso di conversione di base, l'effetto minimo rilevabile (MDE), il livello di significatività (alpha) e la potenza statistica. Per un tipico test di e-commerce con una linea di base del 5%, un obiettivo di lift relativo del 10%, alpha pari a 0.05 e potenza all'80%, sono necessari circa 31.000 visitatori per variante. Linee di base inferiori o MDE più contenuti determinano un aumento considerevole della dimensione del campione richiesta.

Cos'è l'effetto minimo rilevabile (MDE) e come ne scelgo uno?

L'MDE definisce il lift minimo che si desidera rilevare in modo affidabile tramite il test. La scelta deve basarsi sull'impatto economico — ovvero il miglioramento minimo necessario a giustificare la decisione di implementazione. Valori indicativi di partenza: dal 5 al 10% relativo per flussi di pagamento e registrazione ad alto traffico, dal 15 al 25% relativo per funzionalità con volumi di traffico inferiori. Un MDE più piccolo comporta un campione decisamente più esteso; si raccomanda pertanto di non impostarlo a valori troppo bassi.

Quale livello di significatività e potenza dovrei usare?

I valori alpha = 0.05 (confidenza al 95%) e potenza = 80% costituiscono le opzioni predefinite del settore per i test di prodotto e marketing. Utilizza alpha = 0.01 e potenza = 90% per implementazioni strategiche o ad alto impatto. La riduzione dei valori di alpha o beta richiede una dimensione del campione superiore — la scelta implica un bilanciamento tra falsi positivi (alpha), falsi negativi (beta) e tempi di esecuzione del test.

Perché il mio test richiede così tanti visitatori per variante?

Ciò è dovuto principalmente a due fattori. In primo luogo, tassi di conversione di base ridotti aumentano la dimensione del campione richiesta — rilevare un piccolo incremento su una linea di base dell'1% richiede circa 25 volte più visitatori rispetto a una linea di base del 5%. In secondo luogo, la dimensione del campione necessaria varia in base all'inverso del quadrato dell'MDE — dimezzare l'MDE quadruplica il campione richiesto. Considera l'opportunità di incrementare l'MDE di tuo interesse o di accettare una maggiore durata del test.

Come viene derivata la formula?

Si utilizza la formula standard della potenza per due proporzioni basata sull'approssimazione normale. La dimensione del campione per braccio è pari al quadrato di (z_α moltiplicato per la deviazione standard combinata sotto l'ipotesi nulla più z_β moltiplicato per la deviazione standard sotto l'ipotesi alternativa), diviso per il quadrato della differenza dei tassi. Il calcolatore impiega la varianza combinata per il termine nullo e la varianza non combinata per il termine alternativo — in linea con la formulazione più diffusa nei testi di riferimento (Cohen 1988, Fleiss et al. 1980).

Come gestisco i test multivariati con più di una variante?

Nel caso di un confronto tra K varianti e un controllo, il calcolatore introduce la correzione di Bonferroni dividendo il valore alpha per (K − 1) prima di determinare il valore z critico. Tale procedura consente di limitare l'incremento del tasso di falsi positivi derivante dall'esecuzione di valutazioni multiple. Il risultato determina una dimensione del campione per braccio più elevata — i test multivariati comportano un consumo di traffico per singolo braccio superiore rispetto ai modelli A/B tradizionali.

Dovrei eseguire il test per il numero di giorni raccomandato o interromperlo quando raggiunge la significatività?

Il test va condotto per l'intera durata raccomandata, effettuando la verifica di significatività esclusivamente al termine dello stesso. L'interruzione del test non appena il valore p scende sotto 0.05 (peeking) innalza il tasso di falsi positivi ben oltre il valore alpha nominale. La dimensione del campione indicata rappresenta l'obiettivo pianificato — definiscilo prima dell'avvio e non interrompere il test in anticipo. Al termine dell'esperimento, potrai inserire i dati raccolti nel Calcolatore della Significatività del Test A/B per verificarne il valore p e l'intervallo di confidenza.

Cosa succede se il mio tasso di conversione è molto basso (inferiore all'1%)?

L'approssimazione normale può presentare lievi margini di imprecisione quando i valori di np o n(1 − p) risultano ridotti. Per test con tassi molto bassi (ad esempio, una linea di base dello 0.1%), il calcolatore fornisce comunque una stima di pianificazione valida; si suggerisce tuttavia di considerare un margine aggiuntivo di sicurezza (10-15%) rispetto alla dimensione del campione raccomandata. Per campioni per braccio particolarmente ridotti, il test esatto di Fisher costituisce un'alternativa più conservativa in fase di analisi.