Spiegazione dell'effetto minimo rilevabile
L'effetto minimo rilevabile, spesso abbreviato in MDE, è il più piccolo incremento o decremento che si desidera che l'esperimento sia in grado di rilevare. È uno dei fattori principali che determinano la dimensione del campione per i test A/B.
Cosa significa realmente MDE
L'MDE non è una previsione di ciò che accadrà. È la soglia oltre la quale una differenza diventa sufficientemente importante da influenzare una decisione.
Ciò significa che si tratta di un'ipotesi di pianificazione relativa alla rilevanza aziendale, non solo statistica.
Perché i piccoli MDE sono costosi
Rilevare una piccola variazione richiede una grande quantità di dati, perché gli effetti di piccola entità sono più difficili da distinguere dal rumore. Spesso i team scelgono MDE (Minimum Data Experience) irrealisticamente piccoli, per poi scoprire che il traffico dati richiesto è eccessivo.
Un MDE più realistico spesso rende un test molto più fattibile.
Come sceglierne uno
Un MDE pratico dovrebbe riflettere ciò che modificherebbe una decisione. Se un incremento dello 0,2% non giustificherebbe lo sforzo di implementazione, potrebbe non avere molto senso progettare l'esperimento in modo da rilevare tale cambiamento.
Scegli una dimensione dell'effetto che sia significativa e realistica per il tuo traffico.
Come i team scelgono un MDE realistico
Un MDE realistico deriva solitamente dalla combinazione dell'impatto sul business con la realtà del traffico. Se una variazione è troppo piccola per avere un impatto commerciale, potrebbe non valere la pena di basare un test su di essa, anche se statisticamente interessante.
L'errore opposto è quello di scegliere un MDE (Minimum Detectable Experiment, ovvero un esperimento multidetector) irrealisticamente ampio solo per accorciare il test. Questo può impedire all'esperimento di rilevare miglioramenti che sarebbero invece preziosi.
- Collegare l'MDE all'impatto sul business, non alla sola curiosità.
- Verificare che l'effetto desiderato sia plausibile per l'esperimento.
- Evitare di ridurre le dimensioni dell'MDE fino a quando il tempo di esecuzione non diventa impossibile
- Evitate di gonfiare l'MDE solo per forzare un campione più piccolo