Il test che ha fatto perdere il 6% del fatturato

Di test riusciti è pieno il mondo. Quelli andati male non li racconta quasi nessuno, ed è un peccato, perché insegnano di più.

Questo è semplice: uno store cambia il fondo delle immagini prodotto da bianco a grigio, su tutto il sito, con l'idea che un contrasto maggiore aiuti a distinguere i prodotti. Va nella direzione opposta.

I numeri: ricavo per utente da 6,58€ a 6,18€, cioè −6,08%. Conversion rate dal 4,30% al 4,08%. Scontrino medio da 153,20€ a 151,62€. E il dato che rende il caso interessante: su desktop il ricavo per utente è calato del 10,34%, su mobile solo del 2,13%.

Tre lezioni, in ordine di importanza

1. La media nascondeva un disastro e un nulla di fatto

Se ti fossi fermato al −6,08% complessivo avresti concluso «il grigio non piace» e saresti tornato indietro. Ragionevole, ma avresti perso l'informazione vera.

Il calo su desktop è cinque volte quello su mobile. Sono due comportamenti diversi che la media impasta insieme: su desktop si confrontano più prodotti affiancati, e quando il fondo si avvicina al colore dell'interfaccia i confini dei prodotti si perdono. Su mobile si guarda un prodotto per volta, a tutto schermo, e il problema quasi non esiste.

Regola pratica: ogni test su un ecommerce va letto almeno separando desktop e mobile. Sono due negozi diversi con lo stesso magazzino. Se il tuo strumento non te lo permette facilmente, cambialo: è la segmentazione che ripaga più di tutte.

2. «Migliorare il contrasto» non è una modifica, è un'opinione

L'ipotesi di partenza era sensata sulla carta: più contrasto, prodotti più riconoscibili. Nella pratica il grigio ha ridotto il contrasto invece di aumentarlo, perché il contrasto non è una proprietà del fondo — è la differenza fra il fondo e il prodotto.

Con un catalogo di articoli scuri, un fondo grigio li avvicina. Con articoli chiari li stacca. Non esiste una risposta valida per tutto il catalogo, ed è esattamente il motivo per cui la modifica applicata a tutte le schede insieme era rischiosa fin dall'inizio.

3. Le modifiche su tutto il sito sono le più pericolose che ci siano

Questo è il punto che ci interessa di più, perché lo vediamo di continuo.

Una modifica applicata a tutte le pagine sembra efficiente: la fai una volta e vale ovunque. Ma è anche quella che, se sbagliata, ti costa su ogni singola sessione, e spesso resta in produzione per settimane perché nessuno collega il calo del fatturato a una scelta grafica presa il mese prima.

Come si fa invece. Le modifiche trasversali si testano su una fetta di traffico e per un tempo deciso prima, non su tutti. E si accendono a scaglioni: prima una categoria, poi il resto. Se il dato peggiora, hai perso una frazione del fatturato invece che tutto.

Come si legge un test negativo senza buttarlo via

Un risultato negativo statisticamente solido vale quanto uno positivo: ti ha appena impedito di lasciare in produzione una perdita permanente. Il modo di trattarlo:

Il registro è la parte che quasi tutti saltano ed è quella che rende il lavoro cumulativo. Senza, fra otto mesi qualcuno riproporrà il fondo grigio e non ci sarà niente da opporgli se non «mi pare che avessimo provato».

E se il tuo store non ha volumi per testare

È il caso più comune fra i 10.000 e i 100.000€ al mese. Un test pulito su una differenza del 5% richiede più traffico di quanto molti store abbiano.

Non è una condanna: cambia il metodo. Con volumi bassi si lavora su interventi con effetto grande e rischio basso — informazioni mancanti, attriti evidenti, passaggi inutili — e si guardano prima e dopo su periodi lunghi, sapendo che non è una dimostrazione. Il test A/B fine si fa quando i numeri lo consentono. Fingere di poterlo fare prima produce solo decisioni prese sul rumore.

Da dove partire

• Elenca le modifiche fatte sul sito negli ultimi tre mesi con la data. Se il fatturato ha una spanciata, ora hai i sospettati.
• Configura il tuo strumento di analisi perché ti dia conversion rate e ricavo per utente separati fra desktop e mobile. È dieci minuti e cambia le decisioni.
• Prima di applicare qualcosa a tutto il catalogo, applicalo a una categoria e aspetta due settimane.
• Apri un foglio con i test fatti, l'ipotesi, il risultato e la decisione. Anche quelli negativi. Soprattutto quelli negativi.