Google Analytics in 30 secondi

Qualche giorno fa è capitata nei commenti una domanda, ve la riporto qui insieme alla risposta:

Stefano: Ciao, nella pagina di support agli esperimenti sui contenuti (http://support.google.com/analytics/bin/answer.py?hl=it&answer=1745147) viene spiegato che è possibile “definire la percentuale di visitatori inclusi nell’esperimento” e infatti in uno degli step di configurazione si può impostare la % di traffico a cui far visualizzare le pagine relative all’esperimento.
Quello che non ho capito è come viene diviso il traffico tra le pagine di test (ipotizziamo 2 variabili di pagina, il traffico é diviso al 50% o random?)

Marco:inizialmente in modo proporzionale tra tutte le variazioni, dopo interviene un algoritmo che ottimizza il processo, in modo da inviare meno visite alle pagine che – ragionevolmente – non hanno possibilità di vittoria.

Se la memoria non mi inganna, Google Website Optimizer utilizzava una ripartizione secca, cioé ripartiva egualmente il traffico in base al numero di variazioni dell’esperimento. I nuovi esperimenti sui contenuti di Google Analytics invece usano un algoritmo diverso, che si chiama “esperimento delle slot machine a più braccia” (ma suona MOLTO meglio in inglese: Multi-armed bandit experiments)

Cosa succede quindi quando avviamo un esperimento con – ipotizziamo – 4 variazioni? Quando l’esperimento inizia il traffico viene ripartito ugualmente su ogni variazione, come nell’approccio classico (e non potrebbe essere diversamente, d’altronde); una volta due volte al giorno l’algoritmo esamina i rendimenti di ogni variazione e procede a ripartire “meglio” il traffico successivamente. Una variazione che sembra performare bene ottiene più traffico, una con un rendimento inferiore ne avrà meno. L’algoritmo usato da Google é descritto nell’ultimo paragrafo dell’articolo (Teoria sequenziale delle decisioni di Bayes – si trova qualcosa di più cercando in inglese), mentre l’articolo dell’help ci informa che le rettifiche vengono apportate sulla base di reali differenze di rendimento.

Il vantaggio di questo approccio è che può dare risposte in meno tempo rispetto ad una ripartizione “classica”, perché il processo viene ottimizzato man mano che l’esperimento procede. Inoltre, se l’esperimento riguarda un obiettivo monetario, il traffico viene indirizzato sempre più verso il punto di conversione, e quindi di entrate, mentre nell’approccio classico una certa variazione che performava drasticamente male continuava a ricevere la stessa dose di visite di quella vincente ma non ancora dichiarata vincitrice.

Secondo la teoria sposata da Google, quando ha deciso di utilizzare questo algoritmo, un test deve ad ogni costo cercare di evitare due cose: non arrivare a nessun risultato o peggio arrivare a un risultato identico all’ipotesi di partenza, quantomeno in termini di rendimento.

[photo credit: Ally Cake Design] on Flickr