Google Analytics in 30 secondi

Qualche tempo fa vi avevo scritto qualcosa a proposito di come viene ripartito il traffico quando si fa un esperimento sui contenuti: quel post era basato sulle informazioni presenti nell’help ufficiale.
Ieri Google ha scritto un lungo – e un po’ inusuale per via della quantità di matematica e dettagli – post sul blog per spiegare ancora meglio come funziona il motore di ripartizione del traffico.

Non ha senso che ve lo traduca, lo linko direttamente e lo consiglio solo ai più curiosi. Un paio di annotazioni che però vale la pena di sottolineare comunque:

• Diversamente da quanto indicato nel mio post, il controllo viene fatto DUE volte al giorno
• I risultati considerati per il nuovo calcolo della ripartizione sono TUTTI quelli ottenuti da quando esiste l’esperimento. Ecco perché non accade che “la profezia si auto avvera”
• Alcuni esperimenti di test fatti da Google risultano nell’individuazione del vincitore dell’esperimento con 175 giorni medi di anticipo rispetto allo stesso esperimento con ripartizione 50/50
• Altri esperimenti hanno trovato il vincitore di 6 variazioni in 88 giorni, contro i 919 dell’esperimento classico
• un po’ di dettagli matematici sulla formula usata

Fa sempre piacere vedere un po’ “dietro le quinte” dello strumento, no?

Qualche giorno fa è capitata nei commenti una domanda, ve la riporto qui insieme alla risposta:

Stefano: Ciao, nella pagina di support agli esperimenti sui contenuti (http://support.google.com/analytics/bin/answer.py?hl=it&answer=1745147) viene spiegato che è possibile “definire la percentuale di visitatori inclusi nell’esperimento” e infatti in uno degli step di configurazione si può impostare la % di traffico a cui far visualizzare le pagine relative all’esperimento.
Quello che non ho capito è come viene diviso il traffico tra le pagine di test (ipotizziamo 2 variabili di pagina, il traffico é diviso al 50% o random?)

Marco:inizialmente in modo proporzionale tra tutte le variazioni, dopo interviene un algoritmo che ottimizza il processo, in modo da inviare meno visite alle pagine che – ragionevolmente – non hanno possibilità di vittoria.

Se la memoria non mi inganna, Google Website Optimizer utilizzava una ripartizione secca, cioé ripartiva egualmente il traffico in base al numero di variazioni dell’esperimento. I nuovi esperimenti sui contenuti di Google Analytics invece usano un algoritmo diverso, che si chiama “esperimento delle slot machine a più braccia” (ma suona MOLTO meglio in inglese: Multi-armed bandit experiments)

Cosa succede quindi quando avviamo un esperimento con – ipotizziamo – 4 variazioni? Quando l’esperimento inizia il traffico viene ripartito ugualmente su ogni variazione, come nell’approccio classico (e non potrebbe essere diversamente, d’altronde); una volta due volte al giorno l’algoritmo esamina i rendimenti di ogni variazione e procede a ripartire “meglio” il traffico successivamente. Una variazione che sembra performare bene ottiene più traffico, una con un rendimento inferiore ne avrà meno. L’algoritmo usato da Google é descritto nell’ultimo paragrafo dell’articolo (Teoria sequenziale delle decisioni di Bayes – si trova qualcosa di più cercando in inglese), mentre l’articolo dell’help ci informa che le rettifiche vengono apportate sulla base di reali differenze di rendimento.

Il vantaggio di questo approccio è che può dare risposte in meno tempo rispetto ad una ripartizione “classica”, perché il processo viene ottimizzato man mano che l’esperimento procede. Inoltre, se l’esperimento riguarda un obiettivo monetario, il traffico viene indirizzato sempre più verso il punto di conversione, e quindi di entrate, mentre nell’approccio classico una certa variazione che performava drasticamente male continuava a ricevere la stessa dose di visite di quella vincente ma non ancora dichiarata vincitrice.

Secondo la teoria sposata da Google, quando ha deciso di utilizzare questo algoritmo, un test deve ad ogni costo cercare di evitare due cose: non arrivare a nessun risultato o peggio arrivare a un risultato identico all’ipotesi di partenza, quantomeno in termini di rendimento.

[photo credit: Ally Cake Design] on Flickr