Sep 11 2012

HelpSemaforoQuesto semaforo indica il livello difficoltà del post
semaforo giallo - articolo avanzato

ripartizione del traffico negli esperimenti sui contenuti

autore: categoria: esperimenti tag: ,

Qualche giorno fa è capitata nei commenti una domanda, ve la riporto qui insieme alla risposta:

Stefano: Ciao, nella pagina di support agli esperimenti sui contenuti (http://support.google.com/analytics/bin/answer.py?hl=it&answer=1745147) viene spiegato che è possibile “definire la percentuale di visitatori inclusi nell’esperimento” e infatti in uno degli step di configurazione si può impostare la % di traffico a cui far visualizzare le pagine relative all’esperimento.
Quello che non ho capito è come viene diviso il traffico tra le pagine di test (ipotizziamo 2 variabili di pagina, il traffico é diviso al 50% o random?)

Marco:inizialmente in modo proporzionale tra tutte le variazioni, dopo interviene un algoritmo che ottimizza il processo, in modo da inviare meno visite alle pagine che – ragionevolmente – non hanno possibilità di vittoria.

slot machineSe la memoria non mi inganna, Google Website Optimizer utilizzava una ripartizione secca, cioé ripartiva egualmente il traffico in base al numero di variazioni dell’esperimento. I nuovi esperimenti sui contenuti di Google Analytics invece usano un algoritmo diverso, che si chiama “esperimento delle slot machine a più braccia” (ma suona MOLTO meglio in inglese: Multi-armed bandit experiments)

Cosa succede quindi quando avviamo un esperimento con – ipotizziamo – 4 variazioni? Quando l’esperimento inizia il traffico viene ripartito ugualmente su ogni variazione, come nell’approccio classico (e non potrebbe essere diversamente, d’altronde); una volta due volte al giorno l’algoritmo esamina i rendimenti di ogni variazione e procede a ripartire “meglio” il traffico successivamente. Una variazione che sembra performare bene ottiene più traffico, una con un rendimento inferiore ne avrà meno. L’algoritmo usato da Google é descritto nell’ultimo paragrafo dell’articolo (Teoria sequenziale delle decisioni di Bayes – si trova qualcosa di più cercando in inglese), mentre l’articolo dell’help ci informa che le rettifiche vengono apportate sulla base di reali differenze di rendimento.

Il vantaggio di questo approccio è che può dare risposte in meno tempo rispetto ad una ripartizione “classica”, perché il processo viene ottimizzato man mano che l’esperimento procede. Inoltre, se l’esperimento riguarda un obiettivo monetario, il traffico viene indirizzato sempre più verso il punto di conversione, e quindi di entrate, mentre nell’approccio classico una certa variazione che performava drasticamente male continuava a ricevere la stessa dose di visite di quella vincente ma non ancora dichiarata vincitrice.

Secondo la teoria sposata da Google, quando ha deciso di utilizzare questo algoritmo, un test deve ad ogni costo cercare di evitare due cose: non arrivare a nessun risultato o peggio arrivare a un risultato identico all’ipotesi di partenza, quantomeno in termini di rendimento.

[photo credit: Ally Cake Design] on Flickr

Condividi l'articolo:

3 Commenti

  1. ciao Marco, tu sai come si può risolvere il problema di analytics riguardo discorso esperimenti contenuti ?

    mi spiego meglio:
    1)
    quando creo un esperimento con traffico in egual misura tra originale e 2 varianti
    2) appena google vede quelle che ha % maggiore dirotta quasi tutto il mio trafico in questa versione
    3) questo però prima di attendere che l’esperimento sia terminato

    come posso dire a GA di mandare sempre la stessa % di traffico a tutte e 3 le versioni fino a mia interruzione dell’esperimento

    PS: quindi come bypassare il “Teoria sequenziale delle decisioni di Bayes”

    ti ringrazio in anticipo per una tua gentile risposta

    ciao
    Manuel

  2. non è un “problema”, è progettato per funzionare così. Che sposti quasi tutto il traffico è però anomalo, tuttavia non si possono modificare le % di ripartizione.

Trackbacks

  1. Dentro al cofano del motore dei content experiment • Google Analytics in 30 secondi

Scrivi un Commento