Sep 23 2013

HelpSemaforoQuesto semaforo indica il livello difficoltà del post
semaforo verde - articolo per tutti

Il Summit in diretta e altre novità di questi giorni

autore: Marco Cilia categoria: generale tag: ,

Tutto si può dire del team di Google Analytics tranne che non ascoltino gli utenti, su questo spero che converrete con me. Quando fu chiaro che l’algoritmo dei content experiment non distribuiva in modo uguale il traffico sulle variazioni (se vuoi più dettagli avevo scritto un articolo apposta) le persone chiesero a gran voce un modo per tornare al classico modello di Google Website Optimizer, cioè quello con traffico ripartito 50/50 – per 2 variazioni – 33/33/33 – per tre variazioni – e così via…

Detto fatto, da qualche settimana nella creazione di un esperimento esiste un’opzione apposita che consente di controllare quell’aspetto. Inoltre per chi ha collegato il proprio account AdSense, la revenue dei clic sugli annunci può ora essere impostata come il goal dell’esperimento.

Altra notizia che farà felici le aziende più esigenti in termini di sicurezza del dato è che Google Analytics e il fratello maggiore Google Analytics Premium hanno ottenuto la certificazione ISO 27001, uno standard internazionale che attesta che l’intero processo di gestione e sicurezza del sistema è studiato e realizzato a regola d’arte. Il processo include gli aspetti logistici, fisici e organizzativi che sono alla base della sicurezza delle informazioni memorizzate nel prodotto.

Infine il Summit: il Google Analytics Partner Summit è stato per anni l’evento più “cool” e supersegreto del mondo che ruota intorno a GA: non se ne sapeva nulla, ne prima ne dopo, se non qualche post con racconti di contorno e d’atmosfera sulla vita nel campus di Google.
Poi, probabilmente convinti dal successo dell’organizzazione di eventi come il Google I/O, l’anno scorso la prima giornata fu “aperta” a tutti tramite condivisioni sui social network e annunci pubblici: fu durante lo scorso Summit che venne annunciato Universal Analytics, e la cosa ha riempito le tastiere della community per giorni e giorni 🙂
Quest’anno il team di Analytics vuole andare oltre, e insieme all’apertura ai social della prima giornata aggiunge il live streaming dei keynote iniziali: orologi sincronizzati quindi sulle ore 18:00 di martedì 1 ottobre 2013, quando Paul Muret salirà sul palco e darà il via al Summit 2013, che si intitola quest’anno “Access, Empower, Act” e troverà spazio sui social network con l’hashtag ufficiale #GASummit. Se avete il dubbio che possa non valerne la pena, vi incollo questo pezzo di post ufficiale: “You will learn about new products we’re launching” 🙂
Se non volete essere “bloccati” davanti allo schermo dallo streaming e preferite seguire in modo più leggero, sono certo che Twitter potrà compensare piuttosto bene (@goanalytics è il mio account, casomai volessi i miei pareri a caldo sugli annunci 🙂 )

[a proposito: se usate Internet Explorer 8, sappiate che da fine anno l’interfaccia di GA non vi funzionerà più. Aggiornate a una versione più recente!]


Jun 05 2013

HelpSemaforoQuesto semaforo indica il livello difficoltà del post
semaforo giallo - articolo avanzato

API per i content experiments

autore: Marco Cilia categoria: API tag: , ,

Questa mossa me l’aspettavo praticamente da quando esistono i content experiment. Questo perché la maggior parte delle volte che si ha a che fare con un esperimento, esso va eseguito su di un CMS. E quale modo migliore per agevolare chi usa CMS, specie quelli famosi, se non creare una API che può essere sfruttata programmaticamente in modo facile, perché qualche sviluppatore ha creato un modulo o un plugin?

Questo credo sia solo una delle motivazioni che ha spinto il team di Google Analytics a creare la nuova API per i Content Experiment, annunciata ieri.
I vantaggi principali dell’uso dell’API al posto del normale snippet di codice sono riassunti così:

  • esperimenti senza redirect: lo snippet attuale fa un redirect usando javascript. L’uso di API consentirà di evitare questo passaggio, e di informare il sistema che è stata servita una versione A o B sul medesimo URL
  • testing di “cose” lato server: si potranno testare anche “cose” che l’utente non vede, perché avvengono lato server. L’esempio che fanno sul post ufficiale è un algoritmo o un reccomendation engine. Ad esempio si possono usare due diversi set di post consigliati, basati su query diverse, e capire quale dei due funziona meglio nel servire post che poi vengono cliccati.
  • logica personalizzata negli split: per chi non volesse usare l’algoritmo denominato “multi armed bandit” potrà implementare una propria logica per servire le variazioni, magari tornando al classico 50/50
  • testing con il protocollo di misurazione: Universal Analytics permette di comunicare con Google Analytics attraverso un protocollo di misurazione, e quindi permette di tracciare anche cose diverse da siti web. Usando l’API dei Content Experiment e il protocollo di misurazione sar possibile fare A/B test anche su questi oggetti che non rappresentano siti internet.

Insomma, come tutte le nuove API che vengono introdotte, bastano poche righe per annunciarle, ma aprono moltissime possibilità per tutti, developer, persone con le idee e utilizzatori finali 🙂


Jan 24 2013

HelpSemaforoQuesto semaforo indica il livello difficoltà del post
semaforo rosso - articolo per esperti

Dentro al cofano del motore dei content experiment

autore: Marco Cilia categoria: esperimenti tag: ,

Qualche tempo fa vi avevo scritto qualcosa a proposito di come viene ripartito il traffico quando si fa un esperimento sui contenuti: quel post era basato sulle informazioni presenti nell’help ufficiale.
Ieri Google ha scritto un lungo – e un po’ inusuale per via della quantità di matematica e dettagli – post sul blog per spiegare ancora meglio come funziona il motore di ripartizione del traffico.

Non ha senso che ve lo traduca, lo linko direttamente e lo consiglio solo ai più curiosi. Un paio di annotazioni che però vale la pena di sottolineare comunque:

  • Diversamente da quanto indicato nel mio post, il controllo viene fatto DUE volte al giorno
  • I risultati considerati per il nuovo calcolo della ripartizione sono TUTTI quelli ottenuti da quando esiste l’esperimento. Ecco perché non accade che “la profezia si auto avvera”
  • Alcuni esperimenti di test fatti da Google risultano nell’individuazione del vincitore dell’esperimento con 175 giorni medi di anticipo rispetto allo stesso esperimento con ripartizione 50/50
  • Altri esperimenti hanno trovato il vincitore di 6 variazioni in 88 giorni, contro i 919 dell’esperimento classico
  • un po’ di dettagli matematici sulla formula usata

Fa sempre piacere vedere un po’ “dietro le quinte” dello strumento, no?


Sep 11 2012

HelpSemaforoQuesto semaforo indica il livello difficoltà del post
semaforo giallo - articolo avanzato

ripartizione del traffico negli esperimenti sui contenuti

autore: Marco Cilia categoria: esperimenti tag: ,

Qualche giorno fa è capitata nei commenti una domanda, ve la riporto qui insieme alla risposta:

Stefano: Ciao, nella pagina di support agli esperimenti sui contenuti (http://support.google.com/analytics/bin/answer.py?hl=it&answer=1745147) viene spiegato che è possibile “definire la percentuale di visitatori inclusi nell’esperimento” e infatti in uno degli step di configurazione si può impostare la % di traffico a cui far visualizzare le pagine relative all’esperimento.
Quello che non ho capito è come viene diviso il traffico tra le pagine di test (ipotizziamo 2 variabili di pagina, il traffico é diviso al 50% o random?)

Marco:inizialmente in modo proporzionale tra tutte le variazioni, dopo interviene un algoritmo che ottimizza il processo, in modo da inviare meno visite alle pagine che – ragionevolmente – non hanno possibilità di vittoria.

slot machineSe la memoria non mi inganna, Google Website Optimizer utilizzava una ripartizione secca, cioé ripartiva egualmente il traffico in base al numero di variazioni dell’esperimento. I nuovi esperimenti sui contenuti di Google Analytics invece usano un algoritmo diverso, che si chiama “esperimento delle slot machine a più braccia” (ma suona MOLTO meglio in inglese: Multi-armed bandit experiments)

Cosa succede quindi quando avviamo un esperimento con – ipotizziamo – 4 variazioni? Quando l’esperimento inizia il traffico viene ripartito ugualmente su ogni variazione, come nell’approccio classico (e non potrebbe essere diversamente, d’altronde); una volta due volte al giorno l’algoritmo esamina i rendimenti di ogni variazione e procede a ripartire “meglio” il traffico successivamente. Una variazione che sembra performare bene ottiene più traffico, una con un rendimento inferiore ne avrà meno. L’algoritmo usato da Google é descritto nell’ultimo paragrafo dell’articolo (Teoria sequenziale delle decisioni di Bayes – si trova qualcosa di più cercando in inglese), mentre l’articolo dell’help ci informa che le rettifiche vengono apportate sulla base di reali differenze di rendimento.

Il vantaggio di questo approccio è che può dare risposte in meno tempo rispetto ad una ripartizione “classica”, perché il processo viene ottimizzato man mano che l’esperimento procede. Inoltre, se l’esperimento riguarda un obiettivo monetario, il traffico viene indirizzato sempre più verso il punto di conversione, e quindi di entrate, mentre nell’approccio classico una certa variazione che performava drasticamente male continuava a ricevere la stessa dose di visite di quella vincente ma non ancora dichiarata vincitrice.

Secondo la teoria sposata da Google, quando ha deciso di utilizzare questo algoritmo, un test deve ad ogni costo cercare di evitare due cose: non arrivare a nessun risultato o peggio arrivare a un risultato identico all’ipotesi di partenza, quantomeno in termini di rendimento.

[photo credit: Ally Cake Design] on Flickr


Jul 25 2012

HelpSemaforoQuesto semaforo indica il livello difficoltà del post
semaforo verde - articolo per tutti

Content experiment per tutti

autore: Marco Cilia categoria: esperimenti tag: ,

Le novità introdotte due giorni fa ai content experiment, che nel frattempo sono stati abilitati sul 100% degli account, credo detengano il record assoluto di minore tempo intercorso tra l’annuncio di una funzione e la sua “versione 2” con miglioramenti.

Nel dettaglio, è stato introdotto il supporto a URL relativi, invece che assoluti; ad esempio si può condurre un esperimento su due variazioni di url che si trovano su sottodomini differenti, oppure su un unico url che varia per la presenza di una variabile (oppure anche su protocolli secure / non-secure: c’è un esempio in fondo a questa pagina dell’help).

Inoltre da adesso in poi si possono copiare gli esperimenti, in modo da riutilizzare il codice usato per la pagina originale dell’esperimento originale; ad esempio se un esperimento si conclude ma vogliamo affinarlo, copiamo l’esperimento e lasciamo la stessa landing, che si preoccuperà di redirezionare sulle nuove variazioni.

Infine i report sono ora molto più “Google Analytics like”, cioè sono state introdotte le metriche classiche presenti nelle schede di GA: utilizzo del sito, gruppo obiettivi ed E-commerce, e inoltre si possono mostrare le righe nel grafico come nel resto del prodotto.

Variazioni interessanti, se solo non fossero così dannatamente veloci a introdurle magari si riuscirebbe a testare tutto con più calma… 🙂