Google Analytics in 30 secondi

Facendo seguito al suo progetto di ridisegnare l’intera infrastruttura di API di tutti i suoi servizi, Google ha annunciato che la Data Export API sarà sostituita dalla Core Reporting API. Non si tratta solo di un cambiamento di nome, perché le novità principali sono:

• nuovo output basato su JSON, più veloce nella risposta. Il post ufficiale dice che la dimensione della risposta è più piccola di 10 volte rispetto al vecchio XML, e secondo i primi test la velocità di risposta raddoppia
• Una serie tutta nuova di librerie, tra cui Object C, Ruby, Go…
• supporto alla Google Discovery API e OAuth 2.0
• richiede che l’applicazione sia registrata e ottenga uno specifico ID

Tutto questo avviene se si migra alla versione 3.0 delle API, che poi è l’unica che sarà aggiornata. La versione 2.4 è mantenuta per compatibilità, mentre la 2.3 è deprecata e smetterà di funzionare tra 6 mesi. A questo punto sia la Management API che la Core Reporting sono allineate, e da ora in poi la strada per i programmatori sarà in discesa…

Abbiamo già visto in passato come aggirare il limite di visualizzazione nei report nella versione 5 di Google Analytics, ma quel “trucco” funziona solo mentre si guardano i report; gli export sono sempre limitati a 500 righe.

Il buon vecchio André Scholten non si capacitava di questa situazione e ha scritto una funzione javascript che fa quel che ci aspettiamo: costringe Google Analytics ad inviarci un file contenente fino a un massimo di 10.000 righe. Per farlo potete fare come dice lui (creare un bookmark e usare la funzione come indirizzo) oppure semplicemente posizionarvi nel report che preferite, copiare la funzione e incollarla nella barra degli indirizzi, assicurandovi che sia mantenuto il prefisso javascript:
Una volta premuto il testo ENTER ci verrà richiesto quante righe vogliamo esportare, da un minimo di dieci a un massimo di diecimila, e una volta confermato il download partirà automaticamente.

Al momento il sistema funziona solo per l’export di file TSV (quindi separati da tabulazioni), ed è stato testato da lui solo su Firefox e Chrome, da me solo su Chrome. Però funziona, e in certe occasioni è comodo!

Piccole e medie novità per Google Analytics in questi giorni: alcune vi saranno molto gradite, altre dipende un po’ da come siete abituati ad usare lo strumento:

Iniziamo con le cose annunciate ma non ancora disponibili: nelle prossime settimane anche nell’interfaccia v5 torneranno disponibili l’export in PDF e l’invio schedulato di email. Per l’export PDF non ci sono novità di sorta (anche se voglio proprio vedere come e se si potrà esportare un goal flow con 5 step! ), mentre l’invio schedulato di email sembra aver avuto un miglioramento di sorta. Guardando allo screenshot postato da Phil Mui sul blog ufficiale

si notano due differenze rispetto alla v4: si potrà scegliere il giorno della settimana in cui inviare il report (e non sarà più prederminato da Google Analytics) e si potrà decidere per quanto tempo far durare gli invii, utile ad esempio nel caso di campagne con termine già deciso a priori.
La notizia ottima è che si potranno anche inviare i custom report, la notizia “cattiva” (cattiva per chi non è già passato definitivamente all’interfaccia nuova ed è affezionato alla vecchia) è che a Gennaio 2012 la versione v4 cesserà di esistere e tutti dovranno usare la nuova. Anche le email precedentemente schedulate dovranno essere ricreate da zero e non potranno essere migrate.

Altra novità è l’introduzione di un nuovo tipo di ordinamento: oltre al classico ordinamento per visite, e a quello ponderato quando disponibile, se si attiva un confronto temporale sarà disponibile una nuova voce: “cambio assoluto“. In sostanza le righe del report saranno ordinate in base al numero assoluto di visite di differenza tra i due periodi, invece che in mero ordine di quantità di visite del primo periodo. Molto utile in alcune situazioni, io sento però la mancanza di un “cambio relativo”, cioè la possibilità di avere l’ordinamento in base alla percentuale di cambio tra i due periodi.

Ultima cosa di cui mi sono accorto, ma magari è vecchia di mesi, è che si possono cambiare i colori dei segmenti avanzati: o meglio, i colori sono predefiniti, ma si può scegliere quale colore deve avere ogni segmento. Ad esempio, nella visualizzazione classica con tutto il traffico, nuovi visitatori e visitatori di ritorno il primo è blu, il secondo arancione e il terzo verde. Se mi posiziono con il mouse sopra a “tutte le visite”, subito sotto al titolo del report (e quantomeno su Chrome), il cursore diventa una croce e posso trascinare il segmento al secondo posto, in modo che venga visualizzato in arancione, praticamente scambiando i colori. E la cosa vale anche per il grafico, ovviamente. (nell’immagine qui sotto non si vede il cursore purtroppo)

Piccoli miglioramenti, ma sempre utili in alcune circostanze!

Poiché la versione v5 di Google Analytics è un redesign non solo grafico, anche gli URL dei report sono variati. Per questo motivo il famoso “trucco” per aggirare i limiti dell’export dei report, che vi descrissi in un vecchio articolo, non funziona più.
Nell’help di Analytics è però presente la descrizione della nuova procedura per ottenere il medesimo risultato. Bisogna:

• visualizzare il report desiderato
• impostare la visualizzazione su 500 righe
• individuare nell’URL il parametro explorer-table.rowCount e modificarlo secondo le esigenze (ad esempio explorer-table.rowCount%3D20000 per avere 20.000 righe
• premere invio e attendere pazientemente (operazione lunga a seconda di quante righe avete selezionato. Potrebbe anche andare in crash il browser, vi avverto )
• Esportare il CSV con il numero di righe desiderato

Il punto 4 della guida di GA dice testualmente “Benché non constaterai differenze visibili nell’interfaccia utente, da ora potrai esportare un numero di righe maggiore.”.
Ebbene, io ho provato e invece la differenza la vedo eccome! Per la precisione ho sotto gli occhi un report con, appunto, ventimila righe

Sul blog ufficiale del Google Code è comparso un annuncio interessante, che ancora non ha seguito su quello di Analytics cui è seguito un post sul blog ufficiale: alle API di esportazione dei dati sono state aggiunte 127 nuove metriche e dimensioni. Esse includono ad esempio:

• Visitatori unici: il calcolo dei visitatori unici è stato rivisto e adesso restituisce il reale numero di unici nel periodo selezionato, invece dei visitatori unici giornalieri. Inoltre adesso si può combinare con più metriche e dimensioni
• Ricerche organiche: restituirà il numero di ricerche organiche in una sessione
• AdWords: 10 nuove dimensioni per i report AdWords, inclusi la query cercata invece di quella comprata, il dominio su cui è esposto l’annuncio nel caso di veicolazione attraverso AdSense, il formato dell’annuncio, il tipo di targeting e altro ancora.
• Risultato della ricerca visualizzato: il numero di volte che viene visualizzata una pagina risultato di una ricerca
• 3 dimensioni relative al tempo: per semplificare la creazione di grafici

Inoltre sono state aggiunte 111 metriche precalcolate, al pari dell’interfaccia, in modo da scaricare i server dall’onere di fare i conti per dati che venivano richiesti molto spesso: ad esempio il bounce rate, il margine, il costo per conversione, ma anche il tempo medio sul sito, il conversion rate successivo a una ricerca interna, il numero di item per acquisto. La lista completa è disponibile nel changelog

La chicca finale, graditissima da chi non è proprio espertissimo di API, è la nuova disponibilità di un tool online che ha l’elenco completo delle metriche e delle dimensioni, e che è in grado di scremare le combinazioni man mano che si digita: se ad esempio si inizia a scrivere “ga:vi” (intendendo magari ga:visitors) il tool si occuperà di mostrare solo le dimensioni e le metriche che generano combinazioni valide, evitando di dover fare noi le prove!

E’ un settembre ricco di novità dal punto di vista degli utenti di Google Analytics, che durante l’estate devono aver ricaricato le pile alla grande e sono tornati dalle ferie proponendo ricche novità. L’ultima in ordine di tempo che mi è giunta sotto gli occhi è uno script GreaseMonkey – sempre lui, l’onniopresente – che permette di “aggirare” il limite di export dei report in CSV.

Come saprete se frequentate questo blog da un po’, aggiungendo il parametro &limit=50000 all’url di un report si può forzare Google Analytics a creare un file separato da virgole con cinquantamila righe, utile ad esempio se si hanno moltissime keyword di ingresso al sito, magari su lunghi archi temporali. Se però le righe sono 200000 è necessario ripetere lo stesso l’operazione quattro volte.
Questo script invece si occupa di far comparire link aggiuntivi nella sezione Export, in modo da poter accedere subito ai file e non dover armeggiare troppo con gli URL.

Ovviamente, trattandosi di GreaseMonkey, funziona solo su Firefox.

(image credit: arjansnaterse.nl)

Oggi voglio segnalare due strumenti che potrebbero tornarvi utili se usate Google Analytics e spesso avete necessità di avere i dati anche fuori dalla sua interfaccia.

Il primo strumento è carino anche se relativamente utile, ma è indubbiamente più performante della carta geografica dei visitatori che propone GA: si tratta della possibilità di visualizzare la provenienza geografica delle visite su un comodo livello di Google Earth.
Per utilizzarlo bisogna andare nel report Visitatori -> Overlay carta geografica, selezionare il periodo temporale e il livello di dettaglio desiderato (città o paese, gli altri due non rendono bene), esportare tutto in xml e dare in pasto il file alla pagina che ho linkato, che restituirà un file .klm da aprire in Google Earth. I simbolini colorati rappresentano il numero di visite provenienti da quella città o da quel paese; ad esempio una puntina gialla significa tra le 0 e le 50 visite, mentre un segnaposto verde tra le 4000 e le 8000 visite.

Il secondo strumento invece è decisamente più utile, e sfrutta le API di esportazione per “tirare dentro” Excel i dati di Google Analytics. Quante volte infatti durante le analisi più spinte e gli incroci di dati più estremi siamo stati costretti ad esportare i report da GA in CSV (o direttamente in Google Docs, se avete letto questo mio vecchio post), per poi importarli in Excel? e quante volte abbiamo dovuto rifare il procedimento perché avevamo un nuovo set di dati offline e dovevamo allineare i dati di Analytics? da oggi tutto questo fa parte di un modo di lavorare passato, i dati saranno sempre aggiornati e nella cella giusta!

Per fare ciò è necessario aprire Excel, poi strumenti -> macro -> visual basic editor. da lì tasto destro su VBAproject (Cartel1) – che dovrebbe essere il nome predefinito del progetto, almeno su Excel 2003 – e inserisci -> modulo.
A questo punto andare sulla pagina personale di Mikael Thuneberg, copiare tutto il codice e incollarlo nella finestra del modulo di Excel. Poi andare su strumenti -> riferimenti e aggiungere una selezione su Microsoft XML, v6.0, premere OK e poi salvare il lavoro Cartel1. Chiudere la finestra di Visual Basic Editor e salvare il file tramite file -> salva con nome… scegliere come tipo di file componente aggiuntivo di Microsoft Excel (*.xla) e salvarlo nella cartella AddIns (che su Windows vista è in /nomeutente/AppData/Roaming/Microsoft/Addins, ma su altri sistemi operativi potrebbe trovarsi altrove. Di norma Excel propone da solo la cartella giusta alla selezione degli xla) con il nome – ad esempio – di GA.xla. Ora da strumenti -> componenti aggiuntivi mettere la spunta su GA e premere OK e riavviare Excel.

Le due funzioni sono disponibili dal menu Inserisci -> funzione nella sezione definite dall’utente, e sono:

• getGAautheticationToken: dati una email e una password richiama una stringa necessaria per le interrogazioni successive
• getGAdata: dati una serie di parametri di ingresso (il numero dell’account, il periodo temporale, le metriche e i filtri) richiama da Google Analytics i dati necessari e li memorizza in Excel

Da notare che il sistema non funziona se si è dietro a un proxy, richiede una connessione a internet diretta.
Per fare lo stesso mestiere esisterebbe anche Excellent Analytics, ma ha come prerequisito Excel 2007, per cui non l’ho potuto provare.

[edit: 13 agosto: Il blog ufficiale ha un nuovo post con altri strumenti per integrare GA ed Excel]

Ho iniziato a studiare come usare le API appena ho avuto cinque minuti di tempo, e come mi aspettavo non è tutto rose e fiori, per un programmatore medio come me. Tuttavia alcuni risultati ho iniziato ad averli, e penso che presto potrò proporre un primo banale utilizzo, e alcune altre idee mi stanno già balenando in testa.

Ma esiste un modo per provare ad estrarre dati senza iniziare a programmare, magari per rendersi conto di cosa si può fare e di che risultati si possono avere: Vasco de GAPI, nuova creatura della ben conosciuta Juice Analytics. Vasco de GAPI è un’interfaccia web che, dopo aver effettuato l’autenticazione in Google Analytics, chiede all’utente di effettuare alcune scelte tramite menu a tendina: ad esempio chiede quale sia l’account dal quale ricavare i dati tra tutti quelli cui abbiamo accesso, le dimensioni e le metriche, il campo che comanda l’ordinamento dei risultati, eventuali filtri sui risultati e il periodo temporale di riferimento.

Una volta effettuate queste scelte, il sistema provvede ad effettuare un riepilogo delle impostazioni scelte e a richiamare i primi dati estratti, fornendo poi la possibilità di scaricarli tutti in un file .csv. A questo proposito c’è da notare che una delle condizioni di utilizzo delle API è che una singola chiamata non può generare più di mille risultati, ma che 1000 è comunque il doppio di 500, cioè del massimo ottenibile attraverso l’interfaccia web (anche se in passato vi ho mostrato un trucco mica male ). Usando Vasco de GAPi si possono quindi ottenere senza sforzo, e senza scrivere una riga di codice, le prime mille keyword dell’omonimo report.

L’altro lato positivo è che il sistema provvede anche a fornire un esempio funzionante del codice che può essere usato per ottenere i medesimi risultati: in questo caso però bisogna essere esperti programmatori, poiché il linguaggio utilizzato è Python che implementa Google data.
Il sistema in sé non produce quasi niente che non si possa fare con un custom report, ma ha il grande pregio di mostrare i risultati di un possibile export senza toccare il codice, e di far prendere confidenza con la nomenclatura usata nella API; ad esempio la metrica delle pagine viste si chiama ga:pageview

Vasco de GAPI non ha accesso permanente al vostro account Google, né memorizza ovviamente alcuna password: per utilizzarlo dovete essere loggati in GA oppure dovete loggarvi all’istante, e poi dare esplicitamente il consenso affinché Vasco abbia accesso ai dati. Esiste chiaramente una procedura per rimuovere questa autorizzazione, descritta qui, ma io non trovo il link relativo ai siti autorizzati.

Concludo dicendo che nel post di presentazione dello strumento, Juice Analytics rivela che il loro strumento per la coda lunga Concentrare, di cui vi ho parlato a Gennaio, non usava nessuna API (nemmeno in beta) e si affidava a del sano e vecchio screen-scraping (catturare tramite un programma il contenuto di una pagina web). Mi ero sbagliato

c’è un modo per esportare tutti i dati di un report in GA?

intendo più delle 500 righe che si possono mostrare. Se un sito ha 20.000 keywords ad esempio, dovrei esportare 40 files. vorrei esportarle tutte in un unico file. è possibile?

Google Analytics permette di esportare i report in quattro formati differenti: pdf, xml, csv e tsv. Di questi il primo è il più aderente al report, ma anche il meno modificabile, il secondo permette di ricostruire il report quasi interamente (grafici compresi) ma richiede una conoscenza dell’xml (eXtensible Markup Language) abbastanza marcata, il terzo e il quarto si prestano molto bene ad essere importati in un foglio di lavoro di Microsoft Excel (o in altri fogli di calcolo) ed essere rielaborati. Però il limite di 500 righe è limitante, specialmente nei casi in cui i report siano molto “popolati”; il caso delle keyword è esemplare, ad esempio quando si vuole andare ad analizzare la cosiddetta “coda lunga”.

Il metodo per aggirare il limite nell’esportazione consiste nell’andare nel report che si vuole esportate, aggiungere all’URL il parametro
&limit=50000
e ricaricare la pagina con il tasto invio. Dopodiché impostare i record a 500: il report su schermo mostrerà sempre e comunque 500 righe, ma le esportazioni in csv e tsv (e solo quelle!) avranno tutti i record contenuti nel rapporto, fino ovviamente a un massimo di cinquantamila, che è davvero il limite estremo cui si può ambire per singolo file.