DataBlog

HackHackers torna a Milano l'8 gennaio 2013 con una nuova sede: l'Ostello Bello di via Medici e il supporto dei GreenGeek. Il programma è in via di definizione e sono benvenute le segnalazioni.

L'accento questa volta è volutamente produttivo.

Abbiamo spiegato il formato, mostrato le possibilità dell'alleanza tra giornalismo, media digitali e dati. Ora vogliamo alzare l'asticella ancora un po' per fare in modo che da HH nascano non solo spunti e idee, ma veri progetti collaborativi tra media e It.

Ecco intanto una minirassegna di ciò che è apparso finora:

Il successo della Khan Academy ha fatto scuola e (finalmente) anche il centro Knight per il giornalismo ha deciso di lanciare il suo primo Mooc (Massive Open Online Course), un corso aperto e online che conta già più di 2mila iscritti in 19 paesi che vogliono capirne di più di rappresentazione dei dati, dagli infodesigner ai data journalists. Un esperimento da completare in sei settimane coordinato da Alberto Cairo e tutto da seguire, sia per i contenuti che per il formato.

Introduction to Infographics and Data Visualization from Knight Center on Vimeo.

Un mese fa, in occasione del decennale del crollo della scuola Francesco Jovine di San Giuliano di Puglia, abbiamo chiuso la prima fase del progetto #scuolesicure, una (forse troppo) ambiziosa  indagine di Wired per mappare quali, tra i circa 45mila edifici scolastici italiani, rischiano di crollare in caso di sisma.

Il risultato finale è la mappa interattiva visibile qui e un recap di tutti i pezzi è raccolto in questo storify.

L'interesse dei lettori è stato alto e moti colleghi e addetti ai lavoro ci hanno chiesto dettagli su come abbiamo lavorato per produrre #scuolesicure e lo faccio volentieri, sperando che possa essere d'ispirazione ad altri e che potremo imparare anche noi da chi ci legge.

Due cose vanno dette subito:

1. #scuolesicure è stato un vero lavoro collettivo e non sarebbe mai stato possibile con le sole forze interne di una redazione. Le colleghe Elisabetta Tola (l'altra metà di iData che ha per prima proposto e concepito l'indagine) e Isabella Buono (neogiornalista ma ormai provetta data-cruncher) sono state due persone chiave. All'interno della redazione sono stati indispensabili Massimiliano Mauro ci ha permesso di trasformare 70mila righe di dati in Excel in una mappa e Denis Rizzoli, arrivato a bordo giusto in tempo per le fasi più dure dell'analisi. Ma sono tante le persone che dobbiamo ringraziare anche fuori dal giro più stretto di chi ha messo le mani su dati e mappe: GlobalLeaks tutta, Simone Cortesi di OpenStreetMap e Maurizio Napolitano di Fondazione Bruno Kessler per geocoding e mappatura. Romano Camassi, sismologo dell'Ingv per la preziosa consulenza tecnica e le pazienti spiegazioni degne di un corso semestrale in sismologia. Last but not least, un contributo importantissimo è arrivato da Fabio Dellutri e Ilaria Damasso che ci hanno messo a disposizione la piattaforma di Trovascuole che oggi permette di visualizzare la mappa.

2. #scuolesicure è tutt'altro che un lavoro completato. Più che una mappa delle scuole a rischio, va definita come una mappa della nostra ignoranza sulle scuole a rischio. La stragrande maggioranza di chi, alunni, docenti e non docenti, ogni giorno entra negli oltre 22mila edifici che secondo Protezione Civile sono a rischio in caso di sisma non sa a cosa va incontro. Nel bene e nel male perché 9 su 10 di queste scuole o non sono state controllate o, se lo sono, spesso non pubblicano gli inidici di rischio (ad oggi solo Lazio e Abruzzo lo fanno).

Ma per venire ai nostri "materiali e metodi" ecco come abbiamo lavorato, dove spesso abbiamo inciampato e qualche riflessione su cosa poteva essere fatto meglio.

Raccolta dati
Questo è stato un lavoro preziosissimo. Non l’ho fatto di persona perché sono state Isabella ed Elisabetta a ricostruire, attraverso i dati pubblicati (quasi sempre in pdf..:() sui siti delle Regioni. Seguendo la "pista" degli euro spesi siamo riusciti a ricostruire quali edifici erano stati controllati. ne ho enorme rispetto perché è stato faticoso e, soprattutto, è alla base di tutto ciò che ancora stiamo facendo. Ci siamo spesso chiesti come avremmo potuto fare diversamente e più rapidamente, ma questa alla fine è stata l'unica e molto faticosa strada. Le nostre richieste al Miur hanno purtroppo trovato le porte chiuse nonostante un contatto diretto sia con il portavoce del Ministro che ocn il responsabile dell'ufficio edilizia e sicurezza scolastica intervistato qui. Abbiamo anche fatto diverse richieste alle Regioni, ma con poca fortuna. L'apertura dei dati è stato il fallimento più frustrante di questo lavoro, ma speriamo che nei prossimi mesi potremo essere contraddetti.

Relazione con gli interlocutori istituzionali e richieste di accesso ai dati
Tenere traccia di tutte le richieste fatte, degli interlocutori e dei tempi di risposta (o, più spesso, mancata risposta) è stato fondamentale. Quando si lavora a un'inchiesta così articolata e a più mani è ancor più fondamentale mantenere una mappa condivisa di chi è stato contattato e quando. Qualche buono spunto su come fare è arrivato da Luuk Sengers, incontrato anni fa al Tcij e vero guru sull’uso di excel (http://www.storybasedinquiry.com/luuk-sengers/) per tracciare e collegare fonti e documenti (adesso cerco i file). Intanto ecco un suo volumetto con Mark Lee Hunter: http://www.storybasedinquiry.com/wp-content/uploads/2011/05/Manual-Story-Based-Inquiry.pdf

Intanto ecco alcune accorgimenti che suggerisco come regole di base:
- Nel caso di una richiesta di dati o documenti, far seguire alla conversazione telefonica, una richiesta scritta per mail
- mettere in cc l’ufficio stampa dell’istituzione a cui si fa richiesta
- mettere in bcc un proprio indirizzo mail e quello di almeno uno dei colleghi con cui si lavora (ricordiamoci il caso Miur! che per fortuna è andato bene)
- tenere un log delle richieste avanzate e fare recall (almeno uno) sia telefonici che email se non si ottiene risposta a distanza di una settimana.
- valutare se si può fare una richiesta di accesso agli atti a norma 241 per accedere alle informazioni richieste (sto lavorando sulla messa a punto di una lettera proforma)

Formattazione dati
Qui abbiamo fatto un sacco di errori, ma era inevitabile perché i dati di partenza erano spesso sporchissimi. I documenti di spesa regionali da cui siamo partiti spesso riportavano solo un indirizzo parziale degli edifici dove erano stati spesi i soldi (alla faccia della trasparenza della spesa pubblica!). Una volta ricostruiti gli indirizzi (dei codici meccanografici che identificano ogni singola scuola manco parlarne...) abbiamo dovuto identificare le scuole nell'anagrafe pubblicata online dal Miur.

Ecco però qualche buon consiglio su come gestire un database che alla fine comprendeva oltre 70mila edifici per circa 45mila scuole.
- va steso fin dall’inizio una struttura dei file - a cominciare dalle intestazioni- che si possa portare fino alle ultime fasi di visualizzazione.
- Per ogni file va conservato una copia su una piattaforma cloud (DropBox è stata utilissima) e una in locale come backup.

- Va stabilita una nominazione univoca dei file e rispettata. Questo è cruciale non solo quando si lavora in gruppo, ma anche per chi è da solo.

- Evidenziare l’ultima versione disponibile del file, quella con le ultime modifiche.

Elaborazione dati
- usare gli stessi software
- tenere un diario (condiviso online) di che cosa si fa in ogni file (aggiunta colonne, formule inserite etc..) A questo proposito è utile creare anche un file Legenda in cui inserire il nome di ogni nuovo file creato e una breve descrizione.
- la pulizia dei dati è un passo fondamentale e preziosissimo. Se ne pagano le conseguenze in sede di visualizzazione come abbiamo visto.

Visualizzazione e geocoding

Qui siamo stati enormemente rallentati dalla sporcizia dei dati. Colpa certamente delle PA poco collaborative, della disastrosa anagrafica ministeriali che al suo interno ha dizioni diverse per lo stesso tipo di scuole e non è completa come ci segnalano molto lettori che non hanno trovato le scuole dive i loro figli si recano tutti i giorni.

Il contributo e l'esperienza di designer di Massimiliano è stato fondamentale per raccontare visivamente ciò che avevamo raccolto. Abbiamo imparato che graficamente, il racconto è soprattutto un'opera di sottrazione del superfluo.

Il geocoding che è stata un’avventura. Settantamila indirizzi sono una quantità industriale di dati da codificare in poche ore e abbiamo scoperto strada facendo che GoogleMaps permette di codificare 2500 indirizzi al giorno per ogni IP. Basta pensare che solo l'Emilia Romagna conta più di 8mila scuole per capire il problema. Abbiamo imparato a usare QGis, ma anche che la geocodifica non è un territorio dove avventurarsi senza qualcuno a cui poter chiedere aiuto. Una volta mappati, verificare i dati è fondamentale se non ci si vuole trovare con centinaia di scuole italiane in Giappone e Cina (ma anche nell'Oceano indiano).

Prossimi passi

#scuolesicure ha concluso la sua prima fase perché ci eravamo dati un obbiettivo e una data, ma credo che nessuno pensi che sia completato. Speriamo di essere riusciti a creare un po' di attenzione su un problema che è cronico e tocca almeno 4 milioni di persone nelle 22mila scuole ispezionate o in attesa si verifiche antisismiche, ma il fine ultimo di questo lavoro è provocare dei cambiamenti. Speriamo di poterlo riprendere in mano a breve con dei nuovi dati.

Il ministro Passera al Festival dell'Economia di Trento (c) Niccolò Caranti - Wikipedia

Nel Ddl sviluppo del Ministro Passera ci sono molte cose che interessano i giornalisti, ma un articolo in particolare fa spalancare gli occhi a chi si interessa di dati (per il giornalismo e non solo).

È l'art. 10 del secondo capo, dedicato alle misure urgenti per la trasparenza delle pubbliche amministrazioni che, se implementato, potrebbe diventare una vera benedizione per il giornalismo dei dati in Italia.

Il primo comma sancisce infatti che "la concessione delle sovvenzioni, contributi, sussidi ed ausili finanziari alle imprese e l'attribuzione dei corrispettivi e dei compensi a persone, professionisti (ndr: con tanto di curriculum!) ed imprese per forniture, servizi, incarichi e consulenze e comunque di vantaggi economici di qualunque genere di cui ..... ad enti pubblici e privati, di importo complessivo superiore a mille Euro nel corso dell’anno solare, sono soggetti alla pubblicità  sulla rete internet ai sensi del presente articolo”.

L'idea di veder pubblicate online le cifre di pagamenti ad aziende e professionisti che oggi sono passate sottobanco da "amici" interessati o ottenute a costo di laboriose richieste di accesso agli atti sarebbe una benedizione non solo per la trasparenza dell'amministrazione ma anche per il modo di fare informazione in Italia, ma c'è di più.

Sì, perché non ci si è nemmeno finito di saltare sulla sedia, che già si pensa: «Sì, ma tanto poi tanto chi la applica? Le varie amministrazioni faranno muro e non se ne caverà nulla...».

E qui arriva il comma 4 che stabilisce che dal 1 gennaio 2013 chi non pubblica online e con la completezza prescritta questi dati si mette in condizione di illegalità al punto che - secondo alcuni funzionari della pubblica amministrazione - non si potrebbero nemmeno effettuare pagamenti a imprese e consulenti (e lo sblocco dei pagamenti pubblici è invocato a gran voce da aziende come dai professionisti).

In conclusione: il decreto potrebbe subire ancora stralci e modifiche, ma se anche la cifra dei 1000 euro fosse decuplicata, quella che si profila all'orrizzonte sembra la tempesta perfetta per l'esplosione e la crescita del giornalismo dei dati in Italia.

lo spirito di Cascina: commestibile ed educativo...

Alla faccia di zanzare, calura e defezioni per ferie, a Milano proseguono gli incontri di HacksHackers, la rete di conversazioni tra tecnologi e giornalisti (non è un'associazione, non ci sono tessere, nè obblighi di presenza, ma solo di scambio di conoscenze...).

L'appuntamento è alle 21 di mercoledì 11 nella sala al primo piano di Cascina Cuccagna.

Ecco il menù della serata:

1) Open Street Map e crowdsourcing dei dati nell'Emilia del terremoto, con Simone Cortesi 

2) Crime mapping: i progressi del progetto di Daniele Belleri 'Milano - il giro della nera' e Green Geek

3) Gruppi di lavoro: cosa è partito e cosa volete che parta da HacksHackers, idee e suggerimenti.

Avremo anche un approfondimento legato agli open data della Regione Lombardia e al concorso che è stato bandito dall'amministrazione locale.

Chi è intenzionato a venire fa una bella cosa registrandosi qui nel meetup.

Chi è intenzionato a partecipare con micropresentazioni (max 5 min e 3 slides) è utile se ce le anticipa.

Per seguire quello che succede nella serata l'hashtag è #hhitaly.

L'appuntamento successivo è per il 28 settembre con quella che speriamo sia una sorpresa che coinvolgerà molti.

Gli appuntamenti di HH sono autofinanziati e non sono sostenuti economicamente dal progetto iData, ma sono stati concepiti e promossi da molte delle persone coinvolte in esso.

Da qualche settimana la contaminazione tra giornalismo e tecnologia ha una marcia in più in Italia. Dopo la presentazione  di Hacks/Hackers all'IJF#12 di Perugia con due dei fondatori, Burt Herman, ex-Associated Press e creatore di Storify insieme ad Aron Pilhofer (ancora un grazie ad Arianna Ciccone e Chris Potter per averli invitati!), la serie di incontri mirati al "reboot" del giornalismo sta prendendo piede in Italia.

HHBologna è nato qualche settimana fa e il 13 sera a Cascina Cuccagna a Milano è partito il chapter milanese grazie a Eleonora Bianchini che oltre ad aver organizzato tutto con il supporto dei Green Geek ne ha anche parlato su Il Fatto.

Qui un po' di link per seguire gli HH italiani:

@HacksHackersMI

@HacksHackersBO

e ovviamente #HHItaly

Visto che è ancora poco conosciuto in Italia è bene essere chiari: HH non è un'associazione, non dà tessere e non richiede quote. È una piattaforma, un luogo di aggregazione dove si scambiano sperienze e nascono collaborazioni e progetti. Sia no profit che profit. Chi vuole lanciarlo nella propria città deve solo registrari con HH negli Usa e non farne un'operazione commerciale.

Intanto ecco alcuni delle cose presentate al primo appuntamento milanese

Global Leaks: un gruppo che punta allo sviluppo di un sistema Tor plug&play per incentivare il whistleblowing sicuro.

Density Design: il gruppo di designer dell'informazione del Politecnico di Milano (c che incrociano social media, notizie e storia per dare senso ai dati del territorio.

Il Giro della Nera, un ambizioso progetto di mappatura delle news di cronaca nera relative a Milano condotto da Daniele Belleri.

La prima DJS organizzata a Roma da Ahref e Istat ha formato 23 giornalisti con un riscontro molto positivo da parte dei partecipanti. In attesa della prossima edizione che stiamo cercando di programmare in Nord Italia ecco i materiali delle presentazioni e le biografie dei docenti.

Dove si muore di metadone a Seattle?

Antiterrorismo e rivolte, ma anche tanta sanità, spesa pubblica e istruzione. Sono questi i temi dei lavori  incoronati qualche giorno fa dai datajournalism awards, i Pulitzer del giornalismo dei dati.

Ciò che colpisce subito è la rilevanza giornalistica di tutti i lavori, alcuni già incoronati dal Pulitzer  come l'inchiesta sulla correlazione sulle morti per metadone e livelli di reddito del Seattle Times. Ancor più impressionante il livello di accuratezza portato dall'uso dei dati per costruire storie complesse.

Da notare: su 16 premiati, tre (tra cui il primo premio per l'inchiesta internazionale Terrorist for the FBI ) sono il frutto di collaborazioni tra testate e centri no profit per il giornalismo come il Berkeley Berkeley Investigative Reporting Program dell'Università della California a Berkeley (è un'università pubblica!), il Center for Investigative Reporting e The Center for Public Integrity.

Le storie vincitrici sono  tutte da leggere e studiare come metodo di lavoro per chi si interessa di giornalismo in generale e giornalismo dei dati nello specifico.
Intanto ecco una decrittazione delle prime due premiate nelle categorie giornalismo d'inchiesta basato sui dati, rispettivamente a livello interazione e locale.
Terrorist for the Fbi, pubblicato da Mother Jones ricostruisce come le leggi e le politiche antiterrorismo Usa degli ultimi 10 anni hanno spinto gli agenti dell'Fbi a indurre cittadini americani considerati "a rischio" (spesso con precedenti penali e senz'altro molto scontenti della propria condizione, ma ancora non implicati in attività terroristiche) a progettare attentati, fornendogli mezzi e idee.

Qui Monika Bauerlein e Clara Jeffery spiegano il lavoro dietro quest'inchiesta che ha mostrato come delle 158 persone arrestate come terroristi, 49 fossero state indotte pianificare le loro attività da un "provocatore" un agente dell'Fbi che gli ha fornito soldi, materiali e mezzi.
La chiave che ha permesso ai reporter di Mojo di ricostruire il lavoro dell'Fbi non è stata una gola profonda o un documento super segreto, ma un atto pubblico: la lista di attentati sventati dall'11 settembre al 2009 che il monitor della giustizia Eric Holder nel 2010 ha depositato durante un'audizione al Congresso convocata dall'amministrazione Obama nel tentativo di processare Khalid Sheikh Mohammed, la mente dell'attentato alle torri gemelle, nel tribunale di Manhattan.

Methadone and the politica of Pain, già premiato dal Pulitzer, è un'inchiesta da manuale sulla sanità Usa su come la riforma del Medicaid (la sanità pubblica) abbia portato alla prescrizione del metadone come antidolorifico di riferimento per chi non ha un'assicurazione privata. Il problema è che il metadone ha un forte e documentato effetto tossico. Il risultato, a Seattle è stato drammatico. Delle 2mila morti per overdose di metadone, la maggior parte sono in quartieri a basso reddito, mentre alcuni dei quartieri più abbienti non ne registrano nemmeno una perché a chi dispone di un'assicurazione privata vengono semplicemente prescritti altri farmaci come l'oxycodone, che vengono metabolizzati dall'organismo in poche ore.

Qui la spiegazione del lavoro dei reporter. Come hanno messo a fuoco che c'era una storia? Molti medici li avevano contattati, allarmati dalle morti che registravano, ma solo scavando nei database sanitari e isolando le morti rilevanti (hanno avuto la fortuna di poter accedere a un database con le note dei medici sui decessi!).

Magistrale in entrambe le inchieste l'uso di diversi media, dalla scrittura, sia online che su carta, al video e alle infografiche interattive per dar vita ai dati. Ma soprattutto, ogni inchiesta è scritta benissimo è emozionante e parla delle persone che hanno sofferto per quelle vicende.

Nei prossimi post gli altri vincitori nelle categorie data viz e app.

Il punk era un fenomeno fatto di band che sapevano suonare solo tre accordi. Una performance che sembrava voler dimostrare che chiunque fosse in grado di sollevare una chitarra poteva fare musica. Il data journalism sta vivendo un momento simile, sostiene Simon Rogers sul DataBlog del Guardian. Simon ovviamente non dice che basta avere tre dati e una tastiera per fare giornalismo dei dati ma che oggi c'è una tale abbondanza di dati e di strumenti online gratuiti che non ci sono scuse per non provare a fare un po' di giornalismo dei dati.

La provocazione ci sta tutta, ma nella seconda giornata, dedicata alla visualizzazione, della Data Journalism School Ahref Istat (#djs12) che si conclude sabato 26 maggio a Roma si sono visti ben più di tre accordi. Stefano De Francisci ha affrontato i principi e le operazioni statistiche di base dietro le visualizzazioni, dai dettami di Edward Tufte al lavoro di Stephen Few (autore di Show with numbers) e di Hans Rosling, fondatore di Gapminder e sviluppatore di Statistic eXplorer, adottato da Ocse e Istat (ma di fatto lo stesso motore che sta dietro a Google Fusion). Federico Geremei, statistico e giornalista e Fabio Lipizzi di Istat hanno affrontato l'uso critico delle fonti e i principali repository nazionali e internazionali. Tomaso Piasapia è intervenuto sul delicato dema dell'accesso ai dati. La giornata è stata chiusa da Paolo Ciuccarelli, del laboratorio Density Design del Politecnico di Milano. Per Ciuccarelli, la presentazione grafica dei dati non va ridotta a una visualizzazione, ma pensata come un racconto visuale di fenomeni complessi che (con buona pace di Tufte) non è mai neutra. Di fatto, anche se si usano tre accordi, bisogna veramente sapere cosa si fa e che messaggio si va a trasmettere: un tema che i giornalisti sono abituati ad affrontare nell'uso delle parole e che dobbiamo mettere a fuoco sul fronte visivo.

Tra le molte bellissime cose presentate da Paolo e che ritroveremo presto nei materiali della DJS12 che verranno resi disponibili da Ahref la marcia di Napoleone in Russia di Charles Minard: la miglior visualizzazione del suo tempo secondo Edward Tufte;

le piume (al posto delle torte che è meglio salvare per il dessert) di Joe Boeckenstedt; Newsmap, che mostra la faccia visuale delle news di Google;

Tra gli strumenti presentati durante la giornata diversi sono abbastanza immediati da utilizzare (ma ne escono di nuovi tutti i mesi e su questo torneremo ancora nel DataBlog):

Many eyes, Tableau Public e Google Fusion, già citati nel toolkit di Elisabetta Tola.
G fusion tables per mappe

Visual.ly, utile per visualizzare i dati provenienti dai social media

Infogram, molto semplice e intuitivo.

Fineo, utilissimo per i diagrammi di flusso, rilasciato un anno fa da Density Design.

Un'idea che ci ha lanciato Ciuccarelli per chiudere: la visualizzazione dei dati è una bolla? Quasi certamente sì (non lo era anche il punk?), ma se scoppierà ec'è della vera innovazione senz'altro ripartirà con le cose migliori.

(24 maggio 2012) I dati sono una risorsa nuova per il giornalismo italiano, ma come si trasformano file csv e tabulati in un racconto giornalistico? In Italia non c'è ancora un percorso formativo stabile, ma <ahref e Istat hanno unito le forze per fornire le prime basi a 23 tra giornalisti e comunicatori.

Il risultato è la Data Journalism School (DJS) sostenuta anche da Enel, la prima grande azienda pubblica che ha reso disponibili i suoi dati in formato open. La DJS è cominciata oggi (La hashtag per seguire gli aggiornamenti è #djs12) e si chiuderà sabato presso la Scuola Superiore di Statistica dell'Istat.

Il settore è ormai maturo e a livello internazionale è perfino nato un concorso che ha la dignità del Pulitzer del data journalism. In Italia è agli inizi e c'è tantissimo da fare ma anche una miriade di opportunità per innovare il modo in cui facciamo giornalismo.

La prima giornata della DJS è stata aperta da Elisabetta Tola (@elisabetta_tola) e Guido Romeo (@guidoromeo), che per <ahref sviluppano il progetto iData con una presentazione