DataBlog

La piccola, ma crescente, comunità di interessati al giornalismo dei dati da qualche ora ha una risorsa in più: la mailing list datajournalismitaly@googlegroups.com che conta già più di una decina di membri. L'idea, lo confesso subito, è dovuta al pressante incoraggiamento di  Maurizio Napolitano, ricercatore dell'Fbk e ottimo ambasciatore della Open Knowledge Foundation in Italia e al bel clima che si respira dentro alla lista di Spaghetti Open Data . Se datajournalismitaly arriverà anche solo a produrre la metà dei risultati di quella di Spaghetti Open Data, sarà un successo.
Le liste, si sa, sono fatte dalle comunità che vi contribuiscono, ma il mio auspicio è di diventare un punto di riferimento per cittadini e giornalisti (intesi - come già più volte scritto in questo blog - come chiunque si prende la briga di trovare e verificare una notizia) parlando di:
- esempi di data journalism in Italia e all'estero.
- strumenti di analisi e visualizzazione,
- fonti di dati e modi per ottenerli quando non sono immediatamente disponibili,
- appuntamenti sul tema e occasioni di formazione
E, non ultimo, spero soprattutto che stimolerà le possibiltà di collaborazione tra i membri e nuove idee di racconto.
Per sottoscrivere la lista: http://groups.google.com/group/datajournalismitaly

Guido Romeo

L'immagine "My C: Drive", usata in home page, è di bsimser e rilasciata con licenza  Creative Commons Attribution-NonCommercial-ShareAlike 2.0 Generic (CC BY-NC-SA 2.0).

I dati salveranno il giornalismo? Sicuramente no, ma se vogliamo cercare di innovare il modo di fare informazione e renderne più partecipi i cittadini, sarebbe solo stupido trascurare l'approccio del data journalism (il giornalismo dei dati come mal si traduce in italiano) che da anni sta producendo ottime cose soprattutto in Usa e Gran Bretagna.

In questo blog abbiamo più volte postato riferimenti a strumenti e a pubblicazioni creando anche una prima "cassetta degli attrezzi" (ancora decisamente in beta)  destinata ai giornalisti (intendendo con questo termine chiunque si sobbarchi la fatica di trovare una notizia, verificarla e pubblicarla).

Rare sono ancora le pubblicazioni in italiano sul tema e per questo segnalo con piacere l'ebook "Open Data e Data Journalism - trasparenza e informazione al servizio della società nell'era digitale" realizzato da Andrea Fama per Lsdi (Full disclosure: parla anche del progetto iData e di <ahref in modo molto positivo).

Importante è la combinazione scelta da Fama tra dati aperti e giornalismo dei dati. Sono due cose diverse, ma entrambe muovono i primi passi in Italia in questi mesi e per questo hanno molti punti di contatto. Uno su tutti: una fortissima esigenza di formazione e di allargare la comunità che fa uso di queste risorse.

Anche la Open Knowledge Foundation ed Ejc, il centro europeo per il giornalismo stanno preparando un data journalism handbook che è il risultato di una serie di sessioni collaborative tenute in occasione del recente Mozilla Festival 2011 a Londra.

Ma di questo ne parleremo prossimamente.

Guido Romeo

L'open data piace alla PA italiana. Dopo Piemonte, Lombardia e Veneto (tra le altre) anche la regione Emilia Romagna ha finalmente un suo portale per mettere a disposizione i suoi dati in formato aperto. L'iniziativa emilana si colloca nell'ambito del Piano Telematico Regionale 2011-2013 con un obiettivo dichiarato: «garantire una sempre maggiore trasparenza dell’amministrazione e valorizzare il patrimonio informativo delle pubbliche amministrazioni, rafforzando l’accessibilità e la partecipazione».

Per il momento dal sito si possono scaricare solo dati grezzi (raw), ma in previsione c'è anche l'estensione a dati linkati tra loro. I set di dati attuali riguardano prevalentemente la cartografia e alcune statistiche demografiche. Per poterli scaricare bisogna sottoscrivere un contratto di licenza, ma tramite il sito si possono fare dei commenti e mandare delle proposte sull'utilizzo di questi dati. Nel comunicato della Regione si legge: «L’iniziativa sugli open data della Regione Emilia-Romagna si avvale anche di un accordo sottoscritto con la Regione Piemonte per il riuso dei componenti tecnologici dei rispettivi portali e la loro “evoluzione” congiunta. Questo permette anche uno scambio di informazioni ed esperienze su aspetti organizzativi e regolamentari. La Regione Emilia-Romagna partecipa inoltre attivamente al progetto interregionale del CISIS “Open Data Italia”, con il coinvolgimento di numerose Regioni italiane. Tra le attività relative al rafforzamento del diritto di accesso ai dati, previsto dal PiTER 2011-2013, c’è anche il progetto di realizzazione del portale regionale dei dati geografici (“Geoportale”), in un’ottica di open data e di integrazione con il portale».

Quanto questi dati sono davvero direttamente utilizzabili da cittadini e professionisti dei media? L'impressione è che ci vorrà ancora parecchio lavoro, ma il segnale è positivo perché conferma la tendenza all'apertura che si sta diffondendo nella pubblica amministrazione in Italia.

(Marco Trotta)

La visualizzazione dei dati è diventata un terreno di sperimentazione sia editoriale che artistico e non mancano esempi bellissimi e di grande impatto. Dai lavori di David McCandless alle elaborazioni assai più didattiche di Hans Rosling.

Molte delle visualizziazioni di maggiore effetto spesso rompono qualche regola grafica, ma ciò non significa che non sia utile conoscerle. Prima di cimentarsi in nuovi piatti bisogna saper combinare i diversi ingredienti, sottolinea Nathan Yau, sul suo Flowing Data e autore del bellissimo “Visualizing Data” (ottimo come libro di testo per novizi e iniziati del data-viz).

Per questo è utile richiamare tre dei paper di riferimento sull’argomento.

Il primo e indispensabile studio è certamente “Graphical Perception: Theory, Experimentation, and Application to the Development of Graphical Methods”  di Cleveland e McGill. È uscito su Science nel 1985 e potrebbe sembrare un reperto dell'era pre-web, ma il lavoro su come i lettori decodificano visivamente l'informazione grafica è ancora attualissimo. In particolare, è da sottolineare la classificazione di "comprensibilità" costruita su dati sperimentali (i link che seguono sono tutti di Nathan Yau).

1. La visualizzazione più semplice e immediata è il vecchio e caro diagramma a dispersione o “scatter plot”  (come sa bene Rosling che ne ha fatto il suo cavallo di battaglia)
2. Gli scatter plot multipli che utilizzano assi identici ma non allineati
3. Gli istogrammi come http://flowingdata.com
4. Le “vituperate” torte che fanno tanto slide-show aziendale
5. Visualizzazioni basate sull’area ( )oggi molto popolari sia come bolle che come altre forme
6. Mappe di calore dove l’aumemnto di saturazione indica valori più alti
7. Chart di notizie dove la superficie dei riquadri è proporzionale al numero di articoli. ( )

Enrico Bertini, ricercartore in data-viz all’Univesrità di Costanza, in Germania, oltre al lavoro di Cleveland e McGill, propone altri sei articoli selezionati dalla letteratura scientifica nel suo bel lavoro Fell in love with data. Tra questi ne segnalo due, perché più abbordabili e meno impegnativi per chi si avvicina ora alle visualizzazioni.

Uno è How NOT to Lie with Visualization di Bernice E. Rogowitz, Lloyd A. Treinish. Bertini giustamente sottolinea l’efficacia del titolo, ma oltre al fumo c’èanche dell’arrosto. È utile per capire come il nostro occhio reagisce al colore e come evitare di trarre in inganno il lettore e dà una buona base per capire come costruire scale di colore più efficaci con un ragionamento estendibile anche ad altre caratteristiche grafiche.

L’ultimo che segnalo è: The Eyes Have It: A Task by Data Type Taxonomy for Information Visualizations di Ben Shneiderman utile per la sua classificazione delle diverse tecniche di visualizzazione da utilizzare in base al tipo di dati che si hanno tra le mani. Molto utile per chi fa attività editoriale e non solo.
Shneidermann illustra anche quello che è ormai un mantra del data-viz: “overview first, zoom and filter, details on demand”: comincia dall’immagine d’insieme; zooma e filtra, dai dettagli su richiesta. Un mantra ancor più valido sul fronte del digitale che apre alle visualizzazioni dinamiche.

Ecco un rapido “How To” di come funziona DocumentCloud. Il sistema è una piattaforma gratuita e aperta sviluppata da tre giornalisti (Aron Pilhofer del NYTimes insieme a Scott Klein ed Eric Umansky ora a ProPublica) sulla tecnologia di Open Calais per la condivisione di fonti documentali primarie e verificate tra giornalisti. Attenzione, qui per “giornalisti” non si intendono necessariamente quelli dotati di tesserino, ma “chiunque si prenda la briga di verificare un documento e lo vuole condividere. E infatti tra i “contributors” ci sono sia grandi testate come NYTimes e 60 Minutes, ma anche Ong e freelancers (e da qualche settimana anche la fondazione Ahref).

Il sistema è formidabile per collaborare sull'editing e l'annotazione di documenti e si presta molto bene anche per esercizi di factchecking allargati o pubblici.

Gratuito e aperto non vuol però dire libero. Bisogna registrarsi scrivendo ai gestori, specificando cosa si fa e sottoscrivendo i termini di accordo.

Dentro c'è un po' di tutto, moltissimi documenti del Congresso, ma anche i file di Wikileaks utilizzati dal NYTimes e da altri. E perfino qualche decina di documenti riferiti all'Italia.

Schermata 001

La forza più evidente di DocumentCloud è il suo motore di ricerca semantico interno e il riconoscimento ottico dei caratteri che permette di attivare diverse funzioni per lavorare sui documenti in maniera collaborativa, sia pubblica che privata.

Tutta la piattaforma per ora è in inglese, ma sono in arrivo localizzazioni in diverse lingue tra cui l’italiano.

Ciò significa che per ora si possono caricare documenti in lingue diverse dall’inglese, condividerli e annotarli e beneficiare del sistema di riconoscimento ottico del testo e delle altre funzioni, ma non della parte semantica del software.

Schermata 002

L’interfaccia di gestione dei documenti prevede due sezioni principali:

- documents

- entities

In documents si possono creare nuovi progetti e caricarvi nuovi documenti. Il sistema a tasti è molto intuitivo e facile da navigare e permette anche di condividere i documenti a diversi collaboratori prima di renderli pubblici (agli altri utenti di DC) o di pubblicarli in chiaro sul web.

Qui posso anche utilizzare diversi opeartori all'interno del campo “Search”. Ad esempio “Source: Library of Congress” mi permette di trovare tutti i documenti che sono stati attribuiti a quella fonte.

Posso ovviamente caricare nuovi documenti e crear nuovi progetti condividendoli con altri collaboratori che invito.

Schermata 003

Un doppio click su un singlo documento permette in entrare in un documento (visualizzandolo in vari formati) e annotarlo (privatamente o pubblicamente) e perfino di cancellarne delle parti.

Questa è una funzione importante e ben fatta perché quando si decide di censurare un particolare (magari il nome di una persona come nel caso di alcuni documenti rilasciati da WikiLeaks), il documento viene riscansito dal sistema di lettura ottica e il testo sotto alla “pecetta” di fatto non esiste più.

Schermata 004

L'altra sezione è “Entities” e qui si comincia a vedere la potenza del software dietro a DC perché la macchina estrae tutte le persone, i luoghi, le organizzazioni e i termini salienti che ricorrono in un singolo documento o in una serie.

Schermata 005

In entities, selezionando più file, e scegliendo “Timeline” dal bottone Analyse, il sistema costruisce un'utile linea temporale dei all'interno delle informazioni che vi sono raccolte.

Schermata 006

L'ultimo passaggio è la pubblicazione

Schermata 007

DC mi offre varie soluzioni: posso scaricare il documento, oppure embeddarlo o farlo apparire in un visore.

Buon divertimento!

(Di Guido Romeo)

Trasparenti rischiano davvero di diventarlo, senza investimenti e con poca attenzione alla valutazione, le scuole italiane. E certo gli ulteriori tagli contenuti nella manovra economica in approvazione in queste ore non miglioreranno la situazione: classi sempre più numerose, risorse sempre più risicate, pochi incentivi allo studio. E trattenere a scuola gli studenti problematici che hanno alle spalle, a volte, situazioni di disagio economico e sociale sarà quindi ancora più difficile. Un quadro complesso, quello che stiamo imparando a conoscere e descrivere nell'inchiesta «La scuola abbandonata» di ahref, che affronta il problema da molti punti di vista.

Uno dei canali che stiamo battendo è quello della ricerca e analisi dei dati. I dati della dispersione scolastica in diverse province italiane, per esempio. Sappiamo, dagli studi Istat e Ocse e da report pubblicati dal centro ricerche della Banca d'Italia, che il nostro paese ha un alto tasso di dispersione scolastica, cioè di ragazzi che lasciano la scuola e non arrivano al diploma. Ci sono i veri e propri ritiri, ci sono quelli che ripetono per un numero indefinito di anni e poi abbandonano. Ci sono quelli che non pensano nemmeno di andare oltre la scuola dell'obbligo.

Le ragioni sono tante, ma il risultato è uno solo: una popolazione, quella italiana, dove più o meno un quinto dei giovani tra i 18 e i 24 anni ha solo il titolo di scuola media inferiore. Una delle situazioni peggiori a livello europeo. E che ha molte conseguenze, la prima delle quali quella di avere risorse umane a basso livello di competenza, con capacità limitate di innovare e di diversificare, di promuovere attività e investimenti nel campo dell'economia della conoscenza, quella che secondo gli obiettivi di Lisbona dovrebbe diventare l'asse portante dello sviluppo dei paesi europei.

Ma non è facile. I dati sono complicati da trovare, disomogenei, non sempre disponibili, difficilmente comparabili. Muoversi nella rete cercando di estrarre dati, pulirli, analizzarli evitando di trarre conclusioni affrettate, visualizzarli per riuscire a dare conto di un fenomeno che necessariamente ci interessa tutti, non è un processo semplice. Per arrivare a un buon risultato, infatti, è necessario soddisfare almeno tre requisiti: avere i dati a disposizione, ripuliti e normalizzati; leggerli e analizzarli in modo da capirne il significato e la affidabilità, anche statistica; usarli in modo adeguato per raccontare una storia, visualizzandoli e mettendoli in fila in modo che i numeri aiutino a costruire una fotografia, un quadro il più possibile completo, senza far prevalere le esigenze grafico-estetiche a quelle di sostanza. Abbiamo l'obiettivo, ambizioso, di riuscirci almeno per capire come vanno le cose in alcune regioni italiane, confrontando situazioni apparentemente molto diverse. Non vogliamo limitarci a descrivere, usando i dati, gli andamenti dell'evasione (così è definita nei documenti ufficiali) scolastica. Vogliamo capire se è possibile correlare la permanenza degli studenti, o il loro ritorno, nel percorso di formazione superiore con gli investimenti, i progetti sul territorio e le risorse messe a disposizione della scuola.

Un'inchiesta molto elegante e utile, un ottimo esempio cui guardare, è quella proposta in questi giorni da ProPublica, la testata web di giornalismo investigativo fondata da Paul Steiger. Il titolo dell'articolo è «Some States Still Leave Low-Income Students Behind; Others Make Surprising Gain».

Utilizzando un ricco database appena reso pubblico dal Ministero dell'istruzione statunitense, che raccoglie dati sull'offerta didattica e sull'esperienza degli insegnanti in quasi tutte le scuole pubbliche americane, ProPublica ha potuto identificare in quali stati e in quali distretti le scuole siano in grado di offrire i migliori corsi. Non sempre l'offerta migliore, si scopre, è riservata agli abitanti delle aree a reddito più elevato. Ci sono stati, come la Florida, che hanno avuto la capacità di alzare il livello della proposta didattica anche per le aree più povere, consentendo così agli studenti di poter mirare a college e università più prestigiose pur partendo da condizioni economicamente e socialmente svantaggiate.

Il team di reporter e sviluppatori di ProPublica, però, non si è fermato qui. In linea con le più recenti esperienze nel campo del data journalism e dell'idea di un giornalismo che sia anche partecipativo e di pubblico interesse, vengono spiegati i metodi e il rationale che stanno dietro la costruzione del database. E, in più, è stata sviluppata una applicazione interattiva, chiamata «The opportunity gap» che consente a chiunque, cittadini e giornalisti di tutti i vari distretti americani, di confrontare la performance della scuola più vicina con le altre del quartiere e della città. L'app, di semplicissimo utilizzo, consente di sapere quali scuole offrono i corsi più avanzati e quali scuole hanno più insegnanti esperti o inesperti, fornendo così un concreto metro di misura per operare una scelta in merito alla formazione dei ragazzi

Nella tradizione di questa testata, l'inchiesta e la app hanno già generato una serie di articoli e reportage da parte di vari media locali che, partendo dal database sul sito di ProPublica, si sono concentrate sulle proprie realtà territoriali e sono andate in cerca di storie, di conferme, di ulteriori informazioni.

Un tipo di giornalismo, questo, che non si limita a pubblicare una storia e poi a dimenticarla, ma che genera conoscenza condivisa e utile alla comunità. I dati necessari per partire, però, li ha messi a disposizione il governo americano. Un buon esempio che ci auguriamo seguano anche le nostre istituzioni.

Di Elisabetta Tola

L'alba del nuovo giornalismo basato sui dati fa tappa a Londra. Giornalisti, sviluppatori e manager di diversi media si sono incontrati pochi giorni fa a News: Rewired ospitato da Thomson Reuters per fare il punto su data journalism e social media.

Keynote speech

Heather Brooke, giornalista e attivista per la libertà di informazione, ha illustrato le sfide che il giornalismo inglese deve affrontare per una maggior trasparenza sui dati nel Regno Unito.

Secondo Brooke, il problema principale è rappresentato dalla difficoltà di reperire dati significativi a causa della riluttanza da parte delle autorità a renderli pubblici in quanto la loro segretezza è ritenuta cruciale per controllare meglio l'opinione pubblica. Per esempio, fino a poco tempo fa era considerato illegale rivelare i dettagli delle ispezioni in caso di incendio, il mandato di arresto tuttora non è considerato un documento pubblico e raccogliere informazioni su procedimenti penali è molto più complesso di quanto sembra.

Il data journalism è considerato da molti l'alba di un nuovo giornalismo nell'età digitale in quanto in una società dove le informazioni sono disponibili in quantità sempre più crescenti, per persone con poco tempo a disposizione c'è bisogno di chi selezioni secondo criteri di qualità e rilevanza ciò che è importante e lo segnali al pubblico. E questo è ciò su cui i giornalisti dovrebbero concentrare i loro sforzi.

Il data journalism non è il semplice utilizzo di strumenti web e software, bensì riuscire a proporre al pubblico informazioni significative. Questo è ciò che i giornalisti possono offrire in virtù della loro abilità di estrarre il vero e l'importante da enormi quantità di dati grezzi.

Secondo Brooke questa abilità e la disponibilità delle risorse finanziarie e di tempo necessarie per eseguire questo compito sono l'unica cosa che oggi può differenziare il giornalista dal cittadino.

In conclusione alla domanda se Brooke non consideri giustificate le restrizioni alla pubblicità delle informazioni contenute nel Freedom of Information Act, lei ha risposto in modo molto diretto che è tempo di iniziare a chiederci piuttosto quali sono i costi e i pericoli di mantenere segrete le informazioni invece di quelli di renderle pubbliche.

Highlights da alcuni panel:

Risorse

Anche se la rivoluzione digitale ha ridotto i costi del fare informazione e ha di fatto legittimato nuovi attori grazie a nuovi strumenti, il fattore umano rimane fondamentale per poter verificare i fatti soprattutto in occasione di eventi, come ha dimostrato il lavoro svolto da BBC Monitoring e Guardian durante il terremoto giapponese.

Uso e abuso delle statistiche

Estremamente efficace la presentazione di James Ball, ex Wikileaks e ora nel team investigativo del Guardian, che ha illustrato quanto sia facile sbagliare con i dati se non vengono analizzati in modo corretto e quanto spesso rappresentazioni errate dei dati finiscono in prima pagina, soprattutto quando sono rappresentate da infografiche accattivanti.

Nuovi modelli di business

Interessante esperimento quello di OWNI che sembra funzionare molto bene a giudicare dal loro successo prima in Francia e ora in tutta Europa. Federica Cocco, editor della versione .eu ha descritto come sviluppatori, designers e giornalisti si sono uniti per creare contenuti innovativi e storytelling digitale di qualità. Con un modello di business interessante in cui la parte news è no-profit ed è finanziata dalla vendita di prodotti e servizi multimediali.

Testimoni oculari al tempo dei social media

Nicola Hughes di DataMinerUK ha spiegato l'uso di Trendsmap, Tweetdeck e Topsy alla CNN nel difficile e laborioso lavoro di rintracciare testimoni oculari attraverso i social media e portarli in onda.

Molto pratica un'altra sessione dei lavori dove sono stati illustrati gli strumenti web più utilizzati per il data journalism. Tra i più citati: Google Docs un must, Google, Google Fusion Tables e ManyEyes per la visualizzazione dei dati, Outwit Hub plugin di Firefox per gestire link, ThinkMap e Zeemaps per creare mappe interattive, Tableau per analizzare e visualizzare dati, Dipity per creare timelines e OpenCalais, per incorporare funzionalità semantiche all'interno di blog, content management system e siti web.

(Di Andrea Menapace)

news:rewired - noise to signal from John Thompson on Vimeo.

«Se li torturi abbastanza a lungo, i dati confessano sempre» ripeteva spesso uno dei miei professori di statistica all'Università. A sentirsi torturati, dalle sue varianze e vettori, eravamo spesso noi studenti, ma è impossibile non pensare alla battuta quando ci si mette a compilare un dataset per raccontare una storia in maniera giornalistica. Chi pensa a una specie di "waterboarding dei dati" rischia però di finire fuori strada. Preparare dataset da utilizzare per un prodotto giornalistico è un'operazione complessa e diversa da quella che fanno i ricercatori puri. Talvolta è abbastanza rapida, altre volte estremamente laboriosa.

Marc McCormick e i suoi colleghi del DataBlog del Guardian hanno riassunto in una bella infografica che cosa fanno ai dati dal momento in cui cominciano a raccoglierli fino a quando, alla fine, li pubblicano sotto forma di storia e di dataset pubblico.

I colleghi del Guardian, che qualche settimana fa hanno presentato cose bellissime al Festival di Perugia, stanno svelando i contenuti della loro cassetta degli attrezzi sulle pagine dell'Open Platform, ma anche nel retrobottega di iData siamo al lavoro.

Ecco qui di seguito un primo benchmarking preparato da Elisabetta Tola (su twitter) che lavora con me al progetto.

Su questo blog torneremo ancora sui singoli strumenti e su come utilizzarli. Continueremo a espandere la lista e chi volesse segnalarne altri fa cosa graditissima.

Negli ultimi anni la giuria del Premio Pulitzer ha manifestato molta attenzione all'innovazione nel giornalismo e anche quest'anno non si è smentita. Il premio per il giornalismo investigativo è andato a Paige St. John, del Sarasota Herald-Tribune per un bellissimo lavoro sulla fragilità dei fondi assicurativi della Florida che mette a rischio la qualità della vita di milioni di residenti dello stato. L'inchiesta della St. John è durata due anni e, oltre a una serie di altissimo livello di articoli, ha prodotto anche un database preziosissimo  per capire il comportamento di molti fondi assicurativi. Una risorsa che gli informatici dell'Herald hanno saputo valorizzare sviluppando una serie di applicazioni interattive utilissime per i lettori  che permettono di capire cosa fa l'istituzione con la quale hanno firmato, ma anche il mercato generale e risalire al rischio di distruzione da uragano della propria area di residenza.

Il contesto dell'indagine è impressionante. Negli ultimi cinque anni (senza uragani) la regolamentazione delle assicurazioni in Florida è stata un'incessante altalena tra restrizioni e laissez faire. Di fatto però i premi sono aumentati del 350 percento lungo la costa più esposta agli uragani e oltre 2 milioni di polizze sono state cancellate. Il risultato è che oggi migliaia di padroni di casa hanno stipulato contratti con agenzie statali che, in caso di un disastro, secondo molti non potrebbero far fronte alle spese.

Il premio alla St John non è soltanto meritatissimo, ma anche un ottimo esempio di come si può combinare buon giornalismo e innovazione per produrre contenuti con un grande valore aggiunto e in grado di attirare moltissimi lettori online.

Last but not least, kudos a ProPublica per il secondo Pulitzer in due anni (e il 18imo nella carriera di Paul Steiger come direttore se non sbaglio).