DataBlog

Martedì 28 febbraio sono stati pubblicati i dati relativi all'assegnazione dei fondi europei all'interno del Programma Operativo Nazionale, PON, per le 4 regioni obiettivo convergenza (Calabria, Campania, Sicilia e Puglia), per il finanziamento di progetti destinati al miglioramento dei processi di insegnamento/apprendimento nelle scuole secondarie di I grado.

La linea di finanziamento entro la quale vengono assegnati questi fondi è l'Asse I, Obiettivo A, Azione A.2, “Definizione di strumenti e metodologie per l’autovalutazione/valutazione del servizio scolastico inclusa l’azione di diagnostica”.

I dati, purtroppo pubblicati in formato .pdf e quindi non facilmente consultabili in modo interattivo senza estrazione ed elaborazione, danno un'idea della consistenza dell'intervento e del numero di progetti finanziati in tutte le province delle quattro regioni.

Un primo sguardo con i dati ricavati dai .pdf, permette di valutare, distribuiti su mappa, l'entità dei finanziamenti per provincia, il numero di progetti finanziati e le cifre massime e minime assegnate ai singoli progetti in una provincia.

View Distribuzione fondi PON Scuole medie in a full screen map

Nell'insieme, questa tranche di finanziamenti porta un totale di 5 milioni, 348mila e 114 euro su 609 progetti distribuiti nelle quattro regioni del Sud, con progetti di taglia media tra i 4000 e i 17000, con qualche punta sui 20mila. Un solo progetto riceve un finanziamento decisamente più sostanzioso rispetto agli altri, pari a 34mila euro, in provincia di Avellino.

Una mappatura più raffinata, che analizza la distribuzione dei progetti, per entità di finanziamento, all'interno di ciascuna provincia è in corso di produzione e sarà presto pubblicata su questo stesso blog.

Elisabetta Tola

Quanti sono gli studenti che popolano le aule del nostro paese? E che differenze ci sono da regione a regione? I dati Istat ci permettono di fare una buona fotografia del sistema scuola in Italia. Partendo dalla totalità della popolazione scolastica, quindi dalla scuola primaria (5 anni) e dall'insieme della scuola secondaria (di I grado, della durata di 3 anni, e di II grado, della durata di 5), vediamo che ci sono, in totale, poco meno di 7 milioni e 300mila studenti nel nostro paese. Così distribuiti per regione:

Purtroppo mancano i dati relativi all'anno scolastico 2008-09, ma gli altri dati ci raccontano di un leggero aumento della popolazione scolastica complessiva nelle regioni del Nord e una leggera diminuzione a Sud. Questo dato non si correla in alcun modo con l'andamento demografico complessivo che anzi registra un aumento di popolazione proprio nelle regioni meridionali. Ma la riduzione nel tempo del numero di studenti a Sud è confermata anche dalla variazione, negli anni, della percentuale della popolazione studentesca rispetto alla popolazione complessiva di ogni regione.

Come si vede da questa visualizzazione, le regioni del Sud sono complessivamente più giovani: hanno una percentuale di studenti più alta rispetto a tutti gli abitanti della regione a confronto con le regioni del Nord. Eppure, questa percentuale sta scendendo. Cosa significa? Che nel Sud del paese ci sono meno studenti che si registrano a scuola o che il tasso di abbandono negli anni successivi è così elevato da incidere in modo significativo e visibile sull'insieme della popolazione scolastica?

Di abbandono scolastico si è occupata anche l'Istat, che nell'ultimo rapporto NoiItalia 2012 mette a confronto il tasso di abbandono scolastico in diversi paesi europei, utilizzando anche i dati Eurostat.

Innanzi tutto è bene chiarire cosa intendiamo per abbandono scolastico: come ricorda l'Istat, nel contesto europeo, questa definizione equivale a «la quota di popolazione in età 18-24 anni che ha abbandonato gli studi senza aver conseguito un titolo superiore al livello 3C short della classificazione internazionale sui livelli di istruzione (Isced97). Tale indicatore, nel sistema di istruzione italiano, equivale alla percentuale della popolazione in età  18-24 anni che, dopo aver conseguito la licenza media (detta “scuola secondaria di primo grado”), non ha concluso un corso di formazione professionale riconosciuto dalla Regione di almeno 2 anni e non frequenta corsi scolastici o altre attività formative.» (Istat, Rapporto NoiItalia 2012)

Nel 2010, la media europea si attesta sul 14,5%, l'Italia è ben sopra con un tasso di abbandono del 18,8%, dietro a Spagna, Portogallo e Malta, gli unici altri tre paesi dell'Unione che hanno tassi più elevati del nostro, anche in modo consistente. Dato che la popolazione italiana tra i 18 e i 24 anni, al 1 gennaio 2011, è di 4.352.641 persone, questo significa che ci sono, oggi in Italia, 818mila persone giovani, all'interno di questa fascia di età, che hanno solo un titolo di terza media e che non sono più in formazione. Un dato sconfortante, per tutte le conseguenze che ha in termini di immissione sul mercato di una buona fetta di popolazione che non avrà, nei prossimi anni, le risorse per affrontare i cambiamenti dello scenario economico e per elaborare percorsi professionali innovativi e non ancorati a vecchi modelli già in crisi da tempo.

Lo stesso rapporto fornisce i dati, in termini di serie storica dal 2004 al 2010, per vedere come si è modificato l'andamento dell'abbandono scolastico complessivo nel tempo nelle regioni e province autonome italiane. Guardando questi dati regione per regione vediamo consistenti differenze, anche tra un anno e l'altro.

E' utile sapere che gli iscritti alle scuole superiori sono, complessivamente, 2 milioni e 700mila circa. Quasi un terzo, dunque, della popolazione scolastica totale italiana.

E' possibile che le differenze che vediamo nel grafico precedente siano dovute anche alla ratifica del riconoscimento da parte delle singole regioni e province di quanto previsto dalla Legge n.133/2008 che, dall'anno scolastico 2010-11, introduce il riconoscimento dei percorsi di istruzione e formazione professionale come parte dell'obbligo scolastico. Ad esempio, la provincia autonoma di Bolzano ha attuato in modo tempestivo questa disposizione legislativa.

Dal 2001, infatti, a seguito della riforma costituzionale, gli uffici scolastici regionali hanno un ruolo primario nell'organizzazione dell'offerta formativa locale, soprattutto per quei percorsi integrati di istruzione e formazione professionale che molti ragazzi scelgono per completare l'obbligo scolastico. Percorsi che consistono in un biennio formativo dopo la scuola media e non proseguono dunque fino al diploma quinquennale. Le forti differenze, dunque, si spiegherebbero soprattutto con le scelte fatte a livello di scuola superiore e formazione professionale.

Per identificare meglio i problemi, vale la pena concentrarsi sul primo biennio della scuola superiore, indicato da tutti gli studi come il momento critico durante il quale si registra la maggior parte degli abbandoni. Qui vediamo forti variazioni da un anno a un altro, in molte regioni, che probabilmente necessitano di essere spiegate proprio andando a vedere come vengono registrati e valutati i bienni formativi professionali. Sarebbe quindi utile verificare, territorio per territorio, qual è l'effettivo stato di attuazione della legge-riforma e come vengono definiti i dati raccolti e trasferiti all'Istat.

Se vogliamo guardare a questi dati da un'altra angolazione, possiamo analizzare il tasso di scolarità, inteso come la percentuale degli studenti iscritti a un certo ciclo scolastico rispetto alla popolazione complessiva di giovani della stessa età. Prendendo come riferimento, l'insieme della scuola secondaria di II grado, ossia le scuole superiori, ecco quello che osserviamo:

In qualche caso il tasso è superiore al 100%: secondo l'Istat questo dato si può spiegare sia con le anticipazioni di iscrizione che con i ripetenti e i trasferiti che non sempre vengono conteggiati in modo corretto. Il dato però rimane interessante: ci sono regioni dove evidentemente una percentuale molto alta (tra il 10 e il 30% a seconda dei casi) di ragazzi tra i 14 e i 18 anni non va a scuola.

Complessivamente, se vogliamo prendere un dato che ci dia la misura del fenomeno, possiamo dire che se la popolazione italiana tra i 14 e i 18 anni, quella presa come riferimento per misurare la scolarità alla scuola superiore, è di più di 2 milioni e 900mila persone, con piccole variazioni tra gli ultimi anni, e la scolarità, negli stessi anni, è attorno al 93%, ci sono circa 200mila ragazzi di questa fascia di età non iscritti a scuola in media in Italia (il dato torna, naturalmente, con il calcolo totale degli iscritti che abbiamo già detto essere 2 milioni e 700mila). A questi vanno aggiunti naturalmente gli iscritti che poi lasciano e non raggiungeranno mai il diploma, cioè gli abbandoni veri e propri. Complessivamente, questi e quelli, rientreranno nella misurazione del titolo di studio della popolazione tra i 18 e i 24 anni che costituisce il riferimento per definire l'abbandono scolastico anche a livello europeo.

Un'occhiata alle situazioni territoriali

Ancora una volta il dato della provincia di Bolzano è eccentrico: il salto di scolarità è probabilmente dovuto proprio al riconoscimento del biennio professionale come parte dell'iter formativo. Spicca poi la Basilicata: come mai in questa regione la scolarità è così elevata? Si spiega con la consapevolezza che in un territorio che offre poche opportunità di impiego è meglio investire in istruzione anche per, eventualmente, avere più opportunità in altri luoghi?

Molte differenze sono probabilmente spiegate da ragioni diverse: la bassa scolarità di territori ricchi di offerta lavorativa induce probabilmente i giovani a preferire un lavoro in tempi brevi invece di passare molti anni sui banchi di scuola. Per quanto riguarda alcune regioni del Sud, invece, è probabile che l'abbandono sia dovuto a ragioni del tutto opposte: carenza di opportunità, difficoltà a immaginarsi un futuro, famiglie in grave situazione di disagio economico e sociale. Interessante è il dato della regione Veneto, che ha recuperato molto bene negli anni un tasso di abbandono che era tra i più elevati del paese. Qui, ma si tratta di pura speculazione, un primo effetto dello sviluppo tumultuoso dell'economia nordestina era stato proprio quello di abbassare l'interesse verso la scuola e rendere più attraente la prospettiva di un lavoro. Ma da molti anni, ormai, il modello Nordest sta attraversando una fase di crisi e di riorganizzazione, e forse la necessità di un investimento in formazione ha riacquistato una certa capacità attrattiva.

Nell'insieme, questi dati non danno conto di un altro fenomeno: la migrazione tra regione e regione per il completamento dell'iter scolastico. Ci sono infatti casi, ma non abbiamo dati a sostegno dell'entità di questo fenomeno, di studenti che iniziano la scuola superiore in una città e poi, a causa di diverse difficoltà, scelgono di completare gli studi in altri luoghi dove ritengono più semplice il conseguimento di un diploma. Probabilmente non si tratta di dati molto significativi ma potrebbero, in qualche caso, spiegare alcune delle distorsioni che vediamo.

Il problema non è l'iscrizione ma arrivare al diploma

Ma il dato più interessante, che conferma il fatto che sia proprio il biennio della scuola superiore il momento di massima fragilità, quello durante il quale perdiamo molti studenti e non riusciamo a trattenerli fino al diploma, è il confronto tra il tasso di scolarità che abbiamo appena visto e il tasso di diplomati in un campione di popolazione di 19enni. Certamente ci sono studenti che necessitano di più anni per arrivare al diploma e quindi prendono il titolo dopo i 19 anni.

Ma è evidente che anche se gli studenti iscritti a scuola tra i 14 e i 18 anni sono la quasi totalità della popolazione giovanile della stessa età (tranne casi eclatanti come la provincia di Bolzano, nuovamente), la percentuale di quelli che arrivano al diploma quinquennale è molto più bassa. E' proprio in questa differenza che sta tutto il problema.

In generale, questi dati confermano l'idea già diffusa che ci siano molti ragazzi che decidono di fermarsi dopo il biennio obbligatorio e che quindi ci sia una sostanziale differenza tra quanti sono iscritti e quanti arrivano alla fine del percorso. E' chiaro che questi dati vanno corretti: ci sono studenti anticipatari, ci sono pluri ripetenti, trasferimenti all'estero, etc etc. Ma è anche vero che probabilmente, molti di questi studenti hanno già preso la decisione di rimanere a scuola solo per due anni al momento dell'iscrizione e scelgono la scuola professionale con il preciso intento di non studiare per altri cinque anni. Un elemento forte su cui puntare, forse, è proprio l'orientamento che si fa alla secondaria di I grado, cioè alla scuola media.

E' lì, in quel momento, che si rende esplicita l'utilità o meno di pensare a un percorso di studi che arrivi al diploma di scuola superiore. Una volta imboccato il percorso professionale, probabilmente, per molti ragazzi è troppo tardi e l'incentivo a proseguire viene meno. A tal fine, è anche interessante vedere come sono cambiate le scelte scolastiche da parte degli studenti nel corso degli anni.

Una serie storica dell'Istat ci fa vedere che sostanzialmente negli ultimi 30 anni le scuole scelte dagli studenti sono rimaste le stesse, anche se è difficile fare dei confronti visti i molteplici indirizzi, sperimentazioni e cambiamenti che si sono succeduti (per esempio, la scuola magistrale è da tempo ormai liceo psico-pedagogico). Un solo dato spicca: c'è stata una certa riduzione di iscrizione agli istituti tecnici e un aumento molto consistente ai licei scientifici. Gli altri dati subiscono variazioni minori. E' possibile, ma è solo un'ipotesi, che il liceo scientifico abbia acquisito in questi anni una maggiore attrattiva perché visto come percorso più attuale, in linea con le richieste di un mercato dove la scienza e la tecnologia sono sempre più protagoniste. E comunque, stupisce che nonostante gli enormi cambiamenti sociali ed economici di questo trentennio, ci siano ancora più di mezzo milione di persone, più di un quinto degli iscritti totali alle superiori, che scelgono percorsi professionali, tradizionalmente orientati al mondo del lavoro e non al proseguimento degli studi. Poiché anche molti iscritti agli istituti tecnici non proseguono poi negli studi universitari, questi dati ben si correlano con il basso numero di laureati nel nostro paese rispetto al totale della popolazione giovanile.

Sia come sia, per convincere gli studenti e le famiglie a investire sul percorso di formazione è necessario investire, rinnovare i percorsi formativi, rendere le scuole dei luoghi attraenti e ricchi di stimoli. E questo richiede molte risorse, proprio quelle che negli ultimi anni la scuola vede sempre meno. E che, secondo il famoso PON, Programma operativo nazionale, dovrebbero essere attratti nei prossimi anni resi attraverso il canale di finanziamento dei fondi strutturali europei e quindi investiti per migliorare gli ambienti di apprendimento e modernizzare le strutture scolastiche, con laboratori e strumenti multimediali. Se questi investimenti, posto che arrivino e siano correttamente utilizzati, daranno i risultati sperati, anche in termini di lotta alla dispersione e abbandono scolastico potremo giudicarlo solo nei prossimi anni. Intanto, la situazione attuale di spesa in istruzione non è certo confortante, come vedremo nel prossimo post.

Elisabetta Tola

Leggi anche: I numeri della scuola/2 – la popolazione scolastica italiana.

Esiste una correlazione tra grado di istruzione complessivo della popolazione e capacità di sviluppo di una società, come ricorda l'OCSE in molti studi raccolti dal Directorate for education e nel suo annuale rapporto Education at a glance.

Non è certo un dato che sorprende: una persona che abbia investito in formazione ha più risorse, riesce ad adattarsi meglio in situazioni di cambiamento e di evoluzione del mercato del lavoro, può elaborare strategie, ha la capacità di mettersi in gioco anche quando le condizioni al contorno cambiano drasticamente. Se necessario, ha le potenzialità per costruirsi un percorso anche in ambienti lontani da quello di partenza.

L'Italia, rispetto ad altri paesi dell'Unione Europea, ha un tasso di abbandono scolastico ancora molto alto, preoccupante e lontano dagli obiettivi della strategia di Lisbona che puntava a ridurre al 10% gli abbandoni scolastici, rispetto al totale della popolazione studentesca, in tutti i paesi dell'Unione.

Negli ultimi tempi, molte inchieste giornalistiche hanno posto l'accento sulla difficoltà della scuola italiana che non riesce a trattenere tutti gli studenti iscritti nemmeno fino al compimento dell'obbligo scolastico. Un paese che si trova, oggi, con quasi un quarto della sua popolazione con solo il titolo di scuola media inferiore è un paese che si condanna, domani, ad avere forti difficoltà di innovazione, di cambiamento, di investimento in risorse umane competenti e capaci.

Molti articoli, però, usano purtroppo i dati in modo poco accurato. Per poca attenzione ai contesti, ai riferimenti temporali, al modo in cui i dati sono presentati e via dicendo. E così, in una bella inchiesta di Mario Reggio su «Gli studenti fantasma» pubblicata su R2, ricca di racconti e di interviste realizzate a Napoli, una delle città simbolo delle difficoltà della scuola nel nostro paese, troviamo alcune approssimazioni nel testo in merito al tasso complessivo di abbandono (per es., il dato Istat non si riferisce al biennio della scuola superiore ma alla quota di popolazione tra i 18 e i 24 anni in possesso del solo titolo di scuola media inferiore), alla definizione dei cicli scolastici, al contributo in termini di formazione degli istituti regionali (che in molte Regioni italiane non sono attivi e che comunque ufficialmente vengono riconosciuti come parte del biennio formativo dal 2010, cioè dallo stesso anno cui si riferisce il dato Istat) e una tabella sull'abbandono scolastico (costruita con dati Istat) priva di alcun riferimento temporale e non molto leggibile. Il dato sostanziale che emerge da questa inchiesta è che ogni anno ci sono circa 100mila studenti, nel nostro paese, che lasciano la scuola. Certo, non sapendo quanti sono in totale, il numero dice poco... E in più, la stessa Repubblica aveva dato un numero assai diverso solo a gennaio 2010, nell'articolo intitolato «Allarme dispersione, l'Europa boccia l'Italia: lasciano la scuola 500mila ragazzi all'anno» a firma Salvo Intravaia. La sostanza forse non cambia, è vero, perché il problema rimane consistente, ma non c'è alcuna necessità di pasticciare con i dati e renderli così poco chiari.

Anche la rubrica del Corriere, TuttiFrutti, di Gian Antonio Stella, in data 8 febbraio 2012, parla di scuola. E, citando il libro «L'Italia che va a scuola», ancora di Salvo Intravaia, sostiene che «tra le diverse Regioni italiane si presentano grosse differenze. Al Nord la spesa media per alunno nel 2009 è stata pari a 1461 €. Una cifra leggermente più bassa, 1387 € ad alunno, si spende nelle quattro Regioni centrali. Ma quando si passa a quelle meridionali (…) l'investimento precipita a 716 euro per alunno». Si tratta di soldi pubblici o di investimenti privati? Sono soldi delle famiglie, che sappiamo ormai in molti casi arrivare a coprire una quota consistente delle spese scolastiche? Da questo articolo, non ci è dato saperlo. E come vedremo, in realtà, la spesa pubblica in istruzione nel nostro paese non differisce molto da Nord a Sud. Quindi le differenze devono stare da un'altra parte.

Lavorare direttamente sui dati

In effetti, avere i dati non è semplice. I numeri della scuola, quasi tutti, si trovano facilmente sul sito Istat, nelle pagine dedicate al Sistema dell'istruzione e nella Data warehouse Istat, alla voce Istruzione e formazione, e anche nei rapporti e nelle serie storiche. A volte, ci sono anche elaborazioni, tabelle e grafici proposti da Istat stessa che aiutano anche la visualizzazione dei dati. Il problema è che spesso questi dati sono difficilmente estraibili, nonostante le molteplici opzioni proposte: se si fa una estrazione in .xls, il foglio dati è poi apribile solo utilizzando un sistema Windows, oppure è necessario passare attraverso diverse conversioni per riuscire a visualizzare i dati anche usando un software open source, come LibreCalc.

In alternativa è possibile richiedere i dati in formato .csv, ma vengono inviati via mail e in un formato compresso che poi non sempre è facilmente utilizzabile senza ulteriori passaggi. Ancora, non tutte le tabelle sono costruite utilizzando in modo sistematico le categorie: per esempio, le regioni non sono sempre rigorosamente indicate nello stesso ordine da nord a sud. A volte una riga (e quindi una intera fila di valori) è scambiata con un'altra (in particolare, la Liguria viene spostata avanti e indietro a seconda delle tabelle: a volte è subito dopo la Lombardia, a volte dopo il Friuli Venezia-Giulia!) e se non fate attenzione nel momento del confronto tra due tabelle potete trovarvi con numeri piuttosto fantasiosi. Avere i dati rimane, dunque, lo scoglio più grande. Ma le cose stanno cambiando e Istat stessa ha fatto uno sforzo enorme mettendo moltissime tabelle, informazioni, note esplicative nel nuovo sito andato online il 1 agosto 2011.

Inoltre, molti dati sulle scuole, completi di iscrizioni, numeri di studenti e docenti, dislocazione geografica delle scuole e investimenti economici, sono ora resi disponibili dal sistema «Scuola in chiaro», lanciato il 12 gennaio scorso sul sito del Ministero dell'Istruzione. A oggi, consultando il sistema come utenti è possibile visualizzare un certo numero di scuole su un territorio preso a riferimento, e confrontare diverse scuole tra loro. Per l'utente comune, il raffronto viene però fatto utilizzando delle maschere di ricerca predisposte e visualizzando grafici e tabelle che utilizzano i dati del sistema. I dati, naturalmente, non sono direttamente accessibili. Grazie al lavoro di scraping fatto da Linked Open Data, però, il database è ora disponibile. L'unico problema, per un utente non particolarmente preparato sul fronte informatico, è che ci vuole una buona competenza per interrogare il database, organizzare le query e via dicendo.

Torniamo al punto di partenza: il cittadino o il giornalista curioso, ma non particolarmente smanettone, non ha accesso facilmente al dato. Manca un passaggio, lo sviluppo di applicazioni potenti e al tempo stesso utili a confrontare tutti i dati che possano essere di interesse per chi cerca di farsi un'idea complessiva ed informata dello stato del sistema scolastico in Italia, delle sue debolezze, della sua effettiva capacità formativa. Ma con un pizzico di tenacia, alcune cose si possono dire. Anche evitando la tentazione di andare sul sensazionale e di voler trarre immediatamente delle conclusioni.

Elisabetta Tola

Leggi la seconda parte: I numeri della scuola/2 – la popolazione scolastica italiana.

Si chiama Data Journalism Awards, ma si legge "Pulitzer del datajournalism". Il premio sarà assegnato in Europa, a Parigi, durante il NEWS! il news world summit organizzato dal 30 maggio al 1 giugno. Possono concorrere tutti i servizi pubblicati o andati in onda tra l'11 aprile 2011 e non oltre il 10 aprile di quest'anno.

Nella giuria, presieduta da Paul Steiger, membro del comitato scientifico di <ahref e che durante i suoi 16 anni di direzione del Wall Street Journal ha visto la testata portare a casa 16 volte il premio Pulitzer, è composta da un buon pezzo del gotha dell'editoria mondiale, dal New York Times, a Reuters e Les Echos. La competizione, di cui <ahref è media partner, è un'idea illuminata del Global Editors Network che ha trovato il supporto di Google e la collaborazione dello European journalism center.

Tre le categorie: data-driven investigative journalism; data visualisation & storytelling; data-driven applications (mobile or web) che verranno premiate con borse per un valore complessivo di 45mila euro.

L'accostamento al Pulitzer è immediato visto che lo scopo del premio è stimolare l'innovazione e l'espansione di uno dei campi più promettenti del giornalismo contemporaneo, ma anche di catalizzare l'attenzione degli editori verso investimenti in nuove competenze e mezzi che portino a incrociare le competenze giornalistiche con quelle di tecnologi e informatici.

Delle possibilità dell'approccio data si è già parlato diverse volte in questo blog segnalando anche alcuni dei migliori lavori degli ultimi anni come l'inchiesta sulle scuole di ProPublica e il lavoro sulle assicurazioni in Florida che ha valso il Pulitzer a Paige Saint John la quale sarà anche al Festival di Perugia dal 25 al 29 aprile.

La piccola, ma crescente, comunità di interessati al giornalismo dei dati da qualche ora ha una risorsa in più: la mailing list datajournalismitaly@googlegroups.com che conta già più di una decina di membri. L'idea, lo confesso subito, è dovuta al pressante incoraggiamento di  Maurizio Napolitano, ricercatore dell'Fbk e ottimo ambasciatore della Open Knowledge Foundation in Italia e al bel clima che si respira dentro alla lista di Spaghetti Open Data . Se datajournalismitaly arriverà anche solo a produrre la metà dei risultati di quella di Spaghetti Open Data, sarà un successo.
Le liste, si sa, sono fatte dalle comunità che vi contribuiscono, ma il mio auspicio è di diventare un punto di riferimento per cittadini e giornalisti (intesi - come già più volte scritto in questo blog - come chiunque si prende la briga di trovare e verificare una notizia) parlando di:
- esempi di data journalism in Italia e all'estero.
- strumenti di analisi e visualizzazione,
- fonti di dati e modi per ottenerli quando non sono immediatamente disponibili,
- appuntamenti sul tema e occasioni di formazione
E, non ultimo, spero soprattutto che stimolerà le possibiltà di collaborazione tra i membri e nuove idee di racconto.
Per sottoscrivere la lista: http://groups.google.com/group/datajournalismitaly

Guido Romeo

L'immagine "My C: Drive", usata in home page, è di bsimser e rilasciata con licenza  Creative Commons Attribution-NonCommercial-ShareAlike 2.0 Generic (CC BY-NC-SA 2.0).

I dati salveranno il giornalismo? Sicuramente no, ma se vogliamo cercare di innovare il modo di fare informazione e renderne più partecipi i cittadini, sarebbe solo stupido trascurare l'approccio del data journalism (il giornalismo dei dati come mal si traduce in italiano) che da anni sta producendo ottime cose soprattutto in Usa e Gran Bretagna.

In questo blog abbiamo più volte postato riferimenti a strumenti e a pubblicazioni creando anche una prima "cassetta degli attrezzi" (ancora decisamente in beta)  destinata ai giornalisti (intendendo con questo termine chiunque si sobbarchi la fatica di trovare una notizia, verificarla e pubblicarla).

Rare sono ancora le pubblicazioni in italiano sul tema e per questo segnalo con piacere l'ebook "Open Data e Data Journalism - trasparenza e informazione al servizio della società nell'era digitale" realizzato da Andrea Fama per Lsdi (Full disclosure: parla anche del progetto iData e di <ahref in modo molto positivo).

Importante è la combinazione scelta da Fama tra dati aperti e giornalismo dei dati. Sono due cose diverse, ma entrambe muovono i primi passi in Italia in questi mesi e per questo hanno molti punti di contatto. Uno su tutti: una fortissima esigenza di formazione e di allargare la comunità che fa uso di queste risorse.

Anche la Open Knowledge Foundation ed Ejc, il centro europeo per il giornalismo stanno preparando un data journalism handbook che è il risultato di una serie di sessioni collaborative tenute in occasione del recente Mozilla Festival 2011 a Londra.

Ma di questo ne parleremo prossimamente.

Guido Romeo

L'open data piace alla PA italiana. Dopo Piemonte, Lombardia e Veneto (tra le altre) anche la regione Emilia Romagna ha finalmente un suo portale per mettere a disposizione i suoi dati in formato aperto. L'iniziativa emilana si colloca nell'ambito del Piano Telematico Regionale 2011-2013 con un obiettivo dichiarato: «garantire una sempre maggiore trasparenza dell’amministrazione e valorizzare il patrimonio informativo delle pubbliche amministrazioni, rafforzando l’accessibilità e la partecipazione».

Per il momento dal sito si possono scaricare solo dati grezzi (raw), ma in previsione c'è anche l'estensione a dati linkati tra loro. I set di dati attuali riguardano prevalentemente la cartografia e alcune statistiche demografiche. Per poterli scaricare bisogna sottoscrivere un contratto di licenza, ma tramite il sito si possono fare dei commenti e mandare delle proposte sull'utilizzo di questi dati. Nel comunicato della Regione si legge: «L’iniziativa sugli open data della Regione Emilia-Romagna si avvale anche di un accordo sottoscritto con la Regione Piemonte per il riuso dei componenti tecnologici dei rispettivi portali e la loro “evoluzione” congiunta. Questo permette anche uno scambio di informazioni ed esperienze su aspetti organizzativi e regolamentari. La Regione Emilia-Romagna partecipa inoltre attivamente al progetto interregionale del CISIS “Open Data Italia”, con il coinvolgimento di numerose Regioni italiane. Tra le attività relative al rafforzamento del diritto di accesso ai dati, previsto dal PiTER 2011-2013, c’è anche il progetto di realizzazione del portale regionale dei dati geografici (“Geoportale”), in un’ottica di open data e di integrazione con il portale».

Quanto questi dati sono davvero direttamente utilizzabili da cittadini e professionisti dei media? L'impressione è che ci vorrà ancora parecchio lavoro, ma il segnale è positivo perché conferma la tendenza all'apertura che si sta diffondendo nella pubblica amministrazione in Italia.

(Marco Trotta)

La visualizzazione dei dati è diventata un terreno di sperimentazione sia editoriale che artistico e non mancano esempi bellissimi e di grande impatto. Dai lavori di David McCandless alle elaborazioni assai più didattiche di Hans Rosling.

Molte delle visualizziazioni di maggiore effetto spesso rompono qualche regola grafica, ma ciò non significa che non sia utile conoscerle. Prima di cimentarsi in nuovi piatti bisogna saper combinare i diversi ingredienti, sottolinea Nathan Yau, sul suo Flowing Data e autore del bellissimo “Visualizing Data” (ottimo come libro di testo per novizi e iniziati del data-viz).

Per questo è utile richiamare tre dei paper di riferimento sull’argomento.

Il primo e indispensabile studio è certamente “Graphical Perception: Theory, Experimentation, and Application to the Development of Graphical Methods”  di Cleveland e McGill. È uscito su Science nel 1985 e potrebbe sembrare un reperto dell'era pre-web, ma il lavoro su come i lettori decodificano visivamente l'informazione grafica è ancora attualissimo. In particolare, è da sottolineare la classificazione di "comprensibilità" costruita su dati sperimentali (i link che seguono sono tutti di Nathan Yau).

1. La visualizzazione più semplice e immediata è il vecchio e caro diagramma a dispersione o “scatter plot”  (come sa bene Rosling che ne ha fatto il suo cavallo di battaglia)
2. Gli scatter plot multipli che utilizzano assi identici ma non allineati
3. Gli istogrammi come http://flowingdata.com
4. Le “vituperate” torte che fanno tanto slide-show aziendale
5. Visualizzazioni basate sull’area ( )oggi molto popolari sia come bolle che come altre forme
6. Mappe di calore dove l’aumemnto di saturazione indica valori più alti
7. Chart di notizie dove la superficie dei riquadri è proporzionale al numero di articoli. ( )

Enrico Bertini, ricercartore in data-viz all’Univesrità di Costanza, in Germania, oltre al lavoro di Cleveland e McGill, propone altri sei articoli selezionati dalla letteratura scientifica nel suo bel lavoro Fell in love with data. Tra questi ne segnalo due, perché più abbordabili e meno impegnativi per chi si avvicina ora alle visualizzazioni.

Uno è How NOT to Lie with Visualization di Bernice E. Rogowitz, Lloyd A. Treinish. Bertini giustamente sottolinea l’efficacia del titolo, ma oltre al fumo c’èanche dell’arrosto. È utile per capire come il nostro occhio reagisce al colore e come evitare di trarre in inganno il lettore e dà una buona base per capire come costruire scale di colore più efficaci con un ragionamento estendibile anche ad altre caratteristiche grafiche.

L’ultimo che segnalo è: The Eyes Have It: A Task by Data Type Taxonomy for Information Visualizations di Ben Shneiderman utile per la sua classificazione delle diverse tecniche di visualizzazione da utilizzare in base al tipo di dati che si hanno tra le mani. Molto utile per chi fa attività editoriale e non solo.
Shneidermann illustra anche quello che è ormai un mantra del data-viz: “overview first, zoom and filter, details on demand”: comincia dall’immagine d’insieme; zooma e filtra, dai dettagli su richiesta. Un mantra ancor più valido sul fronte del digitale che apre alle visualizzazioni dinamiche.

Ecco un rapido “How To” di come funziona DocumentCloud. Il sistema è una piattaforma gratuita e aperta sviluppata da tre giornalisti (Aron Pilhofer del NYTimes insieme a Scott Klein ed Eric Umansky ora a ProPublica) sulla tecnologia di Open Calais per la condivisione di fonti documentali primarie e verificate tra giornalisti. Attenzione, qui per “giornalisti” non si intendono necessariamente quelli dotati di tesserino, ma “chiunque si prenda la briga di verificare un documento e lo vuole condividere. E infatti tra i “contributors” ci sono sia grandi testate come NYTimes e 60 Minutes, ma anche Ong e freelancers (e da qualche settimana anche la fondazione Ahref).

Il sistema è formidabile per collaborare sull'editing e l'annotazione di documenti e si presta molto bene anche per esercizi di factchecking allargati o pubblici.

Gratuito e aperto non vuol però dire libero. Bisogna registrarsi scrivendo ai gestori, specificando cosa si fa e sottoscrivendo i termini di accordo.

Dentro c'è un po' di tutto, moltissimi documenti del Congresso, ma anche i file di Wikileaks utilizzati dal NYTimes e da altri. E perfino qualche decina di documenti riferiti all'Italia.

Schermata 001

La forza più evidente di DocumentCloud è il suo motore di ricerca semantico interno e il riconoscimento ottico dei caratteri che permette di attivare diverse funzioni per lavorare sui documenti in maniera collaborativa, sia pubblica che privata.

Tutta la piattaforma per ora è in inglese, ma sono in arrivo localizzazioni in diverse lingue tra cui l’italiano.

Ciò significa che per ora si possono caricare documenti in lingue diverse dall’inglese, condividerli e annotarli e beneficiare del sistema di riconoscimento ottico del testo e delle altre funzioni, ma non della parte semantica del software.

Schermata 002

L’interfaccia di gestione dei documenti prevede due sezioni principali:

- documents

- entities

In documents si possono creare nuovi progetti e caricarvi nuovi documenti. Il sistema a tasti è molto intuitivo e facile da navigare e permette anche di condividere i documenti a diversi collaboratori prima di renderli pubblici (agli altri utenti di DC) o di pubblicarli in chiaro sul web.

Qui posso anche utilizzare diversi opeartori all'interno del campo “Search”. Ad esempio “Source: Library of Congress” mi permette di trovare tutti i documenti che sono stati attribuiti a quella fonte.

Posso ovviamente caricare nuovi documenti e crear nuovi progetti condividendoli con altri collaboratori che invito.

Schermata 003

Un doppio click su un singlo documento permette in entrare in un documento (visualizzandolo in vari formati) e annotarlo (privatamente o pubblicamente) e perfino di cancellarne delle parti.

Questa è una funzione importante e ben fatta perché quando si decide di censurare un particolare (magari il nome di una persona come nel caso di alcuni documenti rilasciati da WikiLeaks), il documento viene riscansito dal sistema di lettura ottica e il testo sotto alla “pecetta” di fatto non esiste più.

Schermata 004

L'altra sezione è “Entities” e qui si comincia a vedere la potenza del software dietro a DC perché la macchina estrae tutte le persone, i luoghi, le organizzazioni e i termini salienti che ricorrono in un singolo documento o in una serie.

Schermata 005

In entities, selezionando più file, e scegliendo “Timeline” dal bottone Analyse, il sistema costruisce un'utile linea temporale dei all'interno delle informazioni che vi sono raccolte.

Schermata 006

L'ultimo passaggio è la pubblicazione

Schermata 007

DC mi offre varie soluzioni: posso scaricare il documento, oppure embeddarlo o farlo apparire in un visore.

Buon divertimento!

(Di Guido Romeo)

Trasparenti rischiano davvero di diventarlo, senza investimenti e con poca attenzione alla valutazione, le scuole italiane. E certo gli ulteriori tagli contenuti nella manovra economica in approvazione in queste ore non miglioreranno la situazione: classi sempre più numerose, risorse sempre più risicate, pochi incentivi allo studio. E trattenere a scuola gli studenti problematici che hanno alle spalle, a volte, situazioni di disagio economico e sociale sarà quindi ancora più difficile. Un quadro complesso, quello che stiamo imparando a conoscere e descrivere nell'inchiesta «La scuola abbandonata» di ahref, che affronta il problema da molti punti di vista.

Uno dei canali che stiamo battendo è quello della ricerca e analisi dei dati. I dati della dispersione scolastica in diverse province italiane, per esempio. Sappiamo, dagli studi Istat e Ocse e da report pubblicati dal centro ricerche della Banca d'Italia, che il nostro paese ha un alto tasso di dispersione scolastica, cioè di ragazzi che lasciano la scuola e non arrivano al diploma. Ci sono i veri e propri ritiri, ci sono quelli che ripetono per un numero indefinito di anni e poi abbandonano. Ci sono quelli che non pensano nemmeno di andare oltre la scuola dell'obbligo.

Le ragioni sono tante, ma il risultato è uno solo: una popolazione, quella italiana, dove più o meno un quinto dei giovani tra i 18 e i 24 anni ha solo il titolo di scuola media inferiore. Una delle situazioni peggiori a livello europeo. E che ha molte conseguenze, la prima delle quali quella di avere risorse umane a basso livello di competenza, con capacità limitate di innovare e di diversificare, di promuovere attività e investimenti nel campo dell'economia della conoscenza, quella che secondo gli obiettivi di Lisbona dovrebbe diventare l'asse portante dello sviluppo dei paesi europei.

Ma non è facile. I dati sono complicati da trovare, disomogenei, non sempre disponibili, difficilmente comparabili. Muoversi nella rete cercando di estrarre dati, pulirli, analizzarli evitando di trarre conclusioni affrettate, visualizzarli per riuscire a dare conto di un fenomeno che necessariamente ci interessa tutti, non è un processo semplice. Per arrivare a un buon risultato, infatti, è necessario soddisfare almeno tre requisiti: avere i dati a disposizione, ripuliti e normalizzati; leggerli e analizzarli in modo da capirne il significato e la affidabilità, anche statistica; usarli in modo adeguato per raccontare una storia, visualizzandoli e mettendoli in fila in modo che i numeri aiutino a costruire una fotografia, un quadro il più possibile completo, senza far prevalere le esigenze grafico-estetiche a quelle di sostanza. Abbiamo l'obiettivo, ambizioso, di riuscirci almeno per capire come vanno le cose in alcune regioni italiane, confrontando situazioni apparentemente molto diverse. Non vogliamo limitarci a descrivere, usando i dati, gli andamenti dell'evasione (così è definita nei documenti ufficiali) scolastica. Vogliamo capire se è possibile correlare la permanenza degli studenti, o il loro ritorno, nel percorso di formazione superiore con gli investimenti, i progetti sul territorio e le risorse messe a disposizione della scuola.

Un'inchiesta molto elegante e utile, un ottimo esempio cui guardare, è quella proposta in questi giorni da ProPublica, la testata web di giornalismo investigativo fondata da Paul Steiger. Il titolo dell'articolo è «Some States Still Leave Low-Income Students Behind; Others Make Surprising Gain».

Utilizzando un ricco database appena reso pubblico dal Ministero dell'istruzione statunitense, che raccoglie dati sull'offerta didattica e sull'esperienza degli insegnanti in quasi tutte le scuole pubbliche americane, ProPublica ha potuto identificare in quali stati e in quali distretti le scuole siano in grado di offrire i migliori corsi. Non sempre l'offerta migliore, si scopre, è riservata agli abitanti delle aree a reddito più elevato. Ci sono stati, come la Florida, che hanno avuto la capacità di alzare il livello della proposta didattica anche per le aree più povere, consentendo così agli studenti di poter mirare a college e università più prestigiose pur partendo da condizioni economicamente e socialmente svantaggiate.

Il team di reporter e sviluppatori di ProPublica, però, non si è fermato qui. In linea con le più recenti esperienze nel campo del data journalism e dell'idea di un giornalismo che sia anche partecipativo e di pubblico interesse, vengono spiegati i metodi e il rationale che stanno dietro la costruzione del database. E, in più, è stata sviluppata una applicazione interattiva, chiamata «The opportunity gap» che consente a chiunque, cittadini e giornalisti di tutti i vari distretti americani, di confrontare la performance della scuola più vicina con le altre del quartiere e della città. L'app, di semplicissimo utilizzo, consente di sapere quali scuole offrono i corsi più avanzati e quali scuole hanno più insegnanti esperti o inesperti, fornendo così un concreto metro di misura per operare una scelta in merito alla formazione dei ragazzi

Nella tradizione di questa testata, l'inchiesta e la app hanno già generato una serie di articoli e reportage da parte di vari media locali che, partendo dal database sul sito di ProPublica, si sono concentrate sulle proprie realtà territoriali e sono andate in cerca di storie, di conferme, di ulteriori informazioni.

Un tipo di giornalismo, questo, che non si limita a pubblicare una storia e poi a dimenticarla, ma che genera conoscenza condivisa e utile alla comunità. I dati necessari per partire, però, li ha messi a disposizione il governo americano. Un buon esempio che ci auguriamo seguano anche le nostre istituzioni.

Di Elisabetta Tola