Delirio con Iceberg

Prendo lo spunto dal post su Speculum Maius relativo alla proposta di legge del Mistro Gelmini sulla meritocrazia.
La proposta, tra l’altro, è scaricabile da qui.

Fin dall’inizio, mi viene da storcere il naso…

ONOREVOLI COLLEGHI ! — La presente proposta di legge intende agevolare la diffusione e l’attuazione concreta nella società italiana del principio del merito.

Ora, saranno le mie eterodosse posizioni politiche, ma trovo molto difficile credere che una legge possa radicalmente e concretamente alterare le posizioni della società italiana.
Se la società italiana fosse fondata su principi meritocratici, non servirebbe una legge per inculcarli ai cittadini.
Se serve una legge, questa andrà contro il sentire comune della maggioranza, che farà resistenza - anche inconsciamente.

Diciamocelo chiaro e tondo - ad invocare sistemi di merito sdono i tagliati fuori, non quelli inseriti nelle strutture grazie a nepotismi, spinte, mazzette o semplice capacità di abusare del sistema… `

L’impostazione statalista e dirigista che ha imperniato l’ordinamento degli ultimi cinquanta anni ha portato con se la marginalizzazione del merito, che non e mai`assurto a principio guida in grado di regolare i fenomeni sociali, i processi economici e le relazioni di lavoro, in favore di criteri di uguaglianza formale che, di fatto, si sono tradotti in forti disincentivi alla capacita individuale.

Curioso che si proponga una legge per ovviare alle magagne.
Non una campagna culturale, ma una imposizione per legge - quanto di più statalista e dirigista si possa immaginare.
O no?

Perché poi, a cosa si riduce la proposta?
Nel valorizzare i risultati superiori alla media - misura statistica pericolosissima -, nell’eliminare i meccanismi automatici di avanzamento professionale (bye bye anzianità di servizio), nell’istituzione di fantomatici organismi atti a valutare…

Insomma, un ulteriore layer burocratico, con un forte sentore di ennesima marchetta per le aziende.
Suona particolarmente subdola la voce 4.g

ampliamento della nozione di mansioni equivalenti;

Mah!
Io non mi posso lamentare - anche se sono sicuro che ci sia una trappola da qualche parte - ad una prima lettura questa proposta di legge potrebbe avvantaggiare le mie attività come freelance.
Però…

Nel commentare la proposta di legge, Speculum Maius invoca l’esempio del Titanic - da un articolo di Simone Brero…

A cosa serve al capitano ordinare una virata di emergenza, o al
timoniere e al macchinista eseguire l’ordine, se la nave non e’
progettata per effettuare una simile operazione in tempo utile? Esiste
un ruolo di leadership, tanto importante quanto trascurato dai
dirigenti: quello del leader come progettista. Del resto, nell’ultimo
costoso film di James Cameron dedicato alla tragedia del Titanic, il
progettista riconosce le proprie responsabilita’, affondando
volontariamente insieme alla nave…

Ho spesso usato i dati sui sopravvissuti del Titanic (se ne trovano varie versioni on-line, basta cercare “Titanic Dataset” tramite Google) come eterodosso esercizio per i miei studenti di statistica ambientale.
Di solito mi becco un’infilata di occhiate strane, come se fossi appena sceso da un disco volante - quando va bene: quando va male, i più ortodossi si inalberano perché l’esercizio non è serio.

Eppure, a ben guardare, l’affondamento del Titanic è una catastrofe ambientale, con conseguente estinzione di massa.

E il fatto che ne abbiano fatto un film di grande successo significa oltretutto che tutte le persone in aula sono a conoscenza delle dinamiche dell’evento, e possono quindi affrontare i numeri senza bisogno di lunghi spiegoni.

Ed i numeri dicono chiaro che per sopravvivere sul Titanic, con buonapace di James Cameron, bisognava essere
a . passeggeri di prima classe
b . membri dell’equipaggio

Lasciamo come esercizio per il lettore l’estensione di questa osservazione allo stato del merito in Italia.

Exit poll

È più forte di me.
Sento tutta ’sta gente che statisticola in TV, e mi vergogno di essere in qualche maniera coinvolto con gli studi statistici.

La statistica politica squalifica tutta la categoria, e rinforza l’immagine dello statistico come venditore di fumo.
Oltretutto asservito al potere.

Sarebbe così bello poter parlare di realtà e non di numeri essenzialmente a caso.

La cosa curiosa è che apparentemente nessuno applichi metodi bayesiani - il meglio, in una situazione del genere - e tutti continuino con la solita stupida analisi frequenzialista.
Strana gente.

Interrompiamo qui la discussione.
Vediamo cosa ci riserva la realtà - o una stretta approssimazione di questa.

Statisticolare

Questo è uno di quei post che contribuiscono a farmi odiare.
Un dannato pork chop express se mai ne è esistito uno.
Scusatemi.

Durante la nostra ultima discussione, Gamberetta ha citato i dati dell’Istat sui lettori in Italia.
In particolare, l’affermazione che prenderemo in considerazione qui è la seguente…

la percentuale di chi ha letto il suo ultimo libro dopo averlo scaricato da Internet è dello 0,1% (in assoluto, facendo due conti sono 24.145 persone).

Non credo proprio.

Perché è vero, il testo afferma che c sono circa 24 milioni di lettori attivi in Italia, ma i signori dell’istat non hanno chiesto a ventiquattro milioni di persone come si siano procurate il loro ultimo libro.
Lo hanno chiesto ad un campione.
Lo 0,1% di quel campione ha risposto “prelevato gratuitamente via Internet”.
A questo punto, l’Istat ha deciso che il campione era sufficientemente rappresentativo da essere esteso all’intera popolazione di 24.000.000 di lettori.

Il campione considerato dall’Istat è di “circa” 54.000 persone.
Se 1 su mille (lo 0,1%) ha scaricato un libro gratis nell’ultimo anno, fa un totale di 54 persone.
Questo è il nostro unico dato certo.
È lecito a questo punto estendere il risultato alla popolazione e affermare che circa 24.000 persone hanno scaricato un libro nell’ultimo anno?
No.

In prima battuta, si dice di solito che più grande è il campione, maggiore è l’affidabilità del risultato.
Da questo punto di vista, 54.000 sembrerebbe buono - è il 2,25% della popolazione studiata, che non è poi male.
Ma qui c’è l’inghippo.
Perché l’estendibilità non dipende solo dalle dimensioni del campione, ma anche dalla percentuale di persone che hanno risposto in un certo modo alla mia domanda.
Ciò che conta, infatti, è l’intervallo di confidenza - praticamente il margine di errore che io considero accettabile sulla mia previsione.
Complicato?
No, vedrete!

Nell’estendere i risultati dello studio del campione alla popolazione, entra un grado di incertezza.
Se lo 0,1% del mio campione ha risposto “prelevato gratuitamente via Internet”, allora posso prevedere con un certo grado di sicurezza (di solito il 95%) che più o meno lo 0,1% della popolazione risponderebbe “prelevato gratuitamente via Internet” se glielo chiedessi.
Ma quanto vale quel “più o meno”?
Incredibile a dirsi, sta a me deciderlo - e tanto più stretto sarà il margine di errore che io deciderò di accettare, tanto più grande dovrà essere il campione che andrò a studiare.

Allora, nel nostro caso, qual’è l’errore “accettabile”?
Di sicuro, dovrà essere più piccolo di 0,1%, la mia originaria percentuale di risposte.
Diciamo allora che sia un errore di più o meno 0,01% - un margine di errore del 10% sulla mia previsione.
E ora facciamo due conti…

Per essere sicuro al 95% che una percentuale compresa fra lo 0,09% e lo 0,11% della popolazione di 24.000.000 risponda “prelevato gratuitamente via Internet” dovrei averlo chiesto ad un campione di circa diciannove milioni e mezzo di persone.
Chiedo a venti milioni, e sarò relativamente sicuro che 2160-2640 persone abbiano scaricato un libro gratis dalla rete negli ultimi dodici mesi.

Questo è palesemente ridicolo: il campione è troppo grosso, allora allargo le maglie del mio metodo.
Mi accontento di un intervallo di confidenza di più o meno 0,05% (un errore del 50%) nel risultato.
Per essere sicuro al 95% che una percentuale compresa fra lo 0,05% e lo 0,15% della popolazione di 24.000.000 risponda “prelevato gratuitamente via Internet” mi basterebbe averlo chiesto ad un campione di circa tre milioni e trecentomila persone.
Chiedo a tre milioni e mezzo di persone, e sono discretamente certo che 1200-3600 persone abbiano scaricato un libro gratis da internet nell’ultimo anno.

Il campione è ancora enorme, e la mia incertezza sta crescendo.
E vada, mi accontento di un intervallo di confidenza di 0,09% (un errore del 90%) nel risultato.
Per essere sicuro al 95% che una percentuale compresa fra lo 0,01% e lo 0,19% della popolazione di 24.000.000 risponda “prelevato gratuitamente via Internet” dovrei averlo chiesto ad un campione di circa un milione e centoventimila persone.
Chiedo ad oltre un milione di persone e sono discretamente certo che 240-4560 persone abbiano prelevato gratis dei file di testo da internet nell’ultimo anno.

….

Ergo, l’affermazione che 24.000 persone hanno scaricato un testo gratis da internet nell’ultimo anno è statisticamente insignificante.
Potrebe anche essere vera - ma non abbiamo i dati per dimostrarlo.
Un campione di 54.000 individui su una popolazione di 24.000.000 di persone mi fornisce infatti un intervallo di confidenza di 0,42%.
In altre parole, sulla base delle risposte ottenute dal campione, posso affermare che un numero che oscilla fra zero e quasi 125.000 persone ha scaricato file di testo gratis dal web.
Un risultato inammissibile.
Tanto varrebe sparare numeri a caso.

Nei dati Istat sulla lettura pubblicati, qualsiasi valore inferiore all’1% porta con sé un errore troppo grande per poter essere considerato accettabile.

E qui chiudo e vado a dormire….

Tanto per complicarsi la vita

Ho appena scoperto, per puro caso, un altro pezzo di software che promette di rendere le mie giornate molto più piene di qui in avanti.

Si chiama Processing, è freeware e crossplatform, e viene descritto così dai suoi sviluppatori

Processing is an open source programming language and environment for people who want to program images, animation, and interactions. It is used by students, artists, designers, researchers, and hobbyists for learning, prototyping, and production. It is created to teach fundamentals of computer programming within a visual context and to serve as a software sketchbook and professional production tool. Processing is developed by artists and designers as an alternative to proprietary software tools in the same domain.

Un linguaggio per sviluppare rappresentazioni grafiche interattive di dati.
Per ottenere rappresentazioni come questa:

http://it.youtube.com/watch?v=OHUWTerggjE

WOW!

Il classico genere di cosa che ci si aspetterebbe dal Medialab del MIT.
Il classico genere di cosa che potrebbe far fare un salto di qualità alla mia attività di ricerca e di insegnamento.
Il classico genere di cosa che richiede sei mesi e duecento euro di manuali….
[brutta cosa, abituarsi alla manualistica gratuita di SmallTalk....]

Imparare a usare R

L’ho citato nei buoni propositi, giusto?

R è un linguaggio di programmazione orientato alla matematica in generale ed all’analisi statistica in particolare.
Si tratta di una versione open source del linguaggio S, che svolgeva la stessa funzione ma era un software proprietario (non modificabile, estendibile, distribuibile gratuitamente).
R gira sotto Linux/Unix, Windows, MacOS e quant’altro.
Lo si scarica da qui, e si comincia a penare.

Perché, di fatto, R è un software straordinariamente potente, ma tutto fuorché user friendly.
La gestione di dati ed analisi si svolge per riga di comando - come in Unix, o nel vecchio DOS.
E la gestione di dati e analisi non è facile perché, lo ripetiamo, questo è un linguaggio.

Eppure, i pro controbilanciano i contro

R è potentissimo e flessibile.
R è ben documentato.
R è gratuito (controi le svariate centinaia di euro di uns oftware statistico commerciale).
R si integra con una quantità di altri software.

Per disporsi ad imparare a domare la bestia, ecco un breve elenco del materiale consigliato…

1 . R nella versione 2.6.1
Lo si scarica dalla pagina dell’R-project e si installa seguendo le istruzioni - a seconda del sistema operativo.
E’ piuttosto voluminoso, ma modulare, perciò è possibile installare solo i blocchi che servono.

2 . Una interfaccia grafica
E’ vero che dobbiamo soffrire, ma perché esagerare?)
R Commander e JGR (pronunciato “Jaguar”) sono quelle che per ora mi hanno dato meno problemi.
Il fondamentale editor Emacs può essere utilizzato come interfaccia aggiungendo il plug-in ESS.
Per chi utilizza Linux, RGnumeric potrebbe essere interessante, poiché rende disponibile la potenza di R attraverso l’interfaccia grafica del foglio di calcolo Gnumeric sotto Gnome.
Necessita tuttavia di una quantità di lavoro sui codici sorgente.
Con un po’ d’impegno, è poi possibile utilizzare Eclipse per sviluppare progetti in R.

3 . I manuali di R e dell’interfaccia utilizzata (scaricabili dai siti relativi)

4 . Un buon manuale di base.
Io utilizzo “Laboratorio di Statistica con R”, di Stefano M. Iacus & Guido Masarotto.
Pubblicato nel 2003 da McGraw-Hill, ha il vantaggio di essere snello (meno di 400 pagine), in italiano, e svolge una doppia funzione - insegna la statistica mentre al contempo insegna ad utilizzare R.
Dovrebbe costare meno di trenta euro (considerando che fin qui tutto ilresto è stato gratis…)

5 . Uno o più manuiali di statistica, meglio se specifici per il nostro ambito di applicazione.

6 . Un quaderno a quadretti ed una matita.

7 . Due ore al giorno per un mese.

Da oggi si comincia….

Ancora numeri - i diciotto di Sprague DeCamp

Difficile restare lontano dal computer, dal blog.

Mi prendo un momento di relax e subito mi capita fra le mani il riassunto di una analisis statistica compiuta non sui libri, ma sugli scrittori, e risalente al 1953, quando Lyon SpragueDeCamp fece circolare fra i suoi amici unquestionario per cercaredi costruire l’identikit dello scrittore di letteratura d’immaginazione.

Oh, lo sappiamo, le cose sono cambiate, da allora (o no? vedremo).
Ma un’occhiata ai dati racolti da Sprague De Camp potrebbe darci qualche idea so cosa sia davvero uno scrittore di narrativa fantastica.

Il campione di Sprague DeCamp comprendeva:

• Isaac Asimov
• Leigh Brackett
• Ray Bradbury
• Edmond Hamilton
• Robert A. Heinlein
• Will F. Jenkins (alias “Murray Leinster”)
• Henry Kuttner
• Fritz Leiber
• Frank Bellknap Long
• C.L. Moore
• Eric Frank Russel
• Clifford D. Simak
• E.E “Doc” Smith
• George O. Smith
• Theodore Sturgeon
• A.E van Vogt
• Robert Moore Williams
• Jack Williamson

Diciotto colossi del genere.
Sedici uomini e due donne, di età compresa fra i trentatre e i sessantatré anni.
Tutti con educazione superiore. Due soli laureati all’epoca del questionario, ma tutti ottennero la laurea successivamente.
Otto su diciotto avevano un background scientifico.
Otto su diciotto avevano servito nell’esercito o nella riserva durante la Prima o la Seconda Guerra Mondiale.
Solo nove erano scrittori a tempo pieno, mentre fra i rimanenti nove, quattro avevano un impiego in campo editoriale e quattro incampo scientifico o tecnico.
Impossibile stabilire una media delle ore al giorno passate scivendo, in quanto nessuno teneva il conto.
“Come conteggiare il tempo passato a falciare il prato mentre si pensa alla trama di una storia?”, domanda Sprague DeCamp.
In base a stime più o meno accurate, quattro degli autori a tempo pieno scrivevano dalle 30 alle 115 ore la settimana, con una media di 54 ore.
Gli scrittori part-time scrivevano in un rangestimato dalle 5 alle84 ore la settimana, con una media di 35 (che vuole comunque dire cinque ore al giorno, tutti i giorni).

Parole prodotte all’anno: dalle settantamila alle trecentocinquantamila, con una media di 170.000 per i professionisti; dalle settantamila alle duecentocinquantamila, con una media di 123.000 per gli scrittori part-time.
Non meno del 95% dei lavori prodotti accetato per la pubblicazione alla prima proposta. 100% pubblicato entro due anni.

I tempi sono cambiati davvero?
Forse - ma 170.000 parole è la lunghezza media di un romanzo di Stephen King o di Terry Brooks, che nel ‘53 portavano i calzoncini corti.
E settantamila parole pubblicate all’anno è ancora il discriminante volumetrico per distinguere scrittori professionisti da dilettanti con l’hobby della scrittura.

Gli hobby degli scrittori studiati includono: pattinaggio artistico, pesca,suonare la chitarra, la storia naturale, pittura, fotografia, tennis e trafficare con aggeggi meccanici.
ma tutti ammettono di avere poco tempo per i propri hobby.

Unica passione comune a tutti: la lettura.

Libri letti all’anno: da 25 a 300, con una media di 125.

C’è da riflettere, vero?

Numeri - ricapitolando

In generale, possiamo ricavare alcune informazioni interessanti da tutti i grafici fatti fin qui - inclusi quelli che non ho pubblicato perché semplicemente illeggibili on-line.

Vediamo di ricapitolare.

Primo - esiste una differenza oggettiva fra fantascienza, fantasy e horror, in termini di linguaggio. Se non consideriamo quegli autori che giocano con la struttura (Fritz Leiber, che scrive The Wanderer, un romanzo di fantascienza catastrofica, usando una struttura da romanzo gotico, e Conjure Wife, un horror gotico, con la struttura del romanzo di fantascienza), possiamo generalizzare dicendo che

• la fantascienza usa un linguaggio diretto ma colto
• il fantasy privilegia un linguaggio più prolisso ma più semplice, affine (almeno in parte) alla narrazione orale
• l’horror vuole uno stile misto o sincopato, per modulare scene di quiete e passaggi ansiogeni

Esiste una discreta sovrapposizione, ma i tre campi sono ben distinti.

Secondo - i buoni autori si dividono in due categorie nette

• i serialisti, che hanno (o sviluppano) uno stile scolpito nella roccia; Stephen King, Terry Brooks o Alan Dean Foster sono buoni esempi.
• gli specialisti in “one shot”, capaci di cambiare stile ad ogni romanzo a seconda delle necessità - Fritz Leiber, T.E.D. Klein e John Crowley sono esempidi questo approccio.

I “buoni professionisti” che non ricadono strettamente in una delle due categorie, sviluppano di solito un proprio metro e vi aderiscono in maniera automatica.

Terzo - gli specialisti in storie militari hanno tutti uno stile estremamente economico (frasi brevissime e parole semplici), indipendentemente dal genere. Steven Erikson e Hugh Cook (fantasy), David Drake e Gordon Dickson (fantascienza) sembrano compagni di scuola, pur appartenendo a quattro generazioni diverse.
La scansione “da guerra” si ritrova anche nei classici di narrativa militare moderna (Inseguendo Cacciato, Quanto pesano i fantasmi, etc.)

Quarto - a partire dai tardi anni ‘70 assistiamo ad una riduzione nella diversità degli autori - soprattutto negli americani. Lo stile si standardizza su una struttura tipica (7% di parole desuete, 15 parole in media per frase) che lascia il forte sospetto che gli editor abbiano stretto le maglie della rete. Romanzi accettabili negli anni ‘50 sarebbero oggi probabilmente mandati indietro con una richiesta di riscrittura.
Ma forse è per questo che fra i vecchi lavori si trova spesso materiale molto superiore per “feeling” rispetto alla produzione contemporanea.

Quinto - la letteratura “seria” si sovrappone quasi esattamente ai tre campi “generici” e, se possibile, mostra semplicemente più varietà all’interno di un campo più ristretto - Lovecraft e Dunsany, ad esempio, sono troppo diversi da qualsiasi altra cosa per trovare dei corrispondenti nel mainstream.

E con questo mettiamo momentaneamente in pausa le analisi sulla letteratura.

Scrittore, dicono.
E allora scrivi.

Numeri - parte sesta - fantascienza o fantasy?

OK, basta giocare.
Concentriamoci sulla parte centrale del grafico, ignorando gli outliers (i punti decisamente fuori dallo schema generale).

Anche senza etichette, la porzione principale del grafico identifica due nubi di punti sufficientemente distinte.
La nube della fantascienza (blu) è relativamente stretta, i punti ravvicinati - segno di una certa consistenza di stile.
C’è un certo sgramaneto laterale (i tre outliers sulla sinistra rappresentano i “letterari” Burgess e Leiber, e l’”arcaico” Burroughs) ma in linea di massima possiamo identificare la fantascienza come un genere che frasi medio-brevi e un lessico di complessità medio-alta. La fanstascienza parla con ritmo spedito concetti complessi.

La nube del fantasy è molto più ampia - ad indicare una maggiore varietà stilistica (il che dovrebbe dare da pensare a coloro che si ostinano a identificare il genere con una manciata di autori).
In generale dominano le frasi lunghe, ma il lessico è prevalentemente meno complesso di quello della fantascienza, anche qui con alcune eccezioni notevoli. Due degli autori più importanti del fantasy contemporaneo (e quindi ignorati in Italia) Charles deLint e Hugh Cook si collocano molto in alto sul grafico - autori dal linguaggio semplicissimo: frasi brevi con poche parole desuete.

Le due nubi mostrano una certa sovrapposizione.

Ma veniamo ora a qualche dettaglio.
Guardando più vicino la nube della fantascienza, ci possiamo accorgere che almeno quattro dei titoli “fantasy” ad essa associati sono in effetti titoli dubbi…

Jack vance - il ciclo della Terra Morente è un planetray romance, e quindi è al confine fra fantascienza e fantasy

Robert Silverberg - anche Il Castello di Lord Valentine è un planetary romance

Roger Zelazny - Il Signore della Luce è a tutti gli effetti un romanzo di fantascienza che usa la forma del fantasy

Mary Gentle - come i sorpresi lettori che sono riusciti a raggiungere gli ultimi due capitoli del colosso Ash, A Secret History, nonostante l’ambientazione rinascimentale, si tratta di un romanzo di fantascienza

Due sovrapposizioni sul grafico suscitano una certa sorpresa divertita.

• La prima è la sovrapposizione di Poul Anderson e Greg Bear, due autori che hannolo stesso stile e sono in effetti parenti - suocero e genero.
• La seconda è la sovrapposizione di Michael Moorcock e Richard Adams; considerando che Moorcock definì a suo tempo che il fantasy inglese “storie di conigli scritte da conigli per un pubblico di conigli”, essere tanto vicino all’autore de La Collina dei Conigli potrebbe sorprenderlo (e probabilmente infastidirlo).

Un’altra sorpresa è il cluster di affinità, all’interno del fantasy, che lega tre autori che difficilmente avremmo immaginato simili - il Neil Gaiman di Stardust, il Carroll di Alice e nientemeno che John Tolkien con Il Signore degli Anelli.
Potremmo essere brevi e impietosi e liquidare i tre libri come volumi per ragazzi che vengono apprezzati anche dagli adulti.

Ma piuttosto, si tratta di tre volumi per adulti scritti (volutamente o meno) con una prosa da narrativa infantile.
Se avessimo anche inserito The Princess Bride, sarebbe cascata nello stesso gruppo.

Curioso che nè Terry Brooks né Guy Gavriel Kay - autori spesso accusati di essere cloni di Tolkien - compaiano nelle vicinanze del “maestro ed anzi, si vadano a collocare in posizioni molto indipendenti dagli schemi generali del genere.