In aula. «Prof, ha funzionato il Jobs Act?» «Non lo so» «Allora, prof, se non lo sa neanche lei, non ce lo chiede nella verifica, vero?» «No, non ve lo chiedo. Vi chiedo perché Heckman ha ricevuto il Nobel. » «C’entra, prof?» «C’entra».

Quando la risposta giusta è: ”Non lo so”

Non si valuta un provvedimento di politica economica confrontando un “prima” con un “dopo”. Per stabilire la causa del miglioramento o del peggioramento della situazione, il confronto dev’essere tra un “fattuale” e un “controfattuale”, cioè tra due gruppi di individui simili in tutto e per tutto tranne che per il fatto che gli uni sono stati esposti agli effetti del provvedimento e gli altri no (Heckman 2000).

Il confronto nel tempo non prova la causalità. Potrebbe non essere merito della politica se la situazione migliora, e potrebbe non esser colpa della politica se la situazione peggiora: nel primo caso, le cose potrebbero andare meglio anche senza l’intervento; nel secondo caso, la situazione potrebbe essere ben peggiore in assenza della politica.

Facciamo un esempio

Nel 2007, una grande azienda ha avviato un programma per aumentare la rappresentanza femminile in posizioni di vertice, coinvolgendo 100 donne dirigenti in un progetto volto a favorirne la promozione ad un livello d’inquadramento superiore. Nel 2010, 40 delle 100 partecipanti avevano ottenuto un avanzamento di carriera. Si può affermare, in base a questo risultato, che la politica per aumentare il numero di donne in posizione di leadership abbia avuto successo?

No, non si può. Manca il controfattuale. Non possiamo valutare gli effetti del trattamento senza tener conto del fatto che alcune di quelle partecipanti (o molte, o forse tutte) avrebbero potuto ottenere la promozione anche in assenza di questa politica.

Ci sono metodi statistici, per la stima del controfattuale. Ci sono ricerche che li applicano, per valutare gli effetti di un provvedimento. Non è una questione di ottimismo (40 in più è meglio di niente) o di pessimismo (40 sono troppo poche), è una questione di metodo; anche con una percentuale di successi più elevata, la risposta giusta (in assenza del controfattuale) sarebbe comunque: ”Non lo so”.

Il punto cruciale non è fare una previsione che si rivela essere giusta “dopo”, ma farla giusta in modo non casuale.

C’era una volta un mago che si attribuiva la capacità di prevedere il sesso dei nascituri. Faceva le sue previsioni per denaro, offrendo, a garanzia del suo talento, la restituzione del compenso in caso di errore. E naturalmente, nei secoli bui della superstizione, guadagnava bene.