Questo è lo spazio degli abitanti della Val di Non, che sono invitati non solo ad usarlo, ma anche a costruirlo.
Promosso dal Comprensorio della Valle di Non in collaborazione con Egeosrl, attraverso la Legge 285/97

 

 

Indice | Introduzione | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8

1- NOTE SUI CONCETTI DI EVALUATION E DI MISURA

1.1- EVALUATION

Il termine "evaluation", non è usato per una smania di scimmiottamento anglosassone o per supplire a quel senso di inferiorità che la cultura italiana, nella persona dei suoi "intellettuali", prova continuamente nei confronti dell'America, quasi barbari che vivono ai confini dell'impero. Anche se la traduzione letterale è valutazione, il significato è ricerca valutativa.
Si configura come una metodologia di intervento atta a rilevare fattori di "cambiamento" in una realtà in cui è in corso un intervento.
Dobbiamo a Kurt Lewin e al suo impegno per ridurre la distanza fra teoria e pratica nelle scienze sociali i primi esperimenti di ricerca-azione (action-research) e quindi anche di ricerca valutativa. La ricerca-azione è quel tipo di ricerca che non si limita alla conoscenza o alla formalizzazione del campo di studio ma tende al "cambiamento" dello stesso nel momento in cui lo studia. Gouguelin (1972) sostiene che di ricerca-azione si può parlare in modi diversi uno dei quali è un'azione di controllo dei risultati raggiunti con un intervento, cioè un'azione di verifica della differenza fra obiettivo ipotizzato e obiettivo effettivamente raggiunto. Lewin cura particolarmente questo aspetto in un gruppo di ricerche del 1946 che è rivolto ad individuare gli strumenti più adatti a valutare gli effetti di un'azione e a verificare se un'azione ha raggiunto gli obiettivi prefissati. L'Autore, sempre nel 1946, scrive, commentando un esperimento di cambiamento sui problemi di una minoranza: "Sono rimasto profondamente impressionato dall'enorme effetto pedagogico che tali incontri di valutazione ….ottenevano nel processo di addestramento", ed ancora: "Questa ed altre esperienze analoghe, mi hanno convinto che dovremmo considerare l'azione, la ricerca e l'addestramento come un triangolo che è indispensabile mantenere tale nell'interesse di ciascuno dei suoi vertici" (Lewin K., I conflitti sociali, F. Angeli, 1980, p. 257)
La ricerca valutativa ha, naturalmente, delle affinità con la ricerca in generale; si differenzia, però, da questa per le finalità che si propone e per la metodologia che utilizza. La prima finalità è quella di "misurare" la distanza che intercorre tra il "prima" e il "dopo" un progetto di intervento, cioè se e quali modificazioni sono state indotte in seguito ad un'azione specifica a livello di istituzione o di organizzazione, quanti e quali apprendimenti ci sono stati nei soggetti che hanno partecipato ad un corso di formazione etc. Seconda finaltà, ma non meno importante, è "misurare" il grado di raggiungimento degli obiettivi di un progetto, soprattutto in itinere. Terza, collegata con la seconda, è sapere da parte di tutte le componenti del progetto come sta funzionando, se il metodo è congruente con gli obiettivi, quanto tutti si stanno impegnando nella realizzazione del progetto, qual è il grado di soddisfazione; per modificare, eventualmente, ciò che non funziona nell'intervento in atto. Infine rendere un'organizzazione/comunità cosciente dei propri problemi, delle proprie risorse, capacità, potenzialità in modo da individuare, nel modo più preciso possibile, quali sono le "cose" che non funzionano, da chi dipende il cattivo funzionamento, per predisporre un piano d'azione verosimile. In altri termini, dire che un ospedale non funziona equivale a lasciare le cose come stanno, precedere invece ad una riflessione utilizzando una seria evaluation vuol dire, per esempio:

- studiare gli obiettivi generali e particolari che il servizio si propone

- segmentare l'ospedale in tutte le sue componenti organizzative

- analizzare l'organizzazione interna, i ruoli, le funzioni, i rapporti, il "clima" generale, il tipo di comunicazione, i costi monetari e psicologici, il grado di fiducia che gli operatori hanno nelle proprie capacità e in quelle degli altri

- evidenziare il tipo di rapporto con l'esterno, i collegamenti con gli altri presidi di territorio

- verificare la preparazione professionale degli operatori

- verificare il grado di soddisfazione degli utenti e degli operatori.

In sostanza, l'evaluation non si esaurisce nella "fiscalizzazione" di un programma di intervento, ma viene ad essere parte integrante dello stesso progetto, va, quindi, pensata in relazione ad obiettivi specifici e puntuali, si colloca come tappa iniziale, intermedia e finale di un progetto, lo attraversa e lo scompone in senso longitudinale e orizzontale fino a costituirne la sintesi che propone una nuova tesi.
Le variabili che sono in gioco sono sia qualitative che quantitative: se è necessario sapere quanti posti letto sono disponibili in un reparto, per rimanere in ambito ospedaliero, per soddisfare le esigenze di ricovero di pazienti affetti da un certo tipo di patologia è altrettanto indispensabile conoscere la qualità del servizio offerto. Quando si parla di qualità è intuibile come entrino in gioco parametri di tipo soggettivo. Questo è stato il grosso alibi che per anni ha impedito al problema di essere analizzato a fondo. Invece di pensare a come trattare gli indicatori soggettivi in modo che fornissero delle interpretazioni scientifiche dei fenomeni che volevano misurare, si è preferito nascondersi dietro ad alibi ideologici di tipo generale.
Questo atteggiamento di difesa o di prevenzione è anche in parte giustificato dalla letteratura sulle tecniche di valutazione che ci rimanda prevalentemente uno schema del seguente tipo: esiste un soggetto A che valuta e uno o più soggetti/oggetti B, C, etc. che sono valutati. Si pensi ad esempio alla "job evaluation" per ciò che riguarda l'industria o alla valutazione scolastica di tipo tradizionale. Scarsissimi, per non dire inesistenti, sono i contributi sulla valutazione di sistemi e organizzazioni, mentre viene approfondita da circa dieci anni a questa parte, nel nostro paese, la problematica relativa alla valutazione degli interventi formativi.
Per ridurre i rischi della soggettività nella valutazione la soluzione è far valutare uno stesso individuo da più persone, compreso se stesso.
Occorre sgomberare il campo da false remore o da difese interessate: la considerazione della sfera soggettiva o di variabili attinenti la persona e il "carattere" è una costante presente in qualunque scienza che si occupa dell'uomo e delle sue relazioni. Non solo, la soggettività del giudizio e, quindi, la determinazione delle sue conseguenze è un fatto acquisito all'interno del "contratto sociale" che regge le nostre comunità e, molto spesso, non scandalizza nessuno.
Le scienze "fisiche" hanno da tempo affrontato la questione soggettivo-oggettivo e ne hanno tratto progressi ed avanzamenti. In realtà l'obiezione che definisce la sfera soggettiva come non suscettibile di indagine scientifica è ingenua e ormai superata. Semmai, più interessante sarebbe porre la questione sul piano, squisitamente scientifico, della definizione del termine soggettività. A quale concetto di soggettività si fa riferimento quando si solleva questa obiezione? Ci troviamo in un mondo scientifico "alla Popper", in cui tutto è inconoscibile ed esistono solo teorie che "funzionano" (per un po') e altre che non sono vere perché non funzionano? Oppure facciamo riferimento all'intricato rapporto di interazione dialettica fra la realtà e il suo processo di conoscenza, tipico dell'epistemologia marxiana? Oppure, ancora, siano nell'ipotesi, così suggestiva, delle "immagini mentali" che i sistemi hanno di sè stessi, che ritroviamo alla frontiera dell'analisi sistemica?
Non possiamo approfondire qui questo tema. Preferiamo affrontare il "nocciolo" della questione: se le determinazioni di alcune variabili attengono la sfera soggettiva e se queste variabili devono essere oggetto di studio nasce immediatamente il problema della loro descrizione logica, della loro rappresentazione matematica, quello che molto spesso viene erroneamente confuso con un problema di "misurazione". Si incontra una notevole confusione nella letteratura di carattere psicologico in merito a questo tema. La linea prevalente è tuttavia quella che opta per una definizione riduttiva del concetto di misura vista come "assegnazione di numeri ed oggetti o eventi secondo talune regole" (Stevens L. citato da Spaltro E. in : Bruscaglioni M. e Spaltro E. -a cura di-, La psicologia organizzativa, F. Angeli, Milano, 1982, p.53), il che porta ad enunciare uno strano teorema della misura, valido solo in campo psicosociale, secondo il quale "non ha più senso la tradizionale associazione misura-quantità, ma solo l'associazione misura-trattabilità" (Spaltro E., Bruscaglioni M. e Spaltro E. op. cit., p. 52)
Questo punto di vista è riduttivo ed illusorio per due ordini di motivi: è riduttivo perché, pur di non affrontare i problemi di quantificazione che ogni misura (oggettiva o soggettiva) implica, si preferisce adottare la scappatoia di definire la misura come semplice rappresentazione simbolica di oggetti, concetto che semmai può rientrare nella definizione di numerazione, cioè di una "conta" di elementi. È illusorio perché qualunque trattamento numerico presuppone implicitamente definizioni di quantità e di relazioni fra quantità. Tuttavia a prescindere dal metro individuale che ciascuno usa al suo interno (poniamo ad esempio di misurare il livello di soddisfazione), ogni persona ha dentro di sé il concetto di soddisfazione "minima" e del suo contrario. Certamente le sensazioni effettive, reali che corrispondono a questi limiti estremi variano da persona a persona, tuttavia tutti hanno in comune il fatto che questi limiti esistono e che, salvo casi particolarissimi, il livello di soddisfazione provato si colloca all'interno dell'intervallo delimitato da questi estremi. Si intravede qui un modo per cominciare a "mordere" il problema della misurazione: se dividiamo questo intervallo in un certo numero di parti (numero uguale per tutti) e chiediamo in quale di queste parti cade il livello di soddisfazione provata in un certo momento, abbiamo un primo criterio di misurazione confrontabile per tutti gli individui, siamo cioè riusciti ad uscire dalle strettoie dei metri individuali. È' questo un primo livello di misurazione, ancora molto limitato, ma intanto ci consente di utilizzare, senza distorsioni, buona parte degli strumenti e delle elaborazioni di sintesi che la statistica descrittiva offre: percentuali, medie, cambiamenti di scala, visualizzazioni grafiche, etc..

A livello metodologico l'evaluation non può prescindere dalle seguenti condizioni:

- la partecipazione diretta di tutti i soggetti coinvolti nel progetto o nell'organizzazione che si vuole valutare

- l'utilizzazione programmata delle informazioni che si sono raccolte.

A proposito della prima condizione, è improponibile, dati i presupposti dell'evaluation, pensare ad un processo valutativo fatto "su" qualcuno: bisogna pensarlo sempre fatto "insieme" a qualcuno. Il "qualcuno", ovviamente, sono i soggetti interessati al sistema che si vuole valutare. Per quanto riguarda la seconda condizione (programmare l'uso delle informazioni) è assolutamente inutile socialmente, e questa è una valutazione soggettiva non condivisa, raccogliere dati, opinioni, percezioni, etc. per farle rimanere in un cassetto o per incrementare le pubblicazioni degli accademici con la sola finalità di "fare punti" per i concorsi di cattedra. È nello spirito della ricerca-intervento il "conoscere" non solo per "sapere" ma per "cambiare" attraverso il sapere. Quando si procede all'evaluation di un'iniziativa vanno pensati, a livello di progettazione, i tempi e i modi di "restituzione" in base agli obiettivi che sia l'iniziativa che l'evaluation di quella iniziativa si prefiggono.

1.2- MISURA E CONVENZIONE

"Dicesi misurazione di grandezze, nel senso più generale, qualsiasi metodo con cui si stabilisca una corrispondenza univoca e reciproca tra tutte o alcune, grandezze di un dato genere e tutti o alcuni numeri." (Russell , The Principles of Mathematics, 1903).
È piuttosto chiaro che posto in questi termini il problema della misura si allontana dalle motivazioni della sua nascita che sono eminentemente pragmatiche e tende ad assumere i contorni di uno strumento volto unicamente ad assicurare la replicabilità degli esperimenti scientifici, la verifica o la falsificazione di modelli a cui si fa riferimento per misurare.
Tuttavia questa concezione riduttiva del concetto di misura ha numerosi limiti:
1) Esclude una gran parte di fenomeni che da sempre sono oggetto di misura. In particolare tutto ciò che ha a che fare con le relazioni sociali che caratterizzano l'individuo e tutto ciò che concerne la sua sfera individuale. Non parliamo poi di qualsiasi concetto astratto non direttamente osservabile, la razionalità, l'intelligenza, la felicità, il benessere, la competenza, l'abilità. Ma anche la massa di un elettrone, la velocità di un fotone, la traiettoria di una particella sub-atomica. L'elenco potrebbe continuare a lungo accomunando i fenomeni per i quali, al massimo possiamo osservare solo gli effetti, e quindi possiamo misurare solo indirettamente e a prezzo di convenzioni piuttosto ardue da accettare.
La concezione "ufficiale" di misura non contempla questa tipologia di grandezze, seppure, non sempre in maniera esplicita, esse vengono considerate non misurabili direttamente o non misurabili tout court.
Non tiene conto del modo più antico di misurare, quello che consiste nell'individuazione e nel conteggio di oggetti simili. Il passo in avanti compiuto dal primo uomo che ha cominciato a riconoscere come simili più "cose" le ha contate e ha inventato un simbolo per rappresentare tutto questo processo, ha consentito un balzo in avanti di anni luce nel processo di conoscenza e dominio del mondo. In quell'atto ardito e, forse, in quel momento non indispensabile per la sopravvivenza c'è la stessa valenza evoluzionistica del passaggio dalle quattro alle due zampe. L'uomo che esplora la vertigine del pensiero astratto, del concetto senza corrispondente fattuale visibile traccia un cammino che stiamo ancora percorrendo. Misurare vuol dire riconoscere eventi simili, o assimilabili secondo un qualche criterio, riconoscere una unità elementare minima e contare quante volte quella unità è contenuta nell'insieme di elementi simili che stiamo osservando. Come è evidente, c'è una notevole componente di arbitrarietà in tutto questo modo di procedere.

Cosa vuol dire eventi "simili"?
Il concetto di somiglianza è sfuggente, o meglio dipende dal contesto e dall'obiettivo che ci si pone. In certe circostanze, tutto è simile a tutto, in altre ogni cosa è un unicum. La categoria "essere umano" ha un senso se contrapposta con animali, piante, minerali, tuttavia se si ha interesse alle caratteristiche anatomiche, allora la distinzione maschi e femmine diventa rilevante. In altri contesti vecchi e giovani sono importanti, e così via.
Il criterio con cui classifichiamo i diversi aspetti della realtà è intimamente connesso al nostro livello di conoscenza della stessa e alle finalità di intervento sul reale che ci poniamo in quel momento. Nelle nostre misure c'è, in questo senso, la nostra concezione del mondo, delle regole che lo governano e l'espressione di una intenzionalità di conoscenza quando non addirittura di intervento e cambiamento.

Cos'è una unità elementare minima?
Quesito ancora più difficile del precedente, siamo quasi di fronte a un quesito ontologico metafisico che ci chiede di determinare i confini dell'individualità, siamo spinti alla ricerca dell'atomo, dell'invisibile, del livello minimo a cui ancorare tutto il nostro sapere. Ovviamente non vi è risposta, o meglio, ancora una volta la risposta è una scelta legata al divenire storico e quindi al momento e ai protagonisti che sono chiamati a compierla. Tuttavia la divisione delle nostre esperienze in moduli più o meno simili ( il termine ricorre ancora) che tendono a ripetersi è ormai inscritta nel nostro codice genetico. Il ritmo di alternanza luce-buio che da sempre caratterizza la nostra permanenza sul pianeta terra, è ormai parte di noi e non vi è incertezza nel definire un periodo di tempo come una ripetizione di un certo numero di albe e/o tramonti, così come la semplice constatazione che la forza di un certo numero di individui è sommabile (sia pure con qualche accorgimento particolare) ci ha regalato capolavori architettonici come le piramidi. Costruire delle classi di oggetti simili e contare gli oggetti all'interno delle classi è dunque al tempo stesso unire e dividere, esaltare alcuni tipi di diversità e trascurarne altri, capire ciò che unisce e al tempo stesso definire ciò che diversifica, capire il significato profondo e rivelatore della regolarità delle nostre esperienze senza perdere di vista la sostanziale unicità di ciò che avviene nel momento in cui avviene.
Forse l'essenza del nostro processo di conoscenza e governo della realtà sta tutto in questa indissolubile dicotomia. Il salto vero e significativo avviene quando si coglie (o si ipotizza) la ripetibilità di alcune parti del reale anche in condizioni di diversità assoluta di contesto. E questa regolarità non è forse unicamente atto mentale, astrazione razionale che osservando mille mele diverse cadere da mille alberi diversi in mille paesi diversi ha l'ardire di immaginare che ciò che fa cadere tutte quelle mele è la stessa cosa? Vista in questo modo l'avventura della conoscenza appare come un miracolo: le leggi scientifiche, le relazioni tra eventi, i modelli su cui è fondata la nostra vita, la nostra tecnologia e il nostro benessere non sono altro che coraggiose astrazioni che rinnegano la fattualità singolare, identificano (inventano?) una realtà replicabile, prevedibile, utilizzabile.
In questo contesto non stupisce che la misura si proponga con prepotenza ogni volta che instaura una relazione di qualche tipo tra concetti o tra soggetti, essa ha il compito di assicurare a condizioni accettabili la replicabilità e la scambiabilità nel tempo e nello spazio di ciò che permane al di là di ciò che muta. È la garanzia che ciò di cui stiamo parlando o ciò che ci stiamo scambiando ha una qualche collocazione regolare nella scala delle nostre esperienze e nelle astrazioni razionali che su quelle esperienze abbiamo operato.
Dovrebbe essere piuttosto evidente a questo punto, perché qualsiasi misura richiede una convenzione. Nel senso che implica l'esistenza non solo di un patrimonio esperienziale comunicabile e partecipato, ma richiede addirittura la presenza di una serie di costrutti logici, di astrazioni razionali comuni. Di più, richiede un certo livello di accordo di una certa rappresentazione del mondo, delle leggi che lo governano, delle relazioni sociali, della dialettica che governa il contratto sociale. Se non fossimo d'accordo (coscientemente o no, cioè come singoli o come corpo sociale) su una certa versione della legge di gravità, non potremmo fidarci di alcuna bilancia.
Questo livello di convenzione è talmente radicato, che molto spesso viene dato per scontato, tuttavia una certa parte delle istituzioni che abbiamo creato e che paghiamo ha il compito di garantire che i metri e i pesi che usiamo quotidianamente siano conformi a quelli che la convenzione ha stabilito. In ogni comune italiano esiste un ufficio "pesi e misure" che ha questo compito e ogni metro o bilancia in uso è marcata per garantire la congruità. Questo tipo di convenzione ha dunque un senso profondo, non è semplice contratto tra le parti, implica un riconoscimento esplicito di una parziale visione comune che consente l'interazione e lo scambio.

In questo senso non stupisce che alcune cose siano considerate non misurabili, non nel senso che una qualche loro proprietà intrinseca ne vieta la quantificazione, ma nel senso che su queste cose non vi è un livello convenzionale giudicato accettabile, non vi è un sufficiente vissuto esperienziale comunicato né un adeguato livello di astrazione razionale tale da rendere possibile l'accordo.

1.3- LA MISURA DEI FENOMENI PSICOSOCIALI

Ma perché tanto accanimento pro e contro la possibilità di misurare? Perché questa un po' ridicola radicalizzazione dello scontro?
I motivi sono paradossalmente gli stessi. Chi rifiuta qualsiasi misura in realtà rifiuta la possibilità di ragionare in termini di generalità (il che non è un peccato), ma come conseguenza rifiuta la possibilità di confrontare situazioni diverse ( il che è un peccato veniale), ma soprattutto, rifiuta che si possa ragionare su un metodo, cioè sul modo di affrontare i problemi psicologici, e che questi possono essere valutati (il che è un peccato mortale). Provocatoriamente, chi rifiuta la misura nega la possibilità che possano essere dati giudizi sul suo modo di procedere. Ad esempio, quale valutazione di un metodo di cura psicoanalitica è possibile pensare se i casi in cui viene utilizzato sono per definizione unici e irripetibili? Come posso capire se il metodo funziona o no se ogni volta mi viene negata la possibilità di un riferimento temporale precedente o futuro? Di più, che senso ha parlare di un metodo nel quale ciò che avviene ora è del tutto svincolato da ciò che è avvenuto e da ciò che avverrà? Quale giudizio posso dare di due persone che usano metodi diversi? Quale devo scegliere e sulla base di quali considerazioni?
Sull'altro versante, fra i misuratori ad oltranza, si annida lo stesso sogno di spersonalizzazione che animava prima Newton e poi Lagrange secondo i quali tutto il futuro e il passato sono già inscritti nel mondo presente, e l'unico problema che rimane è di trovare i giusti strumenti per leggere. Tutta l'attenzione viene spostata sulla supposta perfezione degli strumenti da utilizzare che sarebbero in grado, se ben costruiti, di mettere in luce tutte le informazioni rilevanti e, perché no? anche di suggerire i comportamenti più adatti. Il peccato è di altro segno ma appartiene alla stessa famiglia che fa perno sulla deresponsabilizzazione del soggetto che opera e ricerca: nel primo caso si rifiuta la possibilità di valutare, nel secondo si dice che la valutazione è solo un problema di strumenti.
Per fortuna la maggioranza degli studiosi stessi si colloca a metà fra queste due schiere l'una contro l'altra armate, e tenta con tutte le sue scarse forze di definire di volta in volta convenzioni locali, accordi limitati nel tempo, vie di comunicazione intersoggettiva che consentano di andare avanti sulla strada della conoscenza dei fenomeni psicosociali. Questa è l'unica strada praticabile, anzi è quella che da sempre ha consentito il diffondersi di una qualche forma di conoscenza delle cose ed è quella sulla quale è possibile incontrare altre discipline anche loro alle prese con gli stessi problemi.
Allora ogni volta che ci si trova a un qualche tentativo di misurazione e quindi di modellizzazione di un fenomeno psicosociale la domanda da porsi non è quanto sia rigorosamente scientifico l'atteggiamento di chi la propone o quali test siano stati impiegati per validare questo o quello strumento. Queste domande vanno poste e con forza, ma prima occorre ragionare circa i termini del contratto intellettuale che ci viene proposto, su quali siano le strade che una tale comunicazione intersoggettiva può aprire, su quale livello di interazione prima impossibile si può ora realizzare. In una parola occorre essere disposti a rischiare un po' e mettere in gioco le proprie idee e le proprie convinzioni, al limite cambiare la propria concezione del mondo.
Alla fine di questa frettolosa panoramica sui problemi connessi alle misure quello che ci troviamo in mano non è molto, o meglio non è nulla che riguardi criteri di rassicurazione esterna a noi.
La scelta rimane unicamente e dolorosamente responsabilità nostra. Il problema non è se qualcosa sia misurabile o no, il problema è se noi riusciamo a dare di quella cosa una rappresentazione tale da poter essere comunicata ad altri e se questa comunicazione è per gli altri interessante. Pensare a qualcosa di nuovo è difficile; pensare a qualcosa di nuovo che sia anche utile è molto difficile, ma convincere gli altri che lo sia effettivamente comporta un rischio personale spesso molto alto.
Ma non è evitando questo rischio che riusciamo a costruire qualcosa.