di  -  lunedì 16 aprile 2012

Il post odierno riprende il tema descritto nelle ultime settimane ed affronta una questione sollevata nei vari commenti, ovvero quali sono gli indici utilizzati per la valutazione della ricerca e dei ricercatori e quali sono le caratteristiche di pregio ed i limiti di questi strumenti.

VALUTAZIONE DELLA QUALITÀ

La necessità di valutare qualitativamente la ricerca scientifica si basa sul corretto fondamento che, laddove vengano impiegate risorse (soprattutto pubbliche), sia necessario evidenziare i risultati di tali investimenti con criteri che identifichino sia la qualità del singolo risultato, che del ricercatore nel complesso della sua produttività.

Il dibattito che ne scaturisce è ovviamente complesso ed articolato in quanto, se sulla necessità di valutare i risultati è difficile individuare soggetti che non ritengano questa fase necessaria e doverosa, dall’altra parte è estremamente difficile definire i criteri oggettivi sui quali basare le valutazioni.

Questa necessità, esaltata dal bisogno di individuare criteri oggettivi ben definiti, ha portato alla definizione di vari parametri che caratterizzano sia le pubblicazioni che il contesto nel quale esse vengono presentate.

LA QUALITÀ IN UN INDICATORE

Rivolgendo l’attenzione verso qualcosa di oggettivo e definibile in maniera chiara ed univoca, è abbastanza scontata la soluzione del problema mediante la definizione di alcuni indici tra i quali, i più noti ed importanti sono sicuramente l’Impact Factor per quanto riguarda “la sede” della pubblicazione (ovvero la rivista oppure la conferenza) ed il Citation Index per quanto riguarda la pubblicazione stessa (e quindi l’autore o gli autori), oppure qualche altro indicatore che svolga una funzione analoga.

Nella giungla dei possibili indicatori utilizzabili nessuno di questi è scevro di problematiche, in particolare risulta difficile tenere conto al tempo stesso della produttività scientifica (numerosità delle pubblicazioni) e del valore delle stesse (desumibile dal livello di citazioni ottenute per ogni pubblicazione), pertanto si è fatto strada anche il cosiddetto h-index (Indice di Hirsh), il quale è definibile come segue:

considerato il numero delle pubblicazioni di un autore ed il numero di citazioni ricevute, l’indice di un ricercatore vale h se h dei suoi articoli pubblicati in N anni (Np) hanno ottenuto almeno h citazioni ciascuno, ed i rimanenti (Np – h) articoli hanno ricevuto meno di h citazioni ciascuno.

E’ evidente come tale indice punti a tenere in considerazione nel suo complesso la produzione scientifica di un autore piuttosto che privilegiare un singolo lavoro estremamente citato, ma d’altra parte non rende così oggettivo il giudizio, inoltre se si applicasse tale sistema a lavori scientifici fondamentali del passato si potrebbero ottenere risultati non in linea con l’importanza stessa di tali ricerche e ricercatori.

Un metodo molto utilizzato nei paesi anglosassoni (ma non solo) è invece quello della valutazione delle istituzioni e dei gruppi di ricerca attraverso un panel internazionale di esperti, i quali eseguono un’analisi della produzione scientifica nel suo complesso ed esprimono il giudizio su di essa.

CHI STABILISCE GLI INDICI?

Se i problemi relativi alla definizione degli indici per valutare la ricerca sono piuttosto complessi, e per certi versi insoluti (e forse insolubili in maniera completamente soddisfacente), una discussione non meno importante è quella relativa a chi valuta l’importanza delle riviste e delle conferenze, e stabilisce di conseguenza il valore dell’indice di importanza delle stesse, ovvero l’Impact Factor (IF).

Purtroppo tale indice viene stabilito non da una organizzazione indipendente (per quanto spesso, anche in altri ambiti, organizzazioni indipendenti sulla carta non lo siano poi nei fatti), bensì da una società privata attiva nel settore dell’informazione, ovvero la Thomson-Reuter.

Questa organizzazione pubblica annualmente il Journal of Citation Report (JCR), contenente il numero di citazioni di un elevato numero di riviste delle tante discipline scientifiche esistenti, dati al partire dai quali viene valutato l’IF.

L’IF viene calcolato mediante il rapporto tra tutte le citazioni ottenute dalla rivista in un dato anno a partire da articoli pubblicati nel biennio precedente, diviso il numero totale di articoli pubblicati dalla rivista esaminata in tale biennio.

Sebbene nel JCR siano catalogate una grande quantità di riviste scientifiche, queste non sono né la totalità né tanto meno quelle più rappresentative in tutti i casi, in quanto possono esistere (nel mio campo un esempio sono le pubblicazioni della SAE – Society of Automobile Engineers) riviste dotate di peer review e di comitati scientifici di assoluto rilievo internazionale, che per motivi di incostanza nella pubblicazione dei fascicoli piuttosto che di altri fattori non scientifici sono escluse dal JCR.

Inoltre molte riviste “border-line” che si occupano di settori innovativi della ricerca poco coperti dalle riviste più tradizionali, possono non trovare sufficiente visibilità in quanto gli autori degli articoli, per motivi legati alla necessità di pubblicare su riviste di maggiore valore possibile (l’IF delle riviste sulle quali si pubblica è diventato uno dei parametri più importanti nei concorsi), finiscono per pubblicare su un numero ristretto di riviste diventando così una sorta di comunità auto-referenziante nelle citazioni.

Un ulteriore punto da evidenziare è l’elevata variazione dei valori di IF spostandosi tra i vari settori scientifici, anche prossimi tra loro, ma che in sede concorsuale si sovrappongono, creando delle situazioni svantaggiose per un ricercatore rispetto ad un altro, variazione che evidenzia la necessità di normalizzare tale parametro.

LIMITI E CRITICHE SUL SISTEMA DI VALUTAZIONE

Tra i limiti evidenziati da molti autori (è importante sottolineare che la stessa Thomson-Reuter sconsiglia l’uso dell’IF come parametro unico per giudicare il valore delle pubblicazioni di un ricercatore) vi sono sicuramente quelli già evidenziati nel paragrafo precedente riguardo l’inserimento o meno nel JCR di alcune riviste piuttosto che altre, e quelli legati all’impossibilità di mettere insieme riviste settorialmente differenti considerandole tutte con un indice non pesato, oltre che sulla difficoltà di valutazione dei settori di ciascuna rivista (le ricerche spesso e volentieri sono difficilmente circoscrivibili in un solo settore).

Oltre a questi limiti ed alle conseguenti critiche, bisogna aggiungere che la valutazione di un lavoro su parametri legati alle citazioni non corrisponde automaticamente (e spesso nemmeno proporzionalmente) alla qualità e valore del lavoro, in quanto i lavori citati sono molto spesso quelli degli autori più noti, ed in certi casi si assiste ad un vero e proprio “scambio di cortesie” provvedendo a citare colleghi che a loro volta citeranno, oppure addirittura situazioni nelle quali in fase di peer review (seppure anonima) vengono segnalate mancanze nelle citazioni riguardo ai lavori di questa o quella Università/Istituto, segnalazioni che sono in molti casi facilmente riconducibili ai lavori di una determinata cerchia di autori alla quale appartiene il revisore anonimo.

Un ulteriore punto da evidenziare consiste nel livello di fama di un autore nel panorama scientifico internazionale, in quanto al giorno d’oggi l’aumento esponenziale delle pubblicazioni porta con se un’enormità di materiale che ogni ricercatore dovrebbe leggere (cosa impossibile, nemmeno se fosse l’unica occupazione del ricercatore) per essere a conoscenza di ogni dettaglio di quanto pubblicato nel proprio campo di interesse, pertanto ogni autore avrà la tendenza a leggere principalmente i lavori dei gruppi più prestigiosi e conosciuti favorendo le loro citazioni e tralasciando lavori simili ma meno visibili, pertanto l’aumento di citazioni di un autore potrà essere influenzato anche da questi fattori.

Sebbene il sistema basato sugli indici sia ricco di problemi, anche una valutazione basata sul panel di esperti non ne è esente, infatti anche in questo caso possono venirsi a creare dei rapporti di collaborazione tra le parti che possono influenzare la totale obiettività, oppure più semplicemente si può valutare positivamente un gruppo in quanto, a parti invertite (in fin dei conti per ogni settore è difficile individuare un elevato numero di esperti prestigiosi) non si vuole correre il rischio di valutazioni negative.

Se da tutto ciò appare difficile valutare la ricerca, questo non significa che se ne debba fare a meno (sarebbe una cura peggiore del male), ma è evidente che nessun indicatore deve venire preso come metro di giudizio in maniera eccessivamente rigida, perché se confrontare due ricercatori con lo scopo di individuare il migliore basandosi su un numero è impossibile, dall’altra parte è ovvio che utilizzando questi strumenti (e possibilmente migliorandoli) è possibile individuare se un ricercatore risulti attivo oppure non attivo nella ricerca, così come valutare la qualità globale di un gruppo senza dovere però stilare una classifica rigorosa.

Con questa discussione sulla valutazione della ricerca si conclude il post odierno, vi rinnovo il consueto appuntamento a lunedì prossimo, sempre su AppuntiDigitali, sempre con la rubrica Energia e Futuro.

6 Commenti »

I commenti inseriti dai lettori di AppuntiDigitali non sono oggetto di moderazione preventiva, ma solo di eventuale filtro antispam. Qualora si ravvisi un contenuto non consono (offensivo o diffamatorio) si prega di contattare l'amministrazione di Appunti Digitali all'indirizzo info@appuntidigitali.it, specificando quale sia il commento in oggetto.

  • # 1
    A.C.
     scrive: 

    O bravo il nostro serra…
    ———————
    Citandolo in una mia tesi o facendolo citare da un mio prof potrei innescare un processo virtuoso tipo Catena di sant’Antonio di citazioni e potrei quindi contribuire a renderlo un illustre sapiente ed illuminato….

    è un po come avviene in facebook e simili che a forza di amicizie di amicizie è possibile avere pure migliaia di contatti, pur non avendo molto da dire, ma solo per il gusto di veder crescere la propria notorietà!

    Bhe se questi sono i criteri di valutazione, ora capisco perché i prof sono fissati con le citazioni delle fonti… e sopratutto, ho notato che volentieri citano chiunque gli capita a tiro, in questo modo aumentano le proprie probabilità di essere citati….

    Insomma diciamo che la citazione dovrebbe essere un parametro che indica la bontà della propria ricerca… ma a furia di citazioni le ricerche risultano solo dei furbi, tediosi ed inutili copia ed incolla… certo è vero che le fonti devono essere citate, ma la ricerca vera si fa in prima linea sotto il tiro incrociato di teorie comprovate e sperimentazioni spesso azzardate…. è ANCHE VERO che sono pochi i campi dove le scoperte scientifiche sono innovative e rivoluzionarie…

    Diciamo in altro modo…

    Galileo Galilei fu il primo a mettere in discussione le citazioni classiche che mettevano la terra al centro dell’universo.

    Darwin studio e descrisse l’evoluzione della vita, ma lo fece senza citare nulla di precedente… visto che prima si pensava che Adamo ed Eva fossero davvero stati i primi uomini creati da un certo Dio…

    Insomma la ricerca scientifica avanzata non può basarsi su citazioni… ma su prove e riprove confutabili da sperimentazioni fatte sul campo e spesso neanche ben chiare negli intenti, ma pur sempre lontane da schemi consolidati e spesso costellate da scoperte epocali fatte per puro caso o coincidenza fortuita, ma che sicuramente potrebbero sfuggire ai più distratti, mentre chi analizza e confuta dati sperimentali al di fuori dagli schemi, se non vi sono stati errori di valutazione, forse ci potrebbe essere un nuovo concetto scientifico da formalizzare.

    Certo che nelle ricerche storiche esiste spesso il balletto delle citazioni, ma se queste sono strumentali a tracciare un percorso di una nuova scoperta … come una tomba, un rudere, una città sepolta… ecc… tutto è lecito, l’importante è che alla fine vi sia un vero risultato, altrimenti è tutto puro virtuosismo accademico tanto sterile quanto inutile alla societa e all’economia dell’intero paese…
    Quanti inutili libri sono stati scritti sulla Gioconda?
    Quante inutili diete ci sono? e quante funzionano davvero senza un adeguato esercizio fisico?

    Bhe diciamo che la valutazione della ricerca è molto più semplice se si guardassero i risultati reali concreti e duraturi che produce nella società e nella comunità scientifica.

    Certo è vero che la citazione porta ad avvalorare l’importanza scientifica di una scoperta… come ad esempio quando parliamo di un determinato argomento e necessariamente dobbiamo agganciarci a determinati postulati … esempio?

    Come mai le navi di acciaio stanno a galla?
    Risposta… non chiedetelo a Schettino! Ma, semmai ad … Archimede… !
    —————————————————————–
    In questo caso la citazione è pura nozione e tributo storico, ma lungi dall’essere banale ripetizione mnemonica, anzi ci riporta al punto di partenza… e quindi, per la ricerca cosa conta di più, la citazione, o l’osservazione attenta e la sperimentazione personale dei fenomeni?
    Poi se qualcuno prima di noi, questi fenomeni, li ha già osservati e descritti, meglio allora citarli prima che ci ritroviamo a scoprire di aver scoperto l’acqua calda e far la figura dei babbei…
    ————–
    Concludo:

    Quindi se un testo (non didattico, non storico) è pieno di citazioni senza nessun punto di novità, possiamo pure leggerlo, ma poi cestinarlo assieme all’inutile autore!

  • # 2
    fornost
     scrive: 

    Gran bell’articolo!
    Personalmente credo che il grande problemi di questi indici è che, nel momento stesso in cui vengono utilizzati a scopi valutativi (vuoi per la carriera di un ricercatore, vuoi per l’accesso a finanziamenti), diventano una “linea guida” della ricerca.

    Quantomeno questo è quello che vedo nel campo della Psicologia. Da una parte, la rivista che vuole un impact factor più alto limita al minimo gli articoli di ricerca pubblicati, concentrandosi maggiormente su editoriali, rassegne che possono rientrare al numeratore dell’IF ma, non essendo articoli di ricerca, non rientrano al denominatore.
    Dall’altra, l’indice h porta i ricercatori a concentrarsi sullo stesso argomento per potersi auto-citare e, come giustamente si intuisce nell’articolo, ad avvantaggiare quei grandi gruppi che possono produrre numerosi articoli che si citano a vicenda.

    L’insieme di queste due cose, purtroppo, sta portando la Psicologia ad “incancrenirsi” su argomenti triti e ritriti, nel nome della citazione. Gli argomenti innovativi, spesso, trovano poco spazio sulle riviste “importanti”, per il semplice fatto che se quel filone di ricerca non è di moda, riceverà nel breve periodo poche citazioni e l’impact factor della rivista ne risentirà.
    Allo stesso modo ne risentirà l’indice h dell’autore, che verrà poco citato.

    Sarei curioso di sapere se questa situazione si riscontra anche in altri ambiti del sapere!

    Tuttavia, anche io ritengo che si debba assolutamente insistere sui parametri per valutare la ricerca, ma non condivido quelli attuali!

  • # 3
    Simone Serra (Autore del post)
     scrive: 

    @ A.C.

    Bhe diciamo che la valutazione della ricerca è molto più semplice se si guardassero i risultati reali concreti e duraturi che produce nella società e nella comunità scientifica.

    Il problema è che i risultati spesso si apprezzano dopo molto tempo, mentre la valutazione della ricerca la si deve fare al presente

    @fornost

    Sarei curioso di sapere se questa situazione si riscontra anche in altri ambiti del sapere!

    purtroppo è una tendenza sviluppata in (credo) tutti i campi della ricerca

  • # 4
    A.C.
     scrive: 

    @Simone Serra

    Grazie per la citazione e la risposta che pur breve e liquidatoria mi confermi che:
    —————-
    La ricerca si fa nel presente!
    —————-
    ti rispondo:
    Ok va bene… Capito!
    —————
    ma la Pazienza e la visione del futuro è una grande virtù!
    —————
    Poi:
    Il sistema delle “citazioni” pare simile alle classifiche dei siti + kliccati… in testa ai siti ci sta sempre il porno! Non oso immaginare simil cosa per la ricerca… ma chi sa ….

    Guardiamo il presente!
    Va bene, certo che va bene, ma poi dopo la citazione, dopo i finanziamenti, dopo i riconoscimeti accademici, dovrebbe esserci una valutazione … diciamo di “conguaglio” che dopo 5-10 o 15 anni, valuta il reale ritorno economico sociale, civile delle ricerche sostenute, e si dovrebbe chiedere una sorta di risarcimento a quelle risultate sterili ed inutili, in favore delle nuove ribeche + promettenti che nel frattempo si stanno affacciando e/o promettono bene! Così potrebbe crearsi un riconoscimento auto-finanziamento auto-correttivo che riparerebbe errori di valutazione passati ridistribuendoli alle future ricerche, e che magari reinvestisse pure nelle ricerche più fruttuose, lasciando il mondo delle citazioni autoincensatorie al solo meccanismo di partenza di una più complessa e completa valutazione.

    Infatti il metodo delle citazioni non premia il presente e il furto, ma tendenzialmente il passato, visto che per aver punti bisogna essere citati spesso, e che è ovvio che le citazioni si sprecano più spesso verso nomi del passato più consolidato della ricerca, avvantaggiando, appunto, istituti e ricercatori ormai diventati mitici!
    —————–
    Comunque capisco, in un mondo, in una società, dove le baronie sono tutto e sono punto al quale aspirare, il sistema delle citazione garantisce ai baroni di rimanere ai vertici … ai ricercatori, di campare anche senza produrre novità, ma citando sempre i propri baroni e affini… e così tutti hanno la garanzia che nell’immediato ci saranno benefici e riconoscimenti… almeno così pare… e ora che i fondi per la ricerca scarseggiano e che i ricercatori sono più precari delle loro stesse ricerche, il sistema potrebbe incancrenirsi su un loop di citazioni senza fine non più per ovvie convenienze di contabilità delle citazioni “kliccamenti” ma per manifesta mancanza di nuove fruttuose ricerche!
    ———
    In conclusione però mi chiedo anche se poi questo metodo molto barocco o manierista delle citazioni alla fine non sia così male, visto che comunque fino ad oggi ricerca crea anche dei bei risultati e sono applicati anche piuttosto velocemente… vediamo il caso dei Computers, della telefonia, o dei nano-materiali…

    Quindi come sempre ci insegna la storia, l’uomo ha sempre fatto ricerca e la scienza ha sempre progredito, quindi, magari si tratterà di fare qualche sbaglio, o di rallentare i più meritevoli ma sconosciuti e poco citati, ma alla fine le buone idee hanno sempre la meglio……
    Pensiamo ad Meucci e il Telefono… per noi è merito suo, per gli Americani è di Bell… eppure noi sappiamo che Meucci perse il diritto per non aver pagato il deposito per il proprio brevetto! (assurdo! No? ma nessuno ha impedito lo sviluppo del telefono… anzi forse Meucci non avrebbe mai saputo o potuto far di meglio o di più… e anche se Bell l’avesse citato su ogni apparecchio venduto, non sarebbe cambiato nulla, il brevetto ormai era suo!)

    Certo che è strana e singolare la strada che poi certe ricerche prendono pensiamo a Fermi… senza pensarci troppo e senza manco volerlo scoprì il principio per costruire la Bomba atomica, gli americani lo seppero, forse proprio attraverso qualche citazione scientifica… e … in poco tempo chiamarono Fermi per costruire il primo ordigno nucleare della storia che poi distrusse Hiroshima e Nagasaki e ha portato alla guerra fredda e oggi al pericolo delle centrali nucleari, mentre in medicina ha portato alle radiografie alle tac e alla radioterapia che sono dei veri miracoli scientifici perciò il bilancio della scoperta nucleare è molto dibattuto e controverso… sopratutto in campo energetico e militare.

    Potrei scriverne ancora di esempi di ricerche meritevoli o controverse, ma lo spazio di un commento non basterebbe… quindi ringrazio Simone Serra per la sua cortese accoglienza e con questa citazione lo saluto nuovamente cordialmente e affettuosamente…. ;-)

  • # 5
    Simone Serra (Autore del post)
     scrive: 

    @ A.C.

    il mio commento era telegrafico in quanto sostanzialmente non avevo niente da rilevare su quanto avevi espresso… non mi trovi completamente in accordo e ritenevo doveroso puntualizzare quanto poi ho scritto nel mio commento, ovvero che il sistema di valutazione deve ovviamente valutare quanto è stato fatto nel presente, ed inoltre non tutte le ricerche hanno sbocchi facilmente riconducibili ad esse, o meglio, ci sono casi nei quali qualcuno traccia una via e solo dopo che molti altri la hanno percorsa si ottengono risultati tangibili… in tal caso chi ha i meriti ed in quale misura?

    Per quanto tu affermi successivamente trovo che l’analisi che ne fai sia un po’ troppo semplicistica… siamo ben lontani dai click del “mi piace” tanto in voga oggi, la ricerca (soprattutto dove ci sono grossi finanziamenti oppure saldi dei privati) viene valutata non solo dalle citazioni, sebbene tale sistema (per molti) sia “IL SISTEMA”, ed evidenziarne i limiti è uno dei contenuti di questo post, ovviamente non è sbagliato di per se, ciò che è sbagliato è avere un approccio talebano su ogni sistema di valutazione, perché alla fine è impossibile e sbagliato usare questi sistemi per stilare una classifica dei ricercatori come fosse un campionato sportivo, ma di sicuro l’uso di sistemi del genere (ma non presi singolarmente) permette di evidenziare se la ricerca viene svolta e se quanto svolto è interessante…

  • # 6
    Simone Serra (Autore del post)
     scrive: 

    @ A.C.

    La storia di Fermi è po’ differente… non sono servite citazioni scientifiche… stavo iniziando una bozza a riguardo per la serie di post sul nucleare che presto o tardi (dipende dal tempo libero) presenterò nella rubrica

Scrivi un commento!

Aggiungi il commento, oppure trackback dal tuo sito.

I commenti inseriti dai lettori di AppuntiDigitali non sono oggetto di moderazione preventiva, ma solo di eventuale filtro antispam. Qualora si ravvisi un contenuto non consono (offensivo o diffamatorio) si prega di contattare l'amministrazione di Appunti Digitali all'indirizzo info@appuntidigitali.it, specificando quale sia il commento in oggetto.