Riprendiamo e terminiamo con questo post l’escursione sul tema della Ricerca Scientifica da un punto di vista “astratto” da contesti concreti andando a parlare della valutazione della ricerca.
PRODUZIONE SCIENTIFICA E VALUTAZIONE DELLA RICERCA
Se nelle due scorse puntate (1 e 2) abbiamo discusso ampiamente delle differenze tra ricerche applicate ed abbiamo individuato i ruoli tipici (ma non esclusivi) dei ricercatori legati alle aziende ed agli istituti pubblici di ricerca, è il momento di discutere dei risultati delle ricerche per entrambi i contesti ed individuare le modalità di valutazione della stessa.
Pensando ai risultati della ricerca applicata è logico pensare a soluzioni che migliorano od innovano dei prodotti, pertanto il risultato è evidente ed immediatamente comprensibile, inoltre il percorso di valutazione dello stesso è interno all’azienda, mentre pensando alla ricerca non applicata (come già detto quasi appannaggio esclusivo dei centri di ricerca pubblici) diviene necessario definire i sistemi che permettono la sua valutazione.
In tale caso il prodotto della ricerca consiste nelle cosiddette “pubblicazioni scientifiche”, ovvero nella redazione di articoli piuttosto dettagliati nei quali vengono illustrati metodi, strumenti e procedure impiegate nello svolgimento delle ricerche, ed ovviamente i risultati di queste.
Il passo successivo alla redazione dell’articolo consiste nella sua valutazione prima della pubblicazione nell’opportuno contesto (conferenza o rivista), e tale valutazione viene operata mediante il metodo della peer review (revisione paritaria).
La peer review prevede che l’articolo in questione venga letto (in genere questa procedura è anonima, anche se non è una regola assoluta) da due o tre (il numero dipende dall’editore della rivista o dell’organizzatore della conferenza) esperti dell’argomento, esperti che non appartengono esclusivamente al mondo accademico (quantomeno per le pubblicazioni in ambito ingegneristico) ma possono anche essere provenienti da aziende attive nel settore, i quali esprimono un giudizio sul lavoro presentato e richiedono delle integrazioni, chiarimenti, modifiche e quant’altro ritengono necessario ai fini della pubblicazione, fatto salvo l’avere espresso un giudizio comunque positivo del lavoro.
Tali richieste giungono all’autore che gestisce la corrispondenza con l’editore (corresponding author) e si provvede alle modifiche del lavoro corredandole laddove necessario con delle considerazioni che meglio illustrano le scelte fatte, e questa procedura termina quando il lavoro viene definitivamente considerato accettato o rifiutato.
In caso di articolo per conferenza il lavoro verrà successivamente presentato da uno degli autori in quella occasione (dovendo sostenere i costi per l’iscrizione alla conferenza, ed ovviamente le spese legate al soggiorno) e verrà in genere inserito nei cosiddetti atti del convegno, ovvero una raccolta (un tempo cartacea, oggi sempre più spesso limitata ai soli abstract in questo formato, oppure elettronica), mentre nel caso si tratti di un articolo per rivista si avrà la sua pubblicazione (gratuita) in essa (in forma cartacea e/o elettronica).
Tali articoli divengono in entrambi i casi di dominio pubblico (previo acquisto presso l’editore) e chiunque voglia può leggere quanto fatto dai ricercatori, ripetere gli esperimenti, contestarli e smentirli laddove individua degli errori sfuggiti alla revisione, ecc.
Questo approccio mette a disposizione di tutti il frutto delle proprie ricerche, ed apparentemente può sembrare controproducente in quanto chi fosse interessato ai risultati della ricerca per poterne beneficiare in una qualche applicazione di suo interesse può in questo modo ottenerli senza sforzo apparente, ma nella realtà ogni applicazione richiede la risoluzione di notevoli problemi, al punto che in molti casi è proprio dalla lettura dei lavori scientifici di gruppi di ricerca pubblici da parte di soggetti privati che nascono i rapporti di collaborazione per focalizzare ed applicare le ricerche ai prodotti.
LACUNE DEL SISTEMA DI VALUTAZIONE
Se il sistema della peer review da una parte permette un processo selettivo sulla qualità ed i contenuti di assoluto rispetto, dall’altra non è esente da lacune e critiche.
Un primo punto discutibile consiste nella reale imparzialità del revisore, infatti non è raro assistere a pubblicazioni dai contenuti non di alto livello all’interno di riviste piuttosto importanti (in funzione del settore di interesse) e ritrovare articoli dai contenuti qualitativamente più elevati non pubblicati sulle stesse perché rifiutate durante la fase di peer review, oppure assistere alla richiesta di aggiunta di citazioni bibliografiche in qualche modo riconducibili al revisore stesso.
Ovviamente per ridurre questo fenomeno è tipico l’impiego di almeno due revisori (nel mio settore ho sempre trovato tre revisori) e, nel caso di revisioni ritenute discutibili, è possibile interpellare l’editore affinché controlli la bontà delle revisioni ed eventualmente sostituisca il revisore in discussione.
Un secondo punto è legato all’eccessiva rigidità che questo sistema presenta davanti a temi la cui scientificità è oggetto di discussione, perché sebbene questo sistema permetta di evitare lo “spam scientifico“, dall’altra può anche generare “falsi positivi” a tale riguardo.
Pertanto, alla luce dell’intera discussione svolta in questi tre post è evidente come la ricerca scientifica presenti peculiarità e difetti analogamente ad ogni altra attività, ma nonostante ciò abbia rappresentato e continui a rappresentare una forza trainante per l’innovazione e per lo sviluppo di un paese.
Molto altro ci sarebbe da aggiungere, ad esempio si potrebbe parlare dei ricercatori, dei problemi che essi incontrano, dei limiti e delle difficoltà che incontrano soprattutto agli inizi della loro carriera, spesso dovute a sistemi disorganizzati e mal gestiti e non dipendenti da loro, così come si potrebbe parlare delle intuizioni brillanti di molti di loro, delle storie di emigrazione e della dedizione verso un mondo fatto più di passione che di soddisfazioni economiche, ma per questo lascio lo spazio ai commenti.
Anche per oggi è tutto, vi rinnovo come al solito l’invito a continuare a seguirci, sempre su AppuntiDigitali, sempre con la rubrica Energia e Futuro.
Vorrei fare una domanda a voi che siete nel settore, lo conoscete da dentro, e avete le conoscenze e al tempo stesso l’onesta’ intellettuale per rispondere in coscienza.
Nella comunita’ scientifica, ovvero non solo il top degli scienziati/premi nobel, ma nell’insieme totale dei professionisti/lavoratori della scienza (editori specializzati, ricercatori, docenti universitari, collaboratori, peer reviewers, etc..) le conoscenze per affrontare un articolo e capire la sua qualita’, sono diffuse oppure no?
Spiego la domanda: un sistema stile wikipedia, ma ristretto alla sola comunita’ scientifica, in grado di sostituire eventuali favoritismi, opportunismi, falsi positivi, etc…, attraverso un sistema di peer review comunitario, potrebbe avere un senso/successo oppure no?
In altri termini, come in ogni altro settore, anche nel settore scientifico la maggioranza degli interessati sono scimmie ammaestrate, oppure invece un processo democratico dentro la comunita’ scientifica sarebbe positivo, o almeno neutro, per la qualita’?
@ Gendo Ikari
Il sistema di wikipedia è stato piuttosto dibattuto in due post (di Alessio ed Eleonora facendo dei riferimenti alla divulgazione della cultura (scientifica e non)…
Facendo preciso riferimento a quanto chiedi
mi trovi abbastanza scettico, perché è piuttosto difficile trovare persone sufficientemente competenti (e disponibili) per effettuare la peer review, e se consideri che già oggi è un processo molto lento (diversi mesi come minimo, fino ad oltre un anno), l’avere delle revisioni che coinvolgano troppe persone renderebbe impossibile il processo stesso… inoltre un conto è dovere rispondere a tre revisori (ognuno fa le proprie osservazioni e richieste), mentre sarebbe improbo dovere rispondere ad una moltitudine (l’alternativa sarebbe quella di creare un report unico da parte dei revisori, ma anche questo richiederebbe troppo dispendio di tempo, senza considerare tutte le difficoltà di organizzazione del lavoro) di essi.
si e no… se parliamo ad esempio di motori a combustione interna e di alcune questioni riguardanti temi precisi (parlo di questo perché è ciò di cui mi occupo primariamente) chi è nel settore ha delle competenze estremamente superiori anche a persone molto più qualificate ma non in quel campo…
a mio parere no, sarebbe lesivo per quanto espresso prima su tempi e competenze… alla fine penso che il sistema con tre revisori (che vengono scelti tra esperti del settore) sia il migliore compromesso possibile, sebbene pur sempre un compromesso…
Faccio i complimenti all’autore dell’articolo per la chiarezza e mi piacerebbe vedere un articolo futuro più incentrato sul discorso “valutazione”, che è un tema caldo in questo momento nell’Università italiana.
Mentre il mondo anglosassone si interroga sull’utilità di indici bibliometrici e di parametri quali l’impact factor nella valutazione della “qualità” della ricerca, l’Italia sembra gettarvisi a capofitto per cancellare decenni di nepotismo e baronati.
Complimenti ancora!
@ Serra
Grazie della risposta precisa ed esauriente.
Unico appunto direi che riguarda la pubblicazione su rivista.
Esistono alcune riviste che prevedono un tetto massimo al numero di pagine che può essere superato dietro pagamento di tipo 100.00 $ per pagina (parlo almeno di riviste IEEE e ACM).
PS: gli atti sono del convegno ;)
@ fornost
di valutazione “quantitativa” penso che ne parlerò prossimamente, magari in un post apposito slegato da questa serie che ritengo tutto sommato terminata… purtroppo l’adozione di criteri troppo rigidi, sebbene punti a risolvere una situazione storica basata sull’assenza di criteri, non è priva di problematiche che vanno affrontate
@ sirus
in effetti ci sono riviste che fanno pagare oltre un certo numero di pagine (ho un collega che pubblica anche su IEEE e mi ha detto in passato la stessa cosa)… nel caso di IEEE mi pare sia 8 (cosa che per certi versi apprezzo, anche se non amo le regole troppo rigide, perché non è la prima volta che leggo un articolo di 20 pagine che sarebbe stato bene sintetizzare e mostrare solo la sostanza… in fin dei conti chi le legge è del mestiere)
grazie mille… non avevo visto l’errore :-)
Bene bene, attendo con impazienza! :)
Interessanti le considerazioni sui pregi e i limiti del peer review.
Un’ altro limite credo che sia anche il fatto che un lavoro scientifico potrebbe essere di qualità e pubblicato ed i meriti vanno a chi firma il lavoro mentre la paternità del lavoro è di un altro ricercatore.
Ci sarebbe un modo per evitare queste cose?
Spesso sento come criteri per valutare i lavori scientifici le citazioni da parte di altri articoli di scienziati e penso che i lavori davvero importanti hanno questi riscontri, che sono una sorta di peer review più allargata.
Infine un discorso terra terra. Quel che conta sono i risultati. Le ricerche innovative si traducono in brevetti.
Il numero di brevetti e pubblicazioni maggiori credo siano di USA, Giappone e Germania e questo si riflette anche nelle innovazioni industriali.
Se guardiamo in Europa, in rapporto alla popolazione, N. 1 è la Svizzera, segue Svezia e Germania e l’Italia è pressappoco decima.
Per cui le ricette che funzionano esistono e ce le abbiamo anche vicino a casa nostra.
Grazie mille Simone, ottima descrizione del sistema con cui “funziona” in pratica la ricerca scientifica.
Forse ci starebbe una parola sugli impact factor delle diverse riviste.
La cosa importante è far capire come non esista una scienza neutra, astratta e assoluta, ma come i risultati della ricerca – attraverso l’applicazione di un metodo di verifica – siano il prodotto di una comunità, che risponde da un lato a regole ben definite, dall’altro ai vincoli tipici di qualunque comunità umana.
Esiste un tema della gestione del potere all’interno della comunità scientifica, al quale tu hai molto ben accennato, tra spam scientifico e falsi positivi, e che io forse sento in modo più acuto.
@joe.vanni: c’è sicuramente una gran parte di verità in quello che dici, ma è anche vero che alcuni settori della ricerca sono più immediatamente produttori di brevetti di altri. Non sono competente in materia, ma il sospetto del primato della Svizzera mi fa pensare soprattutto alla concentrazione di aziende farmaceutiche e legate alla ricerca genetica, dove credo che il numero di brevetti a parità di sforzo espresso sia molto alto.
urca, scusate la sintassi dell’ultima frase! peccato non si possano correggere i post.
Spero si capisca ugualmente, la prossima volta rileggerò meglio. :)