Da un paio di giorni è online la valutazione delle università e della ricerca inglesi RAE 2008.
Occorre capire quali criteri siano stati utilizzati. Mi pare che, in generale, non abbiano usato per nulla statistiche tipo Impact Factor o Fattore H, ecc…
Sembra che il criterio principale sia stato l’analisi di ogni tipo di risultato (non solo articoli) università per università, dipartimento per dipartimento.
Un minuzioso lavoro di referee dove i criteri statistici non hanno contato.
Corregetemi se sbaglio…e date una mano nell’analisi della mole di dati. Esistono già blog di giovani ricercatori piuttosto critici (clicca).
Ecco il sito del RAE http://www.rae.ac.uk/
Rete Nazionale Ricercatori Precari 
salve a tutti…
Intervengo giusto per chiarire un attimo il significato di questo RAE.
Come scritto dal post in effetti la valutazione e` stata effettuata solo tramite peer review di tutti i “prodotti” (pubblicazioni e quant’altro) inviati per la valutazione. Ognuno di questi prodotti e` stato giudicato con un numero che va da 0 a 4. Alla fine per ogni materia c’e` un “profilo” che indica la distribuzione percentuale di lavori con 4,3,2, ed 1*. In base a questo verranno decisi nel marzo 2009 i finanziamenti aggiuntivi alla ricerca.
Questo, comunque, e` l’ultimo RAE. Il prossimo esercizio di valutazione si terra` nel 2013-2014 e si chiamera` REF (research excellence framework). Questo sara` basato sui parametri bibliometrici (Impact factor, etc…). Ancora devono essere decisi i criteri, comunque. In questo periodo si sta svolgendo una sperimentazione che coinvolge una ventina di universita` che servira` a stabilire i criteri di questo nuovo REF.
Grazie mcarpe
Effettivamente stanno pianificando il REF e cercheranno di usare bibliometrie dell’ISI e di Scopus bilanciate da analisi qualitative.
Il punto è sarà questo nuovo sistema migliore?
Poi questa rincorsa sul futuro la trovo sconcertante è appena uscito il RAE e già lo si ritiene superato da una cosa che ancora non c’è e i cui criteri potrebbero cambiare in futuro.
Ad ogni modo questo è il sito del “futuro” REF
http://www.hefce.ac.uk/Research/ref/
Buon divertimento!
Sai Pisacane, il futuro e’ una palla di cannone accesa….
il punto è che anche il RAE ha enormi limiti. Andatevi a guardare come sono composti i panel dei valutatori per intenderci…. Mi viene quasi da dire che i loro panel sono molto più “provinciali” di quelli messi in campo dal nostro CIVR.
Certo sostituire il modello della peer review anonima con modelli bibliometrici è un grosso errore…
a mio modestissimo parere si dovrebbe integrare (nei settori dove e possibile e con modalità differenziate per aree) con elementi di valutazione bibliometrici l’analisi qualitativa fatta attraverso i panel di pari. Cosa che credo si voglia fare in UK e che mi sembra la cosa più sensata ed efficace.
E che da loro è molto più semplice anche per le scienze umanistiche e sociali dato che il linguistic divide non esiste e hanno praticamente il monopolio dell’editoria scientifica (in lingua inglese ovvio…
Del resto, caro pisacane, sono appena uscite le “valutazioni” fatte dal RAE ma il sistema RAE è già anni in funzione e una correzione di rotta per venire incontro ai limiti mostrati è sempre una cosa buona. Anche prendendosi qualche piccolo rischio
Il nostro problema è come e se è possibile implementare un esperienza analoga da noi. Io sono dell’idea che proprio il CIVR – mutuata proprio dal RAE come esperienza – ha segnato la strada giusta per quello che riguarda la valutazione della ricerca. E’ quello il modello su cui lavorare
Sono d’accordo sul CIVR meglio del RAE.
Sul REF vedremo comunque faccio notrare che – sempre se ho capito bene –
Non useranno l’Impact Factor bensì normalizzeranno per aree il numero delle citazioni prese dalla banca dati ISI e Scopus.
A questo punto potevano essere usate in aggiunta anche quelle di Scholar.
Ad ogni modo la tecnica è quella delle citazioni medie e normalizzate prese dalla banca dati ISI e da quella Scopus.
più referee.
Confermate?
confermo confermo (se ho capito bene
Carissimi, la valutazione dei docenti e persino dei dipartimenti attraverso criteri bibliometrici e’ molto complessa. Non esistono al momento indicatori validi. Sarebbe opportuno sviluppare un indicatore composito ma la strada e’ lunga anche perche’ i tempi della ricerca sono dilatati e serve un follow up di diversi anni per testare la validita’ del nuovo strumento.
Inoltre questi criteri bibliometrici sono stati creati “al servizio” degli editori e non della valutazione della ricerca, con tutti i limiti che ne conseguono (come valutare la televisione in base all’auditel..non so se mi spiego)
Con questo, sono contro il loro uso nel processo di valutazione? No, credo che la valutazione debba essere un processo complesso nel quale diversi strumenti (la valutazione esperta e il ranking su criteri bibliometrici) debbano essere usati con scopi diversi. Il ranking bibliometrico e’ un’ottimo test di screening. Difficilmente ricercatori in attivita’ da piu’ di 5 anni che non abbiamo pubblicato nulla ( e ce ne sono tanti) sono buoni ricercatori.
In altri terminie’ possibile individuare un cut off nella distribuzione della produttivita’ accademica che individua ricercatori decisamente improduttivi.
Allo stesso modo la valutazione esperta, per i suoi costi, deve essere destinata al ranking dettagliato per l’inclusione nella fascia di eccellenza.
Penso pero’ che la simulazione del mercato attraverso i RAE sia un passo avanti rispetto al “non-metodo” italiano ma non ottenga risultati ottimali.
Non propongo una privatizzazione delle universita’ ma un modello pubblico alternativo a quello inglese, utlizzando elementi di diversi sistemi universitari.
Ho redatto assieme ad altri colleghi ricercatori un documento di indirizzo per la riforma dell’universita’
Potete trovarlo qui: http://innovatorieuropeistlouis.wordpress.com/2008/12/16/studiare-e-fare-ricerca-in-italia-proposte-per-una-riforma-delluniversita/
Spero di ricevere i vostri commenti ed eventialemente che vogliate segnalarlo sul vostro sito,
Grazie,
Luca
@ Luca Neri
un paio di considerazioni
Non concordo sul non metodo italiano perché le valutazioni CIVR secondo me forse sono meglio di quelle del RAE.
Il problema è dare finanziamenti in base alle valutazioni e l’esercizio del CIVR finora non ha contato nulla.
Un mio articolo è stato scelto dal CIVR ma ti assicuro che nel mio cv non pesa per nulla.
Seconda considerazione …lo screening e il cut off.
In linea di principio siamo d’accordo.
Il punto è l’estrema ignoranza fra i colleghi anche più blasonati rispetto a cosa siano i criteri bibliometrici.
Neppure sanno cosa sia l’Impact Factor né parlano come un feticcio.
Ti faccio un esempio ho avuto modo di leggere i criteri che l’Associazione Italiana di Psicologia che dopo lunghe e aspre discussioni in lista ha inviato ai membri del cun dell’area 11 i propri criteri minimi per ricercatore associato e ordinario.
In questi criteri minimi si parla di primo nome (o di ultimo nome per divenire ordinario) e di riviste con Impact Factor.
Come se fosse globalmente internazionalmente previsto che avere il primo nome in una pubblicazione ad esempio a due o tre nomi in ordine alfabetico sia di una qualche rilevanza.
Certo se fai pubblicazioni a 5 o 6 nomi inserendo pure le donne delle pulizie (per fare dei favori a qualcuno) senza dire cosa abbiano fatto devi ricorrere ad escamotage del tipo primo nome o ultimo (crtiterio pensato per diventare ordianario!).
Inoltre sempre in questi criteri per psicologo si parla genericamente di riviste con Impact Factor senza sapere che le riviste ISI sono quelle inserite nel ISI Master Journal List e non quelle che hanno meramente l’IF.
Mi spiego.
Se una rivista è “relativamente” nuova il suo impact factor lo avrà fra 3 anni che servono per fare i calcoli statistici necessari ma la rivista è pienamente ISI perché è nel Master Journal List dell’ISI…pur non avendo per il momento l’IF.
Inoltre sempre gli psicologi hanno consigliato i membri del CUN di calcolare il fattore H in una banca dati qualsiasi (per fare lo screening ad associati e ordinari).
Ci sono diversi fattori H a seconda della banca dati ad esempio lo si può calcolare su google scholar ma anche questo calcolo è massimamante impreciso (mediante il programmino publish or perish)
Come potrà lo stato italiano fare un buon regolamento se coloro che lo vogliono consigliare non sanno bene di cosa parlano quando danno i consigli (ISI, IF, fattore H, ecc…).
Perché affidarsi a criteri statistici non ripetibili?
Per il cut off…non sarebbe meglio avere una lista di riviste internazionali (prese dalle banche dati specifiche di settore) e decidere che un ricercatore, un associato o un ordinario deve avere un tot numero di pubblicazioni internazionali in una rivista compresa nella lista. Tutto ciò che ha prodotto in termini di libri, capitoli, insegnamento e raccolta fondi sarà il differenziale da far valutare alla commissione.
Così eviteremo pure che l’unica preoccupazione degli scienziati italiani sia la pubblicazione di sciocchezze purché in riviste ISI.
Caro Leo, le tue considerazioni sono molto pertinenti. Che dire, non fanno altro che aggiungere complessita’ alla materia. In qualche modo si dovrebbero sviluppare criteri di valutazione disciplina specifici. E che dire allora di quelle aree disciplinare che non hanno alcun indicatore bibliometrico? Intendo legge, lettere e materie umanistiche in genere. Inoltre il dato storico non e’ necessariamente un buon indicatore della produttivita’ futura (basti pensare al confondimento dovuto al semplice dato analagrafico…). Secondo me la gente e’ confusa perche’ la validazione di questi strumenti e’ sommamente incompleta e la maggior parte di questa gente non ha idea di cosa significhi “misurare” entita’ astratte come la qualita e la produttivita’ scientifica. Strano che gli psicologi cadano in un errore cosi’ marchiano perche’ loro la psicometria la devono conoscere!!!
Sulle liste sno perplesso. Abbiamo una cosa del genere in medicina del lavoro per assegnare assegni di invalidita’. Ci sono liste di malattie/esposizioni che danno diritto automatico alla compensazione. Poiche’ la realta’ e’ molto dinamica, siamo sempre dietro a battagliare con le autorita’ preposte per aggiornare queste liste e per assegnare comunque questi assegni in base all’evidenza scientifica disponibile. Insomma, si rischia una eccessiva burocratizzazione della valutazione, che e’ l’ultima cosa di cui abbiamo bisogno.
Sui concorsi (penso che il tuo ultimo punto si riferisca a questo) penso che debbano essere aboliti. L’unica speranza per l’universita’ e lasciare autonomia finanziaria, didattica e contrattuale alle universita’ e metterle in competizione per l’acquisizione delle risorse (sia dal pubblico che dal privato). Esistono molti studi a supporto di questa tesi. Discuto piu’ in dettaglio di questo e suggerisco alcuni riferimenti bibliografici nel link segnalato sopra.
Io penso che alla fine forse sarebbe piu’ semplice assegnare i fondi in maniera competitiva a specifici progetti di ricerca come avviene ad esempio per il NIH americano. Discuto brevemente di questa proposta nel link che vi ho segnalato sopra. In breve:
1- valutazione esperta dei progetti presentati da un panel internazionale di esperti.
2- Parte della valutazione tiene conto anche delle precedenti performance del ricercatore. (e qui si discuta pure con che criteri e in che quota)
3- Prevedere un turnover quinquennale dei reviewer e un sistema di valutazione dei reviewers per misurarne la predittivita’. In questo modo si contringono a internalizzare i costi-benefici della loro valutazione. Ovvero i reviewer meno predittivi vengono sostituiti, quelli piu’ predittivi premiati.
E’ chiaro che si dovrebbe lavorare sui dettagli per valutare questa proposta. Ad esempio: punto -3, a medicina un periodo quinquennale e’ piu’ che sufficiente per valutare la produttivita’ di un investimento di ricerca attraverso almeno indicatori di processo e risultati intermedi. E’ lo stesso per le altre discpline?..
In ogni caso esistono molti studi econometrici che analizzano il problema dell’assegnazione competitiva di fondi e negli USA hanno sviluppato algoritmi di valutazione molto effciaci, almeno in alcune discipline. Forse potremmo prenderne a prestito qualcuno.
Sono contento di aver trovato questo sito e di questo dibattito, Finalmente si esce dal pantano della propaganda incrociata.
Ah scusa, un’ultima considerazione: il “non-metodo” italiano si riferiva al fatto che in Italia la distribuzione dei quattrini se ne fa un baffo dei risultati della valutazione…
segnalo, per chi non lo sapesse, che l’apri ha forumato una sua proposta per i criteri di valutazione che è stata inviata al ministero.
la proposta si trova sul sito ww. aprit . org
hemm… doveva essere formulato, non forumato
il MIUR propone un bando FIRB con limitazioni d’accesso basate sull’età. Sull’età anagrafica, si badi bene, non su quella accademica (es. cinque anni dal conseguimento del dottorato etc.) come in uso a livello europeo e internazionale.
Una politica discriminatoria e illiberale!
Chissà che non ci siano i presupposti per ricorrere giudiziariamente. Ovviamente ci sono quelli per denunciare all’opinione pubblica l’idiozia e arretratezza di siffatta politica.
——————–
Bando FIRB
Programma “Futuro in ricerca”
(D.D. 19/12/2008 prot. n. 1463/ric/2008)
Il programa “Futuro in ricerca” finanzia progetti di ricerca fondamentale
e intende favorire sia il ricambio generazionale sia il sostegno alle
eccellenze scientifiche emergenti presso gli Atenei e gli enti pubblici di
ricerca.
Il programma e’ rivolto a:
linea di intervento 1: dottori di ricerca italiani, o comunitari, di eta’
non superiore a 32 anni, non ancora strutturati presso Atenei e enti
pubblici di ricerca afferenti al MIUR
linea di intervento 2: giovani docenti e ricercatori strutturati di eta’
non superiore a 38 anni.
Il costo relativo a ciascun progetto, di durata almeno triennale, dovra’
risultare compreso tra euro 300.000 e euro 2.000.000
La scadenza per la presentazione delle domande e’ il 27 febbraio 2009,
alle ore 17.00
La procedura di valutazione si concludera’ entro 180 giorni dalla scadenza
del bando.
I progetti dovranno essere presentati utilizzando il sito
http://sitofirb.cineca.it. Le domande, stampate e sottoscritte, dovranno
essere quindi inviate al MIUR entro i successivi 7 giorni.
Per la linea di intervento 1, alla domanda deve essere allegata una
dichiarazione con la quale l’istituzione partecipante alla sperimentazione
si impegna al conferimento di un contratto di durata almeno triennale
(art. 2.6).
Il bando e’ disponibile alla pagina
http://www.miur.it/0006Menu_C/0012Docume/0015Atti_M/7471BANDO__cf3.htm
il MIUR propone un bando FIRB con limitazioni d’accesso basate sull’età. Sull’età anagrafica, si badi bene, non su quella accademica (es. cinque anni dal conseguimento del dottorato etc.) come in uso a livello europeo e internazionale.
Una politica discriminatoria e illiberale!
Chissà che non ci siano i presupposti per ricorrere giudiziariamente. Ovviamente ci sono quelli per denunciare all’opinione pubblica l’idiozia e arretratezza di siffatta politica.
——————–
Bando FIRB
Programma “Futuro in ricerca”
(D.D. 19/12/2008 prot. n. 1463/ric/2008)
Il programa “Futuro in ricerca” finanzia progetti di ricerca fondamentale
e intende favorire sia il ricambio generazionale sia il sostegno alle
eccellenze scientifiche emergenti presso gli Atenei e gli enti pubblici di
ricerca.
Il programma e’ rivolto a:
linea di intervento 1: dottori di ricerca italiani, o comunitari, di eta’
non superiore a 32 anni, non ancora strutturati presso Atenei e enti
pubblici di ricerca afferenti al MIUR
linea di intervento 2: giovani docenti e ricercatori strutturati di eta’
non superiore a 38 anni.
Il costo relativo a ciascun progetto, di durata almeno triennale, dovra’
risultare compreso tra euro 300.000 e euro 2.000.000
La scadenza per la presentazione delle domande e’ il 27 febbraio 2009,
alle ore 17.00
La procedura di valutazione si concludera’ entro 180 giorni dalla scadenza
del bando.
I progetti dovranno essere presentati utilizzando il sito
http Le domande, stampate e sottoscritte, dovranno
essere quindi inviate al MIUR entro i successivi 7 giorni.
Per la linea di intervento 1, alla domanda deve essere allegata una
dichiarazione con la quale l’istituzione partecipante alla sperimentazione
si impegna al conferimento di un contratto di durata almeno triennale
(art. 2.6).
Il bando e’ disponibile alla pagina
http
Ciao a tutti,
a proposito del bando FIRB “Futuro in Ricerca”, qualcuno sa dirmi dove si trovano i moduli del progetto? la scadenza è il 27 febbraio e solitamente per scrivere un progetto sono necessarie alcune informazioni.
Come avrete notato per accedere al sito firb occorre user e password!!!!
assurdo !!!! come fa una persoa non strutturata ad avere password e user???
ma la storia non finisce qui: utilizzando la mia pssword, essendo il sottoscritto docente, ho potuto verificare che non ci sono informazioni nel sito firb. Quindi ho pensato di telefonare al miur; la risposta che ho ottenuto è stata che il signor Mazzulli (probabilmente il responsabile) torna dalle vacanze il 7 gennaio!!!!
che dire!!??
aspettiamo !!
maurizio
Ciao a tutti,
anche io non riesco a trovare i moduli!!! infatti entrando nel sito (con la pwd della mia prof.ssa ovviamente) è possibile scaricare solo i moduli della rendicontazione e della relazione.. ma perché si comincia dalla fine??!!
cmq oggi ho scritto una mail per chiedere informazioni.. se otterrò una risposta vi farò sapere.
Sullo stesso genere è uscito il bando “Giovani ricercatori”.. l’anno scorso sono stata una delle 1250 persone che hanno presentato progetti.. ne hanno finanziati 24.. no comment!
Simona
x Maurizio e Simona.
Ciao,
anche i ricercatori non strutturati possono avere un accesso al sito Miur / Cineca simile al Sito Docente degli strutturati. Andate su https : // loginmiur . cineca . it / (togliete gli spazi) e seguite le istruzioni per effettuare la registrazione.
Una volta che avete ottenuto login e password (via e-mail) potete utilizzarle per entrare nel sito FIRB (http : // sitofirb . cineca . it /) dove però sembra anche a me che non ci siano informazioni sul nuovo bando.
Ciao,
Davide.
stessa situazione: come fanno i non-strutturati, se non hanno le password?
Simona dove sono le graudatorie per il bando giovani ricercatori del 2008?
Il fatto che abbiano finanziato il 2% dei progetti pesentati non e’ necessariamente un male (l’ultima tornata NIH ne ha finaziato il 7%) . Il punto e’ che la trasparenza della decisione, in assenza di criteri e graduatorie pubbliche. e’ assai dubbia.
Ciao a tutti,
quancuno sa quando e se usciranno le graduatorie per il FIRB 08?
Grazie