Diapositiva 1

1
Ministero dell'Istruzione, dell'Università e
della Ricerca
SEMINARIO La valutazione dei lavori
scientificimetodologie, modulazioni e
complessità nei diversi ambiti disciplinari
L'approccio del CUN alla valutazione dei lavori
scientifici e della ricercaAndrea
StellaUniversità degli Studi di Padova
Consiglio Universitario Nazionale Università
Politecnica delle MarcheAula Magna di Ateneo
via Brecce BiancheAncona, 28 maggio 2009
2
La valutazione nel sistema universitario

• E una esigenza posta
• dal processo di autonomia in atto
• dal confronto in lEuropa
• dagli impegni assunti in sede europea
• dal processo di internazionalizzazione
• dalla necessità di mutuo riconoscimento

3
La cultura della valutazione come processo
irreversibile

• La strada della valutazione è ormai obbligata,
  indipendentemente dalle vicende politiche e dai
  governi che si succederanno, perché facciamo
  parte di un sistema europeo che va in quella
  direzione
• Non a caso la valutazione, e in particolare
  quella dei lavori scientifici, sta assumendo
  crescente rilevanza nel sistema universitario
  italiano ed avrà un impatto sempre più esteso e
  pervasivo su molti aspetti, quali ad esempio
• ripartizione tra gli Atenei del Fondo di
  Finanziamento Ordinario (FFO)
• ? reclutamento
• ? progressione di carriera
• ? composizione delle commissioni di concorso
• ? sostenibilità dei corsi di studio
• finanziamento di programmi di ricerca
• - ministeriali (PRIN, FIRB . )
• - regionali
• - interni agli Atenei

4
Valutazione e Assicurazione della Qualità

• Nel 2003, al convegno di Berlino l'Italia, allora
  presidente di turno dell'Unione Europea, ha
  assunto limpegno di istituire un sistema di
  Assicurazione della Qualità (Quality Assurance)
• (I Ministri) concordano che per il 2005 i sistemi
  nazionali per lAssicurazione della Qualità
  devono includere
• ? una definizione delle responsabilità delle
  strutture e delle istituzioni coinvolte
• ? la valutazione dei corsi di studio o
  istituzioni, che includa una valutazione interna,
  una revisione esterna, la partecipazione degli
  studenti e la pubblicazione dei risultati
• un sistema di accreditamento, certificazione o
  procedure analoghe
• partecipazione internazionale, cooperazione e
  appartenenza a reti
• Limpegno, riaffermato nel 2005 alla conferenza
  di Bergen, è stato per lungo tempo completamente
  disatteso dallItalia

5
LAgenzia Nazionale per la Valutazione
dellUniversità e della Ricerca - Quali
prospettive?

• Il provvedimento che istituisce l'Agenzia
  Nazionale per la Valutazione dellUniversità e
  della Ricerca (ANVUR), previsto dalla Legge
  Finanziaria 2007 (riassume anche le funzioni di
  CIVR e CNVSU), è divenuto definitivo con la
  pubblicazione del relativo Regolamento (DPR 21
  febbraio 2008, n. 64)
• Ma il Ministro Gelmini ha definito lANVUR una
  costosissima struttura ad alto tasso di
  burocrazia e rigidità non è ciò di cui abbiamo
  bisogno
• Tuttavia in tempi recenti sembra esserci un
  ripensamento tanto che
• lacronimo ANVUR compare ora in bozze di
  provvedimenti legislativi
• Il Ministro ha annunciato la presentazione di un
  nuovo regolamento dellANVUR ad un prossimo
  Consiglio dei ministri
• Peraltro, a giudicare dalle bozze disponibili del
  regolamento, non sembra sufficientemente
  garantita la terzietà dellANVUR

6
Atti normativi recenti riguardanti la valutazione
Legge 1/2009 (conversione in legge del D.L.
180/08) Quota non inferiore al 7 del Fondo di
Finanziamento Ordinario (FFO) da ripartire fra
gli atenei in considerazione della qualità
dellofferta formativa e i risultati dei processi
formativi nonché della qualità della ricerca
scientifica (Art. 2, comma 1) Inoltre ? entità
degli scatti biennali dei professori legati al
merito (Art. 3- ter, commi 1-3) ? partecipazione
alle commissioni di concorso subordinata
allattività scientifica (Art. 3- ter, comma
4) ? nuovi criteri per le valutazioni comparative
dei ricercatori universitari (Art. 1, comma
5) Disegno di legge in itinere su Governance e
Reclutamento ? Idoneità nazionale fondata sulla
valutazione della produzione scientifica ? Avanzam
ento di carriera (scatti biennali) legati al
merito ? Riduzione dei Settori Scientifico
Disciplinari
7
La posizione del CUN sulla valutazione
Il CUN ha ribadito in molti suoi documenti
lesigenza di sottoporre a valutazione il sistema
universitario in tutte e sue articolazioni
(ricerca, didattica, gestione..) Documento su
Linee Guida del Governo per lUniversità del 12
febbraio 2009 . le questioni dellUniversità,
della Ricerca e del loro legame con il contesto
socioeconomico devono essere affrontate con un
approccio complessivo, sulla base di un disegno
strategico e coerente e di media - lunga durata,
che consenta la costruzione e la gestione di un
processo di riforma organica, nel quale la
valutazione sia strumento oggettivo di promozione
e sviluppo di cui tutti riconosciamo la necessità
ed urgenza, ma che non può essere affrontato
attraverso provvedimenti slegati ed estemporanei
allesterno di un quadro di riferimento
complessivo.
8
Proposta del CUN su FFO e valutazione
Mozione del 24 febbraio 2009 su FFO
2009 Proposta di incrementare al 10 FFO la
quota premiale, ripartite per il 2/3 sulla
ricerca e 1/3 sulla didattica. Con riferimento
alla distribuzione dei fondi 2009 fra atenei il
CUN propone che la quota di cui allart. 2, comma
1 del D.L. 180/08 convertito in L. 1/2009, da
ripartire fra gli atenei in considerazione della
qualità dellofferta formativa e i risultati dei
processi formativi nonché della qualità della
ricerca scientifica, sia fissata per il 2009 al
10 del FFO Fondo straordinario, e venga
suddivisa rispettivamente nella misura di 1/3 e
2/3 e distribuito secondo modalità realmente
rappresentative della qualità rapportata al
potenziale dei diversi atenei
9
Lettera del Ministro Mussi al CUN - 30 marzo 2007
Richiesta di aggregazione dei SSD
10
Motivazioni della richiesta

• Richiesta di riordino dei Settori (SSD) in vista
  di
• emanazione nuova disciplina per il reclutamento
  dei ricercatori
• bando finanziamento dei Progetti di Rilevante
  Interesse Nazionale (PRIN)

11
Obiettivo della richiesta

• Riaggregazione dei Settori Scientifico
  Disciplinari
• in coerenza con altri paesi Europei
• raggruppandoli in un numero compreso tra 80 e 90

12
La risposta del CUN alla lettera del Ministro
Il CUN è consapevole che alla base della
richiesta di aggregazione cè la considerazione
che Settori Scientifico Disciplinari
ampi ? garantiscono lo sviluppo della
competitività ? riducono lautoreferenzialità ? fa
nno crescere la qualità in generale Tuttavia,
pur impegnandosi ad affrontare nuovamente il nodo
dei settori in modo più approfondito, data
lurgenza di dar seguito alla richiesta del
Ministro, il CUN ? si è limitato a proporre
macro-settori come aggregazioni di SSD esistenti
nellambito delle 14 Aree ? ha esplicitamente
delimitato il campo di applicabilità al
reclutamento dei ricercatori universitari secondo
la modalità prevista dal nuovo Regolamento ? ha
garantito il suo impegno a riaffrontare il
problema
13
Richiesta del Ministro Gemini - 5 settembre 2008
14
Motivazioni della richiesta

• Individuare indicatori di qualità relativi
  allattività scientifica e di ricerca,
  utilizzabili
• in relazione ai diversi livelli concorsuali e
  alle peculiarità delle diverse aree scientifiche,
  in vista delladozione di nuovi provvedimenti
  normativi per il reclutamento della docenza
  universitaria
• per determinare il grado di qualificazione dei
  proponenti dei Progetti di ricerca

15
Ulteriore richiesta

• Riforma dei Settori Scientifico Disciplinari
• Motivazioni
• Attuare, in raccordo con la comunità accademica,
  la riforma dellimpianto degli attuali Settori
  Scientifico Disciplinari, in modo da ridurne la
  frammentazione nel rispetto delle diverse
  discipline
• Armonizzare il quadro con i più accreditati
  modelli internazionali e in particolare con
  quelli vigenti nellUnione europea

16
Indicatori della qualità dellattività
scientifica e di ricerca

• Documento di lavoro del Consiglio Nazionale
  Universtario
• Premesse al parere del CUN e quadro di
  riferimento
• La promozione della qualità del sistema
  universitario non può prescindere da unautonomia
  responsabile degli Atenei nella valorizzazione
  del merito ad ogni livello
• Necessità di criteri condivisi e trasparenti di
  valutazione dellattività scientifica dei
  candidati ai diversi livelli concorsuali come
  elemento per promuovere i migliori talenti e la
  qualità delle Università
• Importanza di definire di indicatori per la
  valutazione della qualità dellattività
  scientifica e di ricerca ai fini della
  valorizzazione del merito
• ? Importanza dei criteri da utilizzare
• - quali punti di riferimento qualificanti per
  le commissioni giudicatrici
• - per lautovalutazione dei candidati

17
Indicatori della qualità dellattività
scientifica e di ricerca

• Limiti nellimpiego degli indicatori e relative
  soglie
• Gli indicatori e i relativi valori minimi,
  elaborati dal CUN dopo consultazione delle
  Comunità Scientifiche di riferimento, sono da
  utilizzare esclusivamente per laccesso ai
  diversi livelli concorsuali
• Gli indicatori proposti sono intesi al fine di
  determinare livelli minimi normalmente
  accettabili
• Gli indicatori proposti nulla debbono togliere
  allautonomia degli Atenei nella libertà di
  strutturare i bandi di concorso secondo proprie
  esigenze

18
Indicatori della qualità dellattività
scientifica e di ricerca

• Indicazioni per le commissioni di concorso
• I valori minimi proposti per gli indicatori ai
  fini dellaccesso alle fasce di docenza sono
  elementi di riferimento per le commissioni e per
  lautovalutazione dei candidati
• Gli indicatori forniscono una rappresentazione
  sommaria dellattività scientifica dei candidati
  e la responsabilità di stabilire la graduatoria
  finale compete esclusivamente alle commissioni
  giudicatrici
• ? I livelli minimi non possono essere utilizzati
  per determinare in modo automatico lesclusione o
  lammissione di un candidato
• ? In caso di non osservanza di tali valori minimi
  le commissioni debbono motivarne le ragioni

19
Indicatori della qualità dellattività
scientifica e di ricerca

• Casi di dichiarata non utilizzabilità
• Gli indicatori scientifici per laccesso alle
  valutazioni concorsuali e gli indicatori di
  qualità per la valutazione dei proponenti dei
  PRIN, benché collegati, non sono coincidenti
• ? I valori proposti per gli indicatori, in quanto
  minimi, non possono considerarsi sufficienti ai
  fini del reclutamento per chiamata diretta

20
Indicatori della qualità dellattività
scientifica e di ricerca

• Caratteristiche degli indicatori
• Non è possibile utilizzare gli stessi indicatori
  per tutte le Aree e in qualche caso neppure per
  tutti i SSD in esse compresi
• Gli indicatori debbono essere aggiornati
  periodicamente dal CUN
• Gli indicatori devono essere semplici,
  trasparenti, facilmente applicabili e congrui per
  le diverse Aree o gruppi di SSD

21
Indicatori di attività scientifica e di ricerca
Aree 1-7
22
Indicatori di attività scientifica e di ricerca
Aree 8-14
23
Considerazioni generali sul lavoro svolto dal CUN

• Il CUN ha prodotto un documento importante,
  frutto di numerose discussioni avvenute
  allinterno delle varie aree
• Il fatto importante è che per la prima volta si
  parla esplicitamente di livelli minimi per
  ciascun Settore Scientifico Disciplinare
• I criteri presentati in tabella permettono di
  apprezzare in modo comparativo le differenze
• La differenziazione dei criteri tra le varie aree
  non è necessariamente un fatto negativo, in
  quanto rispecchia modalità di produzione e
  diffusione dei risultati scientifici che sono
  diverse tra area ed area
• Molti criteri sono comunque condivisi da Aree
  diverse
• Il valore del dottorato di ricerca risulta molto
  differente allinterno di diverse aree e settori
• Il discorso può essere approfondito realizzando
  verifiche ex-post applicando i criteri del CUN ai
  concorsi svolti negli ultimi anni

24
Confronto tra i criteri adottati dalle aree
(1) solo per ordinari (2) solo per
ricercatori (3) solo per associati e
ordinari
25
Il lavoro nellArea 9 Ingegneria industriale e
dellinformazione

• Si è inizialmente tentato di utilizzare le
  categorie ISI (Institute for Scientific
  Information) e lImpact Factor (IF), nel modo
  seguente
• Per valutare la produzione scientifica relativa a
  ciascun SSD
• Individuare le categorie ISI di interesse del
  SSD
• Suddividere le riviste di ogni categoria in
  quattro quartili
• Normalizzare lIF attribuendo alle riviste i pesi
  0.25, 0.5, 0.75 e 1 in base al quartile di
  appartenenza
• ? Aggiungere, se necessario, anche riviste
  nonISI con revisori, attribuendo loro analoghi
  pesi

26
Il lavoro nellArea 9 Ingegneria industriale e
dellinformazione

• Ridurre i pesi con un criterio di proprietà per
  tenere conto della numerosità degli autori,
  utilizzando un coefficiente moltiplicativo
  (analogo a quello adottato presso lUniversità di
  Bologna)
• ka e (n 1)/12
• ? Introdurre un criterio di continuità della
  produzione scientifica, limitando luso delle
  pubblicazioni più vecchie
• ? Calcolare il numero di pubblicazioni
  equivalenti come somma dei pesi relativi alle
  pubblicazioni
• ? Stabilire la soglia minima in termini di
  pubblicazioni equivalenti

27
Il lavoro nellArea 9 Ingegneria industriale e
dellinformazione

• Si è optato infine per criteri molto meno
  sofisticati per
• Rendere il criterio di facile e omogenea
  applicazione per tutti i settori dellArea
• Non dovere introdurre nuove classificazioni e
  relativi pesi di collocazioni editoriali non-ISI
• Poter includere anche i lavori pubblicati in atti
  di congressi (molto importanti allinizio di
  carriera)
• Non penalizzare le attività sperimentali
  (pubblicazioni tipicamente a molti autori)
• Non introdurre criteri troppo disomogenei
  rispetto alle altre Aree CUN
• ? Evitare di dare limpressione che un approccio
  molto articolato sia in grado di produrre una
  valutazione comparativa automatica

28
Il lavoro svolto nellArea 9 Criterio per i
Ricercatori

• Esempio per i concorsi a ricercatore
  universitario
• Un numero di pubblicazioni a diffusione
  internazionale con revisori internazionali, non
  inferiore a 6, di cui
• non più di 4 con data di pubblicazione anteriore
  a 5 anni prima della chiusura del bando,
• non più di 2 con data di pubblicazione anteriore
  a 10 anni prima della chiusura del bando.

29
I concorsi per i ricercatori dopo il 30 novembre
2008
La legge 1/2009 (conversione in legge del DL
180/08) Art. 1, comma 7. Nelle procedure di
valutazione comparativa per il reclutamento dei
ricercatori bandite successivamente alla data di
entrata in vigore del presente decreto, la
valutazione comparativa è effettuata sulla base
dei titoli, illustrati e discussi davanti alla
commissione, e delle pubblicazioni dei candidati,
ivi compresa la tesi di dottorato, utilizzando
parametri, riconosciuti anche in ambito
internazionale, individuati con apposito decreto
del Ministro dell'istruzione, dell'università e
della ricerca, avente natura non regolamentare,
da adottare entro 30 giorni dalla data di entrata
in vigore della legge di conversione del presente
decreto, sentito il Consiglio universitario
nazionale.
30
I nuovi concorsi per ricercatori dopo la Legge
1/2009
Parere del CUN 12 marzo 2009 La commissione
dovrà tenere conto in ogni caso della produzione
scientifica complessiva del candidato, inclusa la
tesi di dottorato, facendo ricorso, ove
possibile, a parametri riconosciuti in ambito
scientifico internazionale dalle singole
comunità, quali ? numero delle opere
monografiche numero totale di saggi su rivista o
su volumi collettanei ? numero totale delle
pubblicazioni o saggi su rivista ? numero delle
pubblicazioni o saggi per anno di attività
? numero totale delle citazioni ? numero medio
di citazioni per pubblicazione ? impact
factor totale ? impact factor medio per
pubblicazione ? numero dei prodotti scientifici
peculiari delle singole Aree o SSD ? numero dei
brevetti ? combinazioni dei precedenti
parametri atte a valorizzare limpatto della
produzione scientifica del candidato (indice di
Hirsch, o simili).
31
La bozza di decreto
Art. 3 (Valutazione delle pubblicazioni
scientifiche) Comma 3 .. Nellambito dei
settori scientifico-disciplinare in cui ne è
riconosciuto luso a livello internazionale le
Commissioni si attengono anche ai seguenti
indici 1) numero totale delle
citazioni 2) numero medio di citazioni per
pubblicazione 3) "impact factor"
totale 4) "impact factor" medio per
pubblicazione 5) combinazioni dei precedenti
parametri atte a valorizzare l'impatto della
produzione scientifica del candidato (indice di
Hirsch o simili).
32
Il significato della revisione dei Settori (SSD)

• Tutte le richieste di revisione sono finalizzate
  ad una più rigorosa valutazione della produzione
  scientifica che deve essere considerata in tutte
  le aree ai fini di
• reclutamento
• progressione di carriera
• finanziamento dei programmi di ricerca (PRIN,
  FIRB . )
• ripartizione tra gli Atenei del Fondo di
  Finanziamento Ordinario (FFO)
• .

33
Riforma dei Settori Scientifico Disciplinari
I Settori Scientifico disciplinari in
EUROPA FRANCIA Composition du Conseil national
des Universités http//www.enseignementsup-recherc
he.gouv.fr/cid22839/composition-conseil-national-d
es-universites.html REGNO UNITO Research
Assessment Exercise (RAE) 2008
Panels http//www.rae.ac.uk/panels/ SPAGNA Áreas
de conocimiento en la universidad española de
2000 http//www.filosofia.org/ave/001/a121.htm UN
IONE EUROPEA European research Council peer
review evaluation panels (ERC panels) http//www.u
niud.it/ricerca/finanziamenti/nazionali/FIRB20-2
0Giovani/settori-erc-starting-grants-2009.pdf
34
Conclusioni
La cultura della valutazione sta penetrando in
maniera pervasiva in tutte le dimensioni della
formazione superiore e della ricerca La
valutazione della ricerca in particolare è il
nodo principale Lesperienza CUN è di
fondamentale importanza, perché costituisce un
primo tentativo organico di individuare
? indicatori rappresentativi della qualità
scientifica ? soglie di ammissibilità Si sta
facendo strada lidea che in tutte le aree sia
possibile misurare lattività scientifica e
stabilire dei livelli minimi Un ricercatore
esiste nella misura in cui si confronta con i
suoi pari attraverso le pubblicazioni Secondo
tale ottica è stato realizzato il sito Pubblico
Ergo Sum http//www.pubblicoergosum.org/