Le CV du chercheur

1
Le CV du chercheur

• évaluation et valeur comparative

Bibiane Fréché (ULB) Björn-Olav Dozo (ULg-FNRS)
2
Objectifs généraux

• Présenter et décrypter les grandes catégories des
  CV types de différentes institutions (universités
  et FNRS)
• Interroger ces catégories en rappelant les débats
  qui les ont vues naître

3
Pourquoi une telle actualité autour de
lévaluation?

• Travail scientifique, depuis toujours
  évaluation par les pairs
• Mars 2000 conseil européen de Lisbonne
   stratégie de Lisbonne 
•  Chercheurs-entrepreneurs , concurrence,
   marché de la recherche 

4
? Multiplication des classements

• Universités
• Revues
• Facteur dimpact
• H-index
• Etc.

5
Des classements pas évidents

• Exemples du classement des revues en SHS
• ERIH (European Reference Index for the
  Humanities) de lESF (European Science
  Foundation)
• AERES (Agence dévaluation de la recherche et
  de lenseignement supérieur)

6
ERIH

• Deux listes (2007 et 2011)
• Mise en garde explicite contre lusage de ces
  listes pour évaluer les chercheurs
• Élaboration de la première liste peu transparente
  et peu fiable

7
AERES

• Différences en fonction des disciplines
• Par exemple pas de liste en études littéraires
• Question du classement et/ou du périmètre de
  scientificité

8
Un retour à lévaluation qualitative

• Depuis deux à trois ans, mouvement de défiance
  envers lévaluation quantitative, même du côté de
  ceux qui la prônaient avant. Quelques exemples
• EUA (European University Association)
• DFG (Deutsche Forschungsgemeinschaft)
• RAE (Research Assessment Exercise)

Voir aussi les travaux de Michèle Lamont,
notamment How Professors Think. Inside the
Curious World of Academic Judgement, Harvard UP,
2009.
9
Pour lévaluation qualitative 1 LEUA critique
les classements des universités
LEuropean University Association a publié le 19
juin 2011 un rapport critiquant les classements
des universités. There is clear evidence
that attempts to measure the quality of teaching
and learning that involve the use of proxies, 
often with a very indirect link to teaching
quality, are rarely effective, while the
importance of links to external stakeholders and
environments are largely ignored.
10
Pour lévaluation qualitative 2 position de la
Deutsche Forschungsgemeinschaft
With these regulations, the DFG wants to
counteract the quantitative factors that have
been increasing for years in terms of research
publications. Whether in performance-based
funding allocations, postdoctoral qualifications,
appointments, or reviewing funding proposals,
increasing importance has been given to numerical
indicators such as the H-index and the impact
factor. The focus has not been on what research
someone has done but rather how many papers have
been published and where. This puts extreme
pressure upon researchers to publish as much as
possible and sometimes leads to cases of
scientific misconduct in which incorrect
statements are provided concerning the status of
a publication. This is not in the interest of
science. (Lettre dinformation de la DFG -
Deutsche Forschungsgemeinschaft, 23/2/2010)
11
Pour lévaluation qualitative 3 retour sur les
réformes de lUKs Research Assessment Exercise
(RAE)
Evaluations of research quality in universities
are now widely used in the advanced economies.
The UKs Research Assessment Exercise (RAE),
which began in 1986, is the most highly developed
of these research evaluations. Based on peer
review and involving some sixty-nine panels
evaluating the research work of more than 50,000
academic staff, the exercise is expensive and
time consuming. In this article, we examine the
possibility that a quantitative, metrics-based
approach can provide a low-cost alternative to
expensive, qualitative peer review. Our
results show that no single model will apply
across science and non-science disciplines. Any
metrics approach to performance evaluation has to
use a discipline-specific suite of
indicators. Linda Butler et Ian Macallister,
Evaluating University Researche Performance
using metrics,European Political Science, vol.
10/1, 2011, pp. 445
12
Pertinence des métriques pour les SHS

• Article de Butler et Macallister (2011) sur RAE,
  qui pointe que la bibliométrie est peu pertinente
  pour les SHS
• Réserves de lAcadémie des sciences française
  (voir note de Cl. Lemercier sur
  http//evaluation.hypotheses.org)

 Quant à lutilisation de Google Scholar,
souvent présentée comme la seule planche de salut
pour les SHS (vu la faible couverture des bases
de données mieux construites), les membres du
groupe osaient à peine me croire quand jen
parlais, vu le manque de qualité des données
Cela veut dire, particulièrement pour nos
disciplines où les bases elles-mêmes sont à
construire (si une telle chose est possible vu la
multiplicité et la variété des supports de
publication), que si lon voulait faire
proprement de la bibliométrie, il faudrait y
dédier de nombreux postes.  Lemercier, 25/1/2011
13
Création de bases de données pour la bibliométrie

• En cours, notamment du côté flamand (Ghent U.,
  KUL, etc.)
• Conséquence certains collègues ne souhaitent
  plus publier dans des revues qui ne sont pas
  classées dans leur université

14
Exemple de lUGhent
Où lextension de ces classements aux SHS a été
effectué
15
Lusage des indicateurs bibliométriques incite à
modifier ses comportements de publication
Soyons francs nous savons tous faire cela,
découper un article en deux, trois, quatre
articles et le faire traduire en deux, trois,
quatre langues pour ajouter autant ditems à nos
listes de publications. Productivité en hausse,
créativité zéro. Notre schizophrénie de
chercheurs est là nous renâclons également
sous la forme de la contestation infinie des
critères mais nous savons faire, et nous
savons que ce nest pas cela quil faut
faire. Philippe Büttgen et Barbara Cassin, Les
dégâts de lévaluation. LÉtat schizophrène et
lévaluation de la recherche , La Vie de la
recherche scientifique, 378, 2009, p. 30-31.
16
H index quest-ce que cest ?

• Indice h rend compte du nombre de publications et
  du nombre de citations par publication
• Ex. un indice 10 équivaut à 10 publications
  citées au moins 10 fois

17
Le CV du chercheur

• Les  nécessaires 
• Séjour de recherche à létranger
• Articles peer-reviewed
• Livre (thèse)
• Les  non suffisants  mais importants
• Colloques, organisation, administratif, etc.

18
Séjour de recherches à létranger

• Durée
• Bruxelles
• Liège
• FNRS
• BAEF, Fullbright, accords Québec, Wiener-Anspach,
  post-doc out, bourse DRE out, etc.

19
Articles dans des revues

• Revues à comité de lecture
• Prise en compte des classements
• Dépend de luniversité
• Dépend de la discipline
• Articles en anglais ?
• Articles comme chapitres de livres
• Article individuel / collectif ?

20
Livres

• Seul
• Thèse
• Maison dédition
• Collectif
• Dirigé / co-dirigé
• Livre
• Numéro de revue
• Chapitre de livre

21
Autres types de publications

• Comptes rendus
• Notices de dictionnaire

22
Prises de parole

• Colloques internationaux
• Sur invitation
• Dans des gros congrès disciplinaires
• Conférences
• Organisation de colloque
• Comité scientifique
• Président de séance

23
Prix / bourses

• Distinctions scientifiques
• Telle diversité que semble inquantifiable

24
Activité éditoriale

• Revue
• Exemple de COnTEXTES
• Collection
• PULg
• BSS

25
Sociétés savantes

• Réseaux internationaux
• Informations sur la discipline
• Sociabilité de la recherche
• Groupes liés à des projets de recherche
• Groupes de contact
• Comité de rédaction de revues
• Etc.

26
Expertise

• Peer-reviewing pour revues
• Comité de lecture
• Expert externe
• Évaluation de dossiers pour organismes finançant
• Fondation universitaire
• FNRS, CRSH, etc.

27
Développements informatiques

• Bases de données
• Logiciels (dannotation par exemple)
• Différence avec un programmeur nécessité de
  problématiser et de présenter les enjeux de ce
  type de travail dans des articles scientifiques

28
Vulgarisation

• Variable dune université à lautre
• Publications
• Cartes blanches dans journaux
• Dossier de vulgarisation dans revues généralistes
• Conférences grand public
• Université senior
• Intervention en milieu scolaire
• Invitation dans associations

29
Enseignement

• Importance différente en fonction de la cible
  chercheur / enseignant
• Participation à différents cours comme invité
• Missions denseignement
• Direction / jurys de mémoire

30
Services à la communauté

• Administration universitaire interne
• CA, conseil facultaire, conseil de département,
  commissions, etc.
• Promotion de lenseignement
• Coopération au développement

31
Conclusion

• Sanction / progression
• Quantité /qualité
• Réflexion critique et propositions