Pr

1
(No Transcript)
2
(No Transcript)
3
REVUE DU PROCESSUS DEXAMEN PAR LES PAIRS DES IRSC

• 11 AVRIL 2006

4
DÉMARCHE DE LA CONSULTATION

• SONDAGE
• Consultation auprès des chercheurs en santé de
  lUniversité Laval
• 108 répondants (sur 408 questionnaires transmis)
• 2 RENCONTRES DE RÉFLEXION
• 16 membres de comités des pairs des IRSC ont
  participé à lune ou lautre des deux rencontres
• Production dun document résumant les
  commentaires et suggestions issus de ce processus
  de consultation

5
RECOMMENDATION GÉNÉRALE

• Le système dévaluation par les pairs, bien
  quimparfait, demeure le meilleur disponible et
  il doit être maintenu.

6
RECOMMANDATION 1MARGE DE RÉVISION DE LA COTE
ACCORDÉE

• Que la marge de révision soit revue à la baisse
  et soit établie à ou 0,2 (ou 0,1) lorsquil y
  a consensus (i.e. lorsque les 2 évaluateurs
  internes sentendent sur une cote commune), ce
  qui en réduirait limpact.
• Que la marge de révision à ou 0,5 soit
  utilisée uniquement lorsquil ny a pas
  consensus, cest-à dire lorsque les 2 évaluateurs
  internes narrivent pas à sentendre sur une cote
  commune ou quun écart (seuil minimal à définir)
  demeure entre les cotes suggérées par les 2
  internes.

7
RECOMMANDATION 2COMMENTAIRES DES ÉVALUATEURS
EXTERNES

• Que les IRSC mettent en place un processus strict
  permettant que si lexpertise requise à
  lévaluation nest pas présente au sein du
  comité, on fasse appel à des évaluateurs
  additionnels (membres ad hoc) dont lexpertise
  est jugée nécessaire.
• Ces évaluateurs participeraient donc aux
  discussions du comité sur certains dossiers, au
  même titre que les évaluateurs internes. Leur
  participation pourrait se concrétiser par une
  présence virtuelle, par exemple, par voie de
  conférence téléphonique.
• Ils agiraient alors à titre de membre ad hoc
  plutôt que dévaluateurs externes.

8
RECOMMANDATION 3ÉVALUATION RÉPÉTÉE DUNE MÊME
DEMANDE

• Que les IRSC améliorent la gestion des
  resoumissions de façon à assurer une meilleure
  continuité dans les évaluations.
• Sans arriver à un consensus, le groupe considère
  que les propositions suivantes sont intéressantes
  et quelles méritent dêtre étudiées par les
  IRSC, soit

9
ÉVALUATION RÉPÉTÉE DUNE MÊME DEMANDE (suite)

1. Que lon sassure que les demandes redéposées
   soient examinées par au moins un évaluateur ayant
   déjà procédé à lexamen du dossier. Dans le cas
   où le mandat de ces évaluateurs serait complété,
   ceux-ci pourraient alors agir à titre
   dévaluateurs externes ou à titre dévaluateurs
   ad hoc (voir ci-dessus) pour ces seuls dossiers.
2. Que lon isole les projets bien cotés mais non
   financés et quun concours spécifique leur soit
   dédié.

10
ÉVALUATION RÉPÉTÉE DUNE MÊME DEMANDE (suite)

• 3. Que lon mette en place un processus
  dapprobation conditionnelle où une demande
  pourrait faire lobjet dun questionnement
  spécifique auprès du demandeur avant que la cote
  finale ne soit attribuée. Ce processus
  sappliquerait aux demandes dont la cote
  potentielle serait légèrement inférieure à la
   cote de passage , ou à un pourcentage
  déterminé de demandes par comité. Il est noté
  que ce processus est déjà utilisé avec succès
  dans le comité des essais cliniques.

11
ÉVALUATION RÉPÉTÉE DUNE MÊME DEMANDE (suite)

• 4. Que lOfficier scientifique et le président
  aient en mains les évaluations précédentes et que
  lOfficier scientifique rende compte, lors de la
  rencontre du comité, de lévaluation précédente
  de la demande.

12
RECOMMANDATION 4 FRÉQUENCE DES CONCOURS DE
SUBVENTION DE FONCTIONNEMENT

• Maintenir deux concours par année ouverts à
  tous, tel que le permet le système actuel. Cette
  recommandation respecte lopinion émise par la
  majorité des répondants au sondage.
• La possibilité davoir un processus  accéléré 
  réservé aux resoumissions, sans faire consensus,
  mérite dêtre mieux étudiée.

13
RECOMMANDATION 5 CONSTITUTION DES COMITÉS DE
PAIRS

• Que la participation dexperts internationaux au
  sein des comités soit fortement considérée
  particulièrement dans le cas dévaluation de
  demandes non standards (demandes
  interdiscipli-naires, multi-domaines et demandes
  où les principaux experts canadiens font partie
  de la demande de financement).
• Si les experts internationaux ne peuvent pas
  être présents à la réunion, nous recommandons
  quils soient considérés au même titre que les
  évaluateurs internes (voir recommandation 2).

14
RECOMMANDATION 5 CONSTITUTION DES COMITÉS DE
PAIRS

• Sassurer que la représentation des francophones
  en tant que membres internes des comités permette
  une évaluation juste et équitable des demandes
  rédigées en français.

15
RECOMMANDATION 6 Initiatives stratégiques
(appels de demandes) Examen de la pertinence des
projets

• Que les Instituts décrivent plus clairement les
  priorités dans lappel de demandes.
• Que la pertinence du projet soit évaluée sur la
  base dune lettre dintention présentée à un
  comité de pertinence de la direction de
  lInstitut.

16
RECOMMANDATION 7 Représentation du public et
des acteurs de la recherche en santé sur les
comités dévaluation

• Que les représentants du public soient invités à
  titre dobservateurs, avec possibilité
  dinterventions, mais sans droit de vote.
• Que la représentation du public soit liée au type
  de demande ou au domaine dintervention et
  quelle ne soit pas systématique à tous les
  comités mais ciblée à certains comités suite à
  une évaluation de pertinence.

17
RECOMMANDATION 8 Valorisation et appui aux
jeunes chercheurs

• Aucune proposition na été retenue puisque le
  consensus na pas été atteint quant aux
  propositions discutées, en partie parce que le
  comité ne disposait pas de donnés objectives
  démontrant si les jeunes chercheurs sont ou ne
  sont pas défavorisés par le système dévaluation
  actuel.
• Les avis sont divergents. Les membres du groupe
  de discussion sont sensibles à la situation et
  aux besoins particuliers des jeunes chercheurs
  mais plusieurs croient que les nouveaux
  chercheurs sont traités équitablement et quils
  ne sont nullement pénalisés par le système
  actuel.

18
AUTRES PISTES DE RÉFLEXION

• Comment réduire la charge de travail pour les
  évaluateurs ?
• La longueur des demandes devrait-elle être
  réduite ainsi que la quantité dannexes ?
• Tous ces documents (en particulier les annexes
  sur les projets financés) sont-ils réellement
  nécessaires à lévaluation ?

19
AUTRES PISTES DE RÉFLEXION (suite)

• Révision du budget par le comité  quelles
  devraient-elles être les règles de révision du
  budget et comment éviter que cet exercice ne
  devienne  aléatoire  ? La pratique varie
  beaucoup de comité en comité. Comment
  standardiser lexamen du budget par le comité ?
  Comment sassurer que le montant accordé, sil
  est réduit, nentrave pas la réalisation du
  projet et ne compromette pas sa faisabilité ?

20

• MERCI DE VOTRE ATTENTION!

21
REVUE DU PROCESSUS DEXAMEN PAR LES PAIRS DES IRSC

• 11 AVRIL 2006

22

• RÉSULTATS
• DU SONDAGE

23
DÉMARCHE DE LA CONSULTATION

• SONDAGE
• Consultation auprès des chercheurs en santé de
  lUniversité Laval
• 108 répondants (sur 408 questionnaires transmis)
• 2 RENCONTRES DE RÉFLEXION
• 16 membres de comités des pairs des IRSC ont
  participé à lune ou lautre des deux rencontres
• Production dun document résumant les
  commentaires et suggestions issus de ce processus
  de consultation

24
Selon vous, lexamen par les pairs des IRSC est
un système dévaluation
25
2. Le nombre de comités de pairs depuis 2000 est
passé de 25 à 49 en 2004-2005. La sélection dun
comité de pairs pour lévaluation de votre
demande est-elle...
26
3. Considérez-vous que la liste des comités de
pairs actuelle satisfait les besoins de votre
domaine de recherche de façon
27
4. Les IRSC se sont engagés à améliorer la
représentation du public et des acteurs de la
recherche en santé sur les comités dévaluation à
titre dévaluateurs sur les comités.
Considérez-vous cette mesure
28
5. Dans les concours ouverts, une nouvelle
méthode de répartition des subventions (1000)
entre les comités est en vigueur depuis
septembre 2005. Cette méthode consiste à ()
Estimez-vous la nouvelle méthode (1000) 
29
6. Si vous avez présenté une demande de
subvention au concours de septembre 2005,
considérez-vous que la nouvelle méthode de
transmission électronique de votre évaluation par
le comité de pairs est 
30
7. Selon vous, les commentaires des comités de
pairs transmis suite à une demande de financement
sont habituellement
31
8. Dans le cadre des initiatives stratégiques
(appels de demandes), les IRSC veulent mettre en
œuvre un processus transparent, simple et
uniforme dexamen de la pertinence des
projetsUne demande ne recevra pas de
financement, ou pourrait ne pas être admise à
létape dexamen par les pairs si lon constate
quelle nest pas pertinente aux intérêts
stratégiques sans égard au potentiel de recherche
quelle représente. Considérez-vous cette
mesure
32
9. Concernant les concours ouverts de subventions
de fonctionnement, est-il judicieux de conserver
2 concours par année compte tenu du taux de
succès et du temps de rédaction requis ?
devrait-on revenir à un concours par année avec
un taux de succès 2 fois plus élevé ?
33
RECOMMENDATION GÉNÉRALE

• Le système dévaluation par les pairs, bien
  quimparfait, demeure le meilleur disponible et
  il doit être maintenu.

34
REMERCIEMENTS

• Merci à tous les participants
• Michèle Clavet
• Louise Laperrière
• Marielle Morissette

35
(No Transcript)
36
(No Transcript)
37
(No Transcript)
38
(No Transcript)
39
(No Transcript)