Comment s

1
Comment sest déroulée une évaluation de
programme à laquelle vous avez collaboré
?Évaluation des interventions en innovation et
en économie du savoir à Développement économique
Canada  

• Daniel Otis
• Direction Qualité et examen
• Développement économique Canada
• Présentation au colloque de la SQEP
• 29 octobre 2004

2
Objectifs de la présentation

• Décrire les contraintes qui déterminent le
  choix dune stratégie dévaluation
• Lutilité de faire un post mortem de toute
  démarche dévaluation
• Permettre de tirer des enseignements pour le futur

3
Plan de présentation

• Brève présentation de lagence
• Direction Qualité et examen
• Contexte de lévaluation
• Mandat dévaluation
• Étapes de planification de lévaluation
• Élaboration dun devis dévaluation
• Étapes de réalisation de lévaluation
• Post mortem
• Utilité des résultats
• Efficacité et efficience du processus

4
À propos de Développement économique Canada

• Mandat Promouvoir le développement régional au
  Québec
• Budget annuel environ 350 millions
• Nombre d'employés environ 400
• 14 bureaux d'affaires, un siège social à Montréal
  et un bureau de liaison situé à Gatineau

5
À propos de Développement économique Canada

• Clientèle principale visée PME
• Principaux services offerts
• Aide financière (contributions et subventions)
• renseignements, références, avis et
  accompagnement pour la réalisation de projets de
  développement

6
(No Transcript)
7
Direction Qualité et examen

• Regroupe les fonctions de mesure du rendement,
  dévaluation, de vérification et de Qualité (ISO
  9001)
• Une quinzaine dETP, dont 5,5 ETP en évaluation
• Principales responsabilités de léquipe
• Supervision des projets dévaluation
• Selon les exigences du Conseil du trésor
• Selon les demandes ad hoc
• Rédaction du rapport ministériel sur le rendement
• Services-conseils en mesure du rendement (annexe
  E) et en évaluation de projets auprès des bureaux
  daffaires

8
Contexte de lévaluation

• En juin 2001, le Conseil du Trésor approuvait le
  transfert, B lagence, du solde du budget de
  177,2 M du Fonds du Canada pour la création
  demplois (FCCE) pour lui permettre dintensifier
  ses interventions en matière dinnovation, avec
  un effort accru dans les régions qui éprouvent
  des difficultés à sadapter au nouveau contexte
  économique.

9
Contexte de lévaluation

• Avant 2001
• Agence intervenait déjà en innovation
• Programme IDÉE-PME (1994)
• Linnovation / R-D était lun des trois axes
  dintervention
• Programme IRS (1997)
• Accroître la capacité technologique des régions
  pour favoriser lutilisation des technologies les
  plus appropriées et leur adaptation par la PME

10
Contexte de lévaluation

• Novembre 2001,
• Le secrétaire dÉtat responsable de lagence
  annonce que laxe innovation du programme
  IDÉE-PME serait élargi
• Inclusion dun nouvel axe Innovation et
  productivité dans le but daméliorer la
  performance des PME québécoises en matière
  dinnovation et de productivité
• Deux volets
• Volet 1 Innovation
• Sous-volet Essais et expérimentations /
  ressources naturelles
• Volet 2 Productivité
• Sous-volet Affaires électroniques

11
Mandat dévaluation

• Lévaluation doit répondre B deux grandes
  préoccupations
• une exigence externe celle du Conseil du
  Trésor
• Le CT dans sa décision du 7 juin 2001 (CT 829053)
  exige que lagence procède à une évaluation des
  programmes démontrant les résultats des activités
  liées à linnovation et à léconomie du savoir
  financées par les crédits transférés du Fonds du
  Canada pour la création demplois avant juin
  2004.

12
Mandat dévaluation

• des préoccupations internes
• Lagence est B létape de la planification des
  travaux entourant
• le renouvellement de sa programmation dont
  léchéance est 2005-2006.
• Lévaluation, comme fonction de gestion,
  contribue au cycle de gestion de lagence en
  permettant notamment de tirer des enseignements
  pour lavenir des interventions réalisées
• Le renouvellement des fonds FCCE (juin 2004)

13
Étapes de la planification (1)
14
Étapes de planification (1)

• Première étape rédaction dun devis
  dévaluation
• Description de la logique dintervention de
  lagence en innovation / économie du savoir
• Avoir une compréhension commune sur
• les intentions et le rationnel (raison dêtre,
  cibles et objectifs)
• lintervention et ses effets (dynamique interne
  liée à la gestion et la mise en œuvre des
  interventions et de leurs effets et
  répercussions)
• Étape importante compte tenu de la nature des
  interventions de lagence
• Diversité des interventions (programmes / types
  dintervention / clientèles)
• rappel cadre dintervention stratégique

15
Étapes de planification (2)

• Défis méthodologiques et organisationnels
• Défis méthodologiques
• Comment mesurer les effets pour les entreprises ?
• Groupe contrôle / faisabilité ?
• Comment mesurer les effets pour les projets
  organismes / les régions ?
• Comment faire la démonstration de
  lintensification des interventions de lagence ?

16
Étapes de la planification (3)

• Défis organisationnels
• Nos consultations à linterne ont permis de
  dégager certaines préoccupations et aussi
  identifier certaines réticences à légard
  denjeux dévaluation. Par exemple
• Avoir un regard prospectif pas uniquement
  rétrospectif
• Certaines réticences à intégrer lenjeu de la
  mise en oeuvre
• Contraintes logistiques
• Échéancier de réalisation (avant juin 2004)
• Budget ?100K

17
Étapes de la planification (3)

• Pour la version finale du devis, nous avons tenu
  compte de certaines des préoccupations et
  effectué certains choix méthodologiques
• Enjeux dévaluation
• Intégration de la dimension prospective
• Maintien de lenjeu de la mise en oeuvre
• Respect de léchéancier
• Utilisation de plusieurs firmes pour réaliser en
  parallèle les différents travaux
• Études de cas organismes / régions
• Respect du budget
• Travaux réalisés à linterne

18
Enjeux dévaluation

• Lévaluation a porté sur quatre grands enjeux,
  soit
• Enjeu de la pertinence
• A-t-on fait les bonnes choses ?
• Enjeu de la mise en œuvre
• A-t-on bien fait les choses ?
• Enjeu des effets et répercussions
• Quels sont les résultats ?
• Enjeu des perspectives dintervention
• Comment devrions-nous intervenir ?

19
Enjeu Pertinence de lintervention (1)

• Objectif
• Procéder à lexamen de la logique dintervention
  
• le maintien ou non de la pertinence des cibles,
  des objectifs et de la nature de lintervention
• Les questions sarticulent autour des thPmes
  suivants
• la conception de lapproche dintervention
• ladéquation aux besoins
• la cohérence de lapproche dintervention

20
Enjeu Pertinence de lintervention (2)

• Méthodologie
• Revue de la documentation interne
• Entrevues auprès des directeurs des bureaux
  daffaires (n14) /Entrevues avec des partenaires
  fédéraux (protocole dentente) (n5)
• Enquête intranet auprès des conseillers de
  lagence (54 / 95)
• Enquête téléphonique auprès des entreprises
• Études de cas régions / organismes

21
Enjeu Mise en oeuvre (1)

• Objectif
• Vérifier si la mise en œuvre des interventions
  sest déroulée telle que prévue / problèmes
  rencontrés
• Les questions sarticulent autour des thèmes
  suivants
• La planification de la mise en oeuvre des
  interventions
• lutilisation des ressources humaines et
  financières (intrants)
• le suivi de la mise en oeuvre
• Le bilan des interventions (extrants)
• A-t-on intensifié nos interventions depuis juin
  2001 ?

22
Enjeu Mise en oeuvre (2)

• Méthodologie
• Entrevues auprès des directeurs des bureaux
  daffaires (n14)
• Entrevues avec des partenaires fédéraux
  (protocole dentente) (n5)
• Enquête intranet auprès des conseillers de
  lagence (54 / 95)
• Analyse de la base de données HERMÈS (extrants)
• Enquête téléphonique auprès des entreprises
• Études de cas régions / organismes

23
Enjeu Effets et répercussions (1)

• Objectif
• Déterminer les effets et répercussions des
  projets en innovation et économie du savoir
• Les questions sarticulent autour des thèmes
  suivants
• les effets immédiats et intermédiaires sur les
  entreprises
• Ex. Commercialisation / transferts de
  technologies
• mais aussi les effets et répercussions sur les
  milieux régionaux
• Système régional dinnovation / capacités
  technologiques des régions

24
Enjeu Effets et répercussions (2)

• Résultats attendus
• Quels sont les résultats bruts de nos
  interventions auprès
• des entreprises
• accroissement des ventes / réduction des coûts de
  production, etc.)
• des organismes / régions
• Contribution à la mise en place dun système
  régional dinnovation

25
Enjeu Effets et répercussions (3)

• Méthodologie
• Enquête téléphonique auprès des clients
  entreprises (404/740)
• Études de cas
• Organismes (8)
• Régions (3)

26
Enjeu Perspectives dintervention (1)

• Objectifs
• Dégager les grandes tendances dintervention dans
  le domaine de linnovation et du développement
  régional
• Décrire comment dautres organismes interviennent
  en innovation

27
Enjeu Perspectives dintervention (2)

• Les questions sarticulent autour des thèmes
  suivants
• Quel est rôle de LÉtat / des agences en
  innovation ?
• Quels sont les instruments dintervention les
  plus efficaces, etc. ?
• Quelles sont les approches dintervention
  utilisées par dautres organismes ?

28
Enjeu Perspectives dintervention (3)

• Résultats attendus
• Identification des tendances lourdes
  dintervention en innovation, les instruments
  dintervention les plus efficaces, etc.
• Positionner lintervention de lintervention par
  rapport à dautres organismes

29
Enjeu Perspectives dintervention (4)

• Méthodologie
• Consultation téléphonique de 14 experts
  internationaux en innovation / développement
  régional
• Une adaptation de la méthode DELPHI
• Étalonnage de 7 organismes qui interviennent en
  innovation / développement régional
• Positionnement de lintervention de lagence par
  rapport à ses organismes

30
Sources et méthodes de collecte de données Pertinence Mise en oeuvre Effets et répercussions Prospectif
Les clients ayant reçu une aide financière de lagence (enquête) Y Y Y
Études de cas (organismes / régions) Y Y Y
Gestionnaires et conseillers de lagence (entrevues/enquête) Y Y
Partenaires fédéraux (entrevues) Y Y
Experts (DELPHI) Y Y
Organismes en innovation / développement régional (Étalonnage) Y Y Y
31
Étapes de réalisation (1)
32
Étapes de réalisation (2)

• Gestion de lévaluation
• Une équipe dévaluation (3)
• 2 personnes responsables du projet DQE
• Élaboration des termes de référence
• 1 personne DGPP - impliquée dans le volet
  perspectives dintervention
• Un comité de suivi de lévaluation
• Représentants des différentes directions de
  lagence
• Deux experts externes en évaluation et en
  innovation

33
Étapes de réalisation (3)

• Principales responsabilités du comité
  dévaluation /groupes de travail
• Approuver
• le devis final dévaluation (automne 2003)
• les différents outils de collecte de données
  (hiver 2004)
• le rapport final
• Soutien à léquipe dévaluation
• Définir les critères pour la sélection des études
  de cas
• Identifier les experts québécois, canadiens et
  internationaux (groupe de discussion et enquête
  DELPHI)
• Commenter les différents biens livrables
  (présentations, rapports intérimaires, rapports
  finaux, recommandations)

34
Étapes de réalisation (4)

• Différentes firmes ont été impliquées dans la
  réalisation des différents travaux en raison de
  léchéancier de réalisation
• Rédaction dun rapport par chacune des firmes
  impliquées
• Rapport-synthèse rédigé par la DQE
• Les différents rapports deviennent des annexes

35
Post mortem (1)

• Utilité
• Utilisation des rapports préliminaires pour fins
  de présentation dans le cadre du renouvellement
  des orientations stratégiques
• Comité de gestion ministérielle (juin)
• Secteur Planification et politiques (août)
• Secteur des opérations (septembre)
• Renouvellement du FCCE
• Préparation dune synthèse des principaux
  résultats pour le Conseil du trésor (novembre)

36
Post mortem (2)

• Efficacité et efficience du processus
• Gestion de lévaluation
• Équipe dévaluation
• Répartition des tâches de supervision entre les
  membres de léquipe dévaluation
• Comité dévaluation / groupes de travail
• À améliorer
• Méthodologie
• Organismes mesure des effets (enquête ?)
• Étalonnage
• Synthèse des rapports (en cours)
• À partir des enjeux et questions dévaluation du
  devis
• Plus compliqué pour les études de cas

37
Post mortem (3)

• Respect du budget
• Développer un outil pour évaluer les coûts des
  études de cas
• Travaux réalisés à linterne
• Bilan des interventions / Rapport-synthèse
• Respect des échéanciers
• Partiellement
• Oui, pour le dépôt des rapports préliminaires
• Modification de léchéancier
• Changement de gouvernement / élections
  Utilisation de plusieurs firmes afin de respecter
  léchéancier