Evaluation Externe

1
Evaluation Externe

• Un levier pour le changement

Delphine SAINT-HUBERT Chef de service
Projet-Evaluation- Qualité
2
Le contexte de lADAPEI de la Gironde
3
Le contexte de lADAPEI de la Gironde

• Un calendrier associatif qui doit conjuguer
  toutes les exigences
• 36 autorisations soumises à lévaluation externe
  dont 21 avant le 3 janvier 2015
• mais aussi une logique de complexes
  (ESAT/STP/UH) visant à une optimisation des
  coûts et de lorganisation
• 18 sites (soit 29 autorisations) à faire évaluer
  avant le 3 janvier 2015
• Face au risque  dembouteillage 
• Dès 2011, 3 sites (soit 5 autorisations) ont
  inauguré le processus (ESAT Villambis,
  ESAT/STP/FH Gujan Mestras, IME Taussat)
• 2012 4 sites (8 autorisations), 2013 4 sites
  (6 autorisations), 2014 7 sites (10
  autorisations)
• 1 cas épineux le FO/FAM de St Michel de
  Rieuffret autorisé avant HPST mais ouvert après
  (nov 2013)
• Autorisation du CG pour le FO (51 places) en date
  du 29 avril 2008
• Autorisation conjointe du CG et de lARS pour le
  FAM (17 places) en date du 2 aout 2010
• ? des calendriers dévaluations différents
• ? éval interne du FO avant 29 avril 2013 soit
  avant louverture
• ? éval externe du FO avant 29 avril 2015

4
Les Objectifs de lévaluation Externe

• Porter une appréciation globale sur
  létablissement sur la pertinence, limpact, la
  cohérence et lefficience des actions déployées
  par les établissements et services, au regard des
  missions imparties et des besoins et attentes des
  populations accueillies . 
• Examiner les suites réservées aux résultats issus
  de lévaluation interne Apprécier la dynamique
  générale de la démarche damélioration continue
  de la qualité des prestations
• Examiner certaines thématiques et des registres
  spécifiques(construction du questionnement
  évaluatif)
• Restituée dans un rapport, une synthèse, un
  abrégé
• Sapproprier ces outils
• (décret n 2007-975 du 15 mai 2007)

5
Les enjeux

• De lévaluation interne à lévaluation externe
  un processus continu damélioration des activités
  et de la qualité des prestations.
• Porter un regard sur pertinence, cohérence,
  efficacité, effectivité
• Produire de la connaissance
• Former un jugement
• Etre dans une logique daide à la décision
• Promouvoir une appropriation collective et
  critique des recommandations des bonnes pratiques
  de lANESM
• Valoriser le rapport dévaluation interne
• Faire du rapport dévaluation externe un levier
  de changement et damélioration continue
• Permettre le renouvellement de lautorisation

6
Lévaluation externe un marché652 organismes
habilités (au 15/12/2010)

• Document de mise en concurrence
• Eté 2010 Rédaction sur la base du décret du 15
  mai 2007 et peaufiné par la suite avec le modèle
  UNAPEI
• Présélection de plusieurs organismes
• Automne 2010 38 contactés (principalement
  Aquitaine)
• 18 réponses dont 7 présélectionnées
• Sur critères maîtrise du décret, méthodologie,
  expérience du médico-social
• Appel dOffres
• Janv. 2011 6 réponses-5 reçus en entretien, 3
  retenus
• Renouvelé janv. 2012 7 réponses (dont 5
  nouveaux), 3 retenus (dont 1 nouveaux)
• Sur critères compétences (droit de regard sur
  les CV détaillés), expérience, coût
• Pour composer léquipe dévaluateurs, lorganisme
  sadjoint les compétences spécifiques nécessaires
  à lévaluation de chacune des prestations
  déployées (médicale, sociale, sociologique,
  éducative) au sein de létablissement. (avis
  n2009-23  du conseil scientifique de lANESM).
• Pôle Adultes Pôle Enfance Pôle Travail et
  Hébergements

7
Lévaluation externe un marché652 organismes
habilités (au 15/12/2010)

• Contrat dengagement entre lorganisme
  gestionnaire et lorganisme habilité
• Obligations réciproques
• Conditions dexécution (contractualisation des
  délais et de la composition de léquipe
  dévaluateurs)
• J-6 semaines remise des documents
  institutionnels
• J-2 semaines projet évaluatif validé
• J4 semaines pré-rapport
• J6 semaines rapport final

nd d'évaluateurs ds équipe nb jours hommes facturés (dont sur site) ttc
Rapport d'Activité ANESM 2012 IME 2,2 6,5 7337
  ESAT 2,2 5,5 6011
  MAS/FAM 2,3 5,8 6121
ADAPEI de la Gironde IME (4) 2 9,5 (5) 8680
  ESAT (7) 2 8,07 (4) 9177
  MAS/FAM (3) 2 8,5 (4) 8044
8
La préparation

• Une planification anticipée
• Préparer létablissement bien en amont de
  lévaluation proprement dite pour lappropriation
  de la démarche par linstitution.
• Programmer notre action et donner de la clarté
  dans lorganisation de cette évaluation
• Collecte documentaire
• Photo de létablissement et de son organisation
• Trace de sa dynamique
• Les risques
• Lourdeur de réalisation du document préparatoire
• Vouloir tout refaire pour bien présenter
• Communiquer des documents qui ne sont pas connus,
  pas utilisés

9
Le cadrage de la démarche

• Le projet évaluatif a défini pour chaque
  thématique
• Les priorités évaluatives
• Le constat suite à lanalyse des documents par
  les évaluateurs
• Les éléments de réponse complémentaires
  recherchés
• Les modalités de recueil de chacun des éléments
  de réponses et notamment en termes dévaluation
  de limpact.
• Les critères en liens avec la législation et les
  recommandations de bonnes pratiques
  professionnelles.
• Prévoit les modalités de participation des
  usagers/entourage, des professionnels, des
  partenaires
• Rester vigilant
• Un projet évaluatif co-construit avec modération
• Organise précisément les étapes du calendrier des
  visites en prenant en compte les impératifs de
  fonctionnement (présences de certains
  professionnels, disponibilité des familles,
  perturbations minimisées des activités)

10
La participation pour un diagnostique partagé

• Méthodologie du recueil dinformations auprès des
  usagers
• Réunion avec les représentants des personnes
  accueillies et les représentants des familles
  (CVS).
• Réunion avec les personnes accueillies.
• Réunion avec les familles et représentants
  légaux.
• Enquête de satisfaction préalable
• Une implication claire de léquipe de direction
• Lévaluation externe vue comme une étape du plan
  damélioration global
• Volonté dun positionnent assumé du regard
  extérieur

11
La participation pour un diagnostique partagé

• Modalités dimplication des équipes
• Comité de pilotage interface privilégiée et
  impliquée (validation projet évaluatif, échanges
  contradictoires, relecture du pré-rapport)
• Organisation en amont (réunion de cadrage) du
  plan de communication.
• Présentation liminaire de la démarche aux
  professionnels.
• Audition de la majeure partie des professionnels
  en groupe.
• Des entretiens formels mais aussi des rencontres
  informelles, des visites
• Débriefings quotidiens avec la direction pendant
  les visites sur site et débriefing avec le comité
  de pilotage le dernier jour des visites sur site.
• Réflexion contradictoire sur la base dun pré
  rapport lors dune réunion
• Restitution des résultats aux professionnels.
• Modalités dimplication des partenaires
• Cibler des partenariats structurants avec des
  objectifs partagés

12
La visite

• Les leviers pour une visite fructueuse
• Un climat propice à une expression libre des
  personnes auditées et de disponibilité de tous
  les acteurs.
• Une coopération des responsables de
  létablissement et des professionnels entière
  permettant dobtenir les réponses aux questions
  posées.
• Le calendrier de la visite respecté.
• Les entretiens avec les parents et/ou
  représentants légaux déroulés comme convenu dans
  le projet évaluatif.
• Les évaluateurs ont eu facilement accès aux
  documents identifiés dans le questionnement
  évaluatif ou complémentaires identifiés lors des
  entretiens.
• La quasi-totalité des professionnels rencontrés
  au cours des différents entretiens.
• Les freins potentiels
• Malaise ressenti par certains personnels
  interviewés (aspect remise en cause ou
  questionnement  éloigné  de leurs pratiques
  quotidiennes)
• Respect exigent du planning serré des entretiens
  communiqué par tous les acteurs
• Indisponibilité au dernier moment dacteurs
  extérieurs (familles, partenaires)
• Une équipe dévaluateurs qui ne maîtriserait pas
  les enjeux, us et coutumes de la typologie de
  létablissement (temps passé, incompréhensions,
  interprétations)

13
Les échanges contradictoires

• Le débriefing à chaud
• Les débriefings ont été riches en échange. Lors
  de la rencontre contradictoire, nos remarques ont
  été entendues. Les restitutions des observations
  et des préconisations ont été étayées
  dexplications.
• Lanalyse du pré-rapport
• Le pré-rapport a été discuté lors dune réunion
  dédiée en présence du Copil
• Apport déléments de preuves.

14
Les suites .

• Les conclusions et les préconisations
• Encourageantes (valorisation des points forts qui
  deviennent un appui à ladhésion)
• Pertinentes
• Conformes à la perception que nous avions de
  létablissement.
• Issues dun diagnostique partagé facilitant
  ladhésion
• Certaines préconisations sont inscrites aux plans
  dactions de lévaluation interne ou au plan
  directeur du projet détablissement,
• Certaines autres vont venir enrichir les projets
  damélioration de la qualité .
• Légitimer les actions en cours et à venir (aide à
  la décision , appui au management).
• Des préconisations concrètes simples à mettre en
  œuvre avec un effet visible immédiatement,
  dautres plus stratégiques
• Risques
• Des conclusions plates ou superficielles
• Des préconisations pauvres
• Non priorisées
• Lorganisme na pas pris en compte lintégralité
  de létablissement, et sest contenté de lister
  lexistant sans en vérifier lopérationnalité.
• Discontinuité du comité de pilotage dans sa
  mission de suivi du plan directeur
• Ne pas relier les préconisations du rapport à la
  dynamique dévolution globale de létablissement
  au sein du projet associatif (logique de plan
  directeur global).

15
Les précos .

• En moyenne 30 à 40 préconisations classées selon
  les champs de labrégé
• La démarche d'évaluation interne
• "?Garantir la participation des usagers et de
  leur entourage à l'évaluation interne"
• "?Soutenir et valoriser la dynamique
  d'amélioration en procédant à l'état des lieux
  des changements engagés et tracer les avancements
  (évaluation d'impacts, d'atteinte des objectifs)"
• "??Aborder l'évaluation interne comme une
  démarche globale intégrant également les EPP, les
  audits, les évaluations des risques
  professionnels."
• La garantie des droits et la politique de
  prévention et de gestion des risques
• "??Garantir l'utilisation de la procédure de
  gestion des évènements indésirables. Procéder à
  l'évaluation de sa mise en œuvre. Communiquer
  auprès des usagers et familles sur ces
  modalités."
• "?Améliorer le bâti pour garantir l'accès aux
  droits et la protection (hygiène des offices, de
  la gestion du linge, isolation phonique,
  intimité....)"
• La prise en compte des RBPP publiées par l'ANESM
• "?Etablir un plan dintégration" 
• L'expression et la participation individuelle et
  collective des usagers
• "?Développer des livrets d'accueil/documents/inter
  net adaptés aux capacités de compréhension
  (sensibiliser à la prolongation au quotidien de
  l'effort d'information de manière circonstanciée
  et adaptée à chaque usager)"
• "??Information et formation des membres du
  Conseil sur l'ensemble des prérogatives qui
  peuvent entrer dans le champ de ses
  compétences. "

16
Les précos .

• Les conditions d'élaboration, de mise en œuvre et
  d'actualisation du PE ou de service et
  l'organisation de la qualité de la prise en
  charge ou de l'accompagnement des usagers
•  Elaborer un PE conforme à la recommendation de
  l'ANESM, décrivant de manière explicite,
  structurée et détaillée l'offre de service."
• "?Articuler et valoriser les compétences
  professionnelles en clarifiant la répartition
  des rôles en fonction de la technicité des
  métiers (linge sur les maisons, préparation des
  repas par les encadrants, AMP versus AS...)"
• "?Développer les prestations d'éducation à la
  santé, de promotion de la santé et de l'accès aux
  soins"
• L'ouverture de l'établissement ou du service sur
  son environnement institutionnel, géographique,
  socioculturel et économique
• "?Formaliser les partenariats récurrents et/ou
  nécessitant d'être valorisé (y compris ceux
  concernant les usagers individuellement) et les
  objectifs partagés"
• "?Développer une démarche d'évaluation des
  partenariats (indicateurs, enquêtes de
  satisfaction des partenaires, bilans des actions
  mises en œuvre)"
• Personnalisation de l'accompagnement
• "?Informatiser la gestion des PP (traçabilité,
  optimisation de l'organisation, objectivation de
  l'évaluation ...)"
• "??Favoriser la participation des bénéficiaires
  et de leur famille aux différentes étapes du PP"

17
En somme, lévaluation externe

• Points forts
• Mise à plat du fonctionnement
• Regard extérieur
• Rappel du cadre réglementaire de nos missions,
  des attentes au regard des politiques publiques
• Sur le plan managérial  lévaluation est un
  levier pour conduire les changements et les
  améliorations à mettre en place
• Sur le plan de la direction de létablissement,
  cest un outil stratégique daide à la décision,
  qui met en valeur les points forts et points à
  améliorer.
• Pour les équipes, cela permet une mise en
  dynamique et une prise de conscience (si besoin
  est) des enjeux liés à la Qualité. Cest
  également un vecteur de professionnalisation,
  mais aussi de reconnaissance du travail réalisé.
•  Vigilance
• Anticipation des programmations
• Identification des acteurs
• Information des professionnels, des usagers, des
  parents et des partenaires
• Choix de lorganisme évaluateur au regard de sa
  connaissance du secteur
• Faire vivre la démarche dans le temps