Int

1
Intérêt du simulateur comme outil dévaluation
des DES danesthésie-réanimation.Expérience au
CHU de Lille

• Gilles Lebuffe, Stéphane Plateau
• Clinique dAnesthésie-Réanimation de lhôpital
  Huriez
• CHRU de Lille
• France

2
Evaluation des DES

• Aucune évaluation pour lattribution du diplôme
• En anesthésie-réanimation
• Délivrance du DES après soutenance dun mémoire
• Selon les Facultés Examen oral complémentaire
• Évaluation orale
• Commodité dorganisation
• Evaluation de la prise en charge du patient à
  partir des connaissances scientifiques du
  candidat
• Apprécie la qualité du raisonnement ou le bon
  jugement
• Aucun retour sur la réactivité et le comportement
  en situation critique

3
La simulation

• Outil potentiel de formation et dévaluation des
  internes
• Mise en situation du candidat sans interférer
  avec la sécurité du patient
• Création de scénarii
• Simples, réalistes et reproductibles
• Observation du raisonnement clinique en situation
  critique
• Reproduire matériellement les composantes dune
  intervention chir sous AG
• Mannequin électronique (VS, pouls, PA)
• Matériel danesthésie (respirateur, système de
  perfusion)
• Monitorage

4
Environnement de simulation
5
Scénario

• Elaboration dune banque de scénarii
• Tester le candidat sur un éventail de cas
• Scénarii courts et valides
• Mise en place de scores dévaluation
• Propositions des items par des experts
• Analyse de lhomogénéité des grilles dévaluation
  ou consistance interne ou test ? de Crombach
• Etude de la performance et de la fiabilité des
  items
• Valeur optimale entre 0,6 et 0,9

6
Consistance interne de quelques situations
Scénario Test a de Crombach
Hypoxémie Tachycardie HTA postopératoire Hypotension postopératoire Effet toxique des AL Rachianesthésie totale Intubation difficile Hypoxie peropératoire Tachycardie ventriculaire Choc anaphylactique Bronchospasme Ischémie myocardique a lt 0,6 a lt 0,6 a lt 0,6 0,63 0,79 a lt 0,6 0,64 0,88 a lt 0,6 0,69 0,71 0,76
Br J Anaesth 2004, 92 388 Anesthesiology 2002,
97 1434
7
Consistance interne de quelques situations
Scénario Test a de Crombach
Hypoxémie Tachycardie HTA postopératoire Hypotension postopératoire Effet toxique des AL Rachianesthésie totale Intubation difficile Hypoxie peropératoire Tachycardie ventriculaire Choc anaphylactique Bronchospasme Ischémie myocardique a lt 0,6 a lt 0,6 a lt 0,6 0,63 0,79 a lt 0,6 0,64 0,88 a lt 0,6 0,69 0,71 0,76
Br J Anaesth 2004, 92 388 Anesthesiology 2002,
97 1434
8
Scénario intubation oesophagienne et choc
anaphylactique
9
Choc anaphylactique
10
Score dévaluation (1)
11
Scénario bronchospasme et souffrance myocardique
12
Bronchospasme
13
Score dévaluation (2)
14
Evaluation de la préparation du bloc opératoire
15
Validité du simulateur pour apprécier la
performance des internes A/R en situation
critique
16
Scores globaux
Scénario intubation oesophagienne et réaction
anaphylactique
Scénario bronchospasme et souffrance
myocardique

17
Testing internal consistency and construct
validity during evaluation of performance in a
patient simulator Devitt et al. Anesth Analg
1998 861140
Pour chaque item, score significativement plus
élevé pour les anesthésistes expérimentés
(Plt0.001 Test de Cochran-Mantel-Haenszel)
18
Evaluation of anesthesia residents using
mannequin-based simulator Schwid et al.
Anesthesiology 2002 971434

• Simulateur Méti
• 97 internes de 10 facultés américaines
• Scénarii
• Deux scénarii successifs par interne
• Score dévaluation sur 108 points

plt0.05 débutant vs année 1,2,3 plt0.05 année
1 vs année 2,3
19
Analyse des erreurs commises au cours de
lévaluation
20
Omissions lors des procédures de vérification du
matériel et des consignes de sécurité
Omissions Année 1 n11 Année 2 n13 Année 3 n11 Année 4 n13 P
Aspiration Non vérifiée Vérifiée 1 10 8 5 2 9 5 8 0,76
Matériel de secours de suppléance Non vérifié Vérifié 11 0 11 2 8 3 13 0 1
Défibrillateur Non vérifiée Vérifiée 11 0 10 3 11 0 11 2 0,64
Intervention Non vérifiée Vérifiée 10 1 11 2 11 0 12 1 1
Jeun Non vérifiée Vérifiée 7 4 6 7 5 6 6 7 0,56
Réglage des alarmes Non vérifiée Vérifiée 8 3 9 4 9 2 9 4 0,74
P comparaison omissions juniors (1ère et 2ème
année) vs seniors (3ème et 4ème année)
21
Prise en charge du choc anaphylactique
Paramètres Année 1 n6 Année 2 n7 Année 3 n3 Année 4 n5 P
Arrêt précoce des halogénés Non effectué Effectué 3 3 6 1 0 3 5 0 0,75
Remplissage précoce Non effectué Effectué 5 1 3 4 0 3 2 3 0,09
Administ. précoce dadrénaline Non effectuée Effectuée 3 3 6 1 0 3 2 3 0,04
Posologie adéquate dadrénaline Non effectuée Effectuée 3 3 6 1 2 1 0 5 0,04
Information de léquipe chir. Non effectuée Effectuée 4 2 3 4 2 1 3 2 0,58
Prélèvements sanguins Non effectués Effectués 6 0 6 1 2 1 5 0 0,71
P comparaison omissions juniors (1ère et 2ème
année) vs seniors (3ème et 4ème année)
22
Principales erreurs pour la prise en charge du
bronchospasme
Omissions Année 1 n5 Année 2 n6 Année 3 n8 Année 4 n8 P
Analyse de la courbe de capno Non effectué Effectué 4 1 4 2 3 5 6 2 0,45
Vérification de lintubation Non effectué Effectué 2 3 6 0 8 0 5 3 0,66
Diminution des agents halogénés Non effectuée Effectuée 4 1 3 3 4 4 6 2 1
Administration de bronchodilatateurs Non effectuée Effectuée 0 5 0 6 3 5 0 8 0,25
P comparaison omissions juniors (1ère et 2ème
année) vs seniors (3ème et 4ème année)
23
Evaluation du simulateur par les internes
24
(No Transcript)
25
Appréciationdu simulateur par les internes dA/R
Juniors Seniors
Evaluation globale 9 8 10 8 8 9
Outil de formation 8 7 9 9 8 10
Outil dévaluation 8 7 9 8 7 9
Valeurs médianes 25 75ème centile
26
Appréciation du simulateur par les internes
dA/R Commentaires libres

• Le stress de lévaluation est non négligeable.
  Malgré le réalisme, quelques difficultés à se
  mettre dans lambiance dun bloc avec un vrai
  patient
• Difficulté dêtre naturel avec un mannequin
• Difficulté de commenter et dagir en même temps
  
• Mannequin très réaliste, excellente mise en
  situation, mémorisation intense des erreurs
  commises lors de la simulation
• On est plus vigilant car on sait quil va se
  passer quelque chose
• Très stressant, impressionnant
• Intéressant, utile pour la formation, à quand
  la prochaine

27
Intérêt dune évaluation par simulation comparée
aux examens écrits et oraux

• Faible corrélation entre les scores de simulation
  et les examens écrits et oraux
• r 0,38 vs examen écrit et 0,43 vs examen oral
  (Anesthesiology 2002 97 1434)
• r 0,19 vs examen écrit et 0,04 vs examen oral
  (Med Educ 2000 34 42)
• Exploration de différents aspects de la
  connaissance
• Evaluation de la performance clinique avec le
  simulateur
• Existe-t-il une appréciation du raisonnement
  clinique avec la simulation?
• Evaluation du raisonnement par la verbalisation
  des décisions et des actes réalisés
• Problème de la mobilisation des ressources
  cognitive en situation critique
• Avantage de lobservation du candidat dans un
  environnement similaire à celui de la réalité
• Nécessité dexposer linterne à plusieurs
  situations afin de réduire la spécificité de
  contenu

28
Conclusions

• La simulation apparaît comme un outil
  discriminant et valide pour apprécier les
  performances des internes dA/R en situation
  critique
• La validité de la simulation dépend
  principalement du niveau de réalisme des
  paramètres simulés et de lhomogénéité des
  grilles dévaluation
• Nécessité de valider nos résultats sur des
  effectifs plus larges impliquant plusieurs
  facultés
• Problème de la cohérence des méthodes
  denseignement et de lévaluation par simulation

29
(No Transcript)