La experiencia canadiense con el IUSOAP

1
La experiencia canadiense con el IUSOAP
2
La experiencia canadiense con el IUSOAP

• Meta
• comunicar la experiencia canadiense en
  el procedimiento de auditoría de la OACI para que
  otros Estados tengan una perspectiva que puede
  ser útil en la preparación de próximas auditorías
• Esquema general
•   Panorama del procedimiento de auditoría de la
  OACI
• Preparación de Canadá para la auditoría
• Una descripción de la auditoría en Canadá
• Lecciones aprendidas
• Problemas a evitar

3
Panorama del procedimiento de auditoría de la OACI

• Objetivo
• Hacer una descripción del procedimiento de
  auditoría de la OACI
• Meta
• Crear la perspectiva para comprender la
  experiencia canadiense
• Esquema general
• Evolución del IUSOAP
• Filosofía de la OACI respecto de la auditoría
• Documentos fundamentales
• Fuentes de orientación
• Programa de la auditoría

4
Evolución del IUSOAP
1995 1998 Programa voluntario basado en
Anexos 1,6,8 88 solicitudes, 67
evaluaciones 1999 2004 Aplicación
obligatoria de Anexos 1,6,8 181 auditorías,
162 seguimientos 2005 2010 Enfoque sistémico
global Se aplica a todos los Anexos excepto 9
y 17 Informes finales se publican en sitio Web
interno de la OACI
5
Evolución del IUSOAP cont.

• Objetivo del Programa (Resolución A35-6 de la
  Asamblea)
• Evaluar la implementación por parte del Estado
  de
• - Fiscalización de la seguridad, y
• - Normas y prácticas Recomendadas,
  procedimientos conexos y material de orientación

6
Filosofía de la OACI respecto de la auditoría

• Basada en los Principios de Auditoría de
• Soberanía
• Universalidad
• Transparencia y divulgación
• Puntualidad
• Sistemática, uniforme y objetiva
• Inclusividad de todo
• Equidad
• Calidad

7
Filosofía de la OACI respecto de la auditoría
cont.

• Enfoque sistémico global de la OACI
• Fase 1. Listas de preguntas y de cumplimiento de
  la Actividad de Aviación del Estado para
  confirmar implementación del Anexo y capacidad de
  fiscalización de la seguridad
• Fase 2. Auditoría en sitio para confirmar la
  información y la evalución de la capacidad
  general del Estado en cuanto a Fiscalización de
  la Seguridad

8
Filosofía de la OACI respecto de la auditoría
cont.
Legislación primaria
Reglamentos para las operaciones
Resolución de asuntos de Seguridad
Obligaciones de vigilancia
Creación de una Autoridad Estatal
Obligaciones respecto de licencias, certificados,
autorizaciones y aprobaciones
Personal técnico calificado
Herramientas adecuadas para que personal haga su
trabajo
Elementos crítico del Sistema de Fiscalización de
la Seguridad
9
Documentos fundamentales

• Memorándum de Entendimiento
• - Reglas de procedimiento
• Instrumentos Previos a la auditoría
• - Cuestionario sobre Actividad de Aviación del
  Estado
• - Lista de verificación del Cumplimiento
• Listas de verificación de Protocolos
• - Preguntas de la entrevista en el lugar

o      
10
Memorándum de Entendimiento
Documentos fundamentales Cont.

• Se envía al Estado con notificación del
  programa de la OACI
• - 9 meses antes de la fecha de la auditoría
• Se espera que Estados firmen y lo devuelvan 90
  días antes de la auditoría
• Define obligaciones para la auditoría

11
Documentos fundamentales Cont.

• Puntos principales del MdE
• Alcance para abordar todos los anexos excepto
  el 9 y el 17
• Estado aprueba presentar versión actualizada
  del CAAE y LVC por lo menos 90 días antes de la
  auditoría
• Por los menos uno de los integrantes del equipo
  de la OACI deberá tener dominio del idioma
  elegido por el Estado
• La auditoría se realizará de conformidad con el
  Manual sobre auditoría de la vigilancia de la
  seguridad operacional (Doc 9735)
• La OACI realizará la auditoría de conformidad
  con los plazos especificados

12
Documentos fundamentales cont.
Puntos principales del MdE Continuación El Estado
acepta - proveer acceso necesario a personal,
documentos, instalaciones estatales y
transporte dentro del Estado - proveer
servicios de traducción y oficinas -
establecer un coordinador nacional y - ayudar
con arreglos para alojamiento.
13
Instrumentos previos a la auditoría
Documentos fundamentales cont.

• Cuestionario sobre la Actividad de Aviación del
  Estado y
• Listas de verificación del cumplimiento
• - Solicitado por carta del Estado en Oct 2004
• - Formularios se encuentran en sitio web
  de la OACI
• - Formulario actualizado es necesario
  antes de la auditoría

14
Cuestionario sobre la Actividad de Aviación del
Estado
Documentos fundamentales cont.

• La OACI requiera información por adelantado para
  programar
• y planificar el trabajo
• Provee información general sobre la Actividad del
  Estado
• organizada en siete partes
• Administrativa General
• Legislativa
• Organización
• Actividades Operacionales
• Actividades de Navegación Aérea
• Aeródromos
• Investigación de Accidentes e Incidentes

15
Listas de verificación del cumplimiento

• La OACI requiere información por adelantado para
  evaluar el cumplimiento con SARPS
• Presenta al Estado herramienta para identificar
  diferencias to SARPS
• Se requiere actualización 90 días antes de una
  auditoría

16
Lista de verificación del cumplimiento
Continuación
Documentos fundamentales cont.

17
Listas de verificación de Protocolos
Documentos fundamentales cont.

• Un instrumento para hacer la auditoría en el
  sitio o una autoevaluación interna. Se usa
  para asegurar
• Transparencia
• Uniformidad
• Normalización
• Organizadas para evaluar elementos críticos en
  ocho módulos
• Legislación
• Organización del Estado
• Otorgamiento de Licencias al Personal
• Operación de aeronaves
• Aeronavegabilidad
• Investigación de accidentes
• Navegación aérea
• Aeródromos

18
Listas de verificación de Protocolos
Documentos fundamentales continuación
19
Fuentes de orientación

• El sitio web de la red interna de la OACI da
  acceso a
• Cuestionario de la Actividad de Aviación del
  Estado
• Listas de verificación del cumplimiento
• Listas de verificación de protocolos
• Anexos y Documentos de la OACI
• Auditorías terminadas sobre Estados miembros
• Curso para Coordinadores de la OACI
• También se incluye en internet
• Jefe del equipo de la OACI para la auditoría del
  Estado
• Hace equipo Estado/OACI para cumplir dos metas

20
Programa de la Auditoría antes de la auditoría

• Todos los Estados deben presentar CAAE y LVC a la
  OACI antes del 31 mayo, 2005
• Carta del Estado AN 19/9-05/22 fechada 21 enero
  2005
• OACI comunicará fecha de auditoría por lo menos
  12 meses antes
• Estado deberá indicar problemas con el programa
  de auditoría
• de la OACI dentro de 30 días de la notificación
  publicada en el sitio web dos veces al año
• Nombramiento de jefe de equipo de la OACI 9 meses
  antes de auditoría
• identifica objetivo y composición del equipo
• Estado deberá presentar CAAE y LVC actualizados
  antes
• la auditoría programada

21
Programa de la auditoría - Actividad en el sitio

• Reunión inicial
• Oportunidad de presentarse
• OACI explica el procedimiento y
• El Estado hace una descripción de su
  organización.
• Entrevistas
• Comienza con entrevistas de grupo sobre
  Legislación
• y Organización
• Importancia del manejo del tiempo
• - Los planes de auditoría tienen un
  programa estricto
• - Coordinadores del Estado deben
  encargarse de la organización, asignación y
  preparación de preguntas para las entrevistas
• - Equipo de la OACI continúa su trabajo
  después de horas del Estado
• - Una auditoría compleja toma dos semanas
• - Visitas a empresas exigen observador
  del Estado

22
Programa de la Auditoría - Actividad en el sitio

• Reunión de clausura
• reunión es para que el equipo de la OACI
  presente
• sus resultados preliminares
• no se discuten esos resultados
• Comienzo de plazo para la aceptación de
  resultados
• y recomendaciones

23
Programa de la auditoría - Después de la
auditoría

• La OACI tiene 90 días para presentar informe
  provisional.
• Después de recibir el informe de la OACI, el
  Estado tiene 60 días
• para responder con un Plan de Acción
  Correctiva.
• La OACI tiene 30 días para clarificar
  comentarios y Plan de Acción del Estado.
• La OACI se encargará de la traducción y
  publicación en el web
• dentro de los próximos 30 días.
• No habrá más intervención de la OACI sobre los
  resultados.
• El Estado deberá presentar sus reacciones por el
  web si desea hacerlo

24
Resumen
La filosofía de la OACI respecto de la auditoría,
se basa en la transparencia y uniformidad, crea
una comprensión clara de las obligaciones del
Estado y los procesos necesarios.
25
Preparación de Canadá para la auditoría
Objetivo Demostrar cómo el procedimiento oficial
de la OACI se aplica en los preparativos de
Canadá para la auditoría. Esquema general -
Aplicación del procedimiento de la OACI en
fase previa a la auditoría, y -
Alcance de las iniciativas de auditoría
canadienses
26
Aplicación del procedimiento de la OACI en la
fase previa a la auditoría

• Canadá se ofreció de voluntario para la auditoría
  piloto
• Considera que el programa es uno de los más
  exitosos de la OACI
• Provee la base para dar ayuda a otros países.
• Ligera difiicultad debido al corto plazo y
  revisiones para las preguntas de la auditoría
• Última revisión se hizo el viernes antes de la
  auditoría
• No tuvo impacto real sobre auditoría ni el
  resultado.

27
Aplicación del procedimiento de la OACI en la
fase previa a la auditoría Cont.

• OACI proporcionó una clara idea de los requisitos
• Procedimeinto comenzó con Resolución de la
  Asamblea Oct 2004
• Identificó requisito de preparar CAAE y Listas de
  Verificación del Cumplimiento (LVC)
• Implementación del Memorándum de Entendimiento
• Firma lleva a identificación de tres áreas donde
  participará en coordinación Aviación Civil,
  Consejo de Seguridad del Transporte y Ministerio
  de Defensa Nacional
• Clara idea del procedimiento de la OACI
• y obligaciones del Estado
• Trabajo comenzó sobre preparativos para
• Alojamiento y oficinas
• Autorizaciones de seguridad
• Transporte para visitas de las empresas y
  regiones

28
OACI proporcionó una clara idea de los requisitos
cont.
Aplicación del procedimiento de la OACI en la
fase previa a la auditoría Cont.

• Capacitación disponible para el coordinador del
  Estado
• - Coordinador canadiense tomó capacitación de
  auditor de Estado
• - hay un curso de coordinador de la OACI
• - Principio de Transparencia y divulgación
  funciona bien
• - preguntas de protocolos fueron bajadas y
  distribuídas a todos los entrevistados de Estado
• - Capacitación se concentra en necesidad
  de planificar en forma estricta para cumplir
  plazos de la OACI

29
OACI proporcionó una clara idea de los requisitos
cont.
Aplicación del procedimiento de la OACI en la
fase previa a la auditoría Cont.

• Estrecha relación entre equipo de la OACI con el
  coordinador del Estado
• Discusiones de clarificación, según necesidades
• Coordinación de requisitos de planificación
• Detalles de organización
• Información sobre reglamentos y normas
• Listas de empresas para visitas
• Limitaciones de transporte,
• Resolución de problemas de preguntas de
  Protocolo
• Resolver problemas en común.

30
Alcance de iniciativas canadienses de auditoría

• 1. Informativo diario
• Motivos para convencer a la OACI para que
  use informativo diario
• - Procedimiento canadiense de auditoría
  es similar al de la OACI
• Principios de Normalización,
• Transparencia y Calidad.
• Formato estructurado de fase pre-auditoría,
  auditoría en el sitio e informe de clausura

31
Objetivos del informativo diario
Alcance de iniciativas canadienses de auditoría
cont.

• Resume preocupaciones diarias que surgen.
• Provee una respuesta a los entrevistados para
  validar las interpretaciones correctas.
• Genera información adicional a la OACI si el
  Estado considera necesario que haya más
  clarificación.
• Le da la dirección la oportunidad de reaccionar.
• Instrumento para que la OACI controle áreas de
  preocupación.

32
2. Sistema de coordinación interna
Alcance de iniciativas canadienses de auditoría
cont.

• Dificultad de la estructura compleja del Sistema
  de Aviación Civil canadiense
• - 13 direcciones generales
• - 5 Oficinas Regionales
• - Estructura no es paralela a la organización
  del protocolo de auditoría ni anexos de la OACI
• Exije crear un equipo de coordinación/comunicación
  
• - asuntos y preguntas sobre canal para el
  coordinador del Estado
• - obtener respuestas de prioridad para los
  informes diarios
• - preparar y programas candidatos apropiados de
  entrevistas
• - Apoyar a auditor de la OACI durante auditoría

33
2. Sistema de coordinación interna cont.
Alcance de iniciativas canadienses de auditoría
cont.

• Efectividad de este equipo deriva de
• - Capacitación de los coordinadores
• - Destinada a mejorar comprensión de su función
  y de la auditoría y
• - Dar orientación sobre la inversión de papeles
  de auditor a entrevistado.
• - Comunicación abierta
• - Iniciar reuniones de coordinación para
  responder a preguntas e informar sobre asuntos y
  plazos y
• - Participar en todos los aspectos de la
  auditoría incluso reuniones iniciales y de
  clausura.
• - Coordinadores de refuerzo
• - Reemplazó a ausentes cuando no había tiempo
  para preparar suplentes

34
3. Asignación de responsabilidades
Alcance de iniciativas canadienses de auditoría
cont.

• No hay varios coordinadores para una sola tarea
• - A un coordinador se le asigna responsabilidad
  de completar una tarea aun cuando la
  responsabilidad de una porción de la tarea le
  corresponda a otro coordinador.
• 4. Capacitación de los entrevistados
• - Mejor comprensión de su función y de la
  auditoría
• - Orientación sobre la inversión de papeles de
  auditor a entrevistado y
• - Orientación sobre cuáles son las preguntas
  apropiadas.

35
Una Descripción de la Auditoría sobre Canadá

• Objetivo
• Descripción de la auditoría canadiense para
  comprender la aplicación del proceso real
• Esquema general
• - Plan de trabajo de la OACI
• - La entrevista
• - El informativo diario
• - Reunión de clusura

36
El plan de trabajo de la OACI

• El plan de trabajo basado en la evaluación
  preliminar del equipo de trabajo de la OACI sobre
  los problemas a enfrentar.
• Programa muestra
• - área especial de tarea individual
• - requisitos de transporte

37
Resumen del Plan de auditoría de la OACI hecho
por nuestro ministerio de transporte

38
Página del Plan de Trabajo de la OACI para
Especialista de SOP

39
Página del plan de trabajo de la OACI que
muestra plan de transporte

40
La entrevista

• Cómo se manejaron los entrevistados
• - Los auditores de la OACI se reunieron en su
  oficina
• - Los coordinadores de direcciones generales los
  acompañaron a las entrevistas
• - provee supervisión intermitente para
  asegurar que todas las necesidades se satisfacían
  y apoyar los cambios de programa.
• - Coordinador central para fiscalizar el
  proceso
• - Los entrevistados habían examinado sus
  preguntas antes de comenzar la auditoría

41
Los Auditores
La entrevista

• El equipo de la OACI
• Estaba bien preparado
• Usó capacitación en el trabajo
• Siempre mostró voluntad para responder preguntas
• Siguió procedimiento fiel y puntualmente

42
Las preguntas de la entrevista
La entrevista Cont.

• Las cifras de elementos decisivos en las
  preguntas sobre protocolo confundieron a los
  entrevistados durante su preparación para la
  auditoría
• Entrevistados se sentían frustrados por el hecho
  de que los auditores cambiaron el orden de las
  preguntas de Protocolo así como por las preguntas
  de áreas en gris
• las frustraciones del M.T.C. sobre la cantidad
  de aportes que no fueron considerados
• No se usaron inventarios no internacionales
• No se abordó el Anexo 10
• Falta de comprensión organizacional de la OACI
  llevó a encauzar mal las preguntas y obtener
  respuestas inapropiadas

43
Informativos diarios

• Comenzaron al final del segundo día de
  entrevistas
• Asistieron el coordinador del Estado y el Jefe de
  Equipo de la OACI
• Documentos proporcionados a los coordinadores y
  la OACI
• Entrevistados verificaron comprensión apropiada y
  la necesidad de proveer información adicional
• OACI controlaba sus temas de seguimiento y
  confirmaba exactitud de documentación
• Durante informtivos diarios, la OACI empleó la
  terminología área de preocupación y en la
  reunión de clausura el término empleado fue
  cambiado a Resultado del texto preliminar

44
La reunión de clausura

• Cada especialista de la OACI resumió los
  resultados preliminares de su campo.
• Canadá hizo que asistieran todos los
  participantes de la auditoría a fin de asegurar
  una comprensión de los resultados y prestar
  atención inmediata a las medidas correctivas.
• Las observaciones del DG se refirieron al
  compromiso de hacer algo respecto a los
  Resultados.
• La OACI presentó un formulario de Evaluación del
  Estado y se comprometió a continuar usando
  Informativo diario como parte de su auditoría.

45
Reunión de clausura Cont.

• Tuvo éxito la auditoría?
• - siempre habrá resultados y oportunidades para
  mejorar
• - el éxito se debe medir de otra manera

46
Reunión de clausura Cont.

• Desde la perspectiva del Estado
• Se cumplió con la logística?
• Desde la perspectiva del Estado y la OACI
• Se comprendió bien el programa del Estado para
  hacer una evaluación satisfactoria de sistemas?
• La OACI consideró que la auditoría había sido
  satisfactoria y salió con la adopción de una
  nueva herramienta de auditoría, el Informativo
  diario.

47
Lecciones aprendidas

• Objetivo
• hacer un resumen de los puntos claves
  identificados en un Examen de la Acción
  realizado por los participantes del M.T.C.
  después de la auditoría.
• Esquema general
• Lista de puntos de retroinformación

48
Lecciones aprendidas Cont.

• Por ser una auditoría de prueba no afectó los
  resultados finales
• Escasez de tiempo no impidió preparación para la
  auditoría
• Personal quería más información sobre la OACI y
  sus requisitos. Retroinformación pedía más
  información sobre rol de la OACI, terminología y
  versión simplificada del procedimiento de la
  auditoría
• Necesidad de que el Estado adopte un papel más
  activo en la conducción de las entrevistas
• Tarea a experto apropiado dentro de la
  organización
• Exigencia de preparación adelantada de preguntas

49
Lecciones aprendidas Cont.

• Respuesta a áreas de preocupación exige un punto
  central específico
• Demasiado material obstaculizó la comprensión
  clara de la posición del Estado
• Plan de comunicación fue esencial
• Resultó en la formación de un equipo y aportes
  bien fundados
• Informtivo diario apoyó la clara comprensión de
  parte de todos los participantes
• Impidió la elaboración de áreas de preocupación
  inapropiadas

50
Problemas a evitar

• Objetivo
• Resumir elementos claves que pueden afectar
  adversamente una auditoría,
• Esquema general
• Dos posibles categorías de problemas
• 1. antes de la auditoría, y
• 2. durante la auditoría.

51
Problemas antes de la auditoría

• No emplear todos los recursos disponibles para
  comprender y prepararse para una auditoría.
• Sitio web de la OACI, jefe de equipo de la OACI,
  conocimientos especializados en auditoría del
  Estado
• Existencia de barreras de comunicación
• Asegurarse de que el personal tenga idea clara de
  los roles en el programa
• Probar el procedimiento para comprobar
  comprensión y efectividad

52
Entrevistados no preparados
Problemas antes de la auditoría Cont.

• Dar capacitación sobre el procedimiento y actitud
  esperada
• Entrevistados deben comprender el límite de su
  responsabilidad para responder preguntas
• No suponer que entrevistados conocen el
  procedimiento
• Preparar por adelantado, respuestas formales a
  las preguntas de protocolo y estar preparados con
  documentación de consulta para fundamentarse
• Abordar problemas aparentes de reglamentos o
  organizativos en el tiempo restante

53
Posibles problemas durante la auditoría

• Malos entendidos
• La comprensión que la OACI tenga sobre la
  organización del Estado afecta el manejo que hará
  del protocolo y la exactitud de las
  preocupaciones
• Los Estados miembros deben comprender los límites
  de sus responsabilidades en la entrevista
• Finalidad de las visitas a empresas

54
Posibles problemas durante la auditoría Cont.

• Dar demasiada información.
• Saber cuando parar y cómo enfocar el material
  para que se puedan comprender los puntos
  principales
• No emplear el sistema de Informativo diario,
• La retroinformación de la auditoría
• Aceptar los resultados generales basados en
  entrevistas limitadas