Auditing of Laboratories. Robert Benyon INTA

Transcripción

1 Auditing of Laboratories Robert Benyon INTA

2 Acknowledgements Thanks to Mª Jose Cotarelo Belen Villamiel, of ENAC for permission to use their presentation from the course on Laboratory Audits,given in the Madrid Network training programme.

3 Terms and definitions Assessment. Documented independent systematic process to obtain evidence and evaluate it in an objective manner in order to determine the scope within which the criteria are met. First party assessment (internal audits). Second party assessment. Third party assessment. Criteria. Set of policies, procedures or requirements. Evidence. Records, declarations of occurences or any other information applicable and relevant to the assessment criteria and that are verifyable.

4 Definitions Findings. Results of the evaluations of the evidence compiled with respect to the criteria. Conclusions. Result of an assessment, that the assessment team provides taking into account the objectives of the assessment and all the findings. Assessment. One or more assessors who perform an assessment, with the support, if necessary, of specialists. Lead Assessor Techincal Assessor Technical Espert Specialist

5 Definitions Audit Programme. Set of one or more planned assessments/audits for a defined period and addressing a specific purpose. Audit Plan. Description of the activities and details agreed for an assessment/audit. Scope of the assessment. Extension and limits of an aussessment/audit.

6 Principles Ethical conduct. Confidence, integrity, confidentiality y discretion. Fair presentation. Findings, conclusions and reports must reflect factually and truthfully the assessment activities. Due professional care. Must have adequate competence. Independence. It is the basis of the impartiality and objectivity of the conclusions. Focus based on evidence.

7 Audit activities 1 Scope 3 Revisión of documentation 5 Audit plan 7 Audit report 2 Quotation and designation of team 4 Preparation meeting 6 On site assessment 8 Corrective actions

8 Audit activities Scope of the assessment Establish the typeof assessment For accreditation type: Initial Surveillance Extension of scope Re-assessment Control Visit Extraordinary Establish the assessed area and the aim of the audit Establish the aim of the assessment Delimit the areas to be assessed (units, activities, processes,timeframe covered). Delimit the audit criteria (Standard applicable).

9 Audit activities Quotation for the assessment and designation of assessment team. Establecer los medios humanos y materiales para desarrollar la auditoría con el alcance definido anteriormente. Posibilidad de presenciar ensayos o calibraciones. Seleccionar el equipo auditor designando a auditores y expertos cualificados para dicho alcance y dicha entidad. Las características de los auditores/expertos seleccionados condicionan la planificación de la auditoría.

10 Audit activities To decide the size and composition of the assessment team you need to take into account: The objectives, scope,criteria and estimated duration of the assessment; The overall competence of the assessment team needed tomeet the assessment objectives; The need to ensure the independence of the assessment team with respect to the activities to be assessed to avoid conflicts of interests; The capacity of the assessment team to interact efficiently with the assessed and work together; and The language of the assessment and the understanding of the social and cultural asects of the assessed staff. These aspects can be dealt with via the individualabilities of the assessors or via a technical expert or interpreter/translator.

11 What must an auditor take into account before accepting an assessment? Check there are no incompatibilities (positive or negative) Check availability Preparation, performance, evaluaton of Corrective Actions Feel sure of our competence

12 Types of qualifications in ENAC Lead Assessor Techical Expert Technical Assessor Specialist

13 Audit Group 1 Lead Assessor Technical Assessor Technical Expert 3 Technical Expert 2 Technical Expert 1 Observer

14 Audit Group 2 Lead Assessor Observador Lead Assessor Specialist Technical Expert 1 Specialist Techical Exoert 2 Observer

15 Role of assessors in ENAC Responsible for the assessment. Cooordinating the assessors. Preparing the assessment report. Establishing contacts with the Lab. Writing and classifying the deviations Preparing the report on the documental study Helping the Lead Assessor (LA) Cooperating with the LA. Informing of his findings to LA Collaborating with LA in evaluation of Corrective Actions. Reporting any direct contact with the Laboratory-

16 Role of the Lead Assessor in the team Dirigir y coordinar todas las actividades de los miembros del equipo Mantener comunicación fluida, solicitar información de imprevistos Aclarar el alcance de las desviaciones y pedir datos objetivos (procesar toda la información orientándola a hallazgos objetivos). Obtener información suficiente de los técnicos del grupo para poder redactar de forma clara las desviaciones Si procede, solicitar aclaración de temas técnicamente complejos Atajar, diplomáticamente, cualquier actuación fuera de lugar

17 Assessment activities Revision of Documentation. A good revision of the documentation: Means an adequate preparation for the assessment, Saves time in the assessment, Gives the audited party the sense of preparation and competence of the assessor. It promotes respect.

18 Assessment activities Preparatory meeting. Presentación entre sí de los miembros del equipo auditor. Intercambio de impresiones sobre la documentación. Información por parte de cada miembro del equipo auditor de los resultados de su análisis de la documentación. Revisión del alcance de la auditoría. Identificación de áreas o aspectos que requieran atención especial. Asignación de áreas de actividad específicas para cada miembro del grupo. Decisión de ensayos o calibraciones a presenciar. Elaboración del plan de auditoría.

19 Assessment activities Assesment Plan. Los aspectos a evaluar, el horario previsto, comidas, reuniones, etc. Las delegaciones / unidades técnicas a visitar. El personal de la organización que deberá estar presente durante la auditoría (Responsables técnicos y de calidad como mínimo). Los ensayos o calibraciones a realizar y las muestras de que debe disponer el laboratorio para ejecutar los ensayos.

20 Assessment activities In situ assessments. Initial meeting Assessment Final meeting

21 Assessment activities Initial Meeting. Presentación del grupo auditor y descripción breve de las funciones de cada integrante. Confirmar el alcance de la auditoría. Confirmar el plan de auditoría y cómo éste se llevará a cabo. Asignación por parte del laboratorio de representantes que acompañen al grupo auditor durante el transcurso de la misma. Asignación de un lugar de reunión para el grupo auditor. Resaltar la confidencialidad de la información que se obtendrá durante el transcurso de la auditoría. Planificar la realización de ensayos / calibraciones a presenciar durante la auditoría. Si el grupo auditor lo considera necesario podrá llevarse a cabo previamente una visita a las instalaciones del laboratorio al objeto de formarse una impresión general de la actividad desarrollada por el mismo. Describir el concepto y la sistemática para la identificación de las desviaciones (observaciones y No-Conformidades).

22 Assessment activities Performing the assessment - I Al objeto de asegurar la correcta ejecución de las auditorías y garantizar que se documentan adecuadamente las investigaciones realizadas, los miembros del equipo auditor deberán utilizar y cumplimentar el Cuestionario de Auditoría La investigación realizada de la sistemática de actuación será de dos tipos: horizontal y vertical. Horizontal: consiste en la evaluación de cada uno de los elementos específicos de su Sistema de Calidad. Ejemplo: personal, organización, subcontratación, auditorias internas, revisión del sistema, documentación, registros, confidencialidad, cualificación del personal, etc. Vertical: consiste en la selección aleatoria de los registros propios de la actividad llevado a cabo por el laboratorio verificando cada aspecto asociado al mismo.

23 Assessment activities Performing the assessment - II. El equipo auditor deberá mantener reuniones durante el transcurso de la auditoría tantas veces como considere necesario. No obstante, después de que haya terminado la investigación siempre mantendrá una reunión privada para preparar la reunión final con el solicitante en la que se pondrán en común las conclusiones. En ella, cada auditor le proporciona al AJ la información correspondiente a las áreas de investigación que le fueron asignadas.

24 Assessment activities Objective Obtain information How???? With open and flexible questions With closed questions Trying to speak the language of the Laboratory Withot being afraid of asking simple or obvious questions Allowing sufficient time to reply, to find, to explain,...(*) Not asking more than one question at a time Investigating the paths that are opened Documenting the search for objective evidence Confirming the deviations detected Always maintain transparency with the Laboratory

25 Attitude of the laboratory or Body ATTITUDE + Make good use and keep to the end ATTITUDE - Don t be affected Maintain invariable attitude PRESSURE COMMENTS COMPARISONS!!!

26 Assessment activities Meeting prior to the Final Meeting. revisar los hallazgos de la auditoría y cualquier otra información apropiada recopilada durante la auditoría frente a los objetivos de la misma; acordar las conclusiones de la auditoría, teniendo en cuenta la incertidumbre inherente al proceso de auditoría; preparar recomendaciones, si estuviera especificado en los objetivos de la auditoría; y comentar el seguimiento de la auditoría, si estuviera incluido en el plan de la misma.

27 Assessment activities Final meeting. Thank the co-operation of the Laboratory. Inform of the punctual and sampling nature of the investigation performed Confirm the scope assessed. Present the results of the investigation,commenting verbally each of the deviations identified (observations and non-conformities). Replying to any questions postulated. In accreditation assessments, inform of the next stages in the process.

28 Assessment activities Assessment Report. The assessment report must be: Clear, precise and to the point as it will be studied by persons not present in the assessment. Reflect factually the spirit and content of the assessment. It must not contain judgements of the assessment team, nor recommendations to resolve the deviations detected The assessment report must contain: The objectives of the assessment; The scope of the assessment, particularly the identification of the units in the organization and the functional units or assessed processes and the time intercal covered; The identification of the assessment team; The dates and places where the in situ activities were performed;

29 Assessment activities Assessment Report. The assessment report must contain: The assessment criteria; The findings of the assessments; and The conclusions of the assessment Reference to the assessment/audit plan A summary of the assessment process, including the uncertainty and/or any obstaclefound that can diminish the confidence in the assessment conclusions; The confirmation that the assessment objectives have been met within the scope of the assessment in accordance with the audit plan; The areas not covered, although they are within the scope of the assessment; The divergent opinionsnot resolved within the assessment team and the laboratory; The detected deviations

30 Assessment activities Corrective Actions. Con el resultado de la auditoría, el laboratorio: Deberá realizar un análisis de las causas sobre todos los posibles aspectos afectados por la desviación. Definir una acción correctora para garantizar que no se repite el problema. Cerrar las desviaciones o estar en vías de solución, registrando en este caso, el plazo para el cierre. El laboratorio podría alegar aquellos extremos del informe con los que no esté de acuerdo, aportando toda la información que justifique su postura.

31 The assessor Competence of the Assessor. Personal Attributes Knowledge and abilities Education, training and Experience in assessments

32 The assessor Personal Attributes. Ético: imparcial, sincero, honesto y discreto Observador: consciente de su entorno Perceptivo: intuitivamente consciente y capaz de entender las situaciones De mentalidad abierta: dispuesto a considerar ideas alternativas Versátil: capaz de adaptarse a diferentes situaciones Diplomático: con tacto en las relaciones personales Tenaz: persistente, orientado al logro de los objetivos Decidido: capaz de alcanzar conclusiones en base a análisis lógicos Seguro de si mismo

33 The assessor Knowledge and abilities / Education, training and experience General knowledge of the assessors General knowledge of the Lead Assessors

34 The assessor General knowledge of the assessors Principles, procedures and assessment techniques I Aplicar principios, procedimientos y técnicas de auditoría Planificar y organizar el trabajo eficazmente Respetar el horario acordado: controlar el tiempo Establecer prioridades y centrarse en lo importante Recopilar información a través de distintos métodos y verificarla Aplicar bien el muestreo Confirmar que las conclusiones se basan en evidencias Valorar si existen factores que afecten a la fiabilidad

35 The assessor General knowledge of the assessors Principles, procedures and assessment techniques II Planificar la auditoría y hacer uso eficaz de los recursos Representar al grupo auditor Organizar y dirigir al resto de los miembros Orientar al equipo auditor a las conclusiones Prevenir y resolver conflictos Desarrollar el informe de auditoría Preparar el informe: preciso, conciso y claro Comunicarse eficazmente

36 The assessor General knowleedge of the assessors Applicable documents la aplicación de sistemas de gestión a diferentes organizaciones, la interacción entre los componentes del sistema de gestión, las normas de sistemas de gestión, los procedimientos aplicables u otros documentos del sistema de gestión utilizados como criterios de auditoría, reconocer las diferencias y el orden de prioridad entre los documentos de referencia, la aplicación de los documentos de referencia a las diferentes situaciones de auditoría, y los sistemas de información y tecnología para la autorización, seguridad, distribución y control de documentos, datos y registros.

37 The assessor General knowledge of assessors Situations of the organizations Size, structure, functions and relations of the organization, The general business processes and related terminology, The social and cultural customs of the persons assessed

38 Attitude: Summary Relax, crete good environment Speak clearly and simply Look at the person assessed Ask the person who does the work, not his boss Maintain a friendly and relaxed expression Avoid subjective impressions and non-essential details Be positive at all times Listen and do not argue Apoligise to staff for interrupting Do not hide your observations and annotations Try to remain neutral and impartial Avoid looking for problems, critisizing or giving advice

39 Conclusion OBJECTIVE To help in the fulfillment of the requirements *, rather than criticize and reject whar exists Be positive, objective and clear. It is ALWAYS possible to improve a system! * An assessment (audit) Is NOT a consultancy

40

41