Desarrollo de evidencias de validez de una prueba de desempeño sobre competencias docentes: EDOE



Document title: Desarrollo de evidencias de validez de una prueba de desempeño sobre competencias docentes: EDOE
Journal: Investigación en educación médica
Database: PERIÓDICA
System number: 000439856
ISSN: 2007-5057
Authors: 1
1
1
1
Institutions: 1Universidad Nacional Autónoma de México, Facultad de Medicina, Ciudad de México. México
Year:
Season: Ene-Mar
Volumen: 8
Number: 29
Pages: 45-57
Country: México
Language: Español
Document type: Artículo
Approach: Descriptivo
Spanish abstract La evaluación de competencias docentes se relaciona con la mejora de la actividad educativa, orientada hacia el desarrollo personal y formativo. No se cuenta con evaluaciones de alta fidelidad en nuestro medio. El objetivo es obtener fuentes de evidencia de validez del Examen Docente Objetivo Estructurado (EDOE) para evaluar las competencias docentes. Método: Se llevó a cabo un estudio cuantitativo en 3 fases: 1) Planeación: análisis del modelo de competencias, validación por jueces, validación de contenido por alumnos instructores y taller de trabajo con expertos para la creación de estaciones. 2) Piloto: se obtuvo el grado de concordancia de los evaluadores, validación y estructura interna de las estaciones (análisis de discriminación, alpha de Cronbach, medias y desviación estándar). 3) Final: Aplicación a la muestra por conveniencia no aleatoria conformada por 20 profesores del Departamento de Informática Biomédica de la Facultad de Medicina de la UNAM. Resultados: Se realizó un análisis de discriminación de reactivos de 8 estaciones 2 tienen 5 reactivos que discriminan .05, 7 obtienen cargas factoriales aceptables; explicando un 88.35% de la varianza, un alpha de Cronbach de .68. La media de desempeño docente en el EDOE fue de 73.23 con desviación estándar de 8.4. La estación mejor evaluada fue estrategias de aprendizaje (85 ± 16.98) y la menor fue orientar la discusión (67.48 ± 15.62). Se detectó evidencia confirmatoria con exámenes similares utilizados en la Facultad de Medicina, se cumplieron los objetivos planteados de la creación de este instrumento, se detectó una media preevaluación EDOE y los profesores fueron realimentados sobre su desempeño con fines formativos. Discusión y conclusiones: Se propone un instrumento de evaluación EDOE con suficiente evidencia de validez que puede ser utilizado en la evaluación del grado de competencia docente. Lo anterior orienta a crear instrumentos de
English abstract The evaluation of teaching competences is related to the improvement of the educational activity which is oriented towards personal and formative development. There are no high-fidelity evaluations in our specific setting. The aim was to obtain sources of evidence of validity for the Objective & Structured Teaching Examination (OSTE) to evaluate the teaching competencies. Method: A quantitative study was carried out in three phases: 1) Planning phase: analysis of the competence model, validation by judges, validation of content by student instructors, and workshop with experts for the creation of the stations. 2) Pilot phase: to obtain the degree of concordance among evaluators, validation and internal structure of the stations (discriminant analysis, Cronbach's alpha, means and standard deviation), 3) Final phase: Application to a non-random sample formed by 20 professors of the Department of Biomedical Informatics at the Faculty of Medicine of UNAM. Results: An item discrimination analysis of eight stations was carried out. We observed that two stations have five items that discriminate .05, seven had acceptable factorial loads and explained 88.35% of the variance with a Cronbach's alpha of .68. The average of teaching performance in the OSTE was 73.23 with a standard deviation of 8.4. The best-evaluated station was learning strategies (85 ± 16.98), and the lowest was discussion guidance (67.48 ± 15.62). Confirmatory evidence was obtained with similar examinations used in the Faculty of Medicine, the objectives set for the creation of this instrument were met, an OSTE pre-evaluation mean was detected, and the teachers got feedback on their performance for training purposes. Discussion and Conclusions: The OSTE assessment is proposed as an instrument with sufficient evidence of validity that can be used in the evaluation of the degree of teaching competencies. We aim to create teaching evaluation instruments that follow good practice
Disciplines: Educación
Keyword: Educación superior,
Evaluación educativa,
Maestros,
Competencias profesionales
Keyword: Higher education,
Educational assessment,
Teachers
Full text: Texto completo (Ver HTML) Texto completo (Ver PDF)