¿Cómo sabe si está implementando una PBE correctamente?
Página 7: Evaluando la fidelidad de implementación
Después de que se han recogido los datos de observación, uno puede evaluar cuán bien está implementando la PBE. Este proceso de cuatro pasos implica calcular el porcentaje de pasos y actividades implementados correctamente.
Ejemplo: Datos de observación de PALS
Para calcular la fidelidad de implementación del maestro en el video de demonstración en la página anterior, el observante completa los siguientes pasos. Haga clic aquí para ver el formulario de los datos de observación.
Paso 1: 19 elementos en el formulario
Paso 2: 10 elementos implementados correctamente
Paso 3: 10÷19= .526
Paso 4: .526=53%
La puntación de la fidelidad del maestro es 53%.
Paso 1. Determinar el número total de elementos en la medida de fidelidad (excluyendo la calidad de los elementos).
Paso 2. Contar la cantidad de elementos que implementó correctamente.
Paso 3. Dividir el número de elementos realizados correctamente entre el número total de elementos.
Paso 4. Cambiar el resultado decimal en el paso tres a un porcentaje.
El manual de administración para una práctica o programa empaquetados puede indicar el nivel aceptable de fidelidad. Sin embargo, si esta información no está disponible, una regla general es aspirar a una puntuación de fidelidad mínima de 60-80%.
Escuche cómo Scott McConnell y Tom Kratochwill discuten consideraciones para determinar un nivel aceptable de fidelidad.
Scott McConnell, PhD
Profesor, Psicología Educacional
Universidad de Minnesota
(tiempo: 0:49)
Tom Kratochwill, PhD
Profesor, Psicología Educacional
Co-PI, Proyecto PRIME
Universidad de Wisconsin-Madison
(tiempo: 1:49)
Si su puntuación de fidelidad está por debajo del criterio establecido, puede que necesite revisar el manual o conseguir apoyo continuo. Este apoyo puede prestarse mediante diferentes tipos de formatos de entrenamiento (p.ej., orientación, tutoría, sesiones de refuerzo, ejemplificación) y por un número de individuos (p.ej., personal de la escuela, consultor externo). Uno de los componentes más importantes en el apoyo continuo es la retroalimentación correctiva, la cual ha demostrado promover la fidelidad de implementación. Los educadores tienden más a mantener o mejorar su fidelidad de implementación cuando entienden qué elementos implementan correctamente y cuáles necesitan mejorar. Es especialmente útil ver el patrón de implementación a lo largo del tiempo. Una manera de hacer esto es registrar su desempeño en cada uno de los pasos de implementación listados en la guía de verificación de la fidelidad en todas las observaciones.
No sólo es útil saber su puntuación general de fidelidad sino que también es útil observar más de cerca la implementación de los pasos individuales o lo elementos de una práctica o programa a lo largo del tiempo. Cuando uno examina los datos más de cerca, suele aparecer uno de estos patrones:
- Patrón de implementación variado—implementación inconsistente de los pasos cuando, algunos días, ciertos pasos se implementan bien y otros días no
- Patrón de implementación constante—algunos siempre se implementan bien y otros son consistentemente implementados deficientemente
Los cuadros aquí abajo muestran los datos de fidelidad de dos educadores en tres observaciones. Note que las puntuaciones de fidelidad para ambos educadores oscilan entre 40%-60%. Sin embargo, el patrón de datos para cada educador es diferente. La educadora 1 muestra un patrón de implementación variado. Ella no está implementando ningún paso correctamente a lo largo del tiempo. El educador 2 muestra un patrón consistente de implementación. Implementa los pasos 1 y 4 correctamente, pero en general no implementa los pasos 2, 3, y 5 correctamente.
Educador 1: Patrón de implementación variado
| Observación 1 | Observación 2 | Observación 3 | |
| Paso 1 | ✓ | ✓ | ✗ |
| Paso 2 | ✓ | ✗ | ✗ |
| Paso 3 | ✗ | ✓ | ✓ |
| Paso 4 | ✗ | ✗ | ✓ |
| Paso 5 | ✗ | ✓ | ✗ |
| Puntuación de fidelidad | 40% | 60% | 40% |
Educador 2: Patrón de implementación consistente
| Observación 1 | Observación 2 | Observación 3 | |
| Paso 1 | ✓ | ✓ | ✓ |
| Paso 2 | ✗ | ✗ | ✗ |
| Paso 3 | ✗ | ✗ | ✗ |
| Paso 4 | ✓ | ✓ | ✓ |
| Paso 5 | ✗ | ✗ | ✓ |
| Puntuación de fidelidad | 40% | 40% | 60% |
Conocer el patrón de implementación ayuda a entender qué pasos está haciendo bien y cuáles necesita mejorar. Esta información puede ayudar a determinar el tipo de apoyo o entrenamiento que necesita buscar.
Después de revisar el manual y recibir apoyo, usted tendrá que ser observado pronto (p.ej., una semana después) para asegurarse de que ahora está implementando la PBE con fidelidad. Si aún está implementando la PBE con fidelidad baja, puede que tenga que posponer la implementación hasta que pueda participar en entrenamientos futuros.
Lisa Sanetti, PhD
Co-PI, Proyecto PRIME
Profesora Asociada, Facultad de Educación Neag
Universidad de Connecticut
La investigación indica
Los maestros que reciben retroalimentación correctiva demuestran mayor fidelidad de implementación que aquellos que no la reciben. Además, sus estudiantes demuestran resultados más positivos que los estudiantes de aquellos maestros que no recibieron retroalimentación.
(Sanetti, Fallon, & Collier-Meek, 2013; Solomon, Klein, & Politylo, 2012)
Recuerde, usted continuará monitorizando su fidelidad de implementación incluso después de haber alcanzado y mantenido un nivel aceptable de fidelidad. Es útil registrar sus datos de fidelidad en un gráfico para que pueda buscar patrones que indiquen si se está desviando—o alejándose de los procedimientos correctos a lo largo del tiempo. Por ejemplo, el gráfico aquí abajo muestra la implementación de fidelidad de una PBE de un maestro a lo largo de 14 semanas. Para esta PBE, el criterio de fidelidad es de 80%. Note que el maestro consigue un nivel de fidelidad aceptable en la semana 3 y que mantiene la fidelidad hasta la semana 11 aunque en la semana 6 comienza una tendencia hacia abajo, probablemente debido a una desviación. Desafortunadamente, esta tendencia continúa y el maestro desciende por debajo del nivel de fidelidad aceptable en las semanas 12-14. Revisando estos datos, el maestro puede ver fácilmente que necesita mejorar su fidelidad de implementación.
Actividad
Usando los datos de observación que recogió en la actividad de la página 6, calcule la fidelidad del maestro de secundaria (p.ej., el porcentaje de pasos que implementó correctamente).
Para calcular la fidelidad de implementación del maestro de la Actividad en la página 6, el observante completa los siguientes pasos.
Paso 1: 19 elementos en el formulario
Paso 2: 13 elementos implementados correctamente
Paso 3: 13÷19= .684
Paso 4: .684=68%
La puntuación de fidelidad del maestro es 68%.
