¿Cómo sabe si está implementando una PBE correctamente?
Página 7: Evaluando la fidelidad de implementación
Después de que se han recogido los datos de observación, uno puede evaluar cuán bien está implementando la PBE. Este proceso de cuatro pasos implica calcular el porcentaje de pasos y actividades implementados correctamente.
Ejemplo: Datos de observación de PALS
Para calcular la fidelidad de implementación del maestro en el video de demonstración en la página anterior, el observante completa los siguientes pasos. Haga clic aquí para ver el formulario de los datos de observación.
Paso 1: 19 elementos en el formulario
Paso 2: 10 elementos implementados correctamente
Paso 3: 10÷19= .526
Paso 4: .526=53%
La puntación de la fidelidad del maestro es 53%.
Paso 1. Determinar el número total de elementos en la medida de fidelidad (excluyendo la calidad de los elementos).
Paso 2. Contar la cantidad de elementos que implementó correctamente.
Paso 3. Dividir el número de elementos realizados correctamente entre el número total de elementos.
Paso 4. Cambiar el resultado decimal en el paso tres a un porcentaje.
El manual de administración para una práctica o programa empaquetados puede indicar el nivel aceptable de fidelidad. Sin embargo, si esta información no está disponible, una regla general es aspirar a una puntuación de fidelidad mínima de 60-80%.
Escuche cómo Scott McConnell y Tom Kratochwill discuten consideraciones para determinar un nivel aceptable de fidelidad.
Scott McConnell, PhD
Profesor, Psicología Educacional
Universidad de Minnesota
(tiempo: 0:49)
Tom Kratochwill, PhD
Profesor, Psicología Educacional
Co-PI, Proyecto PRIME
Universidad de Wisconsin-Madison
(tiempo: 1:48)
Transcripción: Scott McConnell, PhD
¿Qué es un buen estándar de fidelidad? Depende de la cosa que se esté evaluando. Por tanto, en toda intervención, hay algunos elementos que son necesarios y en los cuales nuestro objetivo de fidelidad es probablemente cercano al 100 por ciento. En otros casos, otras características de la intervención que son, francamente, menos importantes para garantizar el resultado y en las cuales se puede ser un poco más permisivo en cuanto a la fidelidad. Por tanto, pienso que cualquiera que esté monitorizando la fidelidad de una intervención necesita separar las cosas que se están observando entre aquellas que son variables necesarias, aquellas en las que un alto nivel de fidelidad es esencial, y aquellas que son variables de apoyo que pueden ayudar pero con las que podemos tener un poco más de paciencia en que alcancen la velocidad adecuada.
Transcripción: Tom Kratochwill, PhD
Hay dos cuestiones principales a considerar. La primera es que en realidad no hay puntuación mágica que te dé un referente específico sobre si el programa está siendo implementado con fidelidad. Va a depender de los elementos del programa y de cómo se ha creado la guía de verificación de fidelidad para modelar los elementos críticos del programa. A menudo en los programas, la gente querría ver el 80 por ciento o más de los elementos del programa como objetivos. Pero esa puntuación puede ser un tanto arbitraria, dependiendo de la forma en la que el investigador ha evaluado o monitorizado la guía de verificación y los componentes del programa de tratamiento. Una segunda consideración, es que puede haber componentes del programa esenciales que son absolutamente críticos. Por tanto, en un programa en el que ese elemento es parte de la intervención, sería absolutamente crítico que esa parte de la intervención esté ahí. Y pues si no lo está, en realidad, faltaría una de las características más importantes y críticas de la intervención. Por tanto, si un maestro sabe cuáles son los componentes esenciales y críticos de una intervención o un programa instruccional, esos serían los primeros elementos en los que uno debería enfocarse. Eso probablemente daría lugar a la necesidad de tener cerca del 100 por ciento de los componentes centrales presentes, y quizás que no fuera tan crítico incluir los otros elementos más superficiales.
Si su puntuación de fidelidad está por debajo del criterio establecido, puede que necesite revisar el manual o conseguir apoyo continuo. Este apoyo puede prestarse mediante diferentes tipos de formatos de entrenamiento (p.ej., orientación, tutoría, sesiones de refuerzo, ejemplificación) y por un número de individuos (p.ej., personal de la escuela, consultor externo). Uno de los componentes más importantes en el apoyo continuo es la retroalimentación correctiva, la cual ha demostrado promover la fidelidad de implementación. Los educadores tienden más a mantener o mejorar su fidelidad de implementación cuando entienden qué elementos implementan correctamente y cuáles necesitan mejorar. Es especialmente útil ver el patrón de implementación a lo largo del tiempo. Una manera de hacer esto es registrar su desempeño en cada uno de los pasos de implementación listados en la guía de verificación de la fidelidad en todas las observaciones.
Tipos de formatos formativos
orientación
Un método de apoyo continuo en el que una persona con experiencia o experticia, a menudo de una posición similar, guía, instruye y capacita a otra persona o grupo de personas para desarrollar habilidades específicas.
tutoría
Es un método de apoyo continuo en el que una persona más experimentada o con más conocimiento ayuda a otra menos experimentada o menos conocimiento, a aprender o refinar habilidades.
Sesiones de refuerzo
Es un método de apoyo de seguimiento en el que un capacitador proporciona una sesión de capacitación adicional para realizar una o más de las siguientes acciones: revisar habilidades previamente cubiertas, presentar nuevas habilidades, elaborar y refinar habilidades y solucionar problemas.
ejemplificación
Es el acto de proporcionar un ejemplo como medio para fomentar la imitación de una habilidad, proceso, característica o estilo; el proceso mediante el cual un educador observa a un colega mientras proporciona instrucción para ver el proceso en acción y ver sus beneficios de primera mano.
retroalimentación correctiva
Son los comentarios constructivos que se proporcionan tan pronto como sea posible luego de la implementación de una intervención o estrategia para ayudar a una persona a mejorar su desempeño.
No sólo es útil saber su puntuación general de fidelidad sino que también es útil observar más de cerca la implementación de los pasos individuales o lo elementos de una práctica o programa a lo largo del tiempo. Cuando uno examina los datos más de cerca, suele aparecer uno de estos patrones:
- Patrón de implementación variado—implementación inconsistente de los pasos cuando, algunos días, ciertos pasos se implementan bien y otros días no
- Patrón de implementación constante—algunos siempre se implementan bien y otros son consistentemente implementados deficientemente
Los cuadros aquí abajo muestran los datos de fidelidad de dos educadores en tres observaciones. Note que las puntuaciones de fidelidad para ambos educadores oscilan entre 40%-60%. Sin embargo, el patrón de datos para cada educador es diferente. La educadora 1 muestra un patrón de implementación variado. Ella no está implementando ningún paso correctamente a lo largo del tiempo. El educador 2 muestra un patrón consistente de implementación. Implementa los pasos 1 y 4 correctamente, pero en general no implementa los pasos 2, 3, y 5 correctamente.
Educador 1: Patrón de implementación variado
Observación 1 | Observación 2 | Observación 3 | |
Paso 1 | ✓ | ✓ | ✗ |
Paso 2 | ✓ | ✗ | ✗ |
Paso 3 | ✗ | ✓ | ✓ |
Paso 4 | ✗ | ✗ | ✓ |
Paso 5 | ✗ | ✓ | ✗ |
Puntuación de fidelidad | 40% | 60% | 40% |
Educador 2: Patrón de implementación consistente
Observación 1 | Observación 2 | Observación 3 | |
Paso 1 | ✓ | ✓ | ✓ |
Paso 2 | ✗ | ✗ | ✗ |
Paso 3 | ✗ | ✗ | ✗ |
Paso 4 | ✓ | ✓ | ✓ |
Paso 5 | ✗ | ✗ | ✓ |
Puntuación de fidelidad | 40% | 40% | 60% |
Conocer el patrón de implementación ayuda a entender qué pasos está haciendo bien y cuáles necesita mejorar. Esta información puede ayudar a determinar el tipo de apoyo o entrenamiento que necesita buscar.
Después de revisar el manual y recibir apoyo, usted tendrá que ser observado pronto (p.ej., una semana después) para asegurarse de que ahora está implementando la PBE con fidelidad. Si aún está implementando la PBE con fidelidad baja, puede que tenga que posponer la implementación hasta que pueda participar en entrenamientos futuros.
Escuche cómo Lisa Sanetti discute la importancia del entrenamiento para mantener una fidelidad alta (tiempo: 3:17).
Lisa Sanetti, PhD
Co-PI, Proyecto PRIME
Profesora Asociada, Facultad de Educación Neag
Universidad de Connecticut
Transcripción: Lisa Sanetti, PhD
Cuando los maestros comienzan a implementar una práctica basada en la evidencia, una de las cosas que encontramos es que los maestros tienen muchos problemas para hacerlo de manera consistente a lo largo del tiempo. A menudo, las tasas de fidelidad son bastante altas después del entrenamiento inicial y luego tienden a descender en el tiempo. Y hay muchas razones muy válidas para esto. Estamos pidiendo a los educadores que hagan muchas cosas a la vez. Este es un comportamiento nuevo, y la implementación de cualquier comportamiento nuevo es un desafío. Agregue eso a otras obligaciones que compiten por el tiempo y la atención de un maestro, y podremos ver por qué puede ser un verdadero desafío implementar una práctica basada en la evidencia con fidelidad. Sabemos que muchos maestros tendrán problemas. No todos los maestros, pero muchos de ellos tendrán dificultades y deberán regresar y obtener algún entrenamiento adicional o algún comentario sobre su implementación. Muchas veces eso puede ayudar realmente a aumentar esos niveles de fidelidad a través del tiempo. Y sabemos que, con los apoyos adecuados, los educadores realmente pueden implementar la mayoría de las prácticas basadas en la evidencia con fidelidad. A veces se requiere entrenamiento continuo. A veces es necesario ver a alguien más hacerlo en un salón de clases, hacer que alguien lo ejemplifique para ellos. Ellos no están muy claros acerca de cómo debería ser realmente. A veces, es necesario sentarse con otro colega y resolver problemas sobre cómo ellos pueden hacer que esta práctica se adapte a su aula particular para que se ajuste con todas las demás obligaciones en competencia que tienen durante el día escolar.
Entonces, una de las cosas que sabemos sobre aprender a implementar una nueva intervención y hacerlo correctamente, es que la capacitación es esencial. Y sabemos que ya sea el desarrollo profesional u otras oportunidades de capacitación que pueda tener un maestro, ellas constituyen a menudo una especie de capacitación puntual. Y, si bien eso puede proporcionar una base inicial realmente excelente para que un educador implemente una nueva práctica, sabemos que eso no será suficiente. Creo que es realmente importante reconocer que la mayoría de los educadores necesitarán capacitación o apoyo continuos para poder implementar intervenciones más complejas o desafiantes a lo largo del tiempo. Ese entrenamiento puede tener diferentes apariencias. Puede ser teniendo reuniones continuas u observaciones con un entrenador, un entrenador de instrucción o un entrenador de comportamiento que realmente esté analizando la implementación y dando algunos comentarios constructivos para ayudar a ese educador a implementar la práctica basada en la evidencia para que sea más efectiva. Pueden ser grupos de profesores trabajando unos con otros, para evaluarse entre ellos, ver qué están haciendo y cómo implementan la resolución de problemas. En ocasiones, si los profesores se enseñan a sí mismos cómo implementar una intervención, realmente tienen que ser buenos al autoevaluarse acerca de cómo lo están haciendo. Hemos trabajado con profesores que encuentran una nueva intervención, averiguan qué pasos deben seguir, e incluso crean una lista de verificación y tratan de auto-evaluarse acerca de cuán bien fueron capaces de hacerlo a través del tiempo y lentamente intentan incrementar su implementación y su consistencia con el tiempo.
La investigación indica
Los maestros que reciben retroalimentación correctiva demuestran mayor fidelidad de implementación que aquellos que no la reciben. Además, sus estudiantes demuestran resultados más positivos que los estudiantes de aquellos maestros que no recibieron retroalimentación.
(Sanetti, Fallon, & Collier-Meek, 2013; Solomon, Klein, & Politylo, 2012)
Recuerde, usted continuará monitorizando su fidelidad de implementación incluso después de haber alcanzado y mantenido un nivel aceptable de fidelidad. Es útil registrar sus datos de fidelidad en un gráfico para que pueda buscar patrones que indiquen si se está desviando—o alejándose de los procedimientos correctos a lo largo del tiempo. Por ejemplo, el gráfico aquí abajo muestra la implementación de fidelidad de una PBE de un maestro a lo largo de 14 semanas. Para esta PBE, el criterio de fidelidad es de 80%. Note que el maestro consigue un nivel de fidelidad aceptable en la semana 3 y que mantiene la fidelidad hasta la semana 11 aunque en la semana 6 comienza una tendencia hacia abajo, probablemente debido a una desviación. Desafortunadamente, esta tendencia continúa y el maestro desciende por debajo del nivel de fidelidad aceptable en las semanas 12-14. Revisando estos datos, el maestro puede ver fácilmente que necesita mejorar su fidelidad de implementación.
Actividad
Usando los datos de observación que recogió en la actividad de la página 6, calcule la fidelidad del maestro de secundaria (p.ej., el porcentaje de pasos que implementó correctamente).
Para calcular la fidelidad de implementación del maestro de la Actividad en la página 6, el observante completa los siguientes pasos.
Paso 1: 19 elementos en el formulario
Paso 2: 13 elementos implementados correctamente
Paso 3: 13÷19= .684
Paso 4: .684=68%
La puntuación de fidelidad del maestro es 68%.