¿Cómo sabe si una PBE está siendo efectiva con sus niños o estudiantes?
Página 8: Evaluando la relación entre los resultados y la fidelidad
Ahora que tiene los datos de monitorización del progreso y de fidelidad, usted puede juzgar la efectividad de una PBE en sus niños o estudiantes. Usted puede hacer esto examinando la relación entre los dos grupos de datos.
- Si la fidelidad es alta, se pueden atribuir el aumento en el desempeño a la práctica o programa basado en evidencia.
- Si la fidelidad es alta y no hay cambio en el desempeño, podría deducirse que la práctica o programa no fue efectivo con sus niños o estudiantes.
- Si la fidelidad es baja, los aumentos en el desempeño no se pueden atribuir necesariamente a la práctica o programa.
- Si la fidelidad es baja y no hay cambio en el desempeño, no está claro si la práctica o programa desembocaría en mejores resultados si se implementa correctamente.
La tabla aquí abajo describe la decisión instruccional para cada caso.
| Mejores resultados de niño/estudiante (por encima o en la línea objetivo) |
Resultados de niño / estudiante inadecuados (por debajo de la línea objetivo) |
|
| Fidelidad alta | Continúe usando la PBE y continúe monitorizando el desempeño | Cambie la instrucción porque la PBE no es efectiva para sus niños o estudiantes |
| Fidelidad baja | La decisión no está clara: 1) Continué usando la PBE y monitorizando el desempeño O 2) Mejore la fidelidad de implementación y recoja los datos de monitorización del progreso para ver si los resultados mejoran más. | Mejore la fidelidad de implementación y recoja más datos de monitorización del progreso para ver si los resultados mejoran. |
Como subraya el cuadro aquí arriba, cuando la fidelidad es baja, el efecto de una PBE en los resultados de un niño o estudiante no pueden ser determinados con confianza porque:
- Es difícil identificar qué aspectos de la práctica o programa producen resultados positivos o si alguna otra cosa es la responsable de los resultados positivos.
- No se sabe si los resultados positivos mejorarían si la práctica o programa se implementase como fue diseñada.
- Se desconoce si los resultados deficientes son debido a una baja fidelidad o porque la PBE no es efectiva con ciertos niños o estudiantes.
Examinando los datos de monitorización del progreso y los datos de fidelidad, usted puede juzgar si una PBE es efectiva para su niño o estudiantes. Monitorizar sólo un componente proporcionará sólo datos parciales. Si no se monitorizan ambos componentes, usted no será capaz de determinar si la PBE es efectiva con sus niños o estudiantes y, como consecuencia, no podrá realizar una intervención fundamentada o decisiones instruccionales.
Escuche cómo Tom Kratochwill habla más sobre cómo la combinación de los datos de la monitorización del progreso y los datos de fidelidad pueden informar decisiones instruccionales. Después, Lisa Sanetti explica por qué los educadores deberían preocuparse por tener baja fidelidad incuso cuando los resultados de los estudiantes están mejorando.
Tom Kratochwill, PhD
Profesor, Psicología Educacional
Co-PI, Proyecto PRIME
Universidad de Wisconsin-Madison
(tiempo: 2:40)
Lisa Sanetti, PhD
Co-PI, Proyecto PRIME
Profesora Asociada, Facultad de Educación Neag
Universidad de Connecticut
(tiempo: 1:08)
Transcripción: Tom Kratochwill, PhD
Si tiene un tratamiento de fidelidad o integridad realmente alto y el estudiante está teniendo resultados excelentes entonces hay un motivo para continuar con el programa y pensar que este está contribuyendo al tipo de resultados positivos que estás observando en el estudiante. También es posible que uno tenga un programa con una fidelidad alta, pero que el estudiante no esté avanzando en las medidas seleccionadas, y eso puede significar varias cosas. Una es que, quizás, el programa, aunque está siendo implementado con fidelidad alta, no está particularmente bien conectado a la naturaleza del problema. Es decir, quizá haya elementos en el problema del niño que no han sido considerados. Quizá haya algunas medidas que están siendo usadas para evaluar el resultado que no están mostrando el tipo de resultados que uno querría observar. Entonces este es un posible confuso problema que el educador tiene que considerar, pero podría desembocar en cambiar el programa de intervención o algunos de los procedimientos instruccionales en algún aspecto para hacerlo más potente o más fuerte.
Si tenemos baja fidelidad, o está viendo cambio en un niño o no lo está viendo. Significa que tienes que concentrarte en abordar la baja fidelidad, porque la baja fidelidad del programa significa que tienes que entrar en un proceso de resolución de problemas para determinar si puedes mejorar la fidelidad y después tomar una decisión sobre si el niño mejora o no. Si el niño mejora, entonces, obviamente, estás tomando decisiones que desembocarán en un resultado de los estudiantes positivo.
Pero si después de haber mejorado la fidelidad del programa el niño no está mejorando puede que tengas que considerar la naturaleza del programa, el contexto de implementación, los tipos de medidas que se están usando, probablemente añadir otro programa, etc. Entonces el elemento de baja fidelidad causa más complicaciones en el proceso de tomar decisiones y de resolver problemas. Tienes diferentes dilemas que considerar bajo las condiciones de una baja fidelidad, lo que, por cierto, demuestra lo necesario que es implementar programas con alta fidelidad.
Transcripción: Lisa Sanetti, PhD
A veces vamos a encontrar situaciones en las que los maestros implementan intervenciones y los estudiantes mejoran, pero los datos no muestran que están implementando a un nivel alto. Podemos ver resultados de estudiantes positivos con menores niveles de implementación con intervenciones verdaderamente sólidas y fuertes. Por lo tanto, no es sorprendente oír a un profesor preguntar “¿Por qué tendría que preocuparme por implementar a un nivel más alto si estoy consiguiendo buenos resultados?” La razón es que tenemos datos nuevos que muestran que los niveles de implementación más altos producen los resultados más eficientes además de mejores y más altos resultados en los estudiantes. Y entonces cualquier incremento que podamos lograr en fidelidad va a resultar potencialmente en que tengamos que implementar la intervención por menos tiempo, haciendo que los estudiantes acorten distancias en un periodo de tiempo más corto. Por lo tanto, al final, cualquier incremento en la implementación producirá mejores resultados de estudiantes.
