¿Cuál es el proceso para evaluar la efectividad de una PBE con sus niños o estudiantes?
Página 1: Evaluando la efectividad de una práctica basada en evidencia
Implementar una práctica o programa basados en evidencia (PBE) aumenta la probabilidad de que el desempeño de sus niños o estudiantes mejore. Una PBE es aquella que está apoyada por una investigación rigurosa que demuestra su efectividad. Sin embargo, puede que incluso la PBE más efectiva no funcione con todos los niños* o estudiantes. Es más, cuanto más se implementa una práctica o programa con fidelidad—tal y como esta fue diseñada por los investigadores y desarrolladores—mayor es la probabilidad de que produzca resultados positivos en los niños o estudiantes. Para juzgar la efectividad de un programa, debería:
- Monitorizar sistemáticamente los resultados de los estudiantes: El propósito de monitorizar el progreso es determinar si las personas están mejorando. Una de las mejores maneras de medir la mejora es mediante la monitorización de progreso, un tipo de evaluación formativa en la cual el aprendizaje es evaluado con frecuencia.
x
Evaluación formativa
Evaluación frecuente del desempeño de una persona, que proporciona retroalimentación continua tanto a los estudiantes como a los instructores y que ayuda a guiar la toma de decisiones relacionadas con la instrucción.
- Monitorizar sistemáticamente la fidelidad de implementación: El propósito de monitorizar la fidelidad es asegurar que la PBE está siendo implementada como esta fue diseñada, lo que aumentará las probabilidades de conseguir mejoras en los resultados de los niños o los estudiantes.
- Examinar la relación entre los resultados de los estudiantes y la fidelidad de implementación: El propósito de comparar los datos de cada resultado es determinar si la PBE es efectiva para los niños o estudiantes con lo que está trabajando.
Si la fidelidad es alta, el aumento en el desempeño puede deberse a la práctica o programa basados en evidencia. Del mismo modo, si la fidelidad es alta y no hay cambio en el desempeño, puede deducirse que la práctica o el programa no fue efectivo con esos niños y estudiantes. Sin embargo, si la fidelidad es baja, la relación entre la práctica o el programa y el resultado del niño o estudiante no estaría clara.
Escuche cómo Bryan Cook discute la importancia de recoger tanto los datos de la monitorización del progreso como los de la implementación con fidelidad. (tiempo: 1:39).
Transcripción: Bryan Cook, PhD
Cuando decimos que una práctica basada en evidencia genera mejores resultados en los estudiantes, no nos referimos a que generan mejores resultados para todos y cada uno de los estudiantes. Queremos decir que mejora los resultados para la mayoría de estudiantes la mayoría del tiempo. Aunque no es una apuesta segura al 100%, aún lo es aproximadamente al 90%. Sí pienso que es realmente importante darnos cuenta que existen aquellos que denominamos no-responsivos o resistentes al tratamiento. Nada va a funcionar para todo el mundo. La práctica más basada en evidencia del mundo, habrá estudiantes para los que no funcionará. Y estos son, muchas veces, nuestros estudiantes en riesgo, nuestros niños con discapacidades, nuestros estudiantes cultural o lingüísticamente diversos. Y esto apunta a la importancia de recoger buenos datos de monitorización de progreso y a darnos cuenta que, incluso cuando implementamos una práctica basada en evidencia con fidelidad, habrá algunos estudiantes para los que esta no funcionará. Y eso está bien. Aún es un muy buen punto para comenzar. Pero entonces tenemos que estar preparados para monitorizar el progreso, para ver los datos de nuestra fidelidad de implementación. Y si estamos implementando la práctica con fidelidad y no está produciendo los resultados que deseamos, tenemos que pensar o bien en cambiar de práctica basada en evidencia, mirar otra que parezca más prometedora, o considerar formas en las que podemos hacer que la intervención sea más intensa o adaptada de otras formas para hacerla más efectiva si parece que la práctica está teniendo algunos efectos positivos pero no al nivel que desearíamos.
A continuación, Bryan Cook y Sam Odom explican por qué puede que una PBE no sea efectiva para todos los estudiantes.
Bryan Cook, PhD
Profesor, Educación Especial
Universidad de Hawai’i en Mãnoa
(tiempo: 1:07)
Sam Odom, PhD
Profesor, Educación Especial
Director, Frank Porter Graham Child Development Institute
Universidad de North Carolina en Chapel Hill
(tiempo: 1:12)
Transcripción: Bryan Cook, PhD
Determinar si una práctica basada en evidencia, o en realidad cualquier práctica, funciona para un estudiante en particular o para un grupo de estudiantes es verdaderamente como un trabajo de detectives. Tienes que resolver el misterio de si la práctica funciona, y a veces vamos a estar en lo cierto si seguimos nuestra intuición y nuestro sentido general sobre las cosas. Pero no siempre vamos a tener razón, así que tenemos que buscar pistas contundentes. Y nuestras pistas son los datos, más específicamente datos fehacientes sobre la monitorización del progreso, y datos sobre la fidelidad de implementación. Vamos a tomar la decisión más fundamentada cuando usamos esos dos tipos de información, esos dos grupos de pistas, no solamente uno. Y estamos casi seguros de que una práctica basada en evidencia funciona cuando se implementa con fidelidad, y tenemos pruebas de mejora en el desempeño de los estudiantes. Si sólo tenemos una mejora en el desempeño de los estudiantes pero no estamos implementando la intervención con fidelidad, no estamos completamente seguros de si fue la PBE lo que produjo tales mejoras.
Transcripción: Sam Odom, PhD
Las prácticas basadas en evidencia nunca son efectivas para todos los estudiantes. Puede que la evidencia esté basada en estudiantes con características específicas que son diferentes de las del estudiante con el que el maestro está trabajando. Puede que el contexto sea diferente. Puede que la investigación haya sido recogida en una clase inclusiva, y el maestro puede que esté en una clase de educación especial no inclusiva, o viceversa, y puede haber rasgos de ese contexto que influyen en que la práctica funcione o no. Pienso que otra razón por la que puede ser efectivo es por el tema de la fidelidad. Puede que no se implemente en un nivel de fidelidad lo suficientemente alto para producir resultados positivos en los estudiantes. Otra característica, yo creo, es que al niño puede que no le gusten las cosas que pasan en la práctica, entonces puede que la práctica esté basada en investigación contundente, pero es como aburrida para el niño o no le interesa. Y creo que ahí es donde la experiencia y conocimientos del cuidador/practicante, junto con la información de los padres sobre el niño, ayuda en la selección.
Las siguientes páginas incluyen más información sobre cómo evaluar la efectividad de una PBE. La primera sección trata sobre la monitorización del niño y el progreso del estudiante. La segunda describe la monitorización de la fidelidad de implementación. En cada sección, usted aprenderá a:
- Identificar medidas
- Monitorizar desempeño
- Evaluar desempeño
La sección final trata sobre cómo evaluar la relación entre los resultados de un niño pequeño o un estudiante y la fidelidad de implementación.
* En este Módulo, “niños” se refiere a recién nacidos, bebés, y niños preescolares.