Please ensure Javascript is enabled for purposes of website accessibility Página 7: Evaluando la fidelidad de implementación
  • IRIS Center
  • Resources
    • IRIS Resource Locator
      Modules, case studies, activities, & more
    • Evidence-Based Practice Summaries
      Research annotations
    • High-Leverage Practices
      IRIS resources on HLPs
    • Films
      Portrayals of people with disabilities
    • Children's Books
      Portrayals of people with disabilities
    • Glossary
      Disability related terms
    • For PD Providers
      Sample PD activities, planning forms, & more
    • For Faculty
      Top tips, coursework planning, & more
    • Website Navigation Videos
      Getting around our Website & modules
    • New & Coming Soon
      Latest modules & resources
    • IRIS Archived Resources
      Modules, alignment tools, & more
  • PD Options
    • PD Certificates for Educators
      Our certificate, your PD hours
    • Log in to Your IRIS PD
    • For PD Providers
      Sample PD activities, planning forms, & more
    • IRIS+ School & District Platform
      A powerful tool for school leaders
  • Articles & Reports
    • Articles
      Articles about IRIS use & efficacy
    • Internal IRIS Reports
      Reports on IRIS use & accomplishments
    • External Evaluation Reports
      Evaluations of the IRIS Center
    • IRIS Stories
      Our resources, your stories
    • News & Events
      What, when, & where it's happening
  • Help
    • Help & Support
      Get the full benefit from our resources
    • Website Navigation Videos
      Getting around our Website & modules
  • Las prácticas basadas en evidencia (Parte 3): Evaluando los resultados del estudiante y su fidelidad
Reto
Pensamientos Iniciales
Perspectivas y Recursos

¿Cuál es el proceso para evaluar la efectividad de una PBE con sus niños o estudiantes?

  • Página 1: Evaluando la efectividad de una práctica basada en evidencia

¿Cómo mide el desempeño de sus bebés, niños pequeños, o estudiantes?

  • Página 2: Identificando una medida de monitorización de progreso
  • Página 3: Monitorización del progreso
  • Página 4: Evaluando el progreso

¿Cómo sabe si está implementando una PBE correctamente?

  • Página 5: Identificando una medida de fidelidad
  • Página 6: Monitorizando la fidelidad de implementación
  • Página 7: Evaluando la fidelidad de implementación

¿Cómo sabe si una PBE está siendo efectiva con sus niños o estudiantes?

  • Página 8: Evaluando la relación entre los resultados y la fidelidad

Recursos

  • Página 10: Créditos
Resumen
Evaluación

¿Cómo sabe si está implementando una PBE correctamente?

Página 7: Evaluando la fidelidad de implementación

Después de que se han recogido los datos de observación, uno puede evaluar cuán bien está implementando la PBE. Este proceso de cuatro pasos implica calcular el porcentaje de pasos y actividades implementados correctamente.

Ejemplo: Datos de observación de PALS

Para calcular la fidelidad de implementación del maestro en el video de demonstración en la página anterior, el observante completa los siguientes pasos. Haga clic aquí para ver el formulario de los datos de observación.

Paso 1: 19 elementos en el formulario
Paso 2: 10 elementos implementados correctamente
Paso 3: 10÷19= .526
Paso 4: .526=53%

La puntación de la fidelidad del maestro es 53%.

Paso 1. Determinar el número total de elementos en la medida de fidelidad (excluyendo la calidad de los elementos).

Paso 2. Contar la cantidad de elementos que implementó correctamente.

Paso 3. Dividir el número de elementos realizados correctamente entre el número total de elementos.

Paso 4. Cambiar el resultado decimal en el paso tres a un porcentaje.

El manual de administración para una práctica o programa empaquetados puede indicar el nivel aceptable de fidelidad. Sin embargo, si esta información no está disponible, una regla general es aspirar a una puntuación de fidelidad mínima de 60-80%.

Escuche cómo Scott McConnell y Tom Kratochwill discuten consideraciones para determinar un nivel aceptable de fidelidad.

Scott McConnell

Scott McConnell, PhD
Profesor, Psicología Educacional
Universidad de Minnesota

(tiempo: 0:49)

/wp-content/uploads/module_media/ebp_03_spanish_media/audio/ebp_03_p07_sm.mp3

Ver la transcripción

Tom Kratochwill

Tom Kratochwill, PhD
Profesor, Psicología Educacional
Co-PI, Proyecto PRIME
Universidad de Wisconsin-Madison

(tiempo: 1:48)

/wp-content/uploads/module_media/ebp_03_spanish_media/audio/ebp_03_p07_tk.mp3

Ver la transcripción

Transcripción: Scott McConnell, PhD

¿Qué es un buen estándar de fidelidad? Depende de la cosa que se esté evaluando. Por tanto, en toda intervención, hay algunos elementos que son necesarios y en los cuales nuestro objetivo de fidelidad es probablemente cercano al 100 por ciento. En otros casos, otras características de la intervención que son, francamente, menos importantes para garantizar el resultado y en las cuales se puede ser un poco más permisivo en cuanto a la fidelidad. Por tanto, pienso que cualquiera que esté monitorizando la fidelidad de una intervención necesita separar las cosas que se están observando entre aquellas que son variables necesarias, aquellas en las que un alto nivel de fidelidad es esencial, y aquellas que son variables de apoyo que pueden ayudar pero con las que podemos tener un poco más de paciencia en que alcancen la velocidad adecuada.

Transcripción: Tom Kratochwill, PhD

Hay dos cuestiones principales a considerar. La primera es que en realidad no hay puntuación mágica que te dé un referente específico sobre si el programa está siendo implementado con fidelidad. Va a depender de los elementos del programa y de cómo se ha creado la guía de verificación de fidelidad para modelar los elementos críticos del programa. A menudo en los programas, la gente querría ver el 80 por ciento o más de los elementos del programa como objetivos. Pero esa puntuación puede ser un tanto arbitraria, dependiendo de la forma en la que el investigador ha evaluado o monitorizado la guía de verificación y los componentes del programa de tratamiento. Una segunda consideración, es que puede haber componentes del programa esenciales que son absolutamente críticos. Por tanto, en un programa en el que ese elemento es parte de la intervención, sería absolutamente crítico que esa parte de la intervención esté ahí. Y pues si no lo está, en realidad, faltaría una de las características más importantes y críticas de la intervención. Por tanto, si un maestro sabe cuáles son los componentes esenciales y críticos de una intervención o un programa instruccional, esos serían los primeros elementos en los que uno debería enfocarse. Eso probablemente daría lugar a la necesidad de tener cerca del 100 por ciento de los componentes centrales presentes, y quizás que no fuera tan crítico incluir los otros elementos más superficiales.

two adults conferring at tableSi su puntuación de fidelidad está por debajo del criterio establecido, puede que necesite revisar el manual o conseguir apoyo continuo. Este apoyo puede prestarse mediante diferentes tipos de formatos de entrenamiento (p.ej., orientación, tutoría, sesiones de refuerzo, ejemplificación) y por un número de individuos (p.ej., personal de la escuela, consultor externo). Uno de los componentes más importantes en el apoyo continuo es la retroalimentación correctiva, la cual ha demostrado promover la fidelidad de implementación. Los educadores tienden más a mantener o mejorar su fidelidad de implementación cuando entienden qué elementos implementan correctamente y cuáles necesitan mejorar. Es especialmente útil ver el patrón de implementación a lo largo del tiempo. Una manera de hacer esto es registrar su desempeño en cada uno de los pasos de implementación listados en la guía de verificación de la fidelidad en todas las observaciones.

x

Tipos de formatos formativos

orientación

Un método de apoyo continuo en el que una persona con experiencia o experticia, a menudo de una posición similar, guía, instruye y capacita a otra persona o grupo de personas para desarrollar habilidades específicas.

tutoría

Es un método de apoyo continuo en el que una persona más experimentada o con más conocimiento ayuda a otra menos experimentada o menos conocimiento, a aprender o refinar habilidades.

Sesiones de refuerzo

Es un método de apoyo de seguimiento en el que un capacitador proporciona una sesión de capacitación adicional para realizar una o más de las siguientes acciones: revisar habilidades previamente cubiertas, presentar nuevas habilidades, elaborar y refinar habilidades y solucionar problemas.

ejemplificación

Es el acto de proporcionar un ejemplo como medio para fomentar la imitación de una habilidad, proceso, característica o estilo; el proceso mediante el cual un educador observa a un colega mientras proporciona instrucción para ver el proceso en acción y ver sus beneficios de primera mano.

x

retroalimentación correctiva

Son los comentarios constructivos que se proporcionan tan pronto como sea posible luego de la implementación de una intervención o estrategia para ayudar a una persona a mejorar su desempeño.

Haga clic aquí para conocer más sobre este proceso.

No sólo es útil saber su puntuación general de fidelidad sino que también es útil observar más de cerca la implementación de los pasos individuales o lo elementos de una práctica o programa a lo largo del tiempo. Cuando uno examina los datos más de cerca, suele aparecer uno de estos patrones:

  • Patrón de implementación variado—implementación inconsistente de los pasos cuando, algunos días, ciertos pasos se implementan bien y otros días no
  • Patrón de implementación constante—algunos siempre se implementan bien y otros son consistentemente implementados deficientemente

Los cuadros aquí abajo muestran los datos de fidelidad de dos educadores en tres observaciones. Note que las puntuaciones de fidelidad para ambos educadores oscilan entre 40%-60%. Sin embargo, el patrón de datos para cada educador es diferente. La educadora 1 muestra un patrón de implementación variado. Ella no está implementando ningún paso correctamente a lo largo del tiempo. El educador 2 muestra un patrón consistente de implementación. Implementa los pasos 1 y 4 correctamente, pero en general no implementa los pasos 2, 3, y 5 correctamente.

Educador 1: Patrón de implementación variado

Observación 1 Observación 2 Observación 3
Paso 1 ✓ ✓ ✗
Paso 2 ✓ ✗ ✗
Paso 3 ✗ ✓ ✓
Paso 4 ✗ ✗ ✓
Paso 5 ✗ ✓ ✗
Puntuación de fidelidad 40% 60% 40%

Educador 2: Patrón de implementación consistente

Observación 1 Observación 2 Observación 3
Paso 1 ✓ ✓ ✓
Paso 2 ✗ ✗ ✗
Paso 3 ✗ ✗ ✗
Paso 4 ✓ ✓ ✓
Paso 5 ✗ ✗ ✓
Puntuación de fidelidad 40% 40% 60%

Conocer el patrón de implementación ayuda a entender qué pasos está haciendo bien y cuáles necesita mejorar. Esta información puede ayudar a determinar el tipo de apoyo o entrenamiento que necesita buscar.

Después de revisar el manual y recibir apoyo, usted tendrá que ser observado pronto (p.ej., una semana después) para asegurarse de que ahora está implementando la PBE con fidelidad. Si aún está implementando la PBE con fidelidad baja, puede que tenga que posponer la implementación hasta que pueda participar en entrenamientos futuros.

Escuche cómo Lisa Sanetti discute la importancia del entrenamiento para mantener una fidelidad alta (tiempo: 3:17).

Lisa Sanetti

Lisa Sanetti, PhD
Co-PI, Proyecto PRIME
Profesora Asociada, Facultad de Educación Neag
Universidad de Connecticut

/wp-content/uploads/module_media/ebp_03_spanish_media/audio/ebp_03_p07_ls.mp3

Ver la transcripción

Transcripción: Lisa Sanetti, PhD

Cuando los maestros comienzan a implementar una práctica basada en la evidencia, una de las cosas que encontramos es que los maestros tienen muchos problemas para hacerlo de manera consistente a lo largo del tiempo. A menudo, las tasas de fidelidad son bastante altas después del entrenamiento inicial y luego tienden a descender en el tiempo. Y hay muchas razones muy válidas para esto. Estamos pidiendo a los educadores que hagan muchas cosas a la vez. Este es un comportamiento nuevo, y la implementación de cualquier comportamiento nuevo es un desafío. Agregue eso a otras obligaciones que compiten por el tiempo y la atención de un maestro, y podremos ver por qué puede ser un verdadero desafío implementar una práctica basada en la evidencia con fidelidad. Sabemos que muchos maestros tendrán problemas. No todos los maestros, pero muchos de ellos tendrán dificultades y deberán regresar y obtener algún entrenamiento adicional o algún comentario sobre su implementación. Muchas veces eso puede ayudar realmente a aumentar esos niveles de fidelidad a través del tiempo. Y sabemos que, con los apoyos adecuados, los educadores realmente pueden implementar la mayoría de las prácticas basadas en la evidencia con fidelidad. A veces se requiere entrenamiento continuo. A veces es necesario ver a alguien más hacerlo en un salón de clases, hacer que alguien lo ejemplifique para ellos. Ellos no están muy claros acerca de cómo debería ser realmente. A veces, es necesario sentarse con otro colega y resolver problemas sobre cómo ellos pueden hacer que esta práctica se adapte a su aula particular para que se ajuste con todas las demás obligaciones en competencia que tienen durante el día escolar.

Entonces, una de las cosas que sabemos sobre aprender a implementar una nueva intervención y hacerlo correctamente, es que la capacitación es esencial. Y sabemos que ya sea el desarrollo profesional u otras oportunidades de capacitación que pueda tener un maestro, ellas constituyen a menudo una especie de capacitación puntual. Y, si bien eso puede proporcionar una base inicial realmente excelente para que un educador implemente una nueva práctica, sabemos que eso no será suficiente. Creo que es realmente importante reconocer que la mayoría de los educadores necesitarán capacitación o apoyo continuos para poder implementar intervenciones más complejas o desafiantes a lo largo del tiempo. Ese entrenamiento puede tener diferentes apariencias. Puede ser teniendo reuniones continuas u observaciones con un entrenador, un entrenador de instrucción o un entrenador de comportamiento que realmente esté analizando la implementación y dando algunos comentarios constructivos para ayudar a ese educador a implementar la práctica basada en la evidencia para que sea más efectiva. Pueden ser grupos de profesores trabajando unos con otros, para evaluarse entre ellos, ver qué están haciendo y cómo implementan la resolución de problemas. En ocasiones, si los profesores se enseñan a sí mismos cómo implementar una intervención, realmente tienen que ser buenos al autoevaluarse acerca de cómo lo están haciendo. Hemos trabajado con profesores que encuentran una nueva intervención, averiguan qué pasos deben seguir, e incluso crean una lista de verificación y tratan de auto-evaluarse acerca de cuán bien fueron capaces de hacerlo a través del tiempo y lentamente intentan incrementar su implementación y su consistencia con el tiempo.

La investigación indica

Los maestros que reciben retroalimentación correctiva demuestran mayor fidelidad de implementación que aquellos que no la reciben. Además, sus estudiantes demuestran resultados más positivos que los estudiantes de aquellos maestros que no recibieron retroalimentación.
(Sanetti, Fallon, & Collier-Meek, 2013; Solomon, Klein, & Politylo, 2012)

Recuerde, usted continuará monitorizando su fidelidad de implementación incluso después de haber alcanzado y mantenido un nivel aceptable de fidelidad. Es útil registrar sus datos de fidelidad en un gráfico para que pueda buscar patrones que indiquen si se está desviando—o alejándose de los procedimientos correctos a lo largo del tiempo. Por ejemplo, el gráfico aquí abajo muestra la implementación de fidelidad de una PBE de un maestro a lo largo de 14 semanas. Para esta PBE, el criterio de fidelidad es de 80%. Note que el maestro consigue un nivel de fidelidad aceptable en la semana 3 y que mantiene la fidelidad hasta la semana 11 aunque en la semana 6 comienza una tendencia hacia abajo, probablemente debido a una desviación. Desafortunadamente, esta tendencia continúa y el maestro desciende por debajo del nivel de fidelidad aceptable en las semanas 12-14. Revisando estos datos, el maestro puede ver fácilmente que necesita mejorar su fidelidad de implementación.

teacher’s fidelity of implementation  graph

Actividad

Usando los datos de observación que recogió en la actividad de la página 6, calcule la fidelidad del maestro de secundaria (p.ej., el porcentaje de pasos que implementó correctamente).

Retroalimentación de la actividad

Para calcular la fidelidad de implementación del maestro de la Actividad en la página 6, el observante completa los siguientes pasos.

Paso 1: 19 elementos en el formulario
Paso 2: 13 elementos implementados correctamente
Paso 3: 13÷19= .684
Paso 4: .684=68%

La puntuación de fidelidad del maestro es 68%.

Print Friendly, PDF & Email
Atrás Próximo
123456789
Join Our E-Newsletter Sign Up
  • Home
  • About IRIS
  • Sitemap
  • Web Accessibility
  • Glossary
  • Terms of Use
  • Careers at IRIS
  • Contact Us
Join Our E-Newsletter Sign Up

The IRIS Center Peabody College Vanderbilt University Nashville, TN 37203 [email protected]. The IRIS Center is funded through a cooperative agreement with the U.S. Department of Education, Office of Special Education Programs (OSEP) Grant #H325E220001. The contents of this website do not necessarily represent the policy of the U.S. Department of Education, and you should not assume endorsement by the Federal Government. Project Officer, Anna Macedonia.

Copyright 2025 Vanderbilt University. All rights reserved.

* For refund and privacy policy information visit our Help & Support page.

Creative Commons License This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

  • Vanderbilt Peabody College
We use cookies to ensure that we give you the best experience on our website. If you continue to use this site we will assume that you are happy with it.