• IRIS Center
  • COVID-19 RESOURCES
  • Resources
    • IRIS Resource Locator
      Modules, case studies, activities, & more
    • Evidence-Based Practice Summaries
      Research annotations
    • High-Leverage Practices
      IRIS resources on HLPs
    • IRIS Alignment Tools
      HLPs, SiMRs, & CEEDAR ICs
    • Films
      Portrayals of people with disabilities
    • Children's Books
      Portrayals of people with disabilities
    • For Faculty
      Sample syllabi, curriculum matrices, & more
    • For PD Providers
      Sample PD activities, planning forms, & more
    • For Independent Learners
      Resources & tools for independent learners
    • Website Navigation Videos
      Getting around our Website & modules
    • New & Coming Soon
      Latest modules & resources
    • Glossary
      Disability related terms
  • PD Options
    • PD Certificates for Educators
      Our certificate, your PD hours
    • School & District Platform
      A powerful tool for school leaders
    • Log in to Your IRIS PD
    • Micro-credentials
      Short. Focused. Intense.
  • Articles & Reports
    • Articles
      Articles about IRIS use & efficacy
    • Internal IRIS Reports
      Reports on IRIS use & accomplishments
    • External Evaluation Reports
      Evaluations of the IRIS Center
    • Learner Outcomes
      Summaries of module effectiveness
    • Consumer Satisfaction
      Feedback and testimonials from IRIS users
    • IRIS Stories
      Our resources, your stories
    • News & Events
      What, when, & where it's happening
  • About
    • Who We Are
      Our team, experts, & advisors
    • What We Do
      Our resources & process
    • Contact Us
      Get in touch with IRIS
  • Help
    • Help & Support
      Get the full benefit from our resources
    • Website Navigation Videos
      Getting around our Website & modules
  • AAA
  • Módulo
  • Reto
  • Pensamientos Iniciales
  • Perspectivas y Recursos
  • Resumen
  • Evaluación
Reto
Pensamientos Iniciales
Perspectivas y Recursos

¿Cuál es el proceso para evaluar la efectividad de una PBE con sus niños o estudiantes?

  • Página 1: Evaluando la efectividad de una práctica basada en evidencia

¿Cómo mide el desempeño de sus bebés, niños pequeños, o estudiantes?

  • Página 2: Identificando una medida de monitorización de progreso
  • Página 3: Monitorización del progreso
  • Página 4: Evaluando el progreso

¿Cómo sabe si está implementando una PBE correctamente?

  • Página 5: Identificando una medida de fidelidad
  • Página 6: Monitorizando la fidelidad de implementación
  • Página 7: Evaluando la fidelidad de implementación

¿Cómo sabe si una PBE está siendo efectiva con sus niños o estudiantes?

  • Página 8: Evaluando la relación entre los resultados y la fidelidad

Recursos

  • Página 9: Referencias & recursos adicionales
  • Página 10: Créditos
Resumen
Evaluación
¡Queremos escuchar su opinión! Favor de completar nuestro breve formulario de retroalimentación.

¿Cómo sabe si está implementando una PBE correctamente?

Página 7: Evaluando la fidelidad de implementación

Después de que se han recogido los datos de observación, uno puede evaluar cuán bien está implementando la PBE. Este proceso de cuatro pasos implica calcular el porcentaje de pasos y actividades implementados correctamente.

Ejemplo: Datos de observación de PALS

Para calcular la fidelidad de implementación del maestro en el video de demonstración en la página anterior, el observante completa los siguientes pasos. Haga clic aquí para ver el formulario de los datos de observación.

Paso 1: 19 elementos en el formulario
Paso 2: 10 elementos implementados correctamente
Paso 3: 10÷19= .526
Paso 4: .526=53%

La puntación de la fidelidad del maestro es 53%.

Paso 1. Determinar el número total de elementos en la medida de fidelidad (excluyendo la calidad de los elementos).

Paso 2. Contar la cantidad de elementos que implementó correctamente.

Paso 3. Dividir el número de elementos realizados correctamente entre el número total de elementos.

Paso 4. Cambiar el resultado decimal en el paso tres a un porcentaje.

El manual de administración para una práctica o programa empaquetados puede indicar el nivel aceptable de fidelidad. Sin embargo, si esta información no está disponible, una regla general es aspirar a una puntuación de fidelidad mínima de 60-80%.

Escuche cómo Scott McConnell y Tom Kratochwill discuten consideraciones para determinar un nivel aceptable de fidelidad.


Scott McConnell
Scott McConnell, PhD
Profesor, Psicología Educacional
Universidad de Minnesota

(tiempo: 0:49)

/wp-content/uploads/module_media/ebp_03_spanish_media/audio/ebp_03_p07_sm.mp3

Ver la transcripción


Tom Kratochwill
Tom Kratochwill, PhD
Profesor, Psicología Educacional
Co-PI, Proyecto PRIME
Universidad de Wisconsin-Madison

(tiempo: 1:49)

/wp-content/uploads/module_media/ebp_03_spanish_media/audio/ebp_03_p07_tk.mp3

Ver la transcripción

two adults conferring at tableSi su puntuación de fidelidad está por debajo del criterio establecido, puede que necesite revisar el manual o conseguir apoyo continuo. Este apoyo puede prestarse mediante diferentes tipos de formatos de entrenamiento (p.ej., orientación, tutoría, sesiones de refuerzo, ejemplificación) y por un número de individuos (p.ej., personal de la escuela, consultor externo). Uno de los componentes más importantes en el apoyo continuo es la retroalimentación correctiva, la cual ha demostrado promover la fidelidad de implementación. Los educadores tienden más a mantener o mejorar su fidelidad de implementación cuando entienden qué elementos implementan correctamente y cuáles necesitan mejorar. Es especialmente útil ver el patrón de implementación a lo largo del tiempo. Una manera de hacer esto es registrar su desempeño en cada uno de los pasos de implementación listados en la guía de verificación de la fidelidad en todas las observaciones.

Haga clic aquí para conocer más sobre este proceso.

No sólo es útil saber su puntuación general de fidelidad sino que también es útil observar más de cerca la implementación de los pasos individuales o lo elementos de una práctica o programa a lo largo del tiempo. Cuando uno examina los datos más de cerca, suele aparecer uno de estos patrones:

  • Patrón de implementación variado—implementación inconsistente de los pasos cuando, algunos días, ciertos pasos se implementan bien y otros días no
  • Patrón de implementación constante—algunos siempre se implementan bien y otros son consistentemente implementados deficientemente

Los cuadros aquí abajo muestran los datos de fidelidad de dos educadores en tres observaciones. Note que las puntuaciones de fidelidad para ambos educadores oscilan entre 40%-60%. Sin embargo, el patrón de datos para cada educador es diferente. La educadora 1 muestra un patrón de implementación variado. Ella no está implementando ningún paso correctamente a lo largo del tiempo. El educador 2 muestra un patrón consistente de implementación. Implementa los pasos 1 y 4 correctamente, pero en general no implementa los pasos 2, 3, y 5 correctamente.

Educador 1: Patrón de implementación variado

Observación 1 Observación 2 Observación 3
Paso 1 ✓ ✓ ✗
Paso 2 ✓ ✗ ✗
Paso 3 ✗ ✓ ✓
Paso 4 ✗ ✗ ✓
Paso 5 ✗ ✓ ✗
Puntuación de fidelidad 40% 60% 40%

Educador 2: Patrón de implementación consistente

Observación 1 Observación 2 Observación 3
Paso 1 ✓ ✓ ✓
Paso 2 ✗ ✗ ✗
Paso 3 ✗ ✗ ✗
Paso 4 ✓ ✓ ✓
Paso 5 ✗ ✗ ✓
Puntuación de fidelidad 40% 40% 60%

Conocer el patrón de implementación ayuda a entender qué pasos está haciendo bien y cuáles necesita mejorar. Esta información puede ayudar a determinar el tipo de apoyo o entrenamiento que necesita buscar.

Después de revisar el manual y recibir apoyo, usted tendrá que ser observado pronto (p.ej., una semana después) para asegurarse de que ahora está implementando la PBE con fidelidad. Si aún está implementando la PBE con fidelidad baja, puede que tenga que posponer la implementación hasta que pueda participar en entrenamientos futuros.



Lisa Sanetti
Lisa Sanetti, PhD
Co-PI, Proyecto PRIME
Profesora Asociada, Facultad de Educación Neag
Universidad de Connecticut


Escuche cómo Lisa Sanetti discute la importancia del entrenamiento para mantener una fidelidad alta (tiempo: 3:18).

/wp-content/uploads/module_media/ebp_03_spanish_media/audio/ebp_03_p07_ls.mp3

Ver la transcripción


La investigación indica

Los maestros que reciben retroalimentación correctiva demuestran mayor fidelidad de implementación que aquellos que no la reciben. Además, sus estudiantes demuestran resultados más positivos que los estudiantes de aquellos maestros que no recibieron retroalimentación.
(Sanetti, Fallon, & Collier-Meek, 2013; Solomon, Klein, & Politylo, 2012)

Recuerde, usted continuará monitorizando su fidelidad de implementación incluso después de haber alcanzado y mantenido un nivel aceptable de fidelidad. Es útil registrar sus datos de fidelidad en un gráfico para que pueda buscar patrones que indiquen si se está desviando—o alejándose de los procedimientos correctos a lo largo del tiempo. Por ejemplo, el gráfico aquí abajo muestra la implementación de fidelidad de una PBE de un maestro a lo largo de 14 semanas. Para esta PBE, el criterio de fidelidad es de 80%. Note que el maestro consigue un nivel de fidelidad aceptable en la semana 3 y que mantiene la fidelidad hasta la semana 11 aunque en la semana 6 comienza una tendencia hacia abajo, probablemente debido a una desviación. Desafortunadamente, esta tendencia continúa y el maestro desciende por debajo del nivel de fidelidad aceptable en las semanas 12-14. Revisando estos datos, el maestro puede ver fácilmente que necesita mejorar su fidelidad de implementación.

teacher’s fidelity of implementation  graph

Actividad

Usando los datos de observación que recogió en la actividad de la página 6, calcule la fidelidad del maestro de secundaria (p.ej., el porcentaje de pasos que implementó correctamente).

Retroalimentación de la actividad

Para calcular la fidelidad de implementación del maestro de la Actividad en la página 6, el observante completa los siguientes pasos.

Paso 1: 19 elementos en el formulario
Paso 2: 13 elementos implementados correctamente
Paso 3: 13÷19= .684
Paso 4: .684=68%

La puntuación de fidelidad del maestro es 68%.

Print Friendly, PDF & Email
Atrás Próximo
12345678910
Join Our E-Newsletter Sign Up
  • Home
  • About IRIS
  • Our Values
  • Sitemap
  • Web Accessibility
  • Glossary
  • Terms of Use
  • Contact Us
Join Our E-Newsletter Sign Up

The IRIS Center Peabody College Vanderbilt University Nashville, TN 37203 iris@vanderbilt.edu. The IRIS Center is funded through a cooperative agreement with the U.S. Department of Education, Office of Special Education Programs (OSEP) Grant #H325E170001. The contents of this Website do not necessarily represent the policy of the U.S. Department of Education, and you should not assume endorsement by the Federal Government. Project Officer, Sarah Allen.

Copyright 2021 Vanderbilt University. All rights reserved.

* For refund and privacy policy information visit our Help & Support page.

Creative Commons License This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

  • Vanderbilt Peabody College