Paano mo malalaman kung tama ang iyong pagpapatupad ng EBP?
Pahina 7: Pagsusuri sa Katapatan ng Pagpapatupad
Pagkatapos makolekta ang data ng obserbasyon, maaari mong suriin kung gaano mo kahusay ang pagpapatupad ng EBP. Ang simpleng prosesong ito na may apat na hakbang ay nagsasangkot ng pagkalkula ng porsyento ng mga hakbang o aktibidad na ipinatupad nang tama.
Halimbawa: PALS Observational Data
Upang kalkulahin ang katapatan ng guro sa pagpapatupad mula sa demonstrasyon na pelikula sa nakaraang pahina, kukumpletuhin ng tagamasid ang mga sumusunod na hakbang. Mag-click dito upang suriin ang form ng datos ng obserbasyon.
Hakbang 1: 19 aytem sa form
Hakbang 2: 10 aytem na ipinatupad nang tama
Hakbang 3: 10÷19= .526
Hakbang 4: .526=53%
Ang marka ng katapatan ng guro ay 53%.
Hakbang 1. Tukuyin ang kabuuang bilang ng mga aytem sa panukat ng katapatan (hindi kasama ang mga aytem na may kalidad).
Hakbang 2. Bilangin ang bilang ng mga aytem na naipatupad mo nang tama.
Hakbang 3. Hatiin ang bilang ng mga aytem na wastong natapos sa kabuuang bilang ng mga aytem.
Hakbang 4. Baguhin ang resulta ng decimal sa ikatlong hakbang sa porsyento.
Ang manwal ng pangangasiwa para sa isang naka-package na kasanayan o programa ay maaaring magpahiwatig ng katanggap-tanggap na antas ng katapatan. Kung, gayunpaman, ang impormasyong ito ay hindi magagamit, isang pangkalahatang tuntunin ng hinlalaki ay maghangad ng isang minimum na marka ng katapatan na 60–80%.
Makinig habang tinatalakay nina Scott McConnell at Tom Kratoch ang mga pagsasaalang-alang para sa pagtukoy ng katanggap-tanggap na antas ng katapatan.
Scott McConnell, PhD
Propesor, Sikolohiyang Pang-edukasyon
University of Minnesota
(oras: 0:49)
Tom Kratochwill, PhD
Propesor, Sikolohiyang Pang-edukasyon
Co-PI, Project PRIME
University of Wisconsin-Madison
(oras: 1:48)
Transcript: Scott McConnell, PhD
Ano ang magandang pamantayan para sa katapatan? Depende ito sa bagay na tinatasa. Kaya sa bawat interbensyon, may ilang mga elemento na kinakailangan at kung saan ang aming layunin para sa katapatan ay malamang na napakalapit sa 100 porsyento. Sa ibang mga kaso, ang iba pang mga tampok ng interbensyon na, sa totoo lang, ay hindi gaanong mahalaga para sa paggarantiya ng kalalabasan na iyon at kung saan maaari tayong maging mas mapagpatawad tungkol sa katapatan. Kaya sa palagay ko, ang sinumang sumusubaybay sa katapatan ng isang interbensyon ay kailangang paghiwalayin ang mga bagay na sinusunod sa mga kinakailangang variable, kung saan ang napakataas na antas ng katapatan ay mahalaga, at ang mga sumusuportang variable na makakatulong ngunit kung saan maaari tayong maging mas mapagpasensya tungkol sa kanilang pagdating sa bilis.
Transcript: Tom Kratochwill, PhD
Mayroong dalawang pangunahing isyu na dapat isaalang-alang. Ang una ay talagang walang magic na marka na magbibigay sa iyo ng isang partikular na benchmark para sa kung ang programa ay ipinatupad nang may katapatan. Ito ay magdedepende sa mga elemento ng programa at kung paano ginawa ang fidelity checklist upang imodelo ang mga kritikal na elemento ng programa. Kadalasan sa loob ng mga programa, gustong makita ng mga tao ang 80 porsiyento o mas mataas ng mga elemento ng programa bilang target. Ngunit ang markang iyon ay maaaring medyo arbitrary, depende sa paraan kung paano tinasa o sinusubaybayan ng imbestigador ang checklist at mga bahagi ng programa ng paggamot. Ang pangalawang pagsasaalang-alang ay maaaring mayroong mga pangunahing bahagi ng programa na talagang kritikal. Kaya sa isang programa kung saan ang elementong iyon ay bahagi ng interbensyon, magiging ganap na kritikal na ang bahaging iyon ng interbensyon ay naroroon. At kaya kung hindi, talagang mawawala ang isa sa pinakamahalaga at kritikal na katangian ng interbensyon. Kaya't kung alam ng isang guro kung ano ang mga pangunahing at kritikal na bahagi ng isang interbensyon o isang programa sa pagtuturo, iyon ang magiging pangunahing mga elementong pagtutuunan ng pansin. Iyon ay malamang na magbubunga ng pangangailangan para sa pagkakaroon ng napakalapit sa 100 porsyento ng mga pangunahing sangkap na iyon, at marahil ang ilan sa iba pang mga elemento sa ibabaw ay hindi kasing kritikal na isama.
Kung ang iyong marka ng katapatan ay mas mababa sa pamantayan, maaaring kailanganin mong suriin ang manual o ayusin ang patuloy na suporta. Ang nasabing suporta ay maaaring maihatid sa pamamagitan ng iba't ibang uri ng mga format ng pagsasanay (hal, coaching, mentoring, booster session, modelling) at ng ilang indibidwal (hal., kawani ng paaralan, panlabas na consultant). Ang isa sa pinakamahalagang bahagi ng patuloy na suporta ay pagwawasto ng feedback, na ipinakita upang itaguyod ang katapatan ng pagpapatupad. Ang mga tagapagturo ay mas malamang na mapanatili o mapabuti ang kanilang katapatan sa pagpapatupad kapag naunawaan nila kung anong mga elemento ang kanilang ipinatupad nang tama at kung ano ang kailangan nilang pagbutihin. Lalo na nakakatulong na makita ang pattern ng pagpapatupad sa buong panahon. Ang isang paraan para gawin ito ay itala ang iyong performance para sa bawat isa sa mga hakbang sa pagpapatupad na nakalista sa fidelity checklist sa mga obserbasyon.
Mga uri ng mga format ng pagsasanay
coaching
Isang paraan ng patuloy na suporta kung saan ang isang indibidwal na may karanasan o kadalubhasaan, kadalasang may katulad na posisyon, ay gumagabay, nagtuturo, at nagsasanay sa ibang tao o grupo ng mga tao na bumuo ng mga partikular na kasanayan.
mentoring
Isang paraan ng patuloy na suporta kung saan ang isang mas may karanasan o mas may kaalaman na tao ay tumutulong sa isang hindi gaanong karanasan o hindi gaanong kaalaman na tao na matuto o magpino ng mga kasanayan.
booster session
Isang paraan ng follow-up na suporta kung saan ang isang tagapagsanay ay nagbibigay ng karagdagang sesyon ng pagsasanay upang gawin ang isa o higit pa sa mga sumusunod: suriin ang mga dating sakop na kasanayan, magpakita ng mga bagong kasanayan, magpaliwanag at magpino ng mga kasanayan, at mag-troubleshoot ng mga problema.
pagmomolde
Ang pagkilos ng pagbibigay ng halimbawa bilang isang paraan upang hikayatin ang panggagaya ng isang kasanayan, proseso, katangian, o istilo; ang proseso kung saan ang isang tagapagturo ay nagmamasid sa isang kasamahan habang siya ay nagbibigay ng pagtuturo upang makita ang proseso sa pagkilos at upang makita mismo ang mga benepisyo nito.
pagwawasto ng feedback
talahulunganan
Hindi lamang nakakatulong na malaman ang iyong pangkalahatang marka ng katapatan ngunit nakakatulong din na tingnang mabuti ang iyong pagpapatupad ng mga indibidwal na hakbang o elemento ng isang kasanayan o programa sa paglipas ng panahon. Kapag sinuri mo ang data nang mas malapit, madalas na lumalabas ang isa sa dalawang pattern:
- Iba't ibang pattern ng pagpapatupad—hindi pantay-pantay na pagpapatupad ng mga hakbang kung saan ang ilang araw na ibinigay na mga hakbang ay naipapatupad nang maayos at sa ibang mga araw ay hindi.
- Pare-parehong pattern ng pagpapatupad—ang ilan ay palaging ipinapatupad nang maayos habang ang iba ay pare-parehong ipinapatupad nang hindi maganda
Ang mga talahanayan sa ibaba ay naglalarawan ng data ng katapatan para sa dalawang tagapagturo sa tatlong obserbasyon. Pansinin na ang mga marka ng katapatan para sa parehong mga tagapagturo ay mula 40%–60%. Gayunpaman, ang pattern ng data para sa bawat tagapagturo ay iba. Nagpapakita ang Educator 1 ng iba't ibang pattern ng pagpapatupad. Hindi siya nagpapatupad ng anumang hakbang nang tama sa paglipas ng panahon. Nagpapakita ang Educator 2 ng pare-parehong pattern ng pagpapatupad. Ipinapatupad niya nang tama ang Hakbang 1 at 4, ngunit sa karamihan ay hindi ipinatupad nang tama ang Hakbang 2, 3, at 5.
Educator 1: Iba't ibang Pattern ng Implementasyon
| Pagmamasid 1 | Pagmamasid 2 | Pagmamasid 3 | |
| Hakbang 1 | ✓ | ✓ | ✗ |
| Hakbang 2 | ✓ | ✗ | ✗ |
| Hakbang 3 | ✗ | ✓ | ✓ |
| Hakbang 4 | ✗ | ✗ | ✓ |
| Hakbang 5 | ✗ | ✓ | ✗ |
| Fidelity Score | 40% | 60% | 40% |
Educator 2: Consistent Pattern of Implementation
| Pagmamasid 1 | Pagmamasid 2 | Pagmamasid 3 | |
| Hakbang 1 | ✓ | ✓ | ✓ |
| Hakbang 2 | ✗ | ✗ | ✗ |
| Hakbang 3 | ✗ | ✗ | ✗ |
| Hakbang 4 | ✓ | ✓ | ✓ |
| Hakbang 5 | ✗ | ✗ | ✓ |
| Fidelity Score | 40% | 40% | 60% |
Ang pag-alam sa pattern ng pagpapatupad ay nakakatulong sa iyo na maunawaan kung aling mga hakbang ang iyong ginagawa nang maayos at kung alin ang kailangan mong pagbutihin. Makakatulong sa iyo ang impormasyong ito na matukoy ang uri ng suporta o pagsasanay na kailangan mong hanapin.
Pagkatapos suriin ang manwal o pagtanggap ng suporta, kakailanganin mong obserbahan sa lalong madaling panahon (hal., isang linggo mamaya) upang matiyak na ipinapatupad mo na ngayon ang EBP nang may katapatan. Kung ipinapatupad mo pa rin ang EBP nang may mababang katapatan, maaaring kailanganin mong ipagpaliban ang pagpapatupad hanggang sa makasali ka sa karagdagang pagsasanay.
Makinig habang tinatalakay ni Lisa Sanetti kung paano mahalaga ang pagsasanay para sa pagpapanatili ng mataas na katapatan (oras: 3:17).
Lisa Sanetti, PhD
Co-PI, Project PRIME
Makisama Propesor, Neag School of Education
University of Connecticut
Transcript: Lisa Sanetti, PhD
Kapag ang mga guro ay unang nagsimulang magpatupad ng isang kasanayang nakabatay sa ebidensya, ang isa sa mga bagay na nakita namin ay ang mga guro ay may maraming mga isyu sa paggawa nito nang tuluy-tuloy sa paglipas ng panahon. Kadalasan ang mga rate ng katapatan ay medyo mataas pagkatapos ng paunang pagsasanay at pagkatapos ay may posibilidad na mag-uri-uriin ang landas sa paglipas ng panahon. At mayroong maraming napaka-wastong dahilan para dito. Hinihiling namin sa mga tagapagturo na gumawa ng maraming bagay nang sabay-sabay. Ito ay isang bagong pag-uugali, at ang pagpapatupad ng anumang bagong pag-uugali ay mahirap. Idagdag iyon sa iba pang nakikipagkumpitensyang mga kahilingan para sa oras at atensyon ng isang guro, at makikita natin kung bakit maaaring maging isang tunay na hamon ang pagpapatupad ng isang kasanayang nakabatay sa ebidensya nang may katapatan. Alam natin na maraming guro ang maghihirap. Hindi lahat ng guro, ngunit maraming guro ang maghihirap at kakailanganing bumalik at makakuha ng karagdagang pagsasanay o makakuha ng ilang feedback sa kanilang pagpapatupad. Maraming beses na talagang makakatulong na mapataas ang mga antas ng katapatan sa paglipas ng panahon. At alam namin na, gamit ang mga tamang suporta, na talagang maipapatupad ng mga tagapagturo ang karamihan sa mga kasanayang nakabatay sa ebidensya nang may katapatan. Minsan nangangailangan ito ng patuloy na pagtuturo. Minsan kailangan nitong makita ang ibang tao na gagawa nito sa isang silid-aralan, pagkakaroon ng isang tao na magmodelo nito para sa kanila. Medyo hindi sila malinaw kung ano talaga ang dapat na hitsura nito. Kung minsan ay nangangailangan ng pag-upo kasama ang isa pang kasamahan at paglutas ng problema kung paano nila gagawing akma ang pagsasanay na ito sa kanilang partikular na silid-aralan upang umangkop ito sa lahat ng iba pang nakikipagkumpitensyang mga kahilingan na mayroon sila sa buong araw ng pag-aaral.
Kaya isa sa mga bagay na alam natin tungkol sa pag-aaral na magpatupad ng bagong interbensyon at gawin ito ng tama, ay ang pagsasanay ay mahalaga. At alam namin na alinman sa propesyonal na pag-unlad o iba pang mga pagkakataon sa pagsasanay na maaaring mayroon ang isang guro, ang mga ito ay kadalasang uri ng one-shot na pagsasanay. At, bagama't maaari itong magbigay ng isang talagang mahusay na paunang batayan para sa isang tagapagturo upang ipatupad ang isang bagong kasanayan, alam namin na iyon ay hindi magiging sapat. Sa tingin ko, napakahalagang kilalanin na ang karamihan sa mga tagapagturo ay mangangailangan ng patuloy na pagsasanay o suporta upang makapagpatupad ng mas mapaghamong o kumplikadong mga interbensyon sa buong panahon. Ang pagsasanay na iyon ay maaaring magmukhang talagang iba. Ang pagsasanay na iyon ay maaaring may mga patuloy na pagpupulong o mga obserbasyon sa isang coach, isang coach sa pagtuturo, o isang coach sa pag-uugali na talagang tumitingin sa pagpapatupad at nagbibigay ng ilang nakabubuo na feedback upang matulungan ang tagapagturo na iyon na ipatupad ang kasanayang nakabatay sa ebidensya upang ito ay pinakaepektibo. Ito ay maaaring mga grupo ng mga guro na nagtatrabaho sa isa't isa, upang pag-uri-uriin ang isa't isa at makita kung paano sila gumagana at ang pagpapatupad ng paglutas ng problema. Minsan kung ang guro mismo ang nagtuturo sa kanilang sarili kung paano magpatupad ng interbensyon at talagang kailangang maging mahusay sa pagsusuri sa sarili kung gaano kahusay ang kanilang ginagawa. Nakipagtulungan kami sa mga guro na nakahanap ng bagong interbensyon, alamin kung ano ang mga hakbang na iyon na kailangan nilang gawin, at kahit na gumawa lang ng checklist at subukang pag-uri-uriin ang self-monitor kung gaano nila nagawa iyon sa paglipas ng panahon at dahan-dahang subukang pataasin ang kanilang pagpapatupad at ang kanilang pagkakapare-pareho sa paglipas ng panahon.
Mga Palabas sa Pananaliksik
Ang mga gurong nakatanggap ng corrective feedback ay nagpakita ng mas mataas na katapatan sa pagpapatupad kumpara sa mga gurong hindi. Bilang karagdagan, ang kanilang mga mag-aaral ay nagpakita ng mas positibong resulta kaysa sa mga mag-aaral na ang mga guro ay hindi nakatanggap ng puna.
(Sanetti, Fallon, & Collier-Meek, 2013; Solomon, Klein, & Politylo, 2012)
Tandaan, patuloy mong susubaybayan ang iyong katapatan sa implementasyon kahit na nakamit at napanatili mo na ang isang katanggap-tanggap na antas ng katapatan. Makakatulong na itala ang iyong datos ng katapatan sa isang graph upang mahanap mo ang mga pattern na nagpapahiwatig kung ikaw ay lumilihis—o lumilihis mula sa mga tamang pamamaraan sa paglipas ng panahon. Halimbawa, ang graph sa ibaba ay naglalarawan ng katapatan ng isang guro sa implementasyon ng isang EBP sa loob ng 14 na linggo. Para sa EBP na ito, ang pamantayan para sa katapatan ay 80%. Pansinin na ang guro ay nakakamit ng isang katanggap-tanggap na antas ng katapatan sa Ika-3 Linggo at napanatili ang katapatan hanggang Ika-11 Linggo bagaman ang isang pababang trend ay nagsisimula sa Ika-6 na Linggo, malamang dahil sa paglihis. Sa kasamaang palad, ang trend na ito ay nagpapatuloy at ang guro ay bumaba sa katanggap-tanggap na antas ng katapatan sa Ika-12–14 na Linggo. Sa pamamagitan ng pagsusuri sa mga datos na ito, madaling makikita ng guro na kailangan niyang pagbutihin ang katapatan sa implementasyon.
Aktibidad
Gamit ang datos mula sa obserbasyon na iyong nakalap sa aktibidad sa pahina 6 , kalkulahin ang katapatan ng guro sa middle school (ibig sabihin, ang porsyento ng mga hakbang na naisagawa niya nang tama).
Upang kalkulahin ang katapatan ng guro sa pagpapatupad ng Aktibidad sa pahina 6, kinukumpleto ng tagamasid ang mga sumusunod na hakbang.
Hakbang 1: 19 aytem sa form
Hakbang 2: 13 aytem na ipinatupad nang tama
Hakbang 3: 13÷19= .684
Hakbang 4: .684=68%
Ang marka ng katapatan ng guro ay 68%.
