學校人員如何有效地實施實證實踐或計劃？
第 9 頁：開發保真度監控系統
有句老話說，「有監控，有完成」。當學校實施新的實踐和計劃時，這似乎是正確的。通常，學校只需監控實施情況就能提高保真度。在開發監控保真度的系統時，實施團隊需要：
- 確定方法、措施和來源
- 制定資料收集計劃
- 訓練資料收集者
研究顯示
在缺乏監控的情況下，教師往往會改變實施程序。在實施預防計畫的教師中，41% 至 84% 的人會隨著時間的推移改變組成部分或程序（即，它們會改變）或停止使用它們。
（塔佩、Galer-Unit 和貝利，1995 年）
確定方法、措施和來源
學校人員需要確定用於監控實施忠誠度的方法、措施和來源。這可能意味著使用實踐或計劃中包含的評估程序（如果存在），或者可能涉及開發自己的評估程序。無論哪種情況，最終的數據都將幫助他們確定教師是否遵守了實踐或計劃的所有主要內容。
方法
術語 方法 指收集資料的方式（例如，透過觀察、自我報告問卷或訪談）。儘管協調保真度數據收集的人可能更喜歡自我報告，因為它們更容易收集，但他們應該記住，教師往往高估了他們遵循正確程序的程度。對實施保真度的研究表明，觀察數據最適合衡量保真度。然而，即使是觀察數據也存在潛在的缺陷，即許多人會對被觀察做出反應；也就是說，相對於未受觀察的時期，它們的保真度可能會增加或減少。如果懷疑有這種反應，應採取措施幫助減少患者的反應性（例如，可以透過頻繁觀察或錄影來讓患者習慣被觀察），從而收集準確的保真度數據。
措施
措施 是用於收集資料的表格或產品（例如，課程計畫、學生測驗）。保真度衡量標準通常可以透過將實施程序的每個步驟作為表單上的一個或多個項目來制定。這些措施應包括兩類項目。第一個問題涉及實施的數量－教師遵守的程序步驟的數量。第二個問題涉及實施品質──教師實施教學程序的程度如何。
如果學校工作人員創建自己的保真度衡量標準，他們需要確保這些標準既可靠又有效。即使同一個人在兩個不同時間或兩個不同的觀察者同時測量相同的行為，可靠的測量也會產生相同的結果。有效的測量是能夠測量其預期測量內容的測量。點擊以下連結了解更多：
建立測量可靠性的目的是確保兩個人使用相同測量方法觀察同一活動時，能夠得到相同的結果。為了確定保真度測量的可靠性，學校工作人員應比較在同一時間評估相同活動的觀察者之間的一致性。觀察者之間的一致性越高，表示測量方法越可靠。在以下的例子中，觀察者 1 和 2 在三個項目（即項目 2、3 和 4）上達成一致。他們對項目 1 是否在觀察期間發生分歧。他們的一致率為 75%，這是一個相對較高的水平，表明他們使用的測量方法相當可靠。
|
|
|||||||||||||||||||||||||
確定測量有效性的目的是確保它能夠評估其想要評估的活動或組成部分。有兩種類型的有效性需要考慮：收斂性和發散性。
收斂效度
聚合效度是指兩種測量方法結果一致的程度。為了驗證忠實度測量方法的聚合效度，學校工作人員應比較兩種資料收集方法（例如，觀察和教師自評問卷）。理想情況下，其中一種方法的效度應該已經被驗證。如果第二種方法的回答與第一種方法的回答一致，則表示第二種方法評估的是與第一種方法相同的活動或構念，因此是有效的。以下範例展示了兩種具有聚合效度的測量方法。
|
|
|||||||||||||||||||||
發散效度
即使學校人員已經驗證了某項測量的聚合效度，最好也驗證一下該測量的區分效度。區分效度是指一項測量結果與另一項測量結果（測量的是相似但不同的構念）的不一致程度（例如，一項評估二年級閱讀教學計劃實施情況的測量結果，可能無法準確評估五年級的閱讀教學）。為了驗證區分效度，學校人員需要分別在實施新計劃的二年級班級和未實施該計劃的五年級閱讀班級中使用該測量方法。以下範例展示了能夠證明區分效度的測量方法。
|
|
|||||||||||||||||||||
二年級班級的忠實度為100%；教師參與了所有列出的活動。五年級班級的忠實度為0%；教師沒有參與任何列出的活動（這與五年級閱讀課程的期望不符）。這顯示此評估方法具有區分效度。此評估方法對於二年級閱讀課程的實施是有效的。
點擊下面的影片，了解如何使用 POW 寫作策略中的逐步程式來建立保真度測量（時間：1:29）。
文字記錄：建立保真度測量
現在他們已經為 POW 寫作策略制定了任務分析，實施團隊已準備好創建保真度測量。他們首先選擇資料收集方法以及提供資料的個人。他們選擇收集觀察數據和教師的忠誠度自我報告。從觀察測量開始，團隊檢查任務分析中的項目。
雖然這些項目似乎涵蓋了所有必要的步驟，並且對於觀察保真度測量來說是一個良好的開端，但團隊希望添加一些品質項目來解決每個老師執行這些步驟的情況。他們審查了 SRSD 上的資料，以獲得有關如何評估 POW 寫作策略實施品質的想法。利用這些訊息，他們添加了幾個與實施品質相關的項目。
然後，團隊決定三點量表足以評估保真度。
然後將這些新項目納入現有的觀察清單中。
團隊成員還想建立一份教師自我報告清單。
他們發現，只要稍加改寫，觀察清單就可以輕鬆轉換為自我報告清單。
活動
現在杜魯門小學的工作人員已經確定了 PALS 2–6 程序，實施團隊需要創建一個保真度衡量標準。他們想先創建一個觀察表。
一般程序
- 介紹 PALS 會議
- 讓學生快速安靜地過渡到兩人一組
- 建立系統讓學生能夠快速、輕鬆地取得材料
具體程序
- 實施 12 分鐘的複述夥伴閱讀
- 按照腳本
- 請學生在 5 分鐘後交換搭檔
- 指導表現較差的讀者用 2 分鐘複述故事
- 監控學生
- 實施段落縮小 10 分鐘
- 按照腳本
- 請學生在 5 分鐘後交換搭檔
- 監控學生
- 實施預測接力 10 分鐘
- 按照腳本
- 請學生在 5 分鐘後交換搭檔
- 監控學生
- 請學生在 2 分鐘或更短的時間內收拾好材料
利用這些訊息，幫助團隊創建一份觀察表。提示：務必包含與實施的數量和品質相關的項目。
|
PALS 2–6 觀察表 日期：________________ 教師：____________________ 觀察家：_______ 導11. 實作10分鐘 ___ 12. 依照腳本進行 ___ 13. 指導學生5分鐘後更換搭檔 ___ 14. 監督學生預測接力___ 15. 實施10分鐘 ___ 16. 依照腳本進行 ___ 17. 指導學生5分鐘後更換搭檔 ___ 18. 監督學生總結（2分鐘或好）請問學生學習用品品質計畫20. 教師實施 PALS 教學活動的效果如何？ ___ 1. 不好 ___ 2. 一般 ___ 3. 很好 21. 教師對學生的監督情況如何？ ___ 1. 不好 ___ 2. 一般 ___ 3. 很好 |
來源
術語 來源 指提供有關實施保真度的資訊或數據的個人，例如教師、觀察員和 PD 教練。一般來說，客觀觀察者比填寫自我報告表的教師是更準確的保真度資料來源。然而，當教師有機會將他們在自我忠誠度報告中的回答與同一時間段內客觀觀察員的回答進行比較時，他們可以學會更準確地衡量他們的忠誠度。這也可以幫助觀察員或教練確定需要額外培訓或支援的領域。
| 方法/測量 | 來源 | ||
|---|---|---|---|
| 導師 | 同伴 導師 |
PD 教練 |
|
|
✔ | ||
|
✔ | ||
|
✔ | ||
|
✔ | ||
聽聽 Daryl Mellard 解釋幾種常用的評估實施保真度的方法和措施的優缺點（時間：1:52）。
文字記錄：Daryl Mellard，博士
保真度的測量使用多種不同的工具。其中一些可以簡單到查看教師的日誌或教師的課程計劃，並查看課程至少打算在特定的時間段內以特定的頻率在幾週內進行。一般來說，我們喜歡在課堂上進行觀察，這樣我們就可以更仔細地觀察課堂的依從性和老師的講授方式。我們更了解學生的參與度並確保不會出現偏差。另一種方法是查看學生產品。您可能認為，如果學生展示了高保真度的知識或技能。但是，另一方面，你不知道學生是否展示了他或她在另一個環境中獲得的技能，所以這是僅使用學生產品的缺點之一，這就是為什麼我們喜歡進行更直接的觀察。調查通常不如讓第三個人在房間裡進行觀察或使用錄影帶並審查課程錄影帶那麼準確。如果我們只依靠自我報告或調查，我們就無法清楚地了解如何保持忠誠。我認為您可以將其用作觀察的補充，並且可能成為與進行觀察的人進行討論的良好基礎，但我不想依賴這些調查。
制定資料收集計劃
一旦確定了實施保真度資料的方法、措施和來源，實施協調員或團隊就需要製定計劃來收集這些資料。這些收集程序應該是系統性的、一致的，並且應該以解決問題和自我改進為重點，避免評價性或懲罰性。點擊下面的每個項目以了解有關該計劃可以包含的幾種資訊類型的更多資訊：
許多學校人員只要經過適當的訓練就可以收集保真度數據。例如：
- 協調員可以收集和分析自我報告表。
- 如果時間允許，老師可以互相觀察。
- 教師、管理人員或其他受過訓練的人員可以進行面試。
研究表明，保真度數據最初應頻繁收集（例如每週兩次），但隨著人員越來越熟悉實踐或計劃並保持高保真度水平，可以減少收集頻率（例如每月一次）。事實證明，定期、不事先通知的抽查對於保持高保真度水準非常有效。
有多種潛在來源可用於確定特定實踐或計劃的保真度標準。例如：
- 打包實務或計畫的管理手冊可能顯示可接受的保真度水準。
- 原始驗證研究可能會指定產生積極學生成果的保真度等級。
如果無法獲得有關實踐或計劃的保真度標準的具體信息，一般經驗法則是將保真度設定為 85%（即正確實施的計劃任務的百分比）。
應該有一個決策系統來幫助實施團隊決定在發現低保真度後需要採取什麼行動。例如，可能只需在之後不久（例如一周後）提供回饋並進行進一步觀察即可，或者表現出低保真度的工作人員可能需要參加其他活動，例如加強課程或指導。
訓練資料收集器
學校實施團隊確定資料收集員後，即可安排訓練。與專業發展培訓一樣，資料收集員的培訓應包括理論講解、技能示範以及技能實踐和完善。在開始收集忠實度資料之前，資料收集員必須證明其可靠性。這意味著他們對問捲和評級的評分必須與專家資料收集員的評分和評級高度一致，並且彼此之間也必須高度一致。理想情況下，應定期進行觀察者間信度測試。
觀察者間信度
詞彙表
 |
 |
 |
開發保真度監控系統
佩奇小學
為了評估閱讀課堂進度監控實施的有效性，實施小組決定觀察教師並監控電腦化的學生資料。第一種評估方法是，小組成員定期觀察所有閱讀教師－每週一次，直到教師達到實施有效性標準（即85%的遵從率），之後每兩週一次。實施小組成員之間也會互相觀察。所有實施小組成員都將參加學區RTI協調員提供的培訓，學習如何使用學區實施有效性檢查表收集資料（請參閱下方的課堂觀察表）。此評估方法已通過驗證，證明其可靠性。
|
實施團隊還將透過檢查電腦化的學生進度監控數據來監控保真度。可以跨教室比較數據。實施團隊將尋找不同教師的學生表現模式或主要差異。我們將對異常模式進行調查，以確保教師遵守進度監控程序。下圖顯示了四個教室的平均進度監控分數。 D 老師班上的學生在這一方面的得分始終遠低於其他同學。這種模式值得進一步調查，以確定 D 老師是否忠實地實施了進度監控。
（關閉此面板）
開發保真度監控系統
格拉夫頓中學
當實施團隊查看專案資料時，他們發現閱讀計畫包含管理手冊，但沒有保真度措施。他們決定制定一些措施來監控閱讀計畫的實施保真度。
在審查了一般說明後，他們列出了以下逐步程序：
|
|||
|
讀取程式步驟
|
格拉夫頓中學實施團隊使用此程序清單建立了兩種表格（見下文）：觀察措施（即實施保真度清單）和教師自我報告表（即教師自我報告清單）。這些措施已將逐步程序轉化為具體內容。大多數問題涉及實施的數量，而第 6、7 和 8 項則評估實施的品質。
第一份表格應由受過訓練的觀察員填寫。除了在老師進行閱讀課程時進行觀察外，觀察員還需要：
- 了解每日課程安排時間
- 準備當天課程的講稿
執行保真度檢查表日期：________________ 教師：____________________ 觀察家：_______ |
||||||||||||||
| 說明：在標有 可以 or 沒有 取決於老師是否完成任務。 | ||||||||||||||
| 可以 | 沒有 | |||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
第二種形式（如下）評估與第一種形式相同的活動，但將由實施閱讀計畫的老師完成。
教師自我報告清單教師：____________________ 日期：________________ |
||||||||||||||
| 說明：在標有 可以 or 沒有 取決於你是否完成了任務。 | ||||||||||||||
| 可以 | 沒有 | |||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
|
||||||||||||||
現在他們已經創建了保真度測量指標，團隊對其進行了驗證並建立了可靠性。然後，他們訓練觀察員並建立評分者間信度。
接下來，團隊決定保真度資料收集的參數。在實施開始時，將在兩週內對每位教師收集三次觀察和三份教師清單。如果保真度較高，則將在本學年剩餘時間內每月收集保真度資料（即觀察和教師清單）。該團隊還將 85% 的依從性確立為忠誠度的標準。如果忠誠度較低，其中一位教練將與該老師合作，直到他或她能夠忠實地實施該計劃。一旦老師表現出高度忠誠，他或她將像其他老師一樣接受每月的監控。如果時間成為問題，將使用錄影課程來檢查保真度。
（關閉此面板）
開發保真度監控系統
杜波依斯高中
為了監控實施的保真度，DuBois PBIS 實施團隊使用 PBIS 中心提供的評估工具。此評估工具所需的資訊來自多個來源，包括對永久產品的審查、觀察以及至少十名員工和十五名學生的訪談或調查。這些數據是在學校範圍的 PBIS 開始之前、PBIS 實施後 6-12 週以及學年結束時收集的。此保真度資料收集表（即全校評估工具或 SET）的一部分如下所示。表格通常由區級的客觀觀察員填寫，他從幾個不同的來源收集資料（例如，訪談、觀察、永久產品）。
| 獨特之處 | 評估問題 | 資料來源（圈出所用資料來源）P = 產品；I = 訪談；O = 觀察 | 得分：0–2 | ||
|---|---|---|---|---|---|
| A. 期望的定義 | 1. 是否有文件證明教職員同意遵守不超過5條正面表述的校規/行為準則？ （0 = 否；1 = 過多/過於負面；2 = 是） |
|
|||
| 2. 是否在10個地點中的8個地點公開張貼了商定的規則和預期？ （地點選擇參見訪談和觀察表）。 （0 = 0–4；1 = 5–7；2 = 8–10） |
|
||||
| B. 教授的行為期望 | 1. 是否有書面記錄的體系，用於每年向學生教授行為規範？ （0 = 否；1 = 表示將進行教授；2 = 是） |
|
|||
| 2. 90% 的受訪教職員表示，今年已對學生進行了行為規範的教學？ （0 = 0–50%；1 = 51–89%；2 = 90%–100%） |
|
||||
| 3. 90% 的受訪團隊成員表示，學校每年都會對教職員進行全校範圍的訓練/審核嗎？ （0 = 0–50%；1 = 51–89%；2 = 90%–100%） |
|
||||
| 4. 至少15名學生中，70%的學生能否說出67%的校規？ （0 = 0–50%；1 = 51–69%；2 = 70–100%） |
|
||||
| 5. 被問及此事的教職員中，90%或以上的人能否列出67%的校規？ （0 = 0–50%；1 = 51–89%；2 = 90%–100%） |
|
||||
| C. 持續獎勵行為預期係統 | 1. 是否有書面記錄的獎勵學生行為的製度？ （0 = 否；1 = 規定要予以表彰，但未說明具體方法；2 = 是） |
|
|||
| 2. 在過去兩個月中，是否有 50% 或以上的受訪學生表示他們因符合預期的行為而獲得獎勵（口頭表揚除外）？ （0 = 0–25%；1 = 26–49%；2 = 50–100%） |
|
||||
| 3. 在過去兩個月中，是否有90%的受訪教職員表示曾對錶現符合預期的學生給予獎勵（口頭表揚除外）？ （0 = 0–50%；1 = 51–89%；2 = 90–100%） |
|
（摘自正向行為介入與支持網站，http://www.pbis.org/pbis_resource_detail_page.aspx?Type=4&PBIS_ResourceID=222）
（關閉此面板）
