第8章 指標和效度
清晰和恰當的指標能明確提出我們在確定理解程度時應該關注什麼？並在判斷過程中提供一致性和公平性。
如何提出合適的指標，怎麼讓學習者弄清這些指標呢？
需要從目標中導出指標。
量規是基於指標的評分指南，有固定的測量等級組成，並對每一級別的特徵進行詳細描述。量規描述了質量等級熟練程度，獲得連續的理解。
在評估學生的作品和表現時，有兩種通用良規被廣泛應用：整體型和分析型。
整體性量規可爲學生作品提供一個綜合的印象，並對產品或表現產生單一的分數或等級排名。
分析型量規，將產品或表現劃分爲不同的特徵或維度並分別進行判斷。由於分析型量規單獨地評估每一個被標識的特徵，所以每一個特徵都有一個分數。例如普遍使用的作文分析型量規具有6個指標：觀點，組織，文風，選詞，句子流暢度，規範。
評估者應該考慮至少兩個不同的指標，不管這些描述是在一個連歸中體現，還是存在於兩個不同的量規中。建議一個連跪用於評估理解，而另一個良規用於評估表現的質量（包括恰當的產品和過程），在表現中體現理解。
基於指標和量規進行逆向設計。
根據學生工作來設計的完善量規，6個步驟：
1.收集能夠說明預期理解和熟練程度的學生表現的例子。
2.將學生的作品分類放置並註明分類的原因。
3.將這些原因歸結到統一的特性或者表現的重要指標中。
4.對每個評估指標進行定義。
5.挑選學生表現來舉例說明每個評估指標的得分點。
6.不斷完善。
效度的挑戰。
效度是指我們所採用的證據能夠準確測出所需要意義的程度，包括傳統的與測試相關的證據。
專注於理解會使得問題的效度受到挑戰。
逆向中的效度自評。
信度對評估模式的信心。我們需要的不僅是有效的推論，而且還應是一個值得信賴的推論，我們需要確定結果的一致性。
通用指導原則：
1.與從客觀測試中獲得的評估知識和技能的證據相比，關於理解的評估所需的證據更簡潔更復雜。在使用理解的評估中，我們需要深挖答案背後的原因和學習者做出這種選擇的意圖。
2.關於理解的評估需要收集在表現和產品中進行應用的證據，但這會是評判結果變得複雜。
3.既然理解包括6層面，那麼是不是有些方面又有另外一些方面呢？哪個表現更相關？又在什麼情況下相關呢？
4.嘗試對相同內容同時使用不同的測試形式。
5.試着去預測關鍵誤解，並且使用簡單的前側和後側來確定這些誤解是否被克服。
6.考慮到某個應用或產品可能與更大的目標相關或不相關，一般會要求學生展示他們的作品，針對他們的答案給出解釋，並且展示答案中的與主要原則或概念相關聯的內容。
7.假定學生在解釋時表達清晰，可能更多是得益於他的語言表達能力，而非來自真正的理解。在這種情況下，可以要求學生把理解轉化一個新的或者不同的問題情景或事件。
8.利用不同側面來擴充證據。在很多時候可以結合洞察和神入兩個側面的要求。