如何做信度測試?

編碼人員間信度(inter-coder
reliability)是指「獨立的編碼者評估一則訊息或人工製品的特徵並達到相同結論的程度」(Lombard,
Snyder-Duch, & Bracken, 2004)。具體執行過程是,邀請所有參與研究的編碼人員對同樣的資料編碼,計算編碼人員之間信度結果,當係數結果達到可接受的水平,則進行正式編碼。如果係數結果達不到要求水平,則需要進行編碼矯正,重覆進行測試編碼,直到編碼人員之間信度達到合理平均數,則進行正式編碼。

第一步:建立測試庫。「編碼庫」-「隨機導入到測試庫」,即可完成。也可以選中某一條資料,單獨導入到測試庫,點選資料右側的「測試庫」。可進入到「測試庫」查看已導入的資料。

第二步:做測試編碼。所有編碼人員進入到「信度測試」-「編碼測試」中,閱讀文本,完成編碼。

第三步:待所有編碼人員完成測試編碼後,在「信度計算」中,選擇編碼人員和信度指標,點選「計算」,得到信度結果。

第四步:「編碼跟蹤」中便捷查詢編碼人員的測試編碼情況,看到編碼差異,方便矯正。

第五步:如編碼人員之間信度達到合理平均數,則可以進入正式編碼。如係數不佳,則需要重覆多次測試編碼,直到信度係數達致可信水準。

針對信度係數較低的題目,需對編碼人員進行重新的培訓和指導,重新進行信度測試。

重建測試庫的方法是,在「測試庫」中「清空測試庫」,測試庫中的所有內容編碼結果將隨之全部清空。重新在「編碼庫」建立測試庫,各編碼人員在新的測試庫中重新進行獨立的編碼。

Lombard, M., Snyder-Duch, J., & Bracken, C. C. (2004). A call for
standardization in content analysis reliability. Human Communication Research, 30(3), 434-437.

Was this article helpful?

Related Articles