無論是傳統的內容分析法還是人工輔助內容分析法，我們都需要兩位元或以上數目的編碼員來進行編碼工作，這些獨立的編碼員對一段資訊或記錄內容的特徵（也就是記錄單位）作出判斷，並且達到一致的結論。這種一致性以量化方式呈現，稱之為編碼者間的信度。
什麼是信度測試？
信度是指在研究過程中，測量資料所獨立於測量工具的程度。即不同的研究者對同一現象進行重複測試後，所產生結果的一致程度。[1]
也就是說，如果測量過程要進行兩次或多次，所得出的結論應該是類似的，這確保了內容分析的有效性或可靠性。
信度的測試可以在科學抽樣的基礎上進一步防範研究者對資料產生的影響，編碼員之間信度可保證對資料較為一致的處理，使研究結果更為客觀。
什麼是編碼間的信度？
在內容分析中，我們需要兩位元或以上數目的編碼員來進行編碼工作，這些獨立的編碼員對一段資訊或記錄內容的特徵（也就是記錄單位）作出判斷，並且達到一致的結論。這種一致性以量化方式呈現，稱之為編碼者間的信度[2]。
既然大資料內容分析的其中一個目標是相對客觀地界定及記錄資訊的特徵，那麼信度就攸關重要。沒有建立信度，大資料內容分析的測量只是空談[3]。
為何信度如此重要？
編碼者間的信度是衡量研究品質的標準，編碼者之間的高度差異性表示薄弱的研究方法，包括差勁的操作定義、類目和編碼訓練[4]。通常我們研究的資訊有顯性的內容（manifest content）和隱性的內容（latent content）。對於顯性的內容，例如版面面積或者消息來源，很容易以客觀的判斷來達至高度一致性。但是，對於隱性的內容來說，例如報導態度或者價值觀，編碼員必須根據他們自己的思維系統作出主觀的詮釋。這樣的話，編碼員之間的相互主觀判斷變得更加重要，因為這些主觀的判斷結果要盡可能也讓其他讀者有相似的認知[5]。
從現實的角度來看，編碼員間的信度至為重要，因為高信度意味者決策者作出錯誤決策的機會相對減少[6]。編碼員間的信度乃衡量一個內容分析研究效度的必要條件（雖然不是充分條件），沒有信度，那麼，該研究的結論便值得懷疑，甚至顯得毫無意義。
怎麼做信度測試？
可以利用必要的工具來計算信度指標，如手動（利用公式計算）或電腦程式。 我們以大資料內容分析法中進行編碼員之間信度評估為例，具體的操作步驟如下：
第一，依據編碼薄製作編碼指引，編碼指引需明確統一。説明編碼員熟悉議題，理解編碼類目，保證所有編碼員均理解類目所指代的含義。
第二，進行編碼測試。選取少量樣本作為測試編碼之用的樣本，這部分樣本的測試編碼過程中，各編碼員需獨立編碼，不能相互討論或指導。若使用了機器編碼，則直接執行機器編碼的信測測試（DiVoMiner®上只需點擊該按鈕即可一鍵完成機器編碼的信度測試）。
第三，進行編碼校正。測試編碼結果如果未能達到理想信度，需重新測試編碼。重新測試之前，對編碼員再次進行培訓和指導，尤其針對編碼結果差異較大之類目，需再次給予說明。若有機器編碼的部分，則需重新檢查並修正編碼簿各選項的關鍵字，盡可能完善類目的選項，再重新執行機器編碼信度測試。
第四，正式編碼。當所有編碼員達至理想信度，即可開始正式編碼。
一個完整的信度報告應該包括以下資訊:
- 信度分析的樣本數及理由。
- 信度樣本與總樣本的關係：是總樣本的一部分還是額外樣本。
- 編碼員資料：人數（須為2或更多）、背景，研究員是否也是編碼員。
- 每名編碼員的編碼數量。
- 信度指標的選擇和理由。
- 每個變數的編碼員間之信度。
- 編碼員的訓練時間。
- 在總樣本的編碼過程中遇到不同意見時的處理方式。
- 讀者可以在哪裡得到詳細的編碼指引、程式和編碼表。
- 要報告每一個變數的信度水準，不要只報告所有變數的整體信度。
小提示
目前，大概有39種不同的同意度指標[7]，傳播學界常用的有Percent agreement，Holstis Coefficient Reliability，Cohens kappa(k)，Scotts pi(π)，Cohens kappa(k)，Krippendorffs alpha(α)。Holstis Coefficient Reliability是當前最流行的指標。
參考文獻
[1] 艾爾·巴比（2005）。社會研究方法。邱澤奇，譯。北京：華夏出版社，137-140；邁克爾·辛格爾特裡（2000）。大眾傳播研究: 現代方法與應用。劉燕南，等，譯。北京:華夏出版社，94-97；Zeller, R. A. (1979). Reliability and validity assessment. Beverly Hills, CA: Sage, 12.
[2] Lombard, M., Snyder-Duch, J., & Bracken, C. C. (2004). A call for standardization in content analysis reliability. Human Communication Research, 30(3), 434-437.
[3] Neuendorf, K. A. (2002). The Content Analysis Guidebook. Sage Publications Inc., California.
[4] Kolbe, R. H. & Burnett. M. S. (1991). Content-analysis research: an examination of applications with directives for improving research reliability and objectivity. Journal of Consumer Research, 18(2), 243-250.
[5] Potter, W. J., & Levinedonnerstein, D. (1999). Rethinking validity and reliability in content analysis. Journal of Applied Communication Research, 27(3), 258-284.
[6] Rust, R. T., & Cooil, B. (1994). Reliability measures for qualitative data: theory and implications. Journal of Marketing Research, 31(1), 1-14.
[7] Popping, G. (1988). Stone parting device. EP0283674.