在大資料的時代下，做分析的資料量與以前相比，是不可同日而語。演算法編碼的出現，不免讓許多研究者看到了希望。因為演算法編碼的優點是極為高效，可以在很短時間內完成資料分析。演算法編碼是指採用演算法或計算機挖掘資料內部規則，來得出資料編碼結果的方式[1]。它可以由研究人員設定編碼規則，讓計算機代為執行編碼過程。因此，面對龐大的資料量，想要處理客觀性文字表達時，演算法機器人的介入成為一種實現高效的必然之選。

什麼是大資料演算法編碼？

大資料演算法編碼，實際上是藉助大資料技術進行演算法編碼，但這個過程中，依舊有人工的介入，只是人工介入程度較人工編碼少。大資料演算法編碼通常是透過人工編碼作為基準來實現的。這個過程基於這樣的一個假設：人類對文字的理解仍然優於機器，如果訓練正確，人類將對文字做出最正確有效的分類[2]。所以有人工設定高質量的編碼規則，加之良好的編碼員培訓，可確保在傳統的人工內容分析中的資料質量水平，也被視作內容分析的標準做法。

說到這裡，不難發現，實際上演算法編碼的準確性依然依賴於人工介入的部分，尤其是人工對演算法的設定規則，這直接決定了資料的質量。而演算法編碼只是由演算法機器人執行，指引機器對文字進行關鍵詞的自動化標註和自動化填答選項，以完成自動編碼，藉此提高編碼效率。

演算法編碼也需要考慮編碼質量的問題？

學者Song等人[3]指出，如果不能確保用於驗證的人工編碼的質量，則研究人員就自動化程式的效能得出錯誤結論的風險要大得多。可見，在使用演算法編碼時，信度測試是十分必要的！

但在不少研究中，演算法編碼的信度評估卻被忽略。學者Song等人[3]表示，他們分析了73項使用文字自動分析的研究，當中有37項報告使用人工編碼進行驗證，但只有14項充分報告了人工編碼資料的質量，有23項完全沒有報告任何編碼員間的信度。

可見，在目前文字自動分析的應用中，仍存在著完全不考慮信度，或未嚴肅對待信度的錯誤認知。但實際上，在使用演算法編碼做文字自動分析時，首先需要評估的信度，就是編碼員間信度，因為自動文字分析的編碼效度，實際上是依賴於研究人員對編碼規則的定義水平[4]，而它也奠定了機器學習的資料質量水平。

但確保了人工編碼的信度後，並非就完成了對演算法機器人的評估。而是應該再進一步，評估人工定義的規則，在演算法編碼中實現的情況。

在操作實踐中，有研究者試圖採用人機比對的方法，檢驗演算法編碼是否可以達到可接受水平。程蕭瀟[5]的研究團隊隨機抽取1%的樣本作為檢驗樣本(107篇)，執行人工編碼，對照大資料演算法自動編碼結果，計算信度，所有類目準確度均在0.87以上，顯示大資料自動編碼結果良好，可採用該結果作為解讀依據（關於這項研究的詳情介紹，請戳這裡）。這一步驟是為確保大資料演算法自動編碼的準確程度。

張文瑜教授（2020）在一項健康傳播的研究中[6]，也採用類似做法，例如，同樣隨機抽取了1%的資料作為比對樣本，由4位經過訓練的研究助理完成人工編碼的部分，且編碼員之間信度達到Cohen’s Kappa = 0.78 (p < 0.001), 95% CI (0.604, 0.948)。最終人機對比一致性達到80%，證明演算法編碼結果可接受。（關於這項研究的詳情介紹，請戳這裡）

可見，在使用演算法編碼的正確操作流程應該是：先確保人工介入部分，即人工制定之規則的信度，再將其應用於演算法編碼中，並比較演算法編碼與人工編碼的一致性，在兩者達到一致性後，才可可採用演算法編碼結果作為解讀依據。

用什麼工具可以實現呢？

說了這麼多，肯定有不少讀者關心，那我們到底可以用什麼工具評估演算法機器人的信度呢？

DiVoMiner®上的信度測試功能，可以實現對編碼員間信度的評估，以及評估演算法機器人的信度。

下面詳細給大家介紹一下具體的操作流程：

第一步：人工設定演算法的規則

【類目管理】-【新建問題】。

新增【選項】及其對應的【關鍵字】，即可設定演算法規則。

第二步：建立測試庫

【資料管理】-【編碼庫】-【隨機匯入到測試庫】，即可完成測試庫的建立。

進入到【測試庫】檢視已匯入用以進行信度測試的資料。

第四步：評估信度

在我們完成編碼後，信度結果即可實時檢視！

小提示

在利用演算法機器人完成編碼後，研究者也可以在【質量監控】中，檢視或進一步修正機器編碼的結果哦。

趕快來在你的研究專案中，嘗試一下用演算法機器人幫你解決所有文字分析吧，再也不用擔心海量的資料啦！

參考文獻

[1] Zmatchamith, R., & Lewis, S. C. (2015). Content analysis and the algorithmic coder: What computational social science means for traditional modes of media analysis. The ANNALS of the American Academy of Political and Social Science, 659(1), 307-318.

[2] Lowe, W., & Benoit, K. (2013). Validating estimates of latent traits from textual data using human judmatchgment as a benchmark. Political analysis, 21(3), 298-313.

[3] Song, H., Tolochko, P., Eberl, J. M., Eisele, O., Greussing, E., Heidenreich, T., Lind, F., Galyga, S., & Boomgaarden, H. G. (2020). In validations we trust? The impact of imperfect human annotations as a gold standard on the quality of validation of automated content analysis. Political Communication, 37(4), 550-572.

[4] Riffe, D., Lacy, S., Fico, F., & Watson, B. (2019). Analyzing media messages: Using quantitative content analysis in research. Routledge.

[5] 程蕭瀟, 金兼斌, 張榮顯, & 趙瑩. (2020). 抗疫背景下中醫媒介形象之變化. 西安交通大學學報:社會科學版(4), 61-70.

[6] Chang, A., Schulz, P. J., & Wenghin Cheong, A. (2020). Online newspaper framing of non-communicable diseases: comparison of Mainland China, Taiwan, Hong Kong and Macao. International journal of environmental research and public health, 17(15), 5593.