研究中的誤差 (Error): 偏誤 (Bias) 與雜訊 (Noise)
作者: 林庭佑 ／ 國立臺灣師範大學 體育與運動科學系 博士候選人
我們在計畫一個新的實驗時，研究設計的架構經常是左右參考、前後呼應，沿用自己團隊曾經被學術期刊接受過的方法或是致敬其他的已發表的研究，但未必了解為何要採取某個設計方法來進行實驗。像是我雖然在自己第一個主導的研究中，就有規劃介入前要先進行前測，但有很長一段時間我並不知道該怎麼清楚地解釋為什麼除了介入後，介入前最好也要進行依變項的測量，直到我讀了Noise: A Flaw in Human Judgment這本書 (雜訊：人類判斷的缺陷) 方才恍然大悟。(這個問題的完整故事請看「介入性研究: 為何控制前測能夠減少偶然雜訊 (Occasion noise)」。)
此書的其中一位作者是首位，也是目前唯一一位獲得諾貝爾經濟學獎的心理學家丹尼爾‧康納曼 (Daniel Kahneman) 。他與其他作者在Noise一書中闡述了每當我們進行判斷時，不免地會產生誤差 (Error)，而誤差則可以分成兩大類: 偏誤 (Bias) 與雜訊1(Ch5)。
偏誤可以從兩個角度來看，一個是我們思考模式的缺陷，也就是心理偏誤 (Psychological bias)，例如我們傾向將成功視為自己努力的成果，將失敗歸咎於命運的安排 (或豬隊友)，這個就是心理偏誤中的基本歸因錯誤 (Fundamental attribution error)。然而與一個研究結果有更直接關聯的則是另一種偏誤，統計偏誤 (Statistical bias)，也是接下來要討論的主軸。對於心理偏誤有興趣的讀者可以閱讀康納曼的另外一本著作Thinking Fast and Slow (快思慢想)。
研究結果中的統計偏誤，意指結果與事實之間有系統性的偏差，以介入性研究來說，此偏差有可能是誇大或是低估了介入的效果 (大多情況是前者)。參與者的安慰劑效應、研究者的預期等諸多原因都有可能導致研究結果被錯誤地放大，這些偏誤甚至能讓實際上沒用的介入顯得煞有其事2(Sec “Bias)。
雜訊是另外一個與偏誤同樣不可忽視的誤差來源，但雜訊在介入性研究中所受到的關注遠不如偏誤。舉例來說，次級研究 (Secondary research) 中的系統性文獻回顧 (Systematic review) 就經常使用考科藍的工具 (Risk of Bias Tool) 來逐一評估收錄的介入性研究可能受到哪方面的偏誤所影響，但在討論研究方法的文獻中，卻很少直接地提到要如何去控制雜訊。
Noise這本書會讓我豁然開朗的原因在於，康納曼等人點出了我們研究者過往聚焦在系統系的偏差而忽視隨機誤差的這個問題，雖然他們在書中是針對人為的判斷與決策來解釋偏誤與雜訊的影響，但個概念也可以直接套用在介入性研究之上。
康納曼等人解釋了雜訊又可細分為三種1(Ch17)，分別為 (1) 層級雜訊 (Level noise) (2) 穩定模式雜訊 (Stable pattern noise) 與 (3) 偶然雜訊 (Occasion noise)註一。在介入性研究中，層級雜訊來自參與者之間的不同 (between-participant variability)、穩定模式雜訊為來自不同參與者與介入的交互作用 (interaction between participants and intervention) ，而偶然雜訊則是來自同一位參與者在不同次量測之間的不一致 (within-participant variability) 。
光是看這些名詞解釋很難理解它們的意義與重要性，因此之後的文章，我將會舉實際的例子來說明這些誤差出現的場合以及應對的研究設計方法。
備註
註一: 查了之後我發現自己對於這三種雜訊的中文翻譯與中譯版的Noise有所不同。中譯版將Level noise翻成水準雜訊、Pattern noise翻成型態雜訊、Occasion noise翻成場合雜訊。有疑慮請以原文解釋為準。
延伸閱讀
- Kahneman, D., Sibony, O., & Sunstein, C. R. (2021). Noise: a flaw in human judgment. Hachette UK. (雜訊：人類判斷的缺陷)
- Kahneman, D. (2011). Thinking, fast and slow. macmillan. (快思慢想)
參考文獻
(內文數字後縮寫的意思請參考文章: 你看到的科普與學術文章正確嗎？ 中的表格)
- Kahneman, D., Sibony, O. & Sunstein, C. R. Noise: A Flaw in Human Judgment. (Little, Brown Spar, 2021).
- Ioannidis, J. P. A. Why Most Published Research Findings Are False. PLOS Medicine 2, e124 (2005). https://doi.org:10.1371/journal.pmed.0020124
相關科普文
作者介紹
作者林庭佑畢業於台師大體育與運動科學系與生命科學系 (雙學士)，以連續八學期系排名第一的成績畢業後直攻博士班，是體育系第一位完全跳過碩士逕讀博士的研究生，也是第一屆科技部優秀博士生獲獎者。在學期間通過美國肌力與體能訓練協會共四張證照考試 (NSCA-CPT, CSCS, CSPS, TSAC-F)，目前已通過資格考試，為臺師大體育與運動科學系博士候選人。
演講、工作坊、訓練課程或其合作邀約請email (80830016a@ntnu.edu.tw)
