LLM 輔助的灰色文獻理論建構

資料來源#

3100 Opinions on Code Review in an AI World: Building Causal Theory from Practitioner Discourse

摘要#

Agarwal、Miller、Kästner 與 Vasilescu（CMU，arXiv 2607.07980）論文中那篇「偽裝成方法論論文」的內容，是他們的程式碼審查理論背後的次要貢獻。軟體工程的紮根理論建構通常是從少量、深入分析的材料中提煉而來（數十場訪談、少數幾個團隊，或至多數百篇篩選後的論文）。這篇論文把規模擴展到數千份實務工作者文件：將機械式步驟交給 LLM，同時讓研究者保留詮釋核心，並把整條流程（連同公開的複現套件）作為未來挖掘程式碼儲存庫與建構理論的範本。

可移植的成果是一套分工方式：LLM 擅長勞力密集、以引文為錨點的工作（建構語料、篩選相關性、開放編碼）；但它們不擅長詮釋性綜合（主軸編碼＋選擇性編碼），嘗試自動化這一步只產出了垃圾。

流程#

語料建構（38,709 份文件）。 兩種來源，一套 AI 與審查詞彙表。Reddit：透過公開的 arctic shift archive，取得 7 個分層中 43 個 subreddit 自 2020 至 2026 年的完整歷史；以字詞邊界的「review」作為門檻，不設人氣篩選（人氣篩選會壓低主題分析所需的少數觀點）→ 31,079 個討論串，每個都以含有留言樹的 Markdown 文件保存。網路：使用 Exa 神經搜尋引擎，以 68 個自然語言查詢檢索經編輯的長篇文章，每個查詢都將方向性查詢與其對立面配對（「AI 如何改變審查」對上「為何審查並未根本改變」），以免語料偏向一方；分三輪搜尋（開放網路／完整 Feedspot 部落格排名／類別平衡的機構網域）→ 涵蓋 1,437 個網域的 7,630 篇文章。
相關性篩選（LLM 判斷者）。 使用一套中立、具版本控管、以推理為先的單一評分規準，由 Gemini 2.5 Flash 在 temperature 0 下評判 23,631 份候選文件，保留 13,469 份（57%）；更強的模型對隨機樣本重新判斷後，結果的一致程度為 Cohen's κ = 0.75（高度一致）。接著，編碼範圍限縮在 2025 至 2026 年，因為代理程式撰寫的 PR 在這段期間成為現實議題。
開放編碼（Thematic-LM）。 從各來源分層隨機抽樣 3,100 份文件，使用 Thematic-LM 進行編碼。這是一種先前已受評估的多代理 LLM 歸納式主題分析實作，其代碼本會隨資料到來而建立與修訂。三個編碼代理會為每個片段標上 1 至 3 個簡短代碼（每個代碼都附有逐字引文）；彙整器合併近似重複項目；審查者則透過嵌入相似度維護一份有版本控管的代碼本。產出：來自 2,669 份文件、以 109,951 段引文為依據的 4,838 個代碼。所有步驟合計，每份文件成本約 US$0.35。
從代碼到理論（人工完成）。 作者經過多輪迭代，手動完成主軸與選擇性編碼，只用模型整理與檢索證據——把代碼本當作搜尋引擎，查找實務工作者文本中與假設的構念或關係相關的內容，再予以確認或修訂。成果是 26 個構念、67 個關係，每一項都以編碼文本為依據（有爭議的關係也附上相反證據）；另有一份只增不改的清單，透過穩定識別碼（例如 G2935）追蹤每段引文回到其文件。

以設計管理偏差：三種極化的編碼者視角#

這是最犀利的方法設計。作者沒有把三個編碼代理當成泛泛的「視角多元」，而是針對兩極化的辯論設計三種視角：一種中立歸納視角、一種留意代理程式／自動化審查可能如何侵蝕審查的批判視角，以及一種留意它們可能如何強化審查的肯定視角。樂觀與悲觀的解讀是刻意納入代碼本，而非依賴模型預設——這具體回應了人們對 LLM 編碼者會以自身先驗立場，把有爭議的論述扁平化的疑慮。

關鍵的負面結果：自動化在綜合階段失敗#

最值得借鑑的發現，是自動化從哪一步開始失效。Thematic-LM 通常會在第二輪自動發展主題，但近 5,000 個代碼使這項假設行不通，而從代碼走向因果理論的步驟，正是研究中需要詮釋的核心。為了衡量自動化能走多遠，他們曾嘗試在單次由下而上的處理中，直接從代碼本擷取因果陳述——結果得到 15,029 條陳述，但內容淺薄、重複且彼此重疊，因此他們改以人工建構理論。

失敗原因帶來了一般性的教訓：實務工作者使用的術語不一致，同一個詞也可能指不同事物。有一次，單一的「審查嚴謹度」構念混淆了現在所稱的審查效率、審查效能、審查深度與審查者技能——要把這些概念區分開來，需要持續的詮釋工作。「這個區分確實很有用，但文件本身並沒有蘊含這項區分；我們必須閱讀上下文，再加以設定。」**詮釋工作仍由人類分析者負責。**這與 LLM-wiki 模式劃出的界線相同——LLM 負責整理記錄；綜合與判斷則是人類仍不可或缺的環節。

坦承限制#

來源是生成式 AI 時代的文本，其中有些可能部分或全部由 LLM 生成；這項研究探討的是關於審查的論述，並將其視為實務工作者的主張，而非經過驗證的第一手實務經驗。
LLM 編碼／篩選可能錯誤編碼、漏掉內容或產生幻覺——研究透過三名獨立編碼者、每個代碼背後的逐字引文、另行驗證的相關性判斷者，以及作者對每項關係的稽核來降低風險，但仍有殘餘錯誤。
從代碼到理論的每個結構性步驟都依賴作者判斷（這是刻意如此——主軸／選擇性編碼正是詮釋核心），因此不同團隊可能會提出不同構念；每個構念都以編碼文本為依據，雖能限制差異，卻無法完全消除差異。
灰色文獻會過度代表積極發聲的早期採用者，並帶有廠商宣傳與事後回顧偏誤——數千個獨立來源的廣度有助於抵銷，但無法完全消除這些偏差。
研究很可能已超過飽和點——作者推測所需文件遠少於 3,100 份（「因為做得到，所以就擴大規模」），但由於綜合工作是人工完成，他們無法指出飽和點何時出現。

延伸閱讀#

Review as the Control Point — 這套方法所產生的理論（論文的主要貢獻）
LLM-as-Compiler Knowledge Base — 相同的架構界線：LLM 將原始文件編整為結構化、互相連結、以引文為依據的知識成果，但詮釋性綜合仍是人類不可或缺的環節；這個知識庫負責編整端，這篇論文負責建構理論端，兩者實踐的是同一個構想
LLM-as-a-Judge — 相關性篩選是典型的 LLM 判斷者應用（中立且有版本控管的評分規準、Gemini 2.5 Flash、temp 0），在此用作語料門檻，而非輸出評分者
LLM-Judge Validation — 這篇論文正好採用了該稽核所建議的方法：以更強的重新判斷模型為基準，報告經機率校正的 Cohen's κ = 0.75（而非原始的完全吻合率），作為 LLM 判斷者的可靠度數值
The Solo-Authorship Rebound — 同一條執行／詮釋界線，從人口規模而非單一流程內部觀察。這篇文章透過建構方式發現，LLM 承接了機械式、以引文為錨點的工作，卻無法勝任詮釋性綜合；Matsui 則從 3 億多筆 OpenAlex 研究成果中，發現這種分工在整個科學領域留下的痕跡——移交的工作包括編碼、資料處理與統計分析，回升的單人論文在計算工作上的比重明顯傾斜（+0.040 s.d.，P = 4×10⁻⁸），而單獨作者保留的正是 CMU 團隊也無法委派出去的部分
Deep Research Agents — 這條流程面臨的語料品質風險，已有量化研究。MisKnow-Agent（arXiv 2607.20891，empirical）在四種文體——論文、新聞、部落格、論壇貼文——中生成相同的錯誤主張，並發現對閱讀模型來說，文體比來源更能左右採信線索：論文與貼文的採信落差為 23.5 個百分點，高權威與低權威機構的落差則為 14.8 個百分點；其生成流程刻意讓不同權威層級的寫作品質保持一致，因此權威效應只來自名稱與網址。對灰色文獻理論建構有兩項啟示。來源文體的組合並不中立——從 Reddit、部落格與機構長篇文章取樣的流程，會加重一種事實證明很容易偽造的訊號；極化視角設計能防範的是編碼者偏差，無法防範具說服力但錯誤的文件一開始就進入代碼本。此外，這也說明了為何第二項理由支持讓人類保留詮釋步驟：除了淺薄因果陳述的失敗之外，自動化流程負責的部分，恰好也是把文體格式讀成可信度的部分
AI-Assisted Error Analysis — 另一項 AI 評估研究獨立發現了相同界線，依據的是實際感受到的成本，而非測得的失敗。Shreya Shankar 的錯誤分析技能會讓代理程式將每項人類標註套用到已審查的軌跡上，但刻意不提出新的失敗模式：「我不太喜歡只是在驗證代理程式品味的感覺。」機械式套用可以委派，分類體系的制定則不行——這是在沒有代碼本、也沒有研究者的領域中劃出的主軸編碼界線

尚待探討的問題#

作者無法找出飽和點，因為綜合工作是人工完成的——實際上最少需要多少份文件？更便宜的樣本能否得到與 3,100 份文件相當的理論？
用天真的由下而上提示自動化從代碼到理論的步驟失敗了；這是提示／腳手架的限制，還是 LLM 對數千個代碼進行詮釋性綜合的真正上限？
三種視角的設計能管理編碼者偏差，但相關性判斷者與片段切分器都只使用單一模型——這些上游關卡是否會對最終進入代碼本的內容造成自己的系統性偏向？

資料來源#

3100 Opinions on Code Review in an AI World: Building Causal Theory from Practitioner Discourse — Agarwal、Miller、Kästner 與 Vasilescu（CMU，arXiv 2607.07980，2026-07-08），empirical。§III（方法：語料建構、相關性篩選、編碼、從代碼本到理論）、§III-A.1（限制）、§VI（擴大灰色文獻分析規模的益處與限制、15,029 條陳述的負面結果、飽和度），附錄 2–5