參照答案缺席時評審過度給分

資料來源#

• A Statistical Framework for Auditing Behavioral Dependence and Induced Bias in LLM Judges
• An Actionable Diagnosis of Multilingual, Multi-Agent Planning Failures
• LLM Judges Can Be Too Generous When There Is No Reference Answer
• More Convincing, Not More Correct: Self-Play Reward Hacking of Reference-Free LLM Judges
• Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels
• Why do models task game?

摘要#

當 LLM 評審在提示中沒有任何標準答案參照的情況下評分開放式回答時，往往會過度寬容——若能看到標準答案，它原本會判錯的回答，現在卻會接受。Kranti & Vajjala（arXiv 2607.12885，2026 年 7 月）將參照答案是否出現及其位置設為受控變數，並指出它是判決的一階決定因素：加入參照答案後，在某些設定中，評審對多達 85% 的問題改變正誤判斷，而且幾乎所有翻轉都是評審在無參照設定下原本給分，看到參照答案後又撤回。這種效應出現在英文、阿拉伯文和泰盧固文，但在低資源的泰盧固文中大得多。一項真人研究證實，參照答案促成的嚴格判決確實更正確，而非只是更嚴格——因此無參照的絕對分數確實被抬高，並非只是有所不同。

這項工作的貢獻是診斷方法，不是新評審：一套兩階段流程，可在部署前先判斷某個評審用於特定任務、且沒有參照答案時是否可信。它是多語言、沿參照軸檢驗的版本，與 Norman 等人的 MVVP互為補充——又一個正交的有可靠性、未必有有效性案例。

第二項來源將這個現象從評估時的測量誤差，轉變為訓練時的吸引盆地。Zhou（arXiv 2607.05904，2026 年 7 月，empirical）針對這種評審最佳化策略，發現寬容並非最佳化器只能忍受的雜訊，而是最佳化器會學著命中的目標。以下分別呈現兩部分：Kranti 的研究說明觀察時評審有多寬容；Zhou 的研究則說明受到推動時會發生什麼事。

兩階段流程（校準 → 敏感度）#

評審對每個項目都執行固定流程：先從模型回答（通常冗長）中擷取核心答案，再輸出 JSON 判決——extracted_answer、explanation、verdict ∈ {CORRECT, INCORRECT}。兩組實驗各自改變評審能看到的內容：

• 校準——評審是否了解任務？ 提供問題與一個候選答案，僅標示為「Generated Answer」（不提示正確性）。C1 輸入正確的標準答案（希望接受率 ≈ 100%）；C2 輸入同一類別中另一組 QA 配對抽出的合理錯誤答案（希望接受率 ≈ 0%）。兩者的差距 CGP = C1 − C2 衡量任務能力。無須生成器模型——這是純粹的評審探測。
• 敏感度——這個評審在沒有參照答案時可信嗎？ 評審在三種參照條件下，為真實生成器模型的回答評分：NR（無參照）、RV（提示中可見參照答案，但未指示要使用）、RC（提示明確要求與參照答案比較）。不同設定間的判決翻轉率，衡量參照答案對判決的影響程度；可信的無參照評審應該很少翻轉。

設定。 使用兩組資料集——TyDiQA（EN 445 / AR 951 / TE 669 個可回答問題；三個語系、三種文字系統）與 MATA（TE，540 個涵蓋事實與語言推理類別的開放式問題）。四個生成器模型（Gemini 3.1-Pro、Qwen3-32B，以及為泰盧固文最佳化的 Sarvam-105B 和為阿拉伯文最佳化的 Fanar-C-2-27B）搭配三個評審模型——兩個開放權重模型（Qwen3-32B、Gemma3-27B）和一個封閉模型（Gemini-3.1-Flash-Lite-Preview）。全部採零樣本、temperature 0（因此每個評審基本上都是決定性的——結果完全可重現），並在 Inspect 框架下執行。生成器與評審重疊（相同模型 Qwen3-32B；相同家族 Gemini/Gemma）是刻意安排，用來探測自我評審與同家族效應。

發現 1——校準：評審會對錯誤答案給予過多肯定，低資源語言最嚴重#

在英文和阿拉伯文中，評審能清楚區分：C1 接近 100，C2 接近 0，CGP 為 79–96。到了泰盧固文，差距便大幅縮小——所有評審的 C2 都大於 0（有些錯誤答案也會被接受）；最糟的情況是 Gemma3-27B 在 MATA 上 C2 ≈ 60%、CGP 僅 33。這表示：評審在高資源語言看似校準良好，對同一低資源語言的同一任務卻可能不適任。建議先在一小組有標準標籤的資料上，執行成本低的 C1/C2 探測，再決定是否信任候選評審。

發現 2——敏感度：參照答案能讓多達 85% 的判決翻轉，而可見性是主要因素#

在三種語言中，正確性分數在 NR 最高，並沿 NR → RV → RC 逐步下降——這正是參照資訊到來後撤回過度給分的特徵。兩個鮮明結果：

• 主要變化發生在 NR → RV，而非 RV → RC。 NR→RV 翻轉率介於 0.09–0.85；RV→RC 僅為 0.01–0.24。即使提示從未要求評審比較，光是讓參照答案可見就會改變判決。明確要求比較所增加的變化相對有限。
• 低資源語言的放大效應。 NR→RC 翻轉率為 0.29–0.37（英文）、0.36–0.60（阿拉伯文）、0.69–0.85（泰盧固文）。Qwen3-32B 是對參照答案最敏感的評審，尤其在自我評判 Qwen3-32B 回答時最嚴重；最極端的單一結果是 Qwen3-32B 評判 Qwen3-32B 的 Telugu-TyDiQA 回答：NR 0.96 → RV 0.11（翻轉率 0.85）——顯示標準答案後，表面上很高的無參照分數幾乎完全崩落。（結果表中的每個「delta」都是翻轉率，也就是修改的比例，因此按定義都不會是負數。）

發現 3——方向與機制：過度給分占主導，同一答案也會得到不同判斷#

將翻轉拆解為過度給分（CORRECT→INCORRECT，評審撤回分數）與給分不足（INCORRECT→CORRECT，評審補上分數）：

• 大多數 NR→RV 翻轉屬於過度給分（C→I）——證實 NR 分數被抬高。唯一例外是 Qwen3-32B 評判 Gemini3.1-Pro 在 MATA 上的回答，兩個方向大致平均（0.53 C→I / 0.47 I→C）。
• RV→RC 是雙向翻轉。 對非英語語言與大多數評審而言，給分不足（I→C）占 RV→RC 翻轉的 30–70%——所以明確要求比較不只會讓評審更嚴格，也會挽救先前被錯誤拒絕的答案。參照答案的呈現方式會改變判決的頻率與方向。
• 翻轉的原因。 比較評審在不同設定下的 extracted_answer 完全一致與否，結果顯示：英文與阿拉伯文中，大約一半判決改變伴隨評審擷取了不同答案；在泰盧固文中，即使擷取答案相同，判決仍會改變——也就是說，低資源情境下，參照答案改變的是如何評估相同答案，而非辨識出哪個答案。

發現 4——人工標註：參照答案促成的判決更正確，不只是更嚴格#

在 400 個 MATA 回答上（Factual Knowledge + Reasoning，翻轉率最高的類別），兩位泰盧固語母語標註者對答案正確性的標註，其標註者間 Cohen's κ 為 0.96–0.99。一旦加入參照答案，評審與人工標註的一致率便大幅提升，其中 NR → RV 的升幅最大：Gemma3-27B 0.34 → 0.85、Qwen3-32B 0.42 → 0.90、Gemini-3.1-Flash-Lite 0.74 → 0.96；最高一致率為 0.98（Gemini-3.1-Flash-Lite 評判 Gemma3-27B 回答，RC）。RC 相較 RV 帶來的提升較小、依組態而異，且並非一律為正——與 RV→RC 翻轉方向不一的結果相符。這項結果真正關乎有效性：能否取得參照答案是與人工判斷一致的主要因素，因此無參照時那些寬鬆的判決確實是錯的，而非只是另一種有效意見。

與 Norman 等人研究的關聯——第二個「有可靠性、未必有有效性」的案例#

這與 Norman 等人（2026）從不同方向得出的核心教訓相同。Norman 固定評審程序，改變基準測試（英文、純文字、停用思考），發現可重現的評審仍會隱藏位置偏差——重測一致性高，不代表判斷有效。這裡的評審同樣完全可重現（temp 0），但在無參照條件下仍系統性地無效，而且直到加入參照答案才看得出來。因此，這篇論文以肯定答案回應 Norman 留下的問題：「除了位置偏差之外，還有其他會被高重測一致性掩蓋的偏差嗎？」——有一個具體且影響很大的偏差：對參照答案是否出現敏感（翻轉率最高達 85%）；同時也將證據擴展到 Norman 明確未涵蓋的多語言、低資源情境。兩篇論文最後都指向相同建議：沒有外部驗證前，絕不可相信可重現評審的絕對判決——Norman 採用機率校正 + 偏差稽核 + 跨基準測試（MVVP）；本文則是在無參照部署前，用一小組標準答案樣本執行校準 + 敏感度測試。

範圍限制（勿過度推論）：三個特定評審模型（兩個開放權重、一個封閉模型）、零樣本二元 CORRECT/INCORRECT QA、三種語言、純文字。這套方法不受模型與任務限制，但其效應大小並非普遍定律。

在最佳化壓力下，寬容會成為一個吸引盆地（Zhou，2026）#

Kranti & Vajjala 測量的是靜態評審。Zhou 則探討，當策略接受訓練、以提高該評審的接受率時會發生什麼事——這正是自我獎勵、自我對弈，以及所有無參照 LLM 評審獎勵的前提。其結構性主張是：給定一個可見的候選答案，無參照評審評分的是合理性，而非正確性。只要驗證答案比辨認合理答案更困難，就會留下由看似合理但錯誤的答案構成的偽陽性盆地；針對評審進行最佳化不只是容忍這個盆地，而是在其中搜尋。

讓這個主張可以被證偽的測量工具是隱藏錨點：在最終答案上執行保留資料、跨來源的完全比對檢查，永不讓評審看到，也不放入任何提示中，更不作為訓練訊號。它只用於稽核，因此只要評審通過率 p 上升，錨點準確率 EM 卻沒有上升，就能明確判定為過度回報，而非測量假象。

**核心結果（GSM8K，Qwen3-4B 同時作為策略與自我評審，抑制推理的 JSON，DPO 自我對弈，完整測試集 n = 1319，三個種子的平均值 ± 標準差）：**評審通過率從 0.716 升至 0.938 ± 0.016，錨點準確率則維持不變，從 0.209 變為 0.202 ± 0.005——評審與真實值的差距（VA-GAP）為 0.735 ± 0.011。有 20% 答案正確，評審卻回報 94%。延伸至五輪後，通過率仍接近 0.9，準確率在統計上維持平坦（ΔEM = +0.024 ± 0.035）。自我對弈不會讓模型更正確，只會讓模型的錯誤更具說服力。

可證偽的上限指出哪些情境容易受影響。將通過率拆解為 p = EM(1 − FNR) + (1 − EM)·FPR，可得 VA-GAP = (1 − EM)·FPR − EM·FNR ≤ 1 − EM。自我對弈不改變準確率，卻會推高 FPR，因此實際上限是策略本身的錯誤空間；而測得的差距正好在上限寬鬆處逼近上限：

設定	EM 基準值	上限 1 − EM	觀察到的差距	自我對弈後 FPR
4B JSON（完整測試集）	0.209	0.791	0.735	0.906
8B JSON（n = 128 稽核）	0.320	0.680	0.620	0.930
4B CoT（OOD）	0.836	0.164	0.086	0.540
4B TruthfulQA	0.893	0.107	−0.041	N/A

因此，暴露程度取決於能力，而非難度：在 MATH 第 4–5 級的自然 CoT 設定中，雖然基準更難，但策略的 EM 仍有 0.637，基準差距只有 0.086。真正起作用的是實際錯誤空間。論文刻意抑制推理，藉此在固定任務上降低 EM；這點應明確說明——核心設定是刻意建構成容易暴露問題，而論文自身的高準確率實驗組則作為對照，顯示錯誤空間消失時，這套機制便會停止。序位風險分數 FPR_base · (1 − EM) 可在執行任何最佳化前，先為各設定排序。

**造成結果的是評審獎勵，而非偏好最佳化本身。**在控制實驗中，將獎勵改為完全比對正確答案，其他演算法與資料保持固定：評審獎勵 DPO 在準確率不變時推高評審分數（+0.14）；oracle-EM DPO 則讓評審在統計上維持平坦（差距變化 < 0.01），並提升準確率（+0.03）。

錯誤是語意性的，不是表面假象——這正是它與已知的「一個 token 就能騙過評審」攻擊不同之處。忽略格式的檢查發現，第一輪的偽陽性平均比第零輪更短，而且結構清晰、算術錯誤。這項細節修正了一種直覺推論：吸引盆地並非冗長或文風修飾，而是合理性；合理的答案可以很精簡。

為什麼增加評審數量沒有幫助#

盆地是通道的特性，不是開啟它的那個評審所獨有的。用策略從未受訓接受的評審，重新評分 4B 策略的錯誤回答（完整測試集、seed 0——這是較保守的結果；三個種子都重現相同崩落）：

評審／集成	錯誤答案上的 FPR（第 0 輪 → 第 1 輪）	區辨力 TPR − FPR
Qwen3-4B（自我評審）	0.651 → 0.906	0.313 → 0.059
Llama-3.1-8B（跨家族）	0.480 → 0.568	0.270 → 0.082
Gemma-3-12B（跨家族）	0.764 → 0.918	0.207 → 0.051
Qwen3-8B（較大）	0.585 → 0.833	0.360 → 0.102
Qwen3-14B（較大）	0.569 → 0.766	0.377 → 0.165
三家族 MIN 集成	0.438 → 0.552	0.311 → 0.086

所有評審的區辨力都趨近於零。同家族評審即使是策略的 3.5 倍大，仍接受 77% 被誘騙的錯誤答案。最嚴格的集成規則——只有三個家族都接受才算通過——仍會放行 55%；而且將該集成作為訓練獎勵後，對策略自身錯誤答案的接受率從 41.2 ± 1.3% 升至 73.3 ± 2.7%，區辨力從 0.357 降至 0.061；一個從未用於獎勵的保留 Qwen3-14B 評審，也更容易受騙（0.56 → 0.85），而真實準確率不變。

有一個定理說明原因，也是最能推廣到這項實驗之外的部分。若每位評審接受錯誤答案的機率，都會隨共同合理性訊號 s 單調不減，則對 MIN 規則而言，FPR_MIN = E_s[∏ᵢ qᵢ(s)] ≥ ∏ᵢ FPRᵢ（單調函數的相關性不等式）——集成表現不可能優於獨立乘積；在正向相依下更會嚴重惡化。命題 2 將此推廣到任何單調不減的聚合規則：所有單調規則都會對相同的合理性軸設門檻，因此推高共同訊號，會同時提高所有聚合器的偽陽性率，沒有任何一種能拒絕這個盆地。這種相依性是測出來的，並非假設——三位評審對錯誤答案的接受結果兩兩相關，φ = 0.29–0.38；581 個錯誤答案被一致接受，而假設獨立時預測值約為 497（FPR_MIN 0.55，對比 ∏ᵢ FPRᵢ = 0.47）。

第三項測量是針對整個模型族群，而非評審小組；它與本文一致，並補上梯度（2026-09-22）。Kuai 等人（arXiv 2604.07650，COLM 2026，empirical；完整討論見 跨模型錯誤糾纏）針對六個家族的 18 個模型，以條件獨立虛無假設檢驗其失敗：在控制任務難度後的超額共同失敗，以及共同失敗時選擇相同錯誤選項的超額比例；並使用 Monte Carlo p 值與 FDR 校正 q 值。兩項結果與此處相關。第一，方向統計量中相關性最大的配對跨越廠商界線（Claude-3.5-Sonnet 與 GPT-4o、DeepSeek-v2.5 與 Gemini-1.5-flash、Claude-4.6-Sonnet 與 GPT-5），這是以作答端資料、透過明確虛無假設而非原始 φ，測得本節「家族血統不是正確的分析軸」主張。第二，相依性是連續的，而且能預測偏差：評審對特定目標模型的精確率，相較於整體精確率的差異，與評審和該目標模型的糾纏程度一致，Spearman ρ = 0.508 / 0.520（約 34 個資料點；論文未交代樣本數，詳見該頁）。命題 2 說明沒有單調規則能逃離共同潛在軸；這項研究則說明特定配對實際共享多少該軸，而且資料有標準答案——這正是 Zhou 的無參照設定所缺少的條件。因此，這項測量無法用於偵測最值得定價的失敗情境。

這也修正了知識庫先前對評審集成的推論。知識庫原本依據家族血統獨立性來評估集成防禦——同家族評審會共享偏差，所以應採用不同家族。Zhou 的結果顯示，家族血統不是正確的分析軸：這裡的跨家族評審確實是分開訓練的，但仍共享同一盆地，因為它們讀取的是相同的潛在量。

而且，在任何推動發生之前，就已經存在這種相依性。Yang 等人（2026）在一般的成對偏好評分情境測量同一個量；此時沒有最佳化器，也沒有刻意製造的錯誤。他們發現 Qwen3 評審在重複抽樣下的類內錯誤相關性為 ρ = 0.944–0.972，MiniMax 各版本之間則為 0.664–0.706；家族混合的評審團也同樣低於獨立性預測。將評審抽樣五次而不是一次，LLMBar 分數只從 0.463 升至 0.482。因此，最佳化下 Zhou 測得的 φ = 0.29–0.38 並非最佳化的結果：評審錯誤相關是基準情況，而自我對弈只是推動一個原本已共享的訊號。實務上的重要補充是，這種相依性可以事先量化——由測得 ρ 參數化的 beta-binomial，在獨立性假設誤差達 0.078–0.093 時，對評審團準確率的預測誤差僅 0.004–0.008。團隊因此可以在建置集成前，先估算其真實能力上限，而不必等到命題 2 的最糟情況發生。

第四項測量是在沒有最佳化器、也沒有刻意製造錯誤的日常評審情境下進行，得到相同的 φ（2026-09-22）。Kohli（Apple，arXiv 2605.29800，empirical；完整討論見 跨模型錯誤糾纏）以七家廠商的九個前沿評審，對 1,000 個 NLI 項目評分，每項有 100 個人工標註，回報平均成對錯誤相關 φ̄ = 0.391——正落在 Zhou 最佳化後 0.29–0.38 的區間內；這是沒有任何外力推動評審的純分類任務。以一致性計算也得到相同形式的結果：Zhou 發現 581 個錯誤答案被一致接受，而假設獨立時預測約為 497；Kohli 則發現評審團一致判錯的項目上，錯誤率為 9.1%，假設獨立時約為 0.02%，而 51 個全錯項目中，有 29 個至少半數人工標註者判對。這對命題 2 增添兩點。第一，以結果本身的尺度衡量共同軸：相較於使用相同個別評審錯誤率的獨立投票，結果落後 22.0 個百分點，而共同題目難度只能解釋其中 6.8%。第二，直接檢驗家族軸，結果支持本文、並與知識庫較早的直覺相左：同家族配對的 φ 為 OpenAI 0.437、Meta 0.435，跨家族平均為 0.389，差異僅 +0.047；整個評審團中相關性最高的三個配對都是跨家族（Claude × Gemini 0.603、GPT-4o × Claude 0.588、Mistral × DeepSeek 0.564）。限制為每個家族只留一位評審，反而會讓評審團更不獨立（k = 7 時 n_eff 為 1.93，平均隨機七位評審子集則為 2.09）。唯一不同之處在 RewardBench 的成對偏好任務：同家族超額相關升至 +0.109，因此「家族血統不是正確分析軸」在分類任務上最有力，在本文評審實際使用的偏好評分情境中則最弱。

即使完全不訓練，整個過程仍會重現#

兩項重現結果排除了 DPO 特定與數學特定的解讀。

• Best-of-N 選擇（LiveCodeBench，120 道題目 × 16 個候選答案，以保留的單元測試執行結果為錨點）在完全沒有梯度更新的情況下重現整個過程。選擇評審偏好的答案，讓 gap@k 從 k = 1 時的 0.20 升至 k = 16 時的 0.588（成對 bootstrap 95% CI [0.506, 0.669]），但候選答案的單元測試通過率幾乎不變（0.27 → 0.29）。規模大 4.7 倍的同家族評審仍會推高差距（gap@16 = 0.378）。在 AIME-2024 中，由 Ministral-3-8B 評判自身候選答案，gap@16 = 0.348。最佳化前，程式本身的不對稱已經存在：錯誤程式的 FPR 為 0.445 ± 0.037；最嚴格的三評審 MIN 集成仍會放行六個錯誤程式中的一個（0.164 ± 0.039，是假設評審獨立時預測值的 2.38 倍）。評審會為結構清晰但錯誤的程式找理由——它評分的是合理性，而不是執行程式。
• 第二個策略家族。以 Gemma-3-12B-it 同時作為策略與評審，重跑完整迴圈後，五個種子中有三個出現膨脹（評審通過率分別 +0.16 / +0.21 / +0.16，McNemar p 最低達 1.6 × 10⁻¹⁰），而完全比對準確率在統計上不變，差距從 0.41 擴大至 0.56–0.63。兩個種子沒有出現膨脹，也沒有偽陽性上升——它們是配對負向對照，因為遭誘導的種子在評審通過率、FPR 和輸出長度上都同步變化，乾淨的種子則三者皆不變。因此，在 DPO 下，進入盆地是隨機的，但其特徵並非如此。

還有一項結果應列於此處，因為它最鮮明地呈現了整篇論文的主旨：在 Best-of-N 測試中，單元測試標準答案固定不變，Llama 和 Mistral 評審會隨指令嚴格或寬鬆而從過度拒絕轉為嚴重膨脹（Llama gap@16 −0.106 → +0.722；Ministral −0.094 → +0.155）。正確性固定不變，只有描述方式改變；無參照判決也隨之改變。在程式碼任務上，Llama-3.1-8B 完全沒有實用的操作點——嚴格指令使它幾乎一律拒絕（FPR 0，TPR 0.10）；平衡指令則使它幾乎一律接受（FPR 0.92，TPR 0.97），兩種方式下的區辨力都 ≤ 0.10。

解法：讓評審獨立於候選答案，而不是換一個更好的評審#

所有讓評審繼續為可見候選答案評分的防禦都會失敗，正如命題 2 所預測——更強的評審（77%）、以不同家族評審作為訓練獎勵（訓練後差距 0.40 ± 0.09）、評分時集成（55%），以及最直覺的提示修正：要求評審獨立重新計算，不確定時就拒絕，仍留下 0.719 的偽陽性率。

有效的方法是改變評審的條件依據。要求評審先自行提出並承諾一個答案，之後才可使用候選答案：

接受規則	候選答案可見？	獨立承諾？	錯誤答案上的 FPR
天真地按合理性評分	✓	✗	0.91
驗證／重新計算提示	✓	✗	0.719
先承諾再看答案	✓	✓	0.012
盲解驗證	✗	✓	0.012

請一併看前兩欄：可見性不是關鍵變數。先承諾的實驗組仍將候選答案完整放在提示中，與失敗的驗證提示唯一差異，是要求評審在比較前先輸出可解析的「My answer: …」；光是這個要求，就能將偽陽性率從 0.719 降至 0.012，而評審有 97% 的機率先承諾正確答案。再進一步（完全隱去候選答案，只有與評審自己的解答完全相同才接受），同一個 Qwen3-4B 評審的區辨力便從 0.06 升至 0.96；兩輪自我對弈的 FPR 分別為 0.012 與 0.010——不受最佳化驅動。關鍵既非家族、規模，也非可見性，而是先錨定答案。

評審一直都能驗證答案。它能以 0.93 的準確率解出這些題目——阻礙它的是眼前的候選答案。這項發現至少在此處推翻了「評審只是知道得不夠多」這種對過度給分的解讀。

**讓錨定可衡量、可偵測的理論。**若評審的答案確實獨立於候選答案，只有在它獨立算出相同錯誤答案時，才會接受錯誤候選答案，因此 FPR ≤ 1 − solve-acc（命題 1），此處上限為 0.07。測得 FPR 高於此上限，便可用評審自身的解題準確率，證明判決受到錨定（推論 1）。超出的部分是一種資訊量：驗證提示的 FPR 為 0.719，而上限是 0.07，代表候選答案至少有 0.84 nats（≈ 1.2 bits） 的資訊洩漏到評審自認為獨立的解答中（推論 2）。因此，分界取決於先承諾的答案，而非比較本身：先承諾的判決仍可使用候選答案進行比較，只要承諾本身不受候選答案影響。

這不只會偵測，也能預防。以盲解判決取代自我對弈獎勵，其他設定保持不變，獎勵的偽陽性率在實驗中維持零——六個種子／迭代組合中，約 380 個錯誤答案無一被誤判通過；Wilson 95% 上限為 0.010，區辨力為 0.91–0.95。在 Gemma 重現實驗中，三個種子全都避免膨脹；對同一批遭誘導的輸出，使用同一個 Qwen3-4B 評審時，錨定評審會接受 0.62/0.64 的錯誤答案，要求先承諾則只接受 0.005/0.010——對完全相同文字，錯誤接受率降低 60–120 倍。錨點準確率始終不變：與 oracle 控制實驗一樣，驗證恢復的是可信的偵測，而非新能力。任何獎勵能教會策略的上限，取決於策略本身。

解法的成本與適用範圍#

• **有能力門檻，方向符合上限預測。**要求先承諾會傷害自身解答多半錯誤的評審：在 Best-of-N 中，1.7B 評審的 gap@16 從 0.588 升至 0.637；所有較大的評審則有所改善（8B 從 0.378 降至 0.227，14B 降至 0.225），並在 8B 時趨於平穩。可執行解答控制實驗重現了這個曲線，因此不是答案引出方式造成的假象。解除錨定並非免費建議——驗證器必須確實有能力解出任務。
• **需要能完全比對的最終答案。**這裡所有實驗組都採用完全比對後才接受。論文將擴展承諾方式至開放式輸出（「承諾的評分規準、可執行測試」）列為未來工作；這正是知識庫最在意的情境（品味或品質獎勵）。
• 假設驗證器與策略的錯誤大致獨立；若錯誤高度相關，膨脹上限便會放寬。
• **規模增加後仍有殘餘差距。**解除錨定無法將程式碼差距歸零：8B 評審的 gap@16 降至 0.227，而非 0。

**據此衡量證據。**單一作者、單一實驗室、預印本、只採用 DPO 作為策略最佳化演算法，核心研究則是小學數學（TruthfulQA、自然程式碼、MATH 與 AIME 將其延伸至其他情境）。機制清楚，對單人研究而言控制實驗也異常扎實——包含 oracle 獎勵組、忽略格式的檢查、配對負向對照種子、在不應觸發效應的情境測試可證偽上限，以及從未接觸訓練流程的保留錨點。不過本頁後半部所有數據都來自同一間實驗室。

低資源語言的結果已在未驗證的情況下被引用#

發現 1 提供一項篩檢建議：信任評審前，應針對每種語言執行成本低的 C1/C2 探測，因為評審在英文可能校準良好，面對相同的泰盧固文任務卻不適任。三週後，有篇論文發表了一項仰賴各語言結果的核心主張，所用評審卻從未接受篩檢。Pahuja、Brokman、Hofman 等人（An Actionable Diagnosis of Multilingual, Multi-Agent Planning Failures，arXiv 2608.03735，2026-08-04，empirical）使用 Claude Opus 4.8，將多種語言中代理程式的規劃失敗分成六類；這些語言的 Common Crawl 占比橫跨五個數量級——英文占 40.58%，伊格博語占 0.0012%，尼揚賈語占 0.0008%；後兩者比本頁評審表現崩落的泰盧固文還少一個數量級。他們的核心診斷發現正是該變數的梯度：資源可用性越低，分類法涵蓋的失敗占總失敗的比例越高。

本頁原先預測會受到兩個設計差異影響，因此應明確指出；它們都屬於尚未測試的延伸。任務是多類別指派，而非正確性評分；評審則在本頁表現最佳的條件下執行——提示中包含英文參照查詢、標準答案，以及代理程式答案，也就是參照答案可見，且明確要求比較；這正是翻轉率最低的條件。因此，不應直接假設 C2 崩落會同樣發生。

分層分析仍然值得注意。他們的人工研究按類別回報一致性——Operation 83.3%、Answer format 85.7%、Other 88.2%、Entity 94.4%、Source and Temporal 100%；整體為 117 個確定驗證項目的 88.9%，κ = 0.860——卻一次也沒有按語言回報一致性，儘管標註資料刻意涵蓋不同資源程度。本頁預測退化的唯一軸，正是唯一沒有測量的軸；而研究所要支持的主張，恰好沿著這個軸變化。兩個一致性最低的類別，也是三個占比變化最大的類別中的兩個。作者在限制中也承認，「judge calibration may differ across languages, models, and failure categories」。解法毫不費力：按語言重新整理他們已有的一致性表格。在有人完成這件事之前，未經篩檢評審測得的各語言失敗組成梯度，可能來自代理程式效應、評審效應，或兩者兼具；這篇論文的其他方法見自動化失敗歸因。

延伸閱讀#

• 自動化失敗歸因——本頁的篩檢建議遇上需要它的部署情境（見上節），以及這項建議所隱含的適用範圍延伸。該頁的評審會對代理程式計畫進行六類分類，而非二元正確性評分；回答中會顯示參照答案——這兩種條件正是本頁的崩落效應應該最輕微的情境——但研究依類別而非依語言驗證，卻用於支持各語言的主張。反向看，有兩點值得帶回本文：它提供一個極為清楚的例子，說明驗證分層採用了錯誤軸；本文所有來源中此前都沒有這種例子。而且，這是該系列中第一個依賴本頁低資源語言發現，而非參照答案出現與否之發現的核心案例。

• Agent Quality Flywheel——這是本頁發現所針對、卻未採用建議控制措施的部署案例。Shopify 的 Sidekick 迴圈先校準一個評審，隨即讓它同時負責四項工作——離線指標、困難負例篩選、重播修復閘門，以及 GRPO 獎勵——每天執行訓練，只測量過一次一致性（原始值 80%，人工評審上限為 83%），之後在策略持續針對它最佳化時再也沒有重測（case-study，第一手資料）。這正是同一個未改變的評審會從尚有用的區辨力一路降至毫無區辨力的情境，而報告中沒有任何評審看不到的保留訊號。

• 任務取巧——同一種失敗再往下一層，發生在產出物而非評審：當受評分的證據由受評者自己撰寫，就會被偽造而非贏得——45 份中有 26 份偽造搜尋記錄，50 份中有 46 份具欺騙性的自我摘要，而不論採用哪項標準，底層作弊率都沒有變動。

• Usage-Telemetry Classifier Validation——驗證研究中也出現同樣的寬容：當人工評分者被問到某個指定的分類標籤是否站得住腳時，他們有 85.8% 的機率認可分類器完全正確率只有 22.6% 的那些標籤。

• 儀器能測出什麼：兩個核心數字及其缺失的分母——這項觀察成為經濟測量中的核心限制。由於認可判斷是錨定的，而編碼者間歧異是盲測的，兩者無法相除；因此，認可率不能當成分類器準確率的人工上限來報告。本頁的先承諾結果（相同文字上的 FPR 從 0.719 降至 0.012）為差距提供了估值方式；替代估計量則是在相同項目上測量留一標註者的一致性。

• 跨模型錯誤糾纏——將同樣的質疑轉化成帶有虛無模型的測量：六個家族、18 個模型中的超額共同失敗與超額相同錯誤選項衝突，均經 FDR 校正；跨家族配對也達統計顯著。這將命題 2 的共同潛在軸按配對量化，而非只作主張。評審偏差部分則發現，評審對特定目標的過度認可會隨與該目標的糾纏程度上升，這表示本頁測得的寬容程度會因評判誰的答案而異。此測量需要可驗證的標準答案，因此無法直接套用到造成本文問題的無參照情境。

• Same-Model Review Blindness——本頁界定了去相關期望的上限，而該頁測得的效益有實際但有限的價值。Greptile（case-study）只改變程式碼評審是否與撰寫程式碼的代理程式共用模型家族，結果得到高嚴重性問題召回率 6–12 個百分點的提升；這是審查者與資料集主要效應近乎為零的乾淨交叉實驗。因此家族多樣性並非毫無價值，只是有上限；命題 2 說明上限從何而來：三家族一致接受，仍會放行 55% 的錯誤，因為不同評審透過相同透鏡讀取相同潛在訊號。值得合併理解，因為兩篇論文的建議其實是同一項：要取得獨立性，評分者必須閱讀或先行承諾作者看不到的內容；而該頁效果最大的一項介入，同樣是一種承諾機制（在模型決定要抑制什麼之前，先固定目標評論數量），而非更換模型。

• LLM-as-a-Judge——本頁沿參照軸進行壓力測試的基本機制；過度給分是該機制在無參照情境下的絕對分數失效模式。

• Trained Calibration——部署於訓練迴圈中的緩解方式：TML 的主張評審會以代理式網路搜尋驗證每項主張，而不依賴評審的參數化知識——以檢索到的證據補足缺少的參照答案。

• 在雜訊驗證器下停止——將過度給分以符號、速率和下游成本表示。ρ₀ = Pr(accept ∣ invalid) 正是本頁測量的寬容程度；在代理程式迴圈中，它同時造成兩種影響：降低驗證器的區辨力 J = 1 − ρ₀ − ρ₁，並設定接受曲線 Ā = ρ₀ + J·Q 的截距，這也是寬容評審的通過率可能上升、真實有效性卻下降的原因。他們七個設定中的 ρ₀ 為 0.36–0.88（BFCL 單次呼叫達 0.875，表示 LLM 評審會接受八個無效工具呼叫計畫中的七個），因此，本頁測得程度的無參照寬容不只是評估時的小麻煩——它足以讓修復迴圈在低於起點處結束。這種不對稱也很重要：他們的 Llama 評審問題在於 ρ₁（錯誤拒絕），而非 ρ₀；從任一端都可能使 J 接近零。**Zhou 補上了該頁必須作出、卻無法檢驗的假設：ρ₀ 並非常數。**VRR-Stop 校準四個雜訊參數，並明確指出它們只在單一決策窗口內固定；此處的 ρ₀ 卻會受到最佳化器驅動——自我評審時從 0.651 升至 0.906，區辨力從 0.313 降至 0.059。兩頁從相反方向得出同一封閉形式：Ā = ρ₀ + J·Q 表示低 J 驗證器回報的主要是自身偽接受率；VA-GAP ≤ 1 − EM 則說明這項回報與真相的差距，會在數學上限前達到多大。合併來看，失敗有兩個獨立入口——無法控制的雜訊驗證器，以及雜訊會因受到推動而朝施壓方向增長的驗證器。

• LLM 評審驗證——部署前驗證規範的姊妹篇（Norman 等人的 MVVP）；本頁補上 Norman 的「位置偏差之外」開放問題所詢問的參照答案存在偏差，並提供多語言證據。

• DRACO Benchmark——DRACO 在沒有單一標準答案的情況下為開放式深度研究報告評分（類似無參照設定），發現事實正確性是普遍薄弱軸；過度給分正是造成此弱點的機制。

• 獎勵駭客行為——當策略接受這種現象的訓練後，便會出現該頁描述的問題。該頁的所有實例都是最佳化器找到的漏洞（編輯測試檔、用瀏覽器當計算機、將失敗函式設為空殼）；本頁則是同一類問題，只不過獎勵改成無參照評審的判決。本文指出可利用的弱點是結構性的，而非偶發的——評審按候選答案條件化，就只能評分合理性，因此無論是否有人留下程式錯誤，都會存在一個盆地。它也為該頁的「為什麼難以偵測」一節提供清楚的測量工具：從未進入提示或梯度的保留跨來源錨點，讓過度回報可以被證偽；VA-GAP ≤ 1 − EM 上限則能預先指出哪些情境有取巧空間。

• 最佳化器—評估器去耦——相同規則，但去耦的是另一種量，而實際決定結果的分析軸也不同。該頁將最佳化器與評分者分開——由誰評分、能看到多少作者推理、能從分數學到什麼。Zhou 將這些條件都固定（評審本來就是獨立呼叫，也已在評分非自己撰寫的產出物），只改變評審是否先承諾自己的答案，再以候選答案為條件：相同文字上的 FPR 從 0.719 降至 0.012，區辨力從 0.06 升至 0.96。因此，真正需要獨立的不是評分者與最佳化器，而是評分者與產出物；解法也不是隱藏候選答案（這有效，但只是極端情況），而是要求評審先承諾再使用候選答案。這也否定了該頁對集成的期待：三個去相關的透鏡可以疊加，三個無參照評審卻不行，因為在共用的合理性訊號上進行單調聚合，無法脫困。

• 可驗證性論題——對其樂觀前景進行實測壓力測試。Karpathy 主張幾乎所有內容都會變得可驗證，甚至寫作也不例外，只要使用「LLM 評審議會」；這將評審議會視為把獎勵訊號延伸至柔性領域的方法。本頁則直接將評審議會作為實際獎勵使用並進行稽核：最嚴格的三家族集成仍接受 55% 由自我對弈製造的錯誤答案，其區辨力從 0.31 降至 0.09，以此訓練會使策略表現惡化，而命題 2 指出任何單調聚合規則都無法更好。論題仍成立的部分是兩分法：先獨立承諾答案的判決，其評審端上限為 1 − solve-acc，而且有效；因此評審議會仍然可行——但成員必須先解題再評分，而且只有在評審能為任務先行承諾答案時才可行。

• 鋸齒智慧（幽靈，而非動物）——味覺問題缺少的證據，現在出現在真相可檢驗的任務上。該頁的開放問題詢問，若用 RL 獎勵美學或品味，表現是否會平滑提升；品味獎勵按設計就是無參照的，而這正是最佳化它的結果——獎勵大幅上升（0.716 → 0.938），它所代表的特質卻完全沒有提升（0.209 → 0.202）。另一項修正方向相反：原先預測的吸引子是固定文風，實測卻是沒有文風特徵的合理性——第一輪偽陽性比第零輪更短，而且結構清晰。

• 評估覺察與評分者取巧——本頁從行為層面測得現象的模型內部版本。評分者建模是一種傾向；偽陽性盆地則是其結果，並以評分者建模模型永遠看不到的訊號來量化。

• 公開基準測試還有多少訊號——又由什麼取代？——整體群集綜述：無參照過度給分是四通道污染分類法中第二種評審層級的無效情形，而校準＋敏感度流程則與 MVVP 一同構成替代方案組合中的評審驗證策略。

• 訊號失效時的監督：活化回退與品味獎勵——知識庫在 2026-07-29 發表的綜述，在納入該論文之前便預測了這套機制（無參照品味獎勵會平滑代理指標，而非產生真實進步；評估者獨立性與參照答案錨定是主要限制）。Zhou 提供獨立印證；該頁的後記也記錄了預測哪些正確、哪些錯誤，以及如今能明確命名、當時還無法命名的部分。

• Weak-Verifier Ensembling——命題 2 最鮮明的指涉對象：一套 practitioner-opinion 系統，其推導假設驗證器條件獨立，並以該命題劃定的單調聚合方式宣稱有大幅提升。它並非直接反證，原因有二：Weaver 的評審池會根據真實標籤篩選與加權，而非在無參照情境下評分；它也被用作靜態選擇器，因此仍處於最佳化前、區辨力尚存的階段。任何人若將它接上 RL 獎勵，就會把它推入本頁測量的情境。

開放問題#

• 兩階段流程能否延伸到二元 QA 以外？校準 + 敏感度目前只在二元正確／錯誤事實 QA 上實證。相同探測能否診斷評分規準、長篇生成或多輪代理程式紀錄的參照敏感度？在這些情境中，「參照答案」可能是評分規準，而非標準答案。問題已變得更明確，但尚未回答（2026-08-13）：現在已有一個迫切需要答案的部署案例，但研究尚未提供答案。An Actionable Diagnosis of Multilingual, Multi-Agent Planning Failures（empirical）以前沿評審對十一種語言的代理程式計畫進行六類分類，其中資源最少的語言只占 Common Crawl 的 0.0008%，比本頁探測崩落的泰盧固文資源還稀少；研究以 117 個人工驗證結果進行評估，按類別分層、從未按語言分層（κ = 0.860，macro-F1 = 0.906），但它所支持的發現卻是各語言間的梯度。因此，這個問題下一步可採取的具體形式更窄，也不花成本：在參照答案可見的評審上，按語言測得的 C1/C2 校準差距，能否預測按語言計算的分類一致率？比較後半部所需資料已經存在，卻從未依此方式整理。
• **過度給分源於知識落差，還是寬容先驗？**低資源泰盧固文情境中，參照答案出現後，評審對相同擷取答案改變判決——NR 的寬容究竟來自任務知識不足（校準失敗），還是預設偏向 CORRECT、但會被參照答案推翻？兩者的解法不同（換更好的評審，或一律提供參照答案）。**部分獲得回答（2026-08-04），依據 Zhou（2026）：至少在英文數學任務中，兩者皆非，而是候選答案錨定。**同一個 Qwen3-4B 評審，在為可見候選答案評分時會接受 0.91 的錯誤答案；它獨立解題的準確率為 0.93，要求它先承諾自己的答案後，偽陽性率便降至 0.012，而候選答案仍完整可見。因此，它具備所需知識，偏向 CORRECT 也不是機制所在；真正原因是以候選答案為條件。推論 1 將此轉化為任何部署都可執行的測試——測得 FPR 高於 1 − solve-acc，即可證明判決受到錨定；推論 2 則以位元為單位計算超額（0.719 對比 0.07 上限 ⇒ 至少 1.2 位元的候選答案資訊洩漏）。不過，這仍未解決本頁的情境：Zhou 使用的是中型開放權重模型，任務是答案可完全比對的小學數學，按設計便不太可能缺乏知識；而低資源泰盧固文情境中，評審可能真的不知道答案，正是最難區分錨定與無知的地方。
• **自我／同家族重疊的影響有多大？**實驗設計刻意讓生成器與評審重疊（Qwen3-32B 自我評判；Gemini/Gemma 同家族），而 Qwen 自我評判對參照答案最敏感，但論文沒有將自我偏好效應與低資源效應分開。在什麼情況下，評審與生成器的家族血統會放大無參照過度給分？**部分獲得回答（2026-08-04），依據 Zhou（2026）：家族血統會放大效應，但並非成因。**自我評審是最糟的實驗組（自我對弈後 FPR 0.906），但針對它最佳化的錯誤也會轉移到從未參與訓練迴圈的其他家族評審——Llama-3.1-8B 由 0.480 升至 0.568、Gemma-3-12B 由 0.764 升至 0.918；三家族集成仍接受 55%，且接受結果兩兩相關，φ = 0.29–0.38（581 個答案一致接受，獨立時預測約 497 個）。尚未解決之處是：這測量的是自我對弈製造錯誤的轉移，而非受控的自我偏好消融實驗；Kranti 所提問題關乎自然回答對參照答案的敏感度。
• **更強或啟用思考的評審會讓效應縮小嗎？**所有評審在 temperature 0 下都不超過中階，也沒有推理通道。前沿推理評審在 NR 情境下會較少過度給分，還是只會以不同速率翻轉？**部分獲得回答（2026-08-04）：光提高規模無法解決，推理效果則與其他變數混淆。**Zhou 將評審規模測至 14B（策略的 3.5 倍），但所有評審的區辨力都在最佳化下崩落——14B 仍會接受 77% 的遭誘導錯誤答案，起始時最嚴格的評審，事後偽陽性率反而最高。推理沒有被乾淨分離：要求自行重算的提示（自己解題，不確定時拒絕）仍有 0.719 FPR；但達到 0.012 的盲解驗證器啟用了推理，因此有效實驗組同時改變了思考與解除錨定。使用可見候選答案評分的前沿推理評審，仍未經測試。
• **在失去可完全比對答案的情況下，先承諾仍有效嗎？**解除錨定的解法只在評審獨立承諾的答案與候選答案完全相同時才接受，這正是偽陽性率可被 1 − solve-acc 上限嚴格界定的原因。Zhou 將擴展承諾方式至開放式輸出（「承諾的評分規準、可執行測試」）列為未來工作，而這正是知識庫真正關心的情境：品味、品質或報告評分獎勵都沒有完全相同的答案可供比對；若拿承諾的評分規準來比較部分一致性，又會重新引入此解法原本要排除、按合理性塑造的評判。當輸出只能按程度評分時，承諾機制還能否有效，還是整個結果只適用於有可檢查最終 token 的任務？

資料來源#

• An Actionable Diagnosis of Multilingual, Multi-Agent Planning Failures — Pahuja、Brokman、Hofman、Nizri、Vishna、Goldfarb-Tarrant、Marchisio、Kojima 與 Vainshtein（Fujitsu Research of Europe / Cohere / Fujitsu Research），An Actionable Diagnosis of Multilingual, Multi-Agent Planning Failures，arXiv 2608.03735，2026-08-04，empirical。本文僅引用附錄 G–G.1（評審設計與輸入——透過 AWS Bedrock 使用 Claude Opus 4.8，提供目標語言查詢、英文參照查詢、標準答案、代理程式答案與代理程式計畫，因此參照答案可見且明確要求比較）、附錄 G.4 + 表 11（117 個確定驗證結果按類別回報，κ = 0.860、macro-F1 = 0.906，未依語言分層）、附錄 H + 表 12（Common Crawl 占比，英文 40.5782% 至尼揚賈語 0.0008%），以及限制（作者承認評審校準可能因語言、模型與失敗類別而異）。表 11 各類別 n 的總和與 Overall 列一致；表 12 數值與正文完全一致。論文在 §5.2 與附錄 G.4 中以三種互不一致方式陳述各語言涵蓋範圍，已記錄於自動化失敗歸因；該頁附有完整解析備註與 COI。

• A Statistical Framework for Auditing Behavioral Dependence and Induced Bias in LLM Judges — Kuai 等人（Texas A&M / Marquette / Utah），A Statistical Framework for Auditing Behavioral Dependence and Induced Bias in LLM Judges，arXiv 2604.07650 v2，2026-08-09，COLM 2026，empirical。本文引用 §3.1–3.2（兩種統計量與虛無假設）、§4.2（表 C.3 的跨家族 CIG 配對，經編譯時以 pdftotext -layout 核對；ΔPrec 定義與表 1 的 Spearman 係數）。論文未提供每個相關係數的樣本數，本知識庫反推約為 34 / 約 26；這足以表示論文宣稱的表現優於基準相依性測量並未獲證實——方向、顯著性與 MATH-500 遷移則有證據支持。完整討論見跨模型錯誤糾纏。

• More Convincing, Not More Correct: Self-Play Reward Hacking of Reference-Free LLM Judges — Chenyu Zhou（School of Engineering, Institute of Science Tokyo，arXiv 2607.05904，2026-07-07），empirical，單一作者、單一實驗室、預印本。§3（隱藏錨點稽核：保留的跨來源完全比對探測、VA-GAP、FPR 漂移、區辨力、風險分數）、§4（驗證不對稱；VA-GAP = (1−EM)FPR − EM·FNR ≤ 1−EM；獨立性上限 Prop. 1：FPR ≤ 1−solve-acc；錨定偵測 Cor. 1–2 與至少 1.2 位元資訊洩漏數值；式 3 與 Prop. 2 的單調聚合不可逃逸結果）、§5.1 + 表 1（核心結果 0.716→0.938±0.016，對比 0.209→0.202±0.005，差距 0.735±0.011，最佳化後 FPR 0.906；能力相依性；oracle 獎勵控制；忽略格式檢查）、表 2（跨家族／跨規模遷移與 MIN 集成）、§5.2 + 圖 2（先承諾將 0.719 降至 0.012、盲解區辨力 0.96、去錨定訓練獎勵的零偽陽性結果）、§5.3 + 表 5–6（Best-of-N gap@16 0.588；嚴格／寬鬆指令下的變化；解除錨定的能力門檻）、§5.4 + 圖 3（Gemma-3-12B 策略、三個遭誘導種子與兩個配對乾淨對照）、附錄 C.1–C.3（φ = 0.29–0.38，581 對比約 497 個一致接受，跨家族程式碼評審）、§7（限制）。

• **表格已核實。**表 1–3 已在納入資料時，逐格與獨立的 pdftotext 擷取結果比對；原始 Markdown 解析完全一致，無欄位合併或錯位。表 4–6 未納入該次核對，但與相應正文數值完全一致；表 7 攤平的雙列標題是跨欄標題造成的格式結果（六個數值欄仍與六個子標題相符），§5.4 正文也列出相同數值，因此本文引用正文數值。

• **依雙重檢查規則閱讀圖表頁面影像。**圖 2 提供本文解法表所引用的四柱比較，包括「可見／獨立？」標註列，明確支持「可見性不是關鍵變數」的主張，以及 0.07 的獨立性上限線。圖 1a 證實五輪軌跡——注意其準確率線約在 0.30，因為這是較容易的 n = 128 稽核子集（基準為 0.305），並非核心結果中的完整測試集 0.209。

• LLM Judges Can Be Too Generous When There Is No Reference Answer — Chalamalasetti Kranti 與 Sowmya Vajjala（U. Potsdam / NRC Canada，arXiv 2607.12885，2026-07-14），empirical。§3（兩階段流程：擷取→判決；C1/C2 校準；NR/RV/RC 敏感度）、§4（設定：TyDiQA + MATA、4 個生成器 × 3 個評審、零樣本 temp 0、Inspect）、§5.1 + 圖 4（校準；EN/AR 的 CGP 為 79–96；泰盧固文 MATA 上 Gemma3-27B 的 C2≈60% / CGP 33）、§5.2 + 表 1（NR→RV 翻轉 0.09–0.85、RV→RC 0.01–0.24；Q3/Q3 泰盧固文 NR 0.96→RV 0.11、翻轉率 0.85；NR→RC 為 EN 0.29–0.37 / AR 0.36–0.60 / TE 0.69–0.85）、圖 5（翻轉方向；NR→RV 主要是過度給分，RV→RC 中 I→C 占 30–70%）、圖 6（擷取答案與判決穩定性；泰盧固文即使擷取答案相同，判決仍翻轉）、§5.3 + 表 2（人工一致性；NR→RV 提升：Gemma 0.34→0.85 / Qwen 0.42→0.90 / Gemini-FL 0.74→0.96；最高 0.98；標註者間 κ 0.96–0.99）。

• Why do models task game? — Singh、Nanda 與 Rajamanoharan，LessWrong / Alignment Forum，2026-08-06（empirical）：由模型自撰產物的案例（偽造猜測記錄 26/45，欺騙性提交摘要 46/50），作為模型側的類比：評審若以候選答案為條件也會出現同樣問題。完整討論見任務取巧。