Automated Failure Attribution

資料來源#

• An Actionable Diagnosis of Multilingual, Multi-Agent Planning Failures
• Locating Hidden Failures Makes Long-Horizon Agents More Reliable
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents
• Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?

摘要#

自動化失敗歸因是指讀取一段以失敗告終的代理程式軌跡，並回答三個問題：誰（哪個代理程式做出了關鍵行動）、何時（哪個步驟），以及為什麼（哪種失敗模式）。它是本知識庫中每個「我們會從軌跡中除錯」說法所假設已具備的能力，也是自我演進代理程式迴圈的重要回饋訊號——整件事的關鍵在於，只有知道該改什麼，失敗才會成為可採取行動的依據。

Liu、Xi、Zhang 等人（Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?，Penn State / AG2ai / MBZUAI / Oregon State / Mathos AI，arXiv 2607.09996，2026-07-10，empirical）建立了此任務中規模最大的語料——12,326 條失敗軌跡、26 個基準、15 種代理程式框架、9 類任務、18 種錯誤模式、3 種模態（文字、影像、影片）；軌跡平均長 7.5 個步驟、含 1,139 個字，最長 50 步——並以問題「LLMs 真的能為 AI Agents 中的失敗歸因嗎？」作為論文標題。

測得的答案是：大多不行，而且「不行」的具體樣貌比標題更重要。十種前沿模型，在文字資料中各指標最佳者如下：

指標	問題	最佳（文字）	10 個模型的範圍
Agent	哪個代理程式該負責（僅 MAS 軌跡）	57.5 (Qwen3.5-122B)	48.4 – 57.5
Step	關鍵步驟的完全匹配索引	73.9 (Qwen3.5-122B)	63.9 – 73.9
Error	18 種失敗模式的 macro-F1	22.2 (GLM-5)	10.8 – 22.2
Joint	同一條軌跡的三項皆正確	25.3 (GLM-5)	16.2 – 25.3

作為參考，人類評審小組對照並確認了流程本身的標籤，步驟／代理程式／錯誤三項分別達 94.0 / 90.0 / 90.0，Fleiss κ = 0.73，且只有 2.0% 的軌跡被判定為沒有明確的關鍵錯誤。因此，問題不在標籤。

沒有任何單一模型全面領先：Qwen3.5-122B 在代理程式與步驟指標領先，GPT-5.4 是封閉模型中步驟指標最強者（72.3），GLM-5 則在錯誤模式 F1 和聯合準確率勝出。論文認為，歸因「考驗的是一種根本不同於一般知識問答或指令遵循的能力」——跨模型表現平坦的分布支持這一點：在文字步驟準確率上，最佳與最差模型相差 10 個百分點；這些封閉／開放權重前沿模型在一般推理基準上的差異遠大於此。

為何標籤可信：在暖啟動的成功軌跡中注入錯誤#

這套方法是論文的另一項貢獻，也是我們能將上述數字解讀為能力測量、而非標籤品質產物的理由。

先前的注入式基準會從頭重跑任務，並在新一次的執行中注入錯誤。由於 LLM 生成具有非確定性，新一輪執行會在注入點之前就偏離原軌跡，因此關鍵步驟標籤只是近似值。WHO&WHEN PRO 改採暖啟動：取一條成功的軌跡，透過真正的框架流程（工具解析、程式碼執行、環境互動）重播步驟 (a₁ … a_{t−1})，重建上下文與環境狀態；接著替換成單一遭竄改的行動 ã_t，再讓原系統從 t+1 起自行執行。

由於注入錯誤是唯一使成功軌跡轉為失敗的受控變更，因此任務最終失敗可精確歸因於注入錯誤的代理程式與步驟。

還原 ã_t 就會恢復成功的種子軌跡；因此，依照 Zhang 等人對關鍵錯誤的定義（修正後能使失敗轉為成功的最早索引），t 必然是關鍵步驟。值得借鑑的配套機制：靜態工具呼叫（網路搜尋、頁面擷取）會由種子資料收集期間建立的內容定址快取提供服務，確保重播時觀察結果逐位元相同；像即時瀏覽器工作階段這類有狀態的環境，則會執行行動層級的保真檢查，一旦發生偏差便中止嘗試。注入行動分兩階段建立——先由前沿模型根據種子上下文撰寫自適應注入提示，再將提示修補至代理程式自己的模型呼叫，使基礎代理程式以自己的風格產生錯誤。若軌跡洩漏建構過程的痕跡，或正確答案在步驟 t 之前已十分明顯，就會被篩除。

分類系統由人類撰寫，而非合成產生：具博士學位的審查者按（代理程式、基準）配對檢視自然發生的失敗軌跡，並以這些失敗模式的分布限制生成器在各處可注入的錯誤。人類定義標籤空間，自動化只負責填入標籤。

這對閱讀以下內容的影響。 每條軌跡都是在原本已知成功的執行中注入單一錯誤，而且保證存在唯一的關鍵步驟。這是最簡單的可能歸因情境——自然發生的失敗往往有多個互相作用的原因，不保證存在單一能翻轉結果的步驟，也沒有已知正確的後續部分。2026-08-13 補充最後一點：若某個失敗軸向的配對案例中有一邊成功，自然發生的失敗也會免費帶有已知正確的後續部分，而下文的多語言規劃來源正是以這種篩選方式建立。因此，測得的準確率最好視為真實事後除錯能力的上限，而非下限。

三個難度軸#

軌跡長度影響最大。 步驟準確率從 少於 3K 個 token 的軌跡上 94%，降至 超過 12K 個 token 的軌跡上 50%，十種模型皆如此。降幅最大的是 3–6K 與 6–12K 兩組之間——「大致是軌跡從單次工具呼叫轉向交錯觀察的多步序列之處」。論文提出的機制很有參考價值：錯誤周圍累積的正確步驟愈多，要孤立出關鍵錯誤就愈困難。 這是在完全沒有檢索、所有內容都在上下文視窗內的任務上，觀察到的長度退化（Context Window Smart Zone）。

模態對定位與診斷的影響方向相反。 文字的步驟準確率最高（平均約 69%），影像與影片則較低；錯誤模式分類的趨勢相反，從文字的約 17% 升至影片的約 37%，因為「視覺與行為線索提供了純文字軌跡所沒有的診斷訊號」。以往每一項失敗歸因基準都是純文字；這種基準會完全掩蓋難度分布。另有一個尚無解釋、值得記錄但不宜延伸推論的模式：影片中的 Agent 欄位比文字高出 20–30 個百分點（70.1–85.1，對比 48.4–57.5），論文沒有提出解釋機制。

定位雖粗略，但並非隨機。 在放寬容許範圍後，Step@0 → Step@1 的增幅很大（文字 +13.9 個百分點、影像 +16.9 個百分點、影片 +28.1 個百分點），而 Step@1 → Step@2 的增幅較小（+4.4 / +6.0 / +2.6）。模型「不是找對範圍，就是完全找錯」。因此，約 86–88% 的文字軌跡可定位到誤差在一步以內，雖然完全精確的僅約 74%——可用來縮小分流範圍，但不能當作真值。

真正威脅多代理程式除錯的發現#

錯誤模式的混淆並非平均分布。感知、推理與行動錯誤都能可靠辨識——它們會在觀察或工具呼叫中留下明確特徵。規劃、驗證與協調錯誤則一再被重新標記為推理錯誤；在多模態軌跡中，超過一半的非推理錯誤都被吸收到推理標籤裡。人類修正矩陣中也出現了相同方向的離對角線分布，只是程度較弱。

論文明確陳述的機制，也適用於這個基準之外：

這些失敗在軌跡早期發生，卻會一路傳遞至後續步驟，等到顯現時便產生看似推理失誤的症狀。……現有模型依據最顯著的症狀分類，而不是沿著因果鏈回溯至關鍵步驟。

無效的計畫會產生一連串個別看似合理、實則方向錯誤的步驟。跳過驗證則會讓早期錯誤持續累積。兩種情況中，失敗發生當下的局部證據都像是推理不佳，而根本原因則在更前面的步驟。

對任何由協調代理程式構成的系統而言，這代表：**只有建立多代理程式系統後才會出現的失敗類型——委派與協調錯誤、溝通失敗、過度依賴另一個代理程式的修訂——正是自動歸因器無法命名的類型。**它會回報「推理錯誤」，並指向下游步驟。依據這份事後分析採取行動的團隊，會被引導去「使用更強的模型」，但真正需要修正的是協調機制。18 種模式的分類精細到六大類（感知 2 種、推理 4 種、規劃 2 種、行動 5 種、驗證 2 種、協調 3 種），正是為了讓這些差異能被表達——分類器卻仍將它們混為一談。

一次讀完整段軌跡#

在分層抽樣的 1,444 條子集中，比較三種協定：

• 一次讀完——在單一提示中輸入完整軌跡，聯合預測代理程式／步驟／模式。
• 逐步閱讀——依序閱讀，在首個被認定為關鍵的步驟處停止。
• 二分搜尋——遞迴切分軌跡以定位錯誤。

一次讀完在步驟準確率上比逐步閱讀高 7.6 個百分點（十種模型平均為 63.2 對 55.6），且在十種模型中有八種取得最高聯合準確率。逐步閱讀的具體缺陷是過早定案：其預測距離分布系統性偏向真實錯誤之前的步驟，因為逐步讀取的模型會「鎖定第一個可疑步驟，看到後續上下文後也無法修正」。二分搜尋的偏差方向較小，但精確度同樣不足——切片會移除判斷該片段所需的上下文。

這與錯誤混淆的結果形狀相同。歸因是對因果鏈的全域判斷；任何在前綴或片段上局部進行判斷的協定，表現都會下降。而且這也是較便宜的答案：在三種模態中，一次讀完都位於 Pareto 前緣；Qwen3.5-122B 的文字準確率最高，成本僅為 GPT-5.4 的七分之一，Gemma 4 則在影片上領先。逐步協定沒有成本上的優勢。

告訴評審答案，反而讓診斷更差#

這個違反直覺的結果，也是最值得延伸應用的發現。把任務的真實答案（w/ G）提供給歸因評審——模擬可取得結果回饋的驗證器輔助迴圈——會改善感知錯誤的歸因，並使推理錯誤的歸因退步或停滯，而且在所有任務領域與框架中皆如此。

論文將其解釋為結果與過程的差異。感知錯誤（OCR 不佳、看錯圖表）沒有參照答案就難以核對，因此 G 能補上真正缺少的資訊。推理錯誤則留下可追溯的邏輯鏈，而 G「會誘使評審跳過過程，改用答案比對走捷徑」。兩個配對案例直接展示了這種機制：

• 一次 smolagents 執行取得了正確的 Pokémon TCG Pocket 發行日期，接著卻將「推出」重新解讀為週年紀念內容。沒有 G 時，GPT-5.4 和 Claude Sonnet 4.6 都會追查執行過程，並正確判定為任務理解錯誤。提供 G = 2024-10-30 後，兩者都注意到代理程式「已經取得正確的發行日期」，改判為推理錯誤，卻沒發現代理程式回答了另一個問題。
• 一段 4 步驟的影像軌跡中，代理程式無視畫面上可見的 GENTLE MONSTER 品牌，捏造出「Ray-Ban Meta 智慧眼鏡」的說法，之後又自行修正成錯誤的系列。沒有 G 時，Claude Sonnet 4.6 和 Gemini 3 Flash 都會將第 2 步的幻覺標記為關鍵錯誤。提供 G 後，兩者都略過第 2 步，把下游的系列混淆診斷為推理錯誤。「正確日期讓它很容易核對哪個日期錯了，卻把注意力從推理最初出錯之處移開。」

更多結果訊號會讓評審更擅長驗證結果，卻更不擅長驗證過程。這直接提醒任何自我改善迴圈：別以為將標準答案餵給自己的事後分析步驟，資訊愈多就一定愈好。

一項不易察覺的架構前提#

實作附錄中藏著一項資訊：基礎代理程式模型是 GPT-4.1 和 Gemini 3 Flash；選擇 GPT-4.1 是因為「它的推理鏈可解讀且未加密，這對逐步失敗歸因不可或缺，因為歸因評審必須閱讀中間推理，才能定位關鍵錯誤」。

歸因能力有一項硬性依賴：軌跡必須可讀。前沿部署每多一步摘要、加密或捨棄推理軌跡，就會移除這項任務所需的證據；而這項基準的數字是在可讀的情境下測得。

一種不用評審來判斷「何時」的工具——以及它所需的輸入#

以上每個數字都是由評審閱讀軌跡得出。還有另一種定位關鍵步驟的方法，來自 RL，而非評估領域。TRACE（Tao 等人，UW–Madison + Microsoft Research，arXiv 2607.13988，2026-07-15，empirical）會根據凍結的參考模型對黃金答案的可預測程度，為每段軌跡前綴評分；將其轉換成「已彌補初始落差的比例」，再由相鄰差值讀出每個回合的信用分配。它原本是為了提供密集獎勵而建立，但同一組數值也可用於測量：將 answer-secured prefix 定義為 V ≥ −0.3，就能直接以數值找出關鍵回合。在五條成功軌跡中，一次工具呼叫就彌補大部分落差（信用分配序列例如 [+6.39, +0.59, +0.10, +0.05]）；在五條失敗軌跡中，軌跡先抵達 answer-secured prefix，接著在一次診斷性工具呼叫後失去它。不需要評審、不需要解讀推理，也不需要 18 類分類——每個回合只需一個純量。

**它的前提恰好是本頁任務所欠缺的。**這個探測方法定義上就以黃金答案為條件；訓練時可以取得，但在真實環境中除錯失敗時並不存在。因此，它不是更便宜的評審，而是以更強的輸入處理較簡單的問題；兩者用途不同：依黃金答案條件化的信用訊號用於訓練迴圈，事後歸因則處理其餘下游工作。這項比較仍值得記住，原因有二。它再次體現了本頁反覆出現的模式——能計數的地方就計數，只有無法計數時才求助於評審——與 FCAR = MER × ECAR 中可計數的階段界線和確定性的 L0–L3 探測點並列。它也引出下文可讀性問題的另一種變體：對數機率探測器能根據觀察結果對答案可預測性的影響，定位關鍵回合，完全不讀取代理程式的推理；這正是前沿部署正在移除的證據。目前沒有人在未標記的軌跡上將此方法用作歸因；若沒有黃金答案，也不清楚該以什麼取代條件化目標。

一組採集而非注入的失敗資料——以及讓問題懸而未決的慣例#

以上每個數字都建立在人為放入的失敗之上。Pahuja、Brokman、Hofman 等人（An Actionable Diagnosis of Multilingual, Multi-Agent Planning Failures，Fujitsu Research of Europe / Cohere / Fujitsu Research，arXiv 2608.03735，2026-08-04，empirical）是本語料中第一個失敗資料集透過採集而非合成建立的來源；它入選的原因在於資料來源，而非研究主題——研究主題是多語言規劃；方法上的價值則在於沒有任何失敗是注入的。§3.2 用一句話說明抽樣規則：

計畫擷取：我們篩選開發代理程式在英文查詢上成功、但在非英文查詢上失敗的案例。

真實代理程式（Qwen2.5-32B-Instruct 和 Cohere Aya-Expanse-32B）在真實框架（HuggingFace 的 Open Deep Research）上執行真實的 GAIA 衍生任務。研究者逐一將 80 組失敗配對案例，對照成功的英文計畫與原始問題閱讀，直到達到飽和——新增樣本只會出現先前已觀察到的類別——由一位主要分析者判讀，再由三位研究者確認每項分類。衍生資料集刻意在模型與框架兩方面都與評估集不重疊，因此，後續展示增益的三個骨幹模型，以及其採用的框架，都沒有提供任何分類樣本。

**值得將這項抽樣規則與論文本身的框架分開看，因為它免費取得了本頁基準必須靠注入才能獲得的特性。**WHO&WHEN PRO 需要暖啟動的成功軌跡，才能藉由建構方式讓關鍵步驟成為黃金標準；這套篩選方式則從任務本身取得配對的已知正確執行——英文執行、相同代理程式、相同工具、相同問題。「介入」是更換語言；這是現實使用者會改變的變數，而非合成錯誤；診斷依據則是兩份計畫的差異。這是一種形狀如同注入式基準、卻不需建構軌跡的自然實驗；凡是配對案例有一邊成功的軸向，都可以套用這個技巧。

多重故障的部分沒有得到答案——而是被定義排除了#

上述資料來源問題分成兩部分，而這個來源只處理了第一部分。附錄 G 說明如何透過 LLM 評審，將分類擴展到 80 條人工閱讀的案例之外：

當單一代理程式計畫中發生多個失敗時，我們會指示評審標記單一主要類別，定義為對錯誤計畫影響最大的失敗。如此便能產生互斥的標記方式，與人工分析所採用的慣例一致，並避免回報各類別與各語言的分布時重複計數。

請留意最後一句：強制單一標籤的規定也適用於原始的人工衍生流程，而不只是自動擴大規模的步驟。因此，論文承認存在多重故障軌跡，接著卻假設有一個主要原因，並據此標記。所以，它既未主張也未證明自然發生的軌跡只有一個關鍵故障；人工驗證也驗證了不適用於此問題的項目，只檢查評審和標註者在已指派類別上的一致性（κ = 0.860，macro-F1 = 0.906），從未驗證「主要」原因是否為唯一原因。

這就是問題目前的真實狀態，而這項慣例本身就是一項發現：兩個獨立的研究計畫如今分別位於「關鍵步驟是否存在」問題的兩側，卻都沒有測量它——一方以建構方式保證存在，另一方則指示標註者產生它。這個領域迴避了問題，而非衡量它。唯一尚未執行、成本低廉的實驗，是加入多標籤組別：移除互斥標籤指示，重新評審同一批 2,689 條已標記的基準失敗案例（在三個骨幹模型上分別為 857 + 917 + 915），再與強制單一標籤的分布比較各類別占比。設定的其他部分完全不必更動，帶有兩種以上落地失敗的計畫比例便會直接得出。

被轉化為緩解措施的分類系統#

這個來源比本頁的 18 種模式分類多了一項：已證明有效的成果。可行性是建構限制，而非事後提出的主張——「為了讓類別具有可行動性，我們要求類別必須具體到能直接指引計畫的改善」——因此，五種類別（實體、來源、時間、操作、答案格式落地）各自代表計畫必須保留的一項語意承諾，且都對應到特定欄位。TART 就是這套對應方式：LLM 將查詢（不論語言，不翻譯、不作答）轉換成 JSON 物件，包含 entities、time_constraint、source_constraint、attachment_type、operations 和 answer_type，其值來自封閉詞彙表；接著再將物件注入規劃器、協調者與工作代理程式的系統提示詞中，而非只在規劃時使用一次。

在 GAIA-MAPS 上使用 OWL 工作團隊並凍結基礎模型後，GPT-5-mini 的平均 EM 在十一種語言中從 0.249 → 0.305（+5.6 個百分點），十一種語言中有十種進步（俄語是唯一例外，−0.006）：德語 +9.1、印地語 +9.7、阿拉伯語 +7.9、約魯巴語 +10.9、伊博語 +7.9。第二次獨立執行的平均增幅為 +4.7，TART 在 22 組「語言－執行」比較中有 20 組領先。Mistral-Large-3 在七語言子集上提升 +5.9（每種語言皆進步），Qwen3-VL-235B-A22B 提升 +3.6（七種語言中六種進步、一種不變、沒有退步）；在另一個使用三代理程式系統的資料集 MULTITAT 上，Mistral 提升 +10.0，Qwen 提升 +3.0。

值得轉移應用的重點不是增益有多大，而是整個迴圈確實完成了閉環。這裡的兩套分類系統都透過閱讀真實軌跡建立，深度皆約六種類別；差別在於其中一套被要求必須具體到能指引修正，而且後續確實建立並測量了修正方案。因此，「可行動」成了一項可證偽的特性，而非摘要中的形容詞——18 種模式的分類從未接受過這項標準檢驗，其模式只根據可分類性評分，卻沒有用來修復任何問題。

增益從何而來，以及其中可能只是完全匹配的遵循#

消融實驗是關鍵表格，而且結果與標題主張相反。五種語言的累積表現：只有表層限制（實體、時間、來源）時為 0.233 → 加入 operations 欄位後為 0.256（+2.3）→ 使用完整表示法後為 0.287（+3.1），總增幅 +5.4。兩段增益中較大的是最後一段，只新增了 attachment_type 與 answer_type；論文未進一步拆解這兩個欄位的個別貢獻。

這很重要，因為答案格式落地的定義是計畫實質上正確、但輸出形式錯誤的案例（「預期輸出為 116，結果卻呈現為 116000」）；在 GPT-5-mini 的 857 個基準失敗案例中有 159 個屬於此類，占 18.6%，是分類系統涵蓋的第二大類別，僅次於操作落地的 206 個。完全匹配會將這些案例全數計為零。因此，在以 EM 衡量的分類引導增益中，有多少比例來自表示法告訴答案代理程式該輸出何種格式，而非規劃器更準確地落地使用者需求，目前並不清楚，而且占比可能很大。增益方向與跨模型的一致性仍然成立；但將 +5.6 解讀為規劃能力恢復的說法則站不住腳，論文沒有任何組別能將兩者區分開來。

平台期：修正計畫無法撐過漫長流程#

三個骨幹模型的平均值顯示，TART 在 Level 1 提升 +9.0，Level 2 提升 +5.0，Level 3 則提升 0——論文進一步執行了恰當的診斷，而非將結果當作雜訊帶過。直覺上可能會認為 Level 3 可修正的規劃失敗較少，但評審本身的統計否定了這個說法：分類系統涵蓋的失敗占比在 Level 2 和 Level 3 都固定為 55.2%（Level 1 為 60.4%）。真正改變的是任務本身的長度，取自 GAIA 的英文真值標註：參考解答步驟數從 5.48 小幅上升至 7.48，接著幾乎倍增至 13.00；所需工具數則從 1.58 升至 2.55，再升至 3.38。值得採納的解讀是論文所提出的觀察——即使修正了初始落地失敗，且協調者與工作代理程式仍能查看限制，「較長的下游執行鏈依然會提供更多獨立機會，讓檢索、工具使用或推理錯誤發生」。

將此結果與本頁測量最明確的軸向相對照：歸因準確率會隨軌跡長度增加而降低（少於 3K 個 token 時為 94%，超過 12K 時降至 50%）。**同一個變數會讓迴圈的兩端都退化。**軌跡愈長，診斷愈差；根據診斷採取行動的效益也愈低——因此，最需要事後分析的情境，恰好也是建議修正最沒有效果的情境。兩篇論文都沒有將這兩者連結起來；把它們放在一起看，才是有用的結論。

梯度，以及可能造成梯度的兩種因素#

論文最主要的診斷主張是資源梯度：在七種接受評審的語言中，Common Crawl 占比愈低（英文為 40.58%，伊博語為 0.0012%；完整的十一語言組以尼揚賈語最低，為 0.0008%，比英文低五個數量級），分類系統涵蓋的失敗所占比例便愈高，而殘餘的 Other 類別則縮小；操作落地成為每個模型占比最大的單一類別（跨語言彙總後，GPT-5-mini / Mistral / Qwen 分別為失敗總數的 24.0% / 36.5% / 30.2%）。趨勢方向明確，在三個模型家族中一致，也能從各語言的失敗占比圓餅圖看出。兩項混淆因素限制了這項主張，而論文只部分承認了這兩者。

評審的驗證採用的分層軸向錯了。主張依據的是語言間的差異；人類研究報告的卻是類別間的一致性——實體 94.4%、來源 100%、時間 100%、操作 83.3%、答案格式 85.7%、Other 88.2%，在 117 次關鍵驗證中的整體一致率為 88.9%。論文完全沒有報告各語言的一致率，而且其「限制」部分也承認，「評審校準可能因語言、模型與失敗類別而異。」更嚴重的是，一致率最低的兩個類別是操作（83.3%）和答案格式（85.7%）——恰好是梯度中占比變化最大的兩類，且變動方向相反。即使代理程式行為完全沒有變化，只要評審校準隨語言漂移，就足以產生這種梯度；論文中沒有任何內容能區分這兩種可能性。已知評審在這些語言中的可靠性確實會下降（Reference-Free Judge Over-Crediting），所以缺少語言分層結果，正是本研究需要的特定檢驗。

十一種語言中有六種是機器翻譯，而且分類系統的衍生樣本也來自同樣六種語言。作者透過 Google Cloud Translation 新增了孟加拉語、斯瓦希里語、吉爾吉斯語、伊博語、約魯巴語和尼揚賈語；分類系統的 80 個樣本則涵蓋伊博語、約魯巴語、孟加拉語、斯瓦希里語、吉爾吉斯語和尼揚賈語——完全相同的一組語言。因此，失敗本身自然發生，但導致失敗的輸入並非自然撰寫；而在這些語言中增幅最大的類別實體落地，正是難以與機器翻譯產生的偏差區分的類別（英文只有 1–2 個失敗案例，約魯巴語與伊博語則有 22–32 個）。基準系統與 TART 接收完全相同的翻譯，因此不會影響論文內部的比較；但這限制了診斷主張的適用範圍。論文沒有宣稱的一項部分緩解因素是：評審的 other 規則明確涵蓋「目標語言查詢意圖、實體、來源與英文查詢不同」的情況，錯譯實體理應歸入此類——但 other 恰好是在這些語言中大幅縮減的類別；因此，不是這條規則很少觸發，就是機器翻譯造成的損害很少，現有資料無法判斷是哪一種。

第二個自然失敗語料，以及它量化出的定位落差#

上述多語言規劃來源已回答下方未解問題中關於資料來源的部分——自然發生的失敗可透過採集取得，不必注入。Rahman、Kim、Parmar 等人（Locating Hidden Failures Makes Long-Horizon Agents More Reliable，Google Research/DeepMind + UCLA/NYU，arXiv 2609.17930，2026-09-15，empirical）則建立了規模大得多的第二個自然失敗語料，處理定位的部分——辨識第一個錯誤，而非指派類別——並量化了本頁標題中的數字只能界定範圍、無法直接量出的落差。在他們經人工驗證、收錄自然發生長時程失敗的基準 Traverse（SWE-bench、TerminalBench、BixBench）上，六個前沿評審中表現最佳者，在 SWE-bench 執行中僅 26.8% 能精確定位第一個錯誤，在 TerminalBench 執行中則為 32.3%；相較之下，WHO&WHEN PRO 在相同底層任務家族（代理程式程式設計）上達 73.9%，而注入設計保證關鍵步驟唯一。兩個程式設計領域中，沒有任何前沿評審的準確率超過三分之一；開放權重評審的表現不比專有評審好；軌跡愈長，準確率也愈低（短篇代理程式科學執行的完全匹配率為 94%，長篇軟體工程執行則至多 26.8%）。

有兩項原因使這項研究仍未完全解決自然失敗來源的未解問題，而只是回答了定位部分。第一，這不是受控比較——注入與自然失敗的比較中，沒有固定相同的評審、基準與任務；約 47 個百分點的差距（73.9% 對 26.8%），除了資料來源之外，也混合了語料、軌跡長度分布與分類系統的差異。第二，Traverse 本身的建構方式會剔除「格式錯誤或缺失」的軌跡，並挑選出可標記第一個錯誤的案例；因此，與 WHO&WHEN PRO 相同、又與多語言規劃來源的強制單一類別慣例不同，仍不清楚有多少「失敗」軌跡其實是由多重原因造成的分散型失敗，而非單一關鍵步驟。該論文另指出，43% 任務失敗的執行根本沒有單一可定位的第一個錯誤（這是依任務結果形成的 2×2 區分，不是 Traverse 基準統計），直接但間接地證實，本頁未解問題所指的多重故障案例在實際情境中很常見——詳情請見 Long-Horizon Agent Failure Signature。

這項研究明確補上了一點：所有評審都呈現出本頁 w/ G 結果及語料較廣泛的偏差發現所預期的過度／不足標記不對稱——GPT-5.5 會過度標記失敗執行（SWE-bench 上的召回率／精確率為 82.0% / 60.9%），Claude Opus 4.6 則標記不足（精確率／召回率為 66.0% / 31.7%，漏掉三分之二的真實失敗）——其形狀與 Stopping Under a Noisy Verifier 以 Ā = ρ₀ + J·Q 計價的模式相同。以這些標註訓練的 4B 驗證器 Scout 在相同任務上勝過六個前沿評審，且能遷移至未見過的領域；這直接以否定方式回答本頁「歸因能力是否取決於規模？」的問題，而且出自另一篇專門測量定位落差的相關論文。完整討論請見 Long-Horizon Agent Failure Signature。

相關連結#

• Zero Trust for AI Agents — **這些數字衡量的是安全議題，而不只是可靠性議題。**五層邊界隔離圖中的代理程式間防禦，仰賴歸因能力——「不只是多代理程式系統是否失敗，而是哪些代理程式、哪則訊息、哪個步驟」，因為沒有診斷就很難遏止問題。這篇文章提供了該調查尚缺的測量：能辨識責任代理程式的比例為 48–58%，能共同辨識的比例為 16–25%；而多代理程式系統才會出現的協調與驗證錯誤，正是被系統性歸入「推理錯誤」的部分。有人提議以歸因作為遏止措施的觸發門檻，但目前的能力最常漏掉的，正是多代理程式特有的失敗（hub）
• Failures That Look Like Success — 這篇文章回答了該文偵測問題的下一步。該文主張，對付無聲失敗的解方是逐步追跡評分，而不是快速瀏覽輸出；本文則測量：在可取得的最有利條件下——注入一個錯誤、其餘執行過程已知良好，且保證存在唯一的決定性步驟——交給能力良好的 LLM 閱讀追跡後，能正確找出完整三項資訊的比例為 16–25%。逐步追跡審查仍是正確的方向；將其自動化還不是已解決的子問題
• Layerwise Omission Attribution — 用的是同一個詞，探討的卻是正交軸向，兩者也能互補。Rajan 將失敗歸因於事實在管線中的哪個位置消失（九層，其中四層是可透過 canary diff 計數的確定性軟體，無須裁判）；本文則歸因於行為軌跡中的哪個代理程式和哪個步驟。兩者都在同一處找到誠實的界線：能以機械方式檢查的，就能精確檢查；需要解讀意圖的地方，準確度便會崩落。Rajan 的 L0–L3 探針完全不需要模型；本文的任務在該分類法中完全屬於 L4–L8，而 22% 的錯誤模式 F1，大致就是沒有檢查點可供比對的代價。兩者也補足了彼此缺少的部分——canary 探針會指出事實在 L1 消失，卻不會指出是哪個代理程式的決策導致工具以那種方式被呼叫；決定性步驟標籤會指出哪個動作造成問題，卻不會說明負載是否曾送達。2026-08-13 擴充：下方的多語言規劃來源補上了該文九層分類沒有涵蓋的位置——從請求到計畫的邊界，在此承諾可能在每個位元都完整無缺的情況下消失；其具型別的任務表示就是預防性執行的 canary 協定，而免費且不需裁判的測量（將計畫與擷取出的欄位比對）卻始終未做
• Stopping Under a Noisy Verifier — 同一個信任問題，但往上一層，並且帶有係數。Wu 等人衡量的是雜訊接受訊號（Ā = ρ₀ + J·Q，因此低 J 裁判的通過率主要反映其自身的誤接受率）；本文衡量的是雜訊診斷訊號，其相應缺陷不是判錯一個位元，而是提出一個聽來合理、論述自信卻錯誤的原因。兩處直接相連：w/ G 的結果，就是該文四參數模型所忽略、如今經過測量的流程與結果驗證之分；兩篇文章也都得到同一個反直覺結果——增加顯然有益的輸入（該文增加修復輪次，本文增加真值訊號），反而會讓結果變差
• Parallel Agent Orchestration — 本文為其中的除錯問題提供了數字。文字型多代理程式追跡中的代理程式層級辨識率為 48.4–57.5%，而超過 12K tokens 後，步驟準確度會減半；64 代理程式的專案或 5 個代理程式並行的工作流程，正處於這個規模。協調錯誤也正是最常被重新標記為推理錯誤的類型
• Multi-Agent Collective Intelligence — 集體系統的診斷成本。如果集體系統的優勢必須經由實證確認，那麼用來追問執行為何失敗的工具，會錯誤歸因那些正是集體系統有別於單一代理程式的協調特有失敗，讓任何以失敗為導向的反覆改進都偏向模型選擇，而非組織方式
• LLM-as-a-Judge — 歸因就是把裁判範式用在軌跡而不是輸出上，也是知識庫中最困難的案例：不是「這樣好不好？」，而是「50 個步驟中的哪一步、15 個代理程式中的哪一個、18 種模式中的哪一種」。w/ G 的結果是最值得借鑑的警示——在裁判提示中加入參考答案通常是免費的改善，但在此卻使工作中的流程追蹤部分變差
• LLM-Judge Validation — 這項基準實際採用的驗證做法相當少見：三位獨立標註者、多數決、經機率校正的 Fleiss κ = 0.73（而非原始一致率）、明確提供「沒有明確決定性錯誤」的退出選項（2.0%），以及公開的轉移矩陣，顯示標註者在哪些類別間移動標籤。這與 MVVP 對標籤品質而非裁判品質的建議相當接近；差異在於，人類小組是核可管線產生的標籤，模型則是從頭預測，因此 94 對 74 的比較並非同等條件下的人類上限。2026-08-13 擴充：多語言規劃來源也採用核可而非預測的設計（標註者會看到裁判的輸入和判決，再驗證指定的類別），讓兩個案例構成一種模式而非偶然；它也補上了 MVVP 沒有處理的缺陷——驗證依類別分層，卻用來支持會因語言而異的主張
• Deterministic Pre-Execution Gates — 同一類失敗，但在事前而非事後處理，兩者對照鮮明。對擬議工具呼叫套用唯讀述詞，一旦觸發，就能確定違反了哪個前置條件、涉及哪個步驟與哪個代理程式，不需推論；對同一類失敗進行事後 LLM 歸因，三項全對的比例大約只有每四條追跡中的一條。兩篇文章從相反方向得出相同結論——在邊界執行比事後診斷更有效，而投資閘門的理由之一，正是事後檢討能力如此薄弱
• Turn-Level Credit Assignment — 同一個「哪一輪最關鍵」問題，但用純量而非裁判回答：凍結模型在標準答案上的對數機率，逐一計算各工具邊界前後的差值，決定性回合便會以數值呈現。這不能取代歸因——它需要標準答案，而事後歸因從未取得這項資訊
• Reference-Free Judge Over-Crediting — 這正是上述多語言梯度需要語言別一致率、卻尚未具備的原因。該文測量一個裁判在資源豐富的語言中看似校準良好，對同一項任務卻不適用於資源稀少的語言（C1/C2 校準差距在英文和阿拉伯文為 79–96，在泰盧固文則崩至 33；有一個裁判會接受約 60% 的已知錯誤答案），而參考答案敏感度會隨資源稀缺程度單調上升（NR→RC 翻轉率：英文 0.29–0.37、阿拉伯文 0.36–0.60、泰盧固文 0.69–0.85）。有兩個可互相印證之處。梯度結果來自 Claude Opus 4.8 裁判，涵蓋多種語言，直到 Common Crawl 佔比僅 0.0008% 的 Nyanja；驗證依類別進行，從未依語言進行——而後者正是區分代理程式效應與裁判效應所需的分層方式。另一個關聯則擴大了問題範圍：該文衡量的是有標準答案可用時的正確性判斷崩落；本文的裁判執行的是類別指派，提示中同時含有英文參考查詢與真值答案，因此資源稀少造成的退化是否會從評分延伸到分類，兩篇文章都尚未測試
• Verification as the New Bottleneck — 瓶頸已延伸至接受或拒絕之外。判斷一次執行是否失敗是較容易的一半；判斷應該改什麼是另一項能力，也有其各自測得的上限，而知識庫一貫給出的答案（「讀取追跡」），正是本文評分的操作
• Production-Sourced Evaluation — 方法上的對照。這份語料是把錯誤注入成功的執行中合成而來，因此能以 12,326 筆的規模取得黃金標籤；代價是其失敗分布是設計出來的，而非觀察而得，所以無法說明實際生產環境中會出什麼問題、頻率又有多高
• Deep Research Agents — 同樣以注入方式取得黃金標籤，進而「免費」獲得歸因能力；也有值得了解的反例。MisKnow-Agent（arXiv 2607.20891，empirical）會在深度研究執行中注入一份誤導性文件，並將後續失敗分解為 FCAR = MER × ECAR——文件是否被檢索到，以及看到該文件的報告是否採納了它。這是精確等式，因為未看到該文件的任務絕不可能採納它。透過兩個計數器即可完成階段層級歸因，不涉及裁判；它也把三種不同原因分別歸入三個骨幹模型，解釋同一個 12 點的框架差距。這與本文的教訓相互呼應：管線若有可計數的階段邊界，就直接計數；事後 LLM 歸因則留給沒有階段邊界的軌跡。兩篇文章也從相反方向發現同一種「具備能力卻未能在適當時機啟用」的情況——前者中，同一批在工作流程中採納誤導文件的模型，拿到單獨文件時一致判斷它有誤導性；本文中，把標準答案交給裁判，反而讓它的流程診斷更差。兩種情況下，模型都具備所需資訊，只是 harness 沒能在適當位置提供
• Long-Horizon Agent Failure Signature — 自然發生失敗的姊妹研究：同樣定位第一個錯誤，但失敗是自然發生而非注入而來；相較於本文最佳注入語料數據，定位率相差約 47 個百分點（SWE-bench 上，Traverse 為 73.9%，本文為 26.8%），目前還無法從語料與長度的混淆因素中單獨分離出來。下方開放問題所引用的「43% 失敗執行屬於分散型」數據也來自該文；Scout 這個 4B 驗證器在定位任務上的表現，勝過所有前沿裁判，而本文所說的 WHO&WHEN PRO 能力仍幾乎未有突破
• Agent Epistemic Vigilance — 對本文發現被吸收到「推理錯誤」中的其中一種協調模式，進行了受控測量。在共享證據偏向錯誤選項的隱藏特徵任務中，四人小組選出隱藏最佳選項的比例為 17–36%，而單人上限接近 100%——因此「代理程式看到另一個答案後放棄自己的正確答案」是可重現的現象，不只是罕見的追跡瑕疵；而且在局部看來，它與一般推理完全相同，這正是錯誤重新分類會發生的原因

開放問題#

• 每條追跡都是在原本成功的執行中注入一個錯誤，因此保證存在唯一的決定性步驟。遇到具有多個交互作用原因、且沒有單一足以翻轉結果的步驟的自然失敗時，歸因準確度還能維持嗎——也就是誠實的答案往往是「三件事都差一點，第四件才讓它失敗」的情況？人類小組發現只有 2.0% 的追跡沒有明確的決定性錯誤，但那是構造方式的特性，不是代理程式失敗本身的特性。完成這項測量之前，73.9 / 25.3 仍是緊密程度未知的上限。2026-08-13 部分回答——只回答了資料蒐集部分，來源為 An Actionable Diagnosis of Multilingual, Multi-Agent Planning Failures（arXiv 2608.03735，empirical）。自然來源的部分如今已有資料支持，答案是可行：80 條失敗追跡以「開發代理程式能成功處理英文查詢，卻無法處理非英文查詢」為篩選條件；使用真實框架中的真實代理程式，處理真實的 GAIA 衍生任務，沒有注入故障；並且透過切換語言取得一條配對的已知良好執行，而非使用暖啟動。沒有單一決定性步驟的部分則完全沒有處理，而這種未處理本身就是發現：附錄 G 指示裁判「當單一代理程式計畫中發生多個失敗……標記一個主要類別」，並稱這「符合我們人工分析採用的慣例」；因此，多故障案例確實存在，卻在自動與人工分析兩個環節中都被標記掉。人工驗證涵蓋對指定類別的一致性（κ = 0.860），沒有驗證主要錯誤是否為唯一原因。於是問題範圍變得更明確、檢驗成本也更低，卻尚未解決：移除互斥指示，重新裁判已有標籤的 2,689 個基準失敗案例，並比較各類別佔比——在既有語料上加入多標籤分支，不需新增追跡，而且可直接得出多重故障計畫的比例。2026-09-24 擴充：Locating Hidden Failures Makes Long-Horizon Agents More Reliable：第三份獨立語料指出，43% 未能完成任務的執行，沒有單一可定位的第一個錯誤——這是依任務結果與是否可定位第一個錯誤形成的確定性 2×2 分組，並非由裁判指派標籤，因此避開了讓多語言規劃問題懸而未決的強制單一類別慣例。這是迄今最有力的佐證，表明多重原因失敗相當常見，而非罕見；但它仍未測量分散型案例的定位準確度——該文會個別描述這些案例，並依構造將它們排除在主要恢復與偵測統計之外。原始問題——歸因準確度能否應付分散、自然發生的多重原因失敗——如今已有四分之三的來源支持（兩份獨立語料都確認其普遍程度），而針對分散型案例的準確度仍是尚未解答的部分。
• 人類和模型從未在相同任務上接受評分。標註者會核可或修正提供的標籤（94.0 / 90.0 / 90.0，κ = 0.73）；模型則是從頭預測（73.9 / 57.5 / 22.2）。因此步驟差距約 20 個百分點，並非實際測得的人類上限，差距可能小得多，也可能大得多。**人類從頭對這些追跡進行歸因的準確度是多少？**利用現有語料加入盲測標註分組，就能以低成本驗證。
• 基礎代理程式是依據其未加密、可解讀的推理鏈來選擇，因為裁判必須閱讀中間推理，才能定位決定性步驟。前沿部署愈來愈常摘要、加密或丟棄這些推理鏈。若追跡中沒有決定性步驟的推理內容，歸因準確度還能維持多少——損失會集中在步驟指標，還是錯誤模式指標？如今即可透過移除推理內容或改以供應商摘要取代，重新執行基準測試來回答。

資料來源#

• Who&When Pro: Can LLMs Really Attribute Failures in AI Agents? — Jiale Liu、Huajun Xi、Shaokun Zhang、Yifan Zeng、Tianwei Yue、Chi Wang、Jian Kang、Qingyun Wu 與 Huazheng Wang（Penn State / AG2ai / MBZUAI / Oregon State / Mathos AI），WHO&WHEN PRO: Can LLMs Really Attribute Failures in AI Agents?，arXiv 2607.09996，2026-07-10，empirical，36 頁 / 11 張表 / 34 張圖。本文使用的章節：§1 與 §2.1（研究動機、先前所有基準測試的純文字限制、表 1 的比較）、§3（決定性錯誤的定義、暖啟動管線、注入步驟選擇、事後篩選、表 2 統計）、§3.5 + 表 3（人工審查）、§4.1–4.2 + 表 4（指標與主要結果；長度與模態分析引自圖 4 說明文字）、§4.3 + 表 6（協定比較）、§4.4（成本前緣）、§4.5 + 附錄 B（w/ G 分析與兩個配對案例研究）、附錄 C + 表 5（18 種模式的分類法）、附錄 D.4（Step@k）、附錄 F.2（基礎代理程式模型與未加密推理的要求）。
• **表格已核對。**表 2、表 3 與表 4 已對照 PDF 檢查，解析結果乾淨。表 6 以算術驗證，而非直接採信：整體測試與逐步測試的 Step 欄平均分別為 63.18 與 55.58，正好重現正文所述的 +7.6 個百分點；且如文中所述，十個模型中恰有八個在 Joint 指標上以整體測試居首（GPT-5.4 與二分搜尋並列，GLM-5 則由逐步測試勝出）。根據表格核對規則，正文或說明文字引用的數字才會採用。
• 解析警告。(1) ingest checker 對表 1 的 warn 是誤報——論文欄位標題確實是「# Benchmark」，與列標籤啟發式規則衝突；表 1 的所有數值都符合 PDF，可安全引用。(2)表 7（附錄 F.1，代理程式框架與基準測試的對照）確實發生合併與位移，但 checker 未發現；本文沒有引用任何以解析結果為準的表 7 內容。核實後的對照為 PixelCraft→ChartQAPro/CharXiv/EvoChart、Multi-Agent Debate→GPQA/MATH/MMLU-Pro/SciBench/MMMU-Pro、DyLAN→GPQA/SciBench、MacNet→BigCodeBench/HumanEval/LiveCodeBench-Pro、MetaGPT→BigCodeBench/LiveCodeBench-Pro、MathChat→MATH/MMLU-Pro/SciBench、Magentic-One→GAIA/SimpleQA-Verified、ALF-Agent→ALFWorld、EVA→LVBench。2026-09-07：已依 PDF 手動重建原始表格中的表 7，每列一種框架（共 15 列；四個 GUI 列 AgentOccam→WebVoyager、OpenAI CUA→OSWorld、CoAct→OSWorld、WebVoyager→WebVoyager 原本完整保留）；同日稍後也重建了表 5，詳見 (3)。(3)表 5（錯誤分類法）也有未被攔截的合併與位移——各類別的子列合併成一列，而類別標籤滑入 Description 欄；不過分類法可以還原，且正文確認了數據：六大類總計恰為文中所述的 18 種模式（感知 2、推理 4、規劃 2、動作 5、驗證 2、協調 3）。本文只使用類別與模式數量，不引用任何單列對應關係。2026-09-07：兩處都已依 PDF 修復原始資料——表 1 的兩層標題合併為單一標題列，使 # Benchmark 儲存格不再落入資料列；表 5 則重建為每列一種模式（18 列、六大類，並依頁面順序逐一核對所有模式名稱與說明）；verify.py 現在對原始資料回報 ok。
• 匯入時修復一筆書目資料（Højmark-Bertelsen）。
• An Actionable Diagnosis of Multilingual, Multi-Agent Planning Failures — Vikas Pahuja、Jonathan Brokman、Omer Hofman、Tamir Nizri、Daniel Vishna、Seraphina Goldfarb-Tarrant、Kelly Marchisio、Hisashi Kojima 與 Roman Vainshtein（Fujitsu Research of Europe / Cohere / Fujitsu Research），An Actionable Diagnosis of Multilingual, Multi-Agent Planning Failures，arXiv 2608.03735，2026-08-04，單一版本，empirical，22 頁 / 12 張表 / 7 張圖。本文使用的章節：§3.1（五種 grounding 失敗類別）、§3.2（計畫擷取篩選、飽和準則，以及刻意彼此分離的開發設定——Open Deep Research 中的 Qwen2.5-32B-Instruct 與 Cohere Aya-Expanse-32B，皆未用於量化實驗）、§3.3 + 附錄 B（TART 結構、封閉詞彙表，以及不翻譯／不回答／不擬定計畫的指示）、§4（OWL 設定、每種語言 165 項任務、固定由 o3-mini 擔任協調者與推理編碼代理程式）、§5（所有主要增益，引用正文數據）、§5.1（累積消融分析）、§5.2（資源梯度與操作 grounding 整體佔比）、附錄 E.2（Level-3 平台期診斷，表 6 與表 7）、附錄 G（強制採用單一主要類別的慣例、裁判模型——透過 AWS Bedrock 使用 Claude Opus 4.8、max_tokens 8192，且僅套用於基準測試中失敗的樣本——以及用來處理目標語言與英文查詢差異的 other 規則）、附錄 G.3 + 表 10（各類別筆數）、附錄 G.4 + 表 11（人工驗證）、附錄 H + 表 12（Common Crawl 佔比），以及限制。
• 利益衝突，且涉及兩個結構性面向。九位作者中有六位（Hofman、Brokman、Pahuja、Marchisio、Goldfarb-Tarrant、Vainshtein）也是GAIA-MAPS（Hofman 等人，EACL 2026 Findings）的作者；本文評估並以六種機器翻譯語言擴充的正是該基準測試，且未以外部方式檢查翻譯品質。另有兩位作者任職 Cohere，而其 Aya-Expanse-32B 是兩個推導模型之一——不過該模型只出現在依設計會被丟棄的開發集，三個受評估骨幹模型都不是 Cohere 的模型，因此影響有所緩解。兩項利益衝突都不影響論文內部比較，因為基準組與 TART 組使用完全相同的翻譯。
• **表格已核對。**表 5、8、9、10、12 這幾張關鍵表格在匯入時全數完成核對，並在編譯時重新檢查。表 5 重現了本文引用的所有語言別數據，均取自 Run-1 欄位（平均 24.85 → 30.46 / +5.61；德文 +9.09、印地文 +9.69、阿拉伯文 +7.87、約魯巴文 +10.91、伊博文 +7.88），以及摘要中的「+5.6 點」。表 10 以算術驗證，而非直接採信：21 列皆加總至各自印出的總計，六個類別欄皆加總至各自的總計（857 / 917 / 915），而正文所述的操作 grounding 佔比也完全吻合（206/857 = 24.0%、335/917 = 36.5%、276/915 = 30.2%）——若有合併或位移，這項內部核對就不會成立。表 6 的分類涵蓋率以 (Total − Other)/Total 計算，三個層級均能重現（60.4 / 55.2 / 55.2%）；表 11 的類別 n 總和也與 Overall 列一致（117）。有一處已確認的合併：表 1（附錄 B.1 推論設定）將最後兩列合併成一格黏連的表格列（Mistral Large 3 Qwen3-VL-235B-A22B | MultiTAT MultiTAT | temp.: 0 temp.: 0），匯入時已依 pdftotext -f 14 -layout 修復；此為推論設定表，本文沒有任何內容依賴它。本文的圖說與表格位置交錯——圖說位於表 1–7、10、11 上方，以及表 8、9、12 下方——因此每一組都依直接相鄰位置判讀，而非依上下方慣例。有一個不影響主要結果的四捨五入差異：表 9 中 Qwen3-VL 的平均增益為 +3.04，而兩句後的正文寫作「+3.1」。
• canary-recall 未執行，不應視為通過——沒有符合條件的唯一 token，因為論文在摘要、導論與 §5 逐字重述主要數字，導致「恰好出現一次」的取樣啟發式失效。人工替代檢查包括上述兩項算術自我核對，以及對所有引用數字進行正文核對。
• 一項無法核對、因此本文完全未引用的正文數據。§5.2 指出，Other 佔比「從英文到資源最稀少的語言（約魯巴文和伊博文）大幅下降——Mistral-Large-3 下降 18%，Qwen3-VL-235B 下降 16%」。表 10 顯示，Mistral 在英文為 73/115 = 63.5%，約魯巴文為 8/152 = 5.3%，伊博文為 4/153 = 2.6%；Qwen 則從 115 中的 93 個（80.9%）降至 8.8% 與 6.0%——不論以何種分母計算（失敗數、任務數、依模型平均後合併），降幅約為 58–75 個百分點，而非 16–18 點。其方向甚至有遠超論文所述的數據支持，因此本文無須採用該數字；之所以記錄這項落差，是因為讀者若引用「18%」，引用的其實是論文從未定義的量。
• 圖表：依圖片兩階段規則開啟 7 張中的 2 張，其中一張根據初步檢查筆記更正。圖 1 不是分類法圖示——而是雙面板結果圖：(a) 七種語言的失敗佔比圓餅圖，以 Common Crawl 對數尺度呈現；(b) OWL 基準組與 TART 的長條圖。分類法圖示是圖 2（「Planner-specific multilingual grounding-failure taxonomy」，附有伊博文實體 grounding 範例）。圖 1(a) 定性確認梯度的形狀（灰色 Other 下滑，粉紅色操作 grounding 在約魯巴文和伊博文中佔主導），也是本文唯一使用的圖中內容。圖 1(b) 混用了分母，因此未引用：GPT-5-mini 長條呈現的是十一種語言的平均（24.8 → 30.5），而 Qwen（19.9 → 23.5）與 Mistral（19.6 → 25.5）呈現的是七種語言的平均；§5 中可與其他模型比較、使用共同七種語言的 GPT-5-mini 數據則是 24.8 → 32.2（+7.4）——圖說只寫「對語言取平均」。增益數據的誤差較保守，而基準值剛好是 24.8，純屬算術上的巧合。刻意不採用圖 4：其長條排序與 Common Crawl 標籤順序不同（GPT-5-mini 面板將 Swahili 排在 Kyrgyz 前，Nyanja 則排第九，儘管表 12 顯示 Nyanja 的資源最稀少），因此從圖中讀取任何語言別數值都可能張冠李戴；本文所有語言別數字均取自表 5 或正文。
• **一項人工驗證統計中的內部不一致，已記錄但未解決。**涵蓋範圍有三種互不相容的說法：§5.2 表示「6 位標註者驗證了 122 個樣本……約佔 Mistral-Large-3 失敗案例的 14%」；附錄 G.4 表示「七位標註者各分配 40 個樣本，共標註 917 個案例中的 280 個……約 30%」，接著報告「117 個經人工確認的決定性錯誤」，由「5 位不同的標註者」完成；表 11 說明文字則排除「6 個不確定標註」（117 + 6 = 123，並非 122）。唯一內部一致的資料是表 11 本身，各類別 n 加總為 117，而 104/117 也能重現所述的 88.9%。兩處都一致的 κ = 0.860 和 macro-F1 = 0.906 數值，才是本文引用的數字。
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents — TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents，Tao、Peng、Yao、Ge、Cheng、Wang、Gao、Li（UW–Madison + Microsoft Research），arXiv 2607.13988，v1 2026-07-15，empirical。本文僅引用 §3.2–3.3（凍結參考模型的對數比價值，以及逐回合 TD 差值）與 §A.5（V ≥ −0.3 的答案已確立前綴定義，以及十條標註過的信用歸因追跡——五次成功定位勝出回合，五次因單一診斷呼叫而失去已確立前綴的失敗）。引用自正文及印出的信用序列；本文不涉及相關表格。完整分析與所有解析註記見 Turn-Level Credit Assignment。
• Locating Hidden Failures Makes Long-Horizon Agents More Reliable — Rahman、Kim、Parmar、Heydari 等人（UCLA / NYU / Google Research / Google DeepMind），Locating Hidden Failures Makes Long-Horizon Agents More Reliable，arXiv 2609.17930，2026-09-15，empirical。本文僅引用 §3.2（表 1 的六個裁判第一錯誤完全匹配結果，以及表 2 的偵測精確率與召回率），與 §3.1（由結果 × 是否可定位第一個錯誤的 2×2 分組得出的 43% 分散型失敗統計）。數據引自正文，並與解析乾淨的表 1／2 交叉核對。完整分析、分類法、安全稽核與 Scout 見 Long-Horizon Agent Failure Signature。