人類介入迴圈的界線

核心答案#

當工作需要理解、資源分配、問責、風險容忍度或共同設計概念時，人類應留在迴圈中。若人類在迴圈中擔任手動執行者、全面審查者，或為可由機械方式產生、檢查或分派的工作充當儀式性核准者，系統就會變慢。

界線不在於「人類對 AI」，而在於判斷對吞吐量：

讓人類留在迴圈中，負責決定哪些事情值得投入運算資源、工作代表什麼、哪些取捨可以接受，以及信任界線在哪裡。
讓人類退出迴圈，將例行產出、風格與 lint 審查、明顯錯誤的檢查、重複的規格偏移檢查，以及可提早自動化的低風險分流交由機器處理。
重新設計迴圈，避免人類名義上負責、認知上卻超載；這正是 AI Brain Fry／橡皮圖章區。

界線表#

工作面向	人類應留在迴圈中	人類會拖慢系統的情況
問題選擇	決定哪些事情值得建置或調查。這是 Compute Allocator 的角色：把低成本生成用在正確的問題上。	要求人類在模型探索選項空間之前，手動產出所有候選計畫／成品。
理解	建立引導並判斷代理程式所需的內在模型。外包思考，而非理解指出這件事不可委派：思考／搜尋可以外包，理解不能。	把每個中間推理步驟都當成人類必須親自完成的工作。代理程式可以負責思考；人類必須充分理解，才能引導並驗證。
設計概念	模糊、高風險、多分支的決策，在規劃前需要設計概念推敲。在人類與代理程式達成共同理解之前，人類都應留在迴圈中。	對範圍明確、簡短且模糊度低的修改，推敲只是額外負擔。該文明確指出，像是重新命名函式這種小幅修改可以略過。
驗證	法律審查、風險容忍度、信任界線及仰賴專業知識的判斷，仍由人類負責。驗證成為新的瓶頸將這些列為人類仍須審查的範圍。	風格、lint、明顯錯誤和規格偏移檢查，應交由自動審查、CI、測試與 Claude 審查。這裡若採手動審查，就會形成瓶頸。
問責	人類對決策、部署、核准及後果負責。AI 員工框架說明了為何不能讓代理程式承擔問責。	把代理程式稱為員工／隊友，或把它們列入組織架構圖，會稀釋責任、增加升級處理，並降低錯誤攔截率，卻沒有改善採用情況。
監督量	人類應審查集中的高風險檢查點與系統層級行為。	逐項全面審查每個輸出無法擴大規模。AI Brain Fry指出，過度監督會提高錯誤率；人類最後只會疲憊地蓋章。

人類應在的四個位置#

1. 資源分配：選擇運算資源的去向#

Compute Allocator給出了最清楚的角色定義：生成變得便宜之後，稀缺的行動是決定什麼值得生成。Thariq 的 1%／99% 分配點出了關鍵：生成的 token 大多可能是腳手架、計畫、介面或一次性的對齊成品；少量真正進入生產的成果之所以有價值，是因為周邊的運算讓決策更好。

因此，人類應位於資源分配界線上：

哪個問題值得著手解決？
哪些選項值得探索？
哪項成品能讓下一個決策更清楚？
何時需要更多生成，何時只是雜訊？

讓人類更深入生產迴圈，往往是稀缺時代留下的行為模式。如果模型能以低成本產生十種選項，人類就不該花同樣的心力起草第一個選項。他們應該評斷整組選項，並重新導引運算資源。

2. 理解：掌握足以引導工作的內容#

外包思考，而非理解為盲目委派劃下明確底線。代理程式可以搜尋、起草、綜整，也能處理許多中間步驟。但人類仍需要能回答以下問題的內在模型：

我們想建置什麼？
為什麼值得做？
怎樣才算正確？
哪種失敗會造成影響？

這就是為什麼知識庫不只是檢索工具。它也是理解工具：同一份資訊的多種呈現方式，會促使人類建立心智模型。若人類缺乏這個模型，「人類在迴圈中」就會淪為核准表演。

實際界線是：委派思考步驟，但不要委派評估結果所需的理解。

3. 設計概念：在計畫成形前取得共識#

設計概念推敲指出，上游迴圈中有一個應由人類大量參與的環節：在擬定計畫之前，先確立設計概念。這個階段，人類的偏好、限制、品味與領域模型都不可或缺。

以下情況適合進行推敲：

簡報內容模糊；
不同分支之間有相依關係；
選錯方向的代價很高；
否則代理程式可能會匆忙提出看似合理、實則錯誤的計畫；
工作在實作前需要先建立共同理解。

同一篇文章也提出限制原則：小型且範圍明確的工作可以略過推敲。人類介入迴圈不是教條。如果修改顯而易見且界線清楚，訪談只是在耗費心力。

4. 風險與問責：掌握信任界線#

驗證成為新的瓶頸劃出了審查界線：機械式驗證交由自動化處理，法律審查、風險容忍度、信任界線與專業判斷則交由人類負責。這不是空泛的「人類監督 AI」口號，而是分工：

機器檢查具有明確判準的事項；
人類判斷取決於脈絡、後果與責任的可接受性。

AI 員工框架解釋了為什麼這條界線很重要。當 AI 被描述成員工時，實際接觸過 AI 代理程式的經理人，展現出較低的個人問責、較多的升級處理，以及較差的錯誤攔截能力。代理程式無法對結果負責；部署它的人或組織才要負責。

人類應退居一旁的地方#

1. 機械式審查#

如果某項檢查可以寫成測試、lint 規則、型別檢查、CI 閘門、規格偏移比較，或使用新脈絡執行的自動審查，就應提早納入自動化。驗證成為新的瓶頸明確指出：程式撰寫已不再是最慢的環節，建立信心才是。除非及早自動化機械式檢查，否則手動審查無法跟上暴增的吞吐量。

人類逐一審查每個風格問題或明顯錯誤，並沒有增添判斷力，只是形成一條昂貴的待辦隊列。

2. 例行產出#

Compute Allocator的觀點將生產成果視為次要。人類不必親手撰寫每一份計畫、草稿、原型或介面。模型可以產生腳手架；人類負責判斷這些腳手架是否讓事情更清楚。

失敗模式，是懷念「親自生產才算有貢獻」的想法。在這種情況下，貢獻往往在於決定要請模型產出什麼。

3. 儀式性核准#

AI Brain Fry警示了天真的監督方式。如果一個人必須審查太多代理程式的輸出，審查品質就會下降。迴圈裡雖然仍有人類，但人類已不再進行有意義的認知工作。

因此，只說「讓人類留在迴圈中」並不足夠。迴圈的設計必須讓人類看到：

更少的決策；
更具影響力的決策；
摘要整理得更好的證據；
明確的風險標示；
對低風險輸出採抽樣或例外審查。

否則，迴圈只會保留掌控一切的表象。

4. 以員工框架稀釋問責#

當 AI 員工的比喻促使工作經由不必要的升級層層往上傳時，人類也會拖慢系統。AI 員工框架報告指出，在接觸過 AI 的經理人中，採用員工框架會使升級處理增加 44%。這不是安全，而是角色混淆。

解方是採用工具模式的協調方式：範圍明確的工作流程、決策權、審查關卡，以及明確指定的人類負責人。不要問：「AI 員工做得好不好？」要問：「這個工作流程是否依照我們設計的檢查與核准程序，產出了可接受的成品？」

可實用的原則#

當下一個決策會改變方向、責任或風險時，讓人類留在迴圈中。

當下一個步驟只是套用已議定的規則時，讓人類退出迴圈。

當人類審查的輸出超過其理解能力時，重新設計迴圈。

這與六篇文章的觀點一致：

Compute Allocator指出，人類分配稀缺的注意力與充裕的運算資源。
外包思考，而非理解指出，人類不能委派妥善分配資源所需的心智模型。
設計概念推敲指出，模糊的工作需要在規劃前先由人類取得共識。
驗證成為新的瓶頸指出，正確性的信心如今成為瓶頸，因此機械式驗證必須自動化，人類審查則應保留給信任界線相關事項。
AI Brain Fry指出，天真的監督方式會因工作量過大而崩潰。
AI 員工框架指出，把代理程式稱為員工會損害問責與審查品質，卻無法改善採用情況。