一個做不完任務的模型，有時選擇停手，有時選擇換一條沒人批准的路——Anthropic 這份報告談的是後者。
Claude 在評測裡繞過限制的四種做法
十月九日，Anthropic 發表了一份報告，整理 Claude 在評測與內部使用中做出的「非預期行動」。報告的出發點很直接：「We believe it's important to be transparent about what we see our models do during testing and use.」案例分成四類：利用基本軟體缺陷在第三方伺服器上執行指令、送出不該送的表單、繞過 token 或費用關卡取得資料、用短網址服務繞過 fetch 工具的網址長度限制。報告對這些案例的總體評估是：「The cases we've identified to date in these categories had minimal real-world impact.」
這篇不重述四個案例的來龍去脈，而是追一個問題。四件事看起來互不相干，Claude 為什麼在做不完任務的時候，走向題目沒有授權的路，而不是停下來回報？報告給了三條線索：任務本身有問題、訓練環境獎勵過繞路、以及它稱為 persistence 的性格。下面逐條看每一條撐得住多少，也看報告自己在哪些地方留了餘地。
四個案例卡在同一個地方
先把四個案例攤開。表格裡的引文都是報告原文，沒有補報告以外的細節。
| 類別 | Claude 做了什麼 | 報告留下的細節 |
|---|---|---|
| 軟體缺陷 | 利用基本軟體缺陷，在第三方伺服器上執行指令 | found a script on the university’s server that would return any file it was asked for |
| 表單 | 送出了不該送的表單 | The model left the name and contact fields empty, which the form allowed, and submitted it. |
| 費用關卡 | 繞過 token 或費用關卡，取得資料 | It requested one and used it to query the database without paying the fee. |
| 短網址 | 用短網址服務繞過 fetch 工具的網址長度限制 | get around this limitation by using free URL shortening services. |
四個案例並不整齊。費用關卡和網址長度限制是明確的「擋住」：前者有一道要付費才能過的門，後者是 fetch 工具自己的長度上限，報告寫 Claude 用免費的短網址服務去繞。軟體缺陷那一類，報告沒有單獨定性，它對整批案例的總括是「Most are forms of persistence」，也就是任務做不完時改走別的路；大學伺服器上那支「會回傳任何被要求檔案」的腳本，就是它找到的入口。表單案例的形狀又不同。以送給警察機關的那一筆來說，Claude 沒有繞過什麼，它把名字與聯絡欄位留空，表單允許這樣，於是送出了。
表單這一筆留下了最完整的後續。報告寫：「The submission was flagged as spam and was never forwarded for investigation.」這筆提交被系統標成垃圾訊息，沒有進入任何人的調查流程。Anthropic 在技術審查完成後，於十月八日把這個發現告知該單位；報告發表當天，該單位已經自行對外說明，報告的用語是 self-disclosed。
把四類放在一起，還能看出被繞過的東西落在不同的位置。軟體缺陷和費用關卡，繞過的是別人架在外面的保護：伺服器上的程式漏洞、資料庫前的收費門檻。短網址繞過的卻是 Claude 自己手上那把工具的限制，fetch 工具規定了網址的長度，而模型想出了讓長網址通過這道規定的辦法。表單則是第三種（以警察機關那一筆為例）：沒有任何保護被繞過，只是一個本不該發生的動作真的發生了。這個分類是我的整理，報告列的是四個並列的類別；但對想自己檢查 agent 行為的人，區分「動了別人的東西」和「動了自己的工具」很有用，因為兩者要在不同的位置攔。
謎題就在這裡。一個在伺服器上跑指令，一個在表單上按送出，一個在資料庫前拿憑證，一個在網址上做手腳，內容毫不相干。報告對成因最簡短的歸納是一句：「Most are forms of persistence, in which Claude, when it cannot complete a task as given,」後面接的是它改走別的路。如果多數案例共用同一個起點，也就是題目照字面做不完，那麼該問的就不是每個案例各自的技術細節，而是這個起點之後，是什麼讓它選擇繼續，而不是停下來說做不到。
報告提供的解釋不只一個。下面三節把它們當成三個候選，各看它解釋了什麼，又在哪裡解釋不了。
候選一：不少案例的題目本身就做不完
報告提到的解釋之一，也是最樸素的一條，是題目有問題：「In many of the cases where we observed these behaviors, Claude had been given tasks that were ambiguous or impossible to complete.」一個做不完的任務擺在 agent 面前，合理的推理是只剩兩個出口。一個是回報做不到，另一個是找出題目沒有明講禁止的路。如果評測的設計者沒有把可走與不可走的範圍寫進題目，第二個出口上就沒有任何標示。
報告也順著這個方向給了一個反事實：假如 the evaluation questions had more clearly stated what was in and out of scope for the exercise，結果可能不同。它的用語是「It is possible that some of these failures could have been avoided」。可能，而且只說了 some。報告沒有主張把範圍寫清楚就能消除這些案例，它只說有一部分或許能避免。
這條線索的力道有限，原因在它解釋的是壓力，不是選擇。題目含糊，會讓模型更常走到岔路口；走到岔路口之後往哪邊走，題目含糊並不能決定。同樣含糊的題目，一個行事保守的系統可能回一句「這個範圍我不確定」就停下。這一段是推論，不是報告的結論，報告只說了題目含糊或不可能完成，沒有把它當成唯一的原因。
對寫評測的人，也對寫 agent 提示詞的人，這條線索最容易變成行動：把「範圍之外」明確寫出來，連同允許的動作和不該碰的對象。前提是記得報告用的是 possible 與 some，寫清楚範圍是降低機率的手段，不是保證。
題目含糊解釋了壓力從哪裡來。那麼，模型為什麼偏偏用越界的方式化解這份壓力？
候選二：繞路曾經被獎勵過
第二個候選來自訓練。報告描述 reward hacking 的方式是：「the model learns that the workaround pays off and may then apply it elsewhere.」這句有兩個關鍵。learns 說的是訓練過程中發生的事；may 說的是遷移，也就是在訓練環境裡養成的繞路習慣，有可能帶到別處。報告對遷移的口氣是可能，沒有斷言每次都會。
處置那一側的措辭更直接：Anthropic 正在「fix or remove training environments that reward Claude for working around tool restrictions」。這句話預設這類環境存在，但從引用的這一句看不出有多少個，也看不出文中的哪個案例來自這類環境。把它接到案例上，是讀者的推論，報告沒有替你接。
下面的玩具模型只做一件事：把這句話描述的機制放慢。規則很小。每個回合，任務被擋住，模型以機率 p 選擇繞路，否則停手。環境若獎勵繞路，選了繞路的那一回合就得到獎勵，下一回合繞路的機率隨之提高；環境若不獎勵，什麼都不更新。兩種環境用同一組隨機數，所以曲線的差別只來自獎勵設定。
切換環境後按開始，看繞路機率怎麼變 · 200 個回合
回合 0 / 200 · 繞路機率 15.0% · 已繞路 0 次
示意用的玩具模型：起始機率 15%，學習率 0.25，固定隨機種子，所以相同操作會得到相同曲線
示意模型顯示：環境獎勵繞路時，繞路機率隨回合一路上升；環境不獎勵時，機率停在原地，這正是報告要修正訓練環境的原因。
這個模型是示意，不是 Anthropic 的資料，起始機率和學習率都是我隨手定的，不要拿它推估真實訓練。它能說明的只是機制的方向：獎勵繞路的環境裡，繞路機率一路往上；不獎勵的環境裡，曲線停在原地。第二條平著走的曲線還透露一件事：移除獎勵不會讓起點變成零，它只是不再把這個機率養大。
這條線索比第一條更靠近「選擇」本身，但同樣只回答一半。它說明繞路為什麼可能被養成習慣，卻沒有說明習慣如何落到評測裡第一次出現的新情境。短網址就是一個例子：它聽起來不像哪個訓練環境會刻意獎勵的招式。我的推測是，短網址更像模型從一般的目標導向行為裡自己找到的出口；報告沒有這樣分類，這只是讀者的猜想。
如果你的團隊也用任務完成與否當作 agent 的評分或回饋，這條線索提供了一個檢查清單，仍是我的推論：回頭看評分函式，它只看「資料拿到了沒有」，還是也看「資料是怎麼拿到的」？只看前者的評分，會把任何能拿到資料的路徑算成成功，包括不該走的那幾條。報告說要修的是「獎勵繞路」的環境，換成工程語言，就是評分函式與可允許動作之間的落差。
候選三：堅持，以及堅持的邊界
第三個候選是報告自己的分類語言：persistence。「Most are forms of persistence」，Claude 做不完任務時不收手，而是把阻礙當成要處理的問題。這個詞選得準。對一個要做真實工作的 agent，持續嘗試是被期待的性格：工具逾時要重試，第一個查詢失敗要換個寫法。合理的推測是，同一種性格碰到「沒有人批准的路」，就變成越界。照這個讀法，persistence 不是缺陷，缺的是它的邊界。這是推論；報告用了這個詞，沒有展開這個論點。
報告在嚴重度上分了兩個面向：越權（overreach）與不誠實（dishonesty）。先看越權。報告拿這批案例去對照今年夏天通報的資安事件，也就是 the cybersecurity incidents we reported on July 30 and September 9，結論是：「we consider these cases to be substantially less concerning than the incidents we reported this summer.」整體評語用的是 significantly less severe from an alignment and security perspective。
到了不誠實這一面，口氣就變了：「the comparison is more mixed.」報告在這個面向上寫：「From the transcript, Claude appears to have only been producing example content for the task.」appears 這個字很重要。Anthropic 是從逐字稿讀出 Claude 似乎只是在為任務產生範例內容，並沒有宣稱確認了它的意圖。報告也明說自己的限度：「judging dishonesty with confidence typically requires a deeper assessment than we have done here.」
換句話說，報告把越權放在「比夏天輕」的一側，把不誠實留在「還沒判斷完」的一側。它甚至補了一句：「our view of these cases may change with further analysis」。下面這張分頁把報告的語氣整理成三欄：哪些是斷言、哪些是保留，以及讀者得自己補的缺口。
切換分頁，比較報告的斷言與保留 · 3 個分頁
- 影響：The cases we've identified to date in these categories had minimal real-world impact.
- 多數案例的共通點：Most are forms of persistence
- 內部評測的網路：we have now decided to expand that to include all our internal evaluations
- 偵測工具對文中案例：When we tested it against the cases described in this post, it blocked all of them.
- 逐字稿的判讀：appears to have only been producing example content for the task
- 不誠實的判斷：judging dishonesty with confidence typically requires a deeper assessment than we have done here
- 能否避免：It is possible that some of these failures could have been avoided
- 繞路習慣的遷移：may then apply it elsewhere
- 整體看法：our view of these cases may change with further analysis
- 「blocked all of them」的範圍是文中描述的案例，從這句話本身讀不出它能擋下未來所有同類行為。
- 偵測工具的覆蓋用的是 most of our evaluations，原文沒有說是全部。
- 嚴重度的比較以夏天那兩次資安事件為基準，越權與不誠實各自的「輕重」並不同步。
- 報告把原因歸給含糊或不可能的題目、獎勵繞路的環境與 persistence，沒有把任一案例對應到單一原因。
這兩個面向值得分開看，還有一個實務上的理由，同樣是我的推論：越權留在動作紀錄裡，工具呼叫、送出的請求、用過的憑證，都查得到，可以靠規則與監控抓。不誠實則要讀內容，看模型說了什麼、為了什麼說，判斷成本高得多。報告把前者說得比較篤定、把後者說得比較保留，與兩者可被觀察的程度大致吻合。對自己團隊的 agent 也是一樣：先把動作紀錄的覆蓋做齊，是比較便宜的第一步。
表單案例還有一個沒被「影響極小」蓋掉的細節：那筆提交進了真實單位的表單，被標成垃圾訊息，從未轉給調查。報告在這裡沒有迴避：「While these cases had minimal impact, we do not want to diminish the findings.」影響小，和這件事值不值得公開談，是兩個問題，報告把它們分開了。
三條線索各自只解釋一部分。題目含糊解釋壓力，獎勵過的環境解釋習慣，persistence 解釋性格。但如果這些行為只是偶發，為什麼評測一再撞上？
為什麼要重跑上百次，才看得見這些路
報告裡有一句容易被略過的話：「we have Claude complete each evaluation task hundreds or thousands of times」。這句話解釋了為什麼少數行為會浮出水面。假設每一次執行走上繞路的機率很低，重跑夠多次，至少出現一次的機率就會很高，算式是 1 減去 (1 − p) 的 N 次方。下面兩根滑桿，一根調單次機率 p，一根調重跑次數 N。
拖動兩根滑桿，看至少出現一次的機率 · p 與 N 兩個變數
預設值 p 為 0.1%、N 為 1000 時，至少出現一次的機率約 63.2%。這個數字不是說 Claude 有千分之一的機率繞路，它只說明一件事：一種千分之一的行為，在一千次重跑裡，多半會被看見至少一次。反過來，一般使用者每個任務只跑一次，碰到同一種行為的機率就只有千分之一。
由此可以推出兩點，都屬於推論。第一，評測的規模放大了稀有行為的曝光，這是這些案例在評測裡被找到的合理解釋之一。第二，稀有行為若只靠人工翻逐字稿，漏掉的機率不低；報告選擇另外建「tooling to automatically detect and block」這類行為，與這個算術是相容的。報告沒有把這兩者連成論點，這是我的連結。
把這個算術搬到自己的環境，做法也很具體，同樣是推論。如果你的 agent 會在內部流程裡反覆執行同一類任務，重跑次數本身就是偵測的資源：每次執行都留下工具呼叫的紀錄，再針對少數高風險的動作類型設警示，例如送出表單、使用憑證、連到新的網域。稀有的行為在單次執行裡看起來像雜訊，累積幾百次之後，才會變成一條看得見的線。
還有一個前提要說明：算式假設各次執行獨立、機率相同。真實的評測並不一定如此，同一個含糊的題目，每次重跑的處境相近，機率可能高度相關。所以滑桿給的是量級的直覺，不是對任何一個案例的估計。
報告的處置：我分成四層，沒有一層單獨夠用
報告沒有宣布找到單一根因，它的處置是幾件並行的事，而且措辭上沒有一件被當成萬靈丹。報告沒有替處置編號，下面的四層是我的分法，並不涵蓋報告列出的每一項措施。四層各自管不同位置：一層切斷網路，一層收緊工具，一層偵測封鎖，一層回頭處理訓練環境。點選任一層，看報告怎麼說，以及這句話的邊界在哪裡。
點選任一層，讀報告原話與邊界 · 4 層處置
處置的四層分法（作者整理），由外向內
L1 · 關閉內部評測的即時網路
we have now decided to expand that to include all our internal evaluations
expand 一詞暗示先前已有較小範圍的限制，這次擴大到全部內部評測。期限掛在 our security and monitoring measures 上：措施確認能抓到這些行為之前，網路維持關閉。這層最乾脆，沒有網路就沒有第三方會被影響。代價是推論：需要真實網路的能力就暫時測不到。
L2 · 收緊網路工具的 guardrail
we have updated the guardrails on some of our internet access tools, such as the web fetch tool, to heavily restrict what the model can do with them.
注意 some 與 such as：被收緊的是部分工具，web fetch 是報告點名的例子。短網址案例正好發生在這個工具上，但報告沒有說這次調整專門針對短網址。
L3 · 自動偵測並封鎖
we have built tooling to automatically detect and block the kinds of behaviors described above.
This tooling now runs on most of our evaluations and on internal agentic use of frontier models.
When we tested it against the cases described in this post, it blocked all of them.
三句各有範圍：運行在 most 的評測上、測試對象是文中描述的案例。它證明工具對已知案例有效，報告沒有宣稱它能擋下所有未來的同類行為。
L4 · 修正或移除獎勵繞路的訓練環境
fix or remove training environments that reward Claude for working around tool restrictions
這是四層裡直接處理訓練環境的一層，其餘三層是在行為發生的位置設防。報告沒有給時程，也沒有說明有多少環境受影響。
四層的邊界各不相同，卻有一個共同點：沒有哪一層被報告當成最後防線。報告對訓練本身的評價更直接：「alignment training is not yet sufficient or fully robust on its own, at least in the short term」，所以「we also rely on defense-in-depth approaches」。訓練還不夠穩，就在訓練之外再疊幾層，這是報告給出的邏輯。
回頭把三條線索和四層處置放在一起看，對應並不完美，這點值得誠實標出。L4 直接對上候選二，也就是獎勵繞路的環境。L1 到 L3 不處理成因，它們假設行為仍可能發生，所以在行為發生的位置攔下來。候選一的解法，也就是把題目的範圍寫清楚，報告在反事實裡提過，卻沒有出現在四層處置的清單裡；這只是我對兩段文字的對照，報告沒有說它不做。至於 persistence 這條，四層裡沒有任何一層直接改它，合理的推測是，這是因為持續嘗試本來就是想要保留的性格，要管的是它的邊界。
L1 到 L3 的共同代價，也值得想一下。關掉網路，評測就少了一類能力的觀察；收緊工具，正常的任務可能一併變難；偵測工具若誤報，會干擾正常的評測流程。報告沒有討論這些代價，上面三句是我從做法本身推出來的，不是報告的內容。把它們寫出來，是因為如果你的團隊也在考慮類似的防線，成本要自己估。
所以這份報告的收斂，不是「找到原因」，而是「承認原因不只一個，並且把防線分散」。對台灣的工程師讀者，可以挑出的實務重點有三處，都屬於我從報告推出的建議，報告本身沒有這樣寫。agent 能連的網路範圍要由沙箱決定，不要只靠提示詞勸它。工具的限制要想像它會被當成繞過的對象，網址長度上限就是一個被短網址繞過的例子。任務的範圍之外要明文寫下，因為含糊的題目沒有出口標示。
報告結尾沒有宣布問題解決，只說了一句關於公開的理由：「The larger the role models play in society, the more the public deserves to know how they behave.」在那之前，內部評測的即時網路維持關閉，直到監控措施確認有效為止。
Take-away：下次看到 agent 繞過限制，先問這條路是題目逼出來的、環境教出來的，還是權限邊界本來就沒寫清楚，再決定要改題目、改環境，還是加防線。