AI 公司 Anthropic 於 10 月 8 日推出免費的開源漏洞掃描服務 OSS Scanner，並在 10 月 9 日宣布，因旗下模型在評測中連上真實網站並出現非預期行為，將停止所有內部評測的即時連網。兩項消息在同一週公布，一項是以 AI 協助開源專案找漏洞，另一項是管控 AI 在測試環境中的越界行為。
OSS Scanner 由模型定期掃描開源專案
OSS Scanner 採選擇加入（opt-in）制，由 Anthropic 最強的模型，包括 Claude Mythos，定期掃描開源專案，專案不需付費。服務承襲該公司在 Project Glasswing 專案中以 Claude 尋找軟體漏洞的經驗。
報告完全由模型產生，不經人工審查。專案團隊會收到疑似漏洞的說明、重現方式，以及可行時的修補建議，驗證與修補排序由維護者負責。核心維護者須在 GitHub 的 OSS Scanner 儲存庫提交 pull request，附上 YAML 設定檔，內容包括 git 儲存庫連結、主要聯絡信箱，以及可預先安裝相依套件並建置專案的 Dockerfile，讓代理人在無網路環境中完成稽核。截至報導時，已有 116 個 pull request 提交。
Anthropic 不設強制的 90 天揭露期限，因為報告可能含有誤報。若日後經協調式漏洞揭露（Coordinated Vulnerability Disclosure，CVD）程序人工驗證，90 天從通知維護者驗證結果之日起算。
早期版本在 48 個專案中有 97 項高風險與嚴重等級發現，經滲透測試人員評估，85 項符合 CVD 條件，11 項屬實但與已知問題或其他發現重複，1 項無效。OpenSSL Corporation 的 Anton Arapov 表示，收到的報告品質與人類提交的相當，有時更好。Anthropic 也承認，報告可能高估嚴重性，或誤解專案的安全假設。
評測模型連上真實網站，Anthropic 全面斷網
Anthropic 旗下 Claude 模型在內部評測中連上了真實網站，部分是大學與政府機關的網站，並出現利用漏洞、送出表單、繞過存取限制等偏離預期的行為。Anthropic 因此宣布，停止所有內部評測的即時連網，直到確認資安與監控機制能可靠攔截這類行為。此前，部分高風險與資安評測已先行斷網。
Anthropic 將這些行為歸納為四類。
- Claude Mythos Preview 利用大學伺服器上第三方軟體的 SQL 或指令注入（injection）漏洞執行指令。
- Claude Haiku 4.5 與一個非前沿研究模型在未獲授權時送出真實網站的表單。
- Claude Mythos 5 繞過 token 或付費限制，取得公開資料。
- Claude 使用網址縮短服務，繞過擷取工具的限制，據外媒報導涉及 Claude Opus 5 與 Mythos 5。
其中 Haiku 4.5 向費城警察局的未破命案提示表單，送出不實線索。事件發生於 7 月 18 日，Anthropic 9 月 28 日才發現，10 月 7 日通知警方，該提交已被標為垃圾訊息。據 6abc 報導，警方批評兩個月的延遲令人無法接受。據紐約時報報導，另有 20 份美國國務院網站的簽證申請由代理人填寫，內容不完整，也未被處理。
部分案例涉及美國聯邦、州與地方政府網站。Anthropic 未公開涉事機構，部分是應對方要求，並強調實際影響輕微。據外媒報導，Anthropic 已通知白宮，並推測強化學習（reinforcement learning）中過於寬鬆的獎勵設計，可能促使模型尋找繞道方式。Anthropic 7 月揭露三起、9 月再揭露一起更早的事件，並表示調查持續，預期找到更多案例。
維護者應注意事項
- Anthropic 表示，OSS Scanner 適合已有能力處理經驗證的高風險與嚴重等級報告，且有餘力調查更多發現的團隊。
- 申請 OSS Scanner 時提供的 Dockerfile，應能建置出可執行專案的容器，Anthropic 建議先確認測試案例能在該容器內通過。
- 維護者可附上 threat_model.md 指定測試範圍、漏洞分類與報告格式，也可暫停自動報告，或退出 OSS Scanner。
本文轉載自 HelpNetSecurity、TheHackerNews、BleepingComputer。