OpenAI「對話壓縮」功能可繞過推理保護，外洩模型隱藏推理內容

資安公司 Xint 近日公布研究，指出人工智慧公司 OpenAI 的對話壓縮（compaction）功能，可被用來將模型原本加密隱藏的推理內容轉為明文，繞過 OpenAI 今年 8 月才加入的防護。據外媒報導，OpenAI 已確認問題，並於 10 月 23 日完成修補。

Xint 如何讓壓縮功能吐出推理內容

OpenAI 的推理模型（reasoning model）會先思考再回答，一般情況下僅以加密項目的形式回傳推理內容，使用者無法閱讀。壓縮則是 OpenAI 提供的功能，由模型將冗長對話濃縮為較小的加密項目，用來延續上下文。

Xint 先對 gpt-5.6-sol 送出任務，保留模型回傳的加密推理，接著對同一個模型呼叫壓縮步驟，要求它把該推理逐字複製進壓縮項目，並將每個空格換成 Tab，以避開 OpenAI 的使用政策過濾。由於壓縮項目可在不同模型間移轉，Xint 再把項目交給較便宜的 gpt-4.1 與 gpt-4o，請它們原樣重複輸入內容，兩者都照做，推理因此以明文現形。

為何能繞過 8 月的封鎖

今年 8 月，Stolen Thoughts 論文的研究人員指出，強模型的加密推理可被重放到同一家公司的較弱模型，由後者以明文重複。OpenAI 等業者隨後封鎖了這種跨模型重放。

Xint 表示，壓縮步驟運行在產生推理的同一個模型上，因此不會觸發跨模型檢查。這項手法建立在 Xint 先前的 GhostCompact 研究之上，該研究顯示壓縮步驟可被推動去執行攻擊者指定的任務，Xint 已在 GitHub 公開相關程式碼。

研究範圍與尚未釐清之處

Xint 使用自行撰寫的數學與演算法題目，取得的是這些請求自身產生的推理，並未宣稱此法可取得其他使用者的推理。Xint 也坦言，由於沒有原文可供比對，無法證明複製出的文字與模型真實推理逐字相同。兩個較便宜的模型各自重複該項目後輸出相同文字，可排除複製環節出錯，但無法排除壓縮過程改寫了內容。

此外，Xint 只測試了 gpt-5.6-sol，未確認 OpenAI 較新的 GPT-6 Astra 是否受影響。修補前是否有人利用此法，目前也不得而知。

修補在 OpenAI 端完成

據 Xint 說法，OpenAI 已確認問題並於 10 月 23 日修補，修補未公開揭露，OpenAI 也向研究人員支付 6000 美元獎金。由於修補在 OpenAI 端，使用 API 的開發者不需要變更任何設定。

不過 Xint 認為，只修補單一路徑可能不夠。依其看法，任何會讀取模型解密後推理、並依使用者指示行事的伺服器端步驟，都可能造成推理外洩。

隱藏推理為何值得保護

OpenAI 將原始推理保持隱藏，部分原因是防止蒸餾（distillation），也就是一家公司用另一家公司的輸出去訓練較便宜的模型。原始推理能呈現模型解題的過程，比單看最終答案更適合作為訓練資料，因此對競爭對手具有價值。

報導強調，Xint 的壓縮手法屬於概念驗證，並非實際觀察到的攻擊。

本文轉載自 TheHackerNews。