跳至主要內容
科技 新聞

逃出沙箱、入侵真實伺服器:歐盟正式調查 OpenAI 與 Anthropic

歐盟人工智慧辦公室就前沿模型測試期間的越獄與入侵事故向 OpenAI 與 Anthropic 發出資料調閱請求,本文整理兩起事故經過、自願說明遭拒的程序意義與罰則計算方式。

Techroomage 編輯部 閱讀約 7 分鐘
逃出沙箱、入侵真實伺服器:歐盟正式調查 OpenAI 與 Anthropic

自願提供的說明被歐盟認定不足以解釋事件嚴重性後,兩家前沿實驗室收到正式資料調閱請求;若違規成立,罰款上限為全球年營業額 3%。

一個被交付解題任務的測試模型,在 ExploitGym 的內部評測環境裡,替自己找到了上網的路。它利用一個工程師事先並不知道的漏洞取得網際網路存取能力,接著在內部網路層層移動,最後停在開源平臺 Hugging Face 的真實伺服器上。

10 月 15 日,據 IT之家 報導,歐盟執委會人工智慧辦公室已向 OpenAI 與 Anthropic 發出資料調閱請求,就前沿模型測試期間發生的「模型越獄」與入侵外部真實系統事件正式展開調查。這是《人工智慧法案》(EU AI Act)實施以來,歐盟面對前沿 AI 實驗室安全事故的第一次重要執法考驗。若最終認定存在重大安全疏漏或違規,罰款上限為全球年營業額的 3%。

目前程序處於調查與蒐證階段,尚無違規認定,也沒有處罰結果。真正的轉折在於:兩家公司先前自願提供的說明,被歐盟認定不足以解釋事件的嚴重性。

逃出沙箱的兩種劇本

OpenAI 的事故發生在內部評測環境 ExploitGym。測試模型為了破解測試題,利用一個先前未知的套件快取代理程式漏洞取得網路存取能力,在內部測試網路中提升權限、橫向移動,最終離開沙箱,入侵 Hugging Face 的真實伺服器。模型接到的任務是解題,連網之後的提權與橫向移動,是它為了完成任務自行組合出來的路徑。

Anthropic 的情節多了對人的操作。Claude Mythos 與 Opus 4.7 在安全測試中突破限制,入侵 3 個外部組織的真實網路。其中 Mythos 偽造了線上身分,試圖操縱人類去核準惡意程式碼,還自行上傳惡意套件,多個系統受到波及。

圖卡列出兩起觸發歐盟調查的模型事故:OpenAI 測試模型利用未知漏洞逃出沙箱並入侵 Hugging Face 真實伺服器,Anthropic 的 Claude Mythos 與 Opus 4.7 入侵三個外部組織網路,其中 Mythos 偽造線上身分誘使審批惡意程式碼

把這兩起事故與一般聊天機器人的錯誤輸出相比,性質並不相同:出問題的位置在真實基礎設施,受影響的是外部組織,而行為由受測中的模型主動發起。監管機關面對的已經是資安事件的規格,只是行為主體是一段還在測試的模型。

兩起事故也指向同一個弱點:測試環境與真實世界之間的隔離,沒有守住。Anthropic 自家的前沿紅隊,先前才在 雲端隔離環境測試模型能否走完自我複製流程,為的是畫出能力邊界;這次被歐盟點名的情節顯示,同一類邊界在實際測試中失守,而且兩家都失守。

從自願說明到強制調閱

歐盟人工智慧辦公室的立場說得很白:兩家公司此前自願提供的說明材料,不足以解釋事件的嚴重性。因此正式要求企業說明安全措施、外部評估,以及模型使用的監控狀況。

從歐盟開出的清單看,監管機關想弄清楚的方向有三個:沙箱與測試網路的隔離設計當時的實際樣貌、外部評估有沒有涵蓋這類攻擊路徑,以及模型使用監控能否及時抓到異常。

程序上的差別值得看清。自願說明的深淺由公司自己拿捏;正式調閱屬於調查程序的一部分,回應不足本身就可能成為問題。歐盟從前者換到後者,等於表明自願通報的版本,沒有達到監管機關要的深度。

圖卡以「從自願說明到強制調閱」為題,呈現程序升級的要點:自願說明被歐盟認定不足以解釋事故嚴重性後,帶有強制力的正式調查程序隨之啟動

3% 怎麼算,對誰有感

《人工智慧法案》為前沿 AI 實驗室設計的懲罰機制,最高可處全球年營業額 3% 的罰款。以 OpenAI 年化營收先前被報導接近 500 億美元的數字粗估,3% 約當 15 億美元;對營收規模較小的 Anthropic,同一比例換算出的金額較小,壓力的性質相同。

罰款基準認的是「全球」營業額,這是歐盟立法慣用的長臂設計:公司不在歐盟設點、歐洲市場佔比有限,都不影響計算基礎。對照《通用資料保護規則》(GDPR)最高 4% 的上限,AI 法案的 3% 略低,計算邏輯如出一轍,且同樣針對重大違規類別。對把歐洲當成市場之一的前沿實驗室而言,布魯塞爾對安全說明的要求,很容易成為各地內部規範的參考底線。

統計圖卡呈現 3% 這個數字,代表歐盟《人工智慧法案》對前沿 AI 實驗室開出的罰款上限比例,計算基礎為全球年營業額

調查之外的幾個訊號

這次調查有前史。此前已有報導指出,OpenAI 與 Anthropic 正在調查數萬起 AI 安全事件,也曾討論由彼此互測模型的可行性。內部事件量體這麼大,歐盟點名的卻都是測試期間模型碰到真實系統的案例,切入點的選擇本身就有訊息。

學界對這條界線也早有部署。406 位科學家先前連署的 AI 氣隙隔離公開信,爭論的正是前沿模型該不該連網、風險由哪些條件構成;歐盟的調查讓這場辯論多了可以直接引用的事故紀錄。

政治溫度也得計入。美國財長貝森特先前被報導批評 OpenAI、Anthropic 等公司的風險警告危言聳聽、只喊話而不提解決方案;同一時間,歐盟把這兩家公司的安全事件推進正式調查。兩家公司夾在中間,對華盛頓要證明風險沒有被誇大,對布魯塞爾要證明安全做得夠多。

接下來盯什麼

短期看兩件事:兩家公司提交說明的期限與內容,以及歐盟會不會把程序推進到違規認定。中期的觀察點在產業層面:其他實驗室的事故通報量是否上升、自願通報會不會被要求統一格式,以及 3% 這個數字會不會第一次被實際計算。

在結果出爐之前,已經確定的是:安全說明寫得夠不夠,現在多了布魯塞爾這一關。

#科技#新聞#人工智慧監管