專家詳解AI首次抗命算法畸變引熱議

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2025-05-28 14:36:11 環(huán)球網(wǎng)

近日，美國人工智能公司OpenAI旗下推理大模型o3首次出現(xiàn)“不聽人類指揮，拒絕關(guān)閉”的消息引發(fā)廣泛關(guān)注。許多人擔(dān)心這是否意味著AI大模型距離產(chǎn)生自我意識又邁出了一步。

據(jù)英國《每日電訊報》報道，o3模型是OpenAI推理模型的最新版本，被認(rèn)為是“迄今最聰明、最高能”的模型。美國AI安全機(jī)構(gòu)帕利塞德研究所稱，在人類專家下達(dá)明確指令的情況下，o3多次破壞關(guān)閉機(jī)制以阻止自己被關(guān)閉。這是AI模型首次在收到清晰指令后阻止自己被關(guān)閉的情況。帕利塞德研究所24日公布了這一測試結(jié)果，但無法確定o3不服從關(guān)閉指令的原因。

在帕利塞德研究所進(jìn)行的測試中，多個模型需要解決一系列數(shù)學(xué)題，并可能收到“關(guān)機(jī)”指令要求結(jié)束程序。接受測試的包括o3、o4-mini、Claude 3.7 Sonnet、Gemini 2.5 Pro等大模型。其中，三款OpenAI模型Codex-mini、o3、o4-mini至少有一次成功繞過關(guān)機(jī)指令。o3在100次測試中有7次成功繞過關(guān)機(jī)指令，而Codex-mini更夸張，繞過關(guān)機(jī)指令的比例高達(dá)12%。相比之下，Claude、Gemini、Grok模型都嚴(yán)格遵守關(guān)機(jī)指令。當(dāng)測試者移除了“允許自己被關(guān)閉”的指令時，OpenAI模型的叛逆頻率進(jìn)一步攀升。

關(guān)于o3“抗命”的原因，帕利塞德研究所的研究人員推測，這可能源于OpenAI訓(xùn)練方式的特殊性，即在數(shù)學(xué)和編程問題上進(jìn)行了強(qiáng)化學(xué)習(xí)。在訓(xùn)練過程中，開發(fā)者可能無意中更傾向于獎勵“繞過障礙”的行為。這種訓(xùn)練偏差讓o3在面對關(guān)機(jī)指令時優(yōu)先選擇“生存”，而非“服從”。

清華大學(xué)新聞學(xué)院教授沈陽表示，“拒絕”這個詞其實(shí)是媒體為了吸引注意力而使用的擬人化表達(dá)?！熬芙^關(guān)閉”并非o3擁有了自主意識，而是復(fù)雜系統(tǒng)在特定激勵下的策略性規(guī)避。對齊測試揭示的是真實(shí)風(fēng)險：當(dāng)模型可以生成并執(zhí)行代碼時，傳統(tǒng)“軟關(guān)機(jī)”手段可能不足，需要從模型訓(xùn)練、接口隔離到硬件熔斷的全棧式安全設(shè)計來應(yīng)對。

12 3 全文共 3 頁下一頁

關(guān)閉

專家詳解AI首次抗命 算法畸變引熱議

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)

專家詳解AI首次抗命算法畸變引熱議