“歐版OpenAI”被曝蒸餾DeepSeek。
離職掀桌!Mistral
被曝
“蒸餾”DeepSeek。
網(wǎng)友在推特上爆料,一位Mistral離職女員工群發(fā)郵件,直指公司多項(xiàng)黑幕。
其中最勁爆的就是:
Mistral最新模型疑似直接蒸餾自DeepSeek,卻對(duì)外包裝成RL成功案例,并刻意歪曲基準(zhǔn)測(cè)試結(jié)果。
說(shuō)到Mistral,這家公司被譽(yù)為歐洲版OpenAI,是全球開(kāi)源明星玩家之一,模型性能一直備受好評(píng)。
也正因?yàn)槁曌u(yù)突出,這次爆料才顯得格外震撼。
早在今年6月,就有博主通過(guò)“語(yǔ)言指紋”分析,發(fā)現(xiàn)Mistral-small-3.2和DeepSeek-v3很像。
有意思的是——今年2月,還有網(wǎng)友調(diào)侃
DeepSeek是“中國(guó)的Mistral”。
結(jié)果半年過(guò)去,劇情反轉(zhuǎn):Mistral不僅沒(méi)跑贏DeepSeek,還被曝“借”了人家的成果。
這波啊,這波叫回旋鏢自帶GPS,繞半圈又精準(zhǔn)扎回自己身上。
就像我們開(kāi)頭提到的,推特博主Sam Peach通過(guò)分析模型輸出中過(guò)度使用的詞匯模式(Slop),發(fā)現(xiàn)了Mistral-small-3.2與DeepSeek-v3之間令人驚訝的高度相似性。
這種相似性通常很難通過(guò)獨(dú)立訓(xùn)練偶然出現(xiàn),所以很可能就是蒸餾(distillation)的結(jié)果:
Mistral-small-3.2“學(xué)習(xí)”了DeepSeek-v3的輸出風(fēng)格。
具體來(lái)說(shuō),Sam Peach是這樣做的。