“歐版OpenAI”被曝蒸餾DeepSeek。

離職掀桌！Mistral

被曝

“蒸餾”DeepSeek。

網友在推特上爆料，一位Mistral離職女員工群發(fā)郵件，直指公司多項黑幕。

其中最勁爆的就是：

Mistral最新模型疑似直接蒸餾自DeepSeek，卻對外包裝成RL成功案例，并刻意歪曲基準測試結果。

說到Mistral，這家公司被譽為歐洲版OpenAI，是全球開源明星玩家之一，模型性能一直備受好評。

也正因為聲譽突出，這次爆料才顯得格外震撼。

早在今年6月，就有博主通過“語言指紋”分析，發(fā)現(xiàn)Mistral-small-3.2和DeepSeek-v3很像。

有意思的是——今年2月，還有網友調侃

DeepSeek是“中國的Mistral”。

結果半年過去，劇情反轉：Mistral不僅沒跑贏DeepSeek，還被曝“借”了人家的成果。

這波啊，這波叫回旋鏢自帶GPS，繞半圈又精準扎回自己身上。

Mistral蒸餾DeepSeek實錘

就像我們開頭提到的，推特博主Sam Peach通過分析模型輸出中過度使用的詞匯模式（Slop），發(fā)現(xiàn)了Mistral-small-3.2與DeepSeek-v3之間令人驚訝的高度相似性。

這種相似性通常很難通過獨立訓練偶然出現(xiàn)，所以很可能就是蒸餾（distillation）的結果：

Mistral-small-3.2“學習”了DeepSeek-v3的輸出風格。

具體來說，Sam Peach是這樣做的。

他先統(tǒng)計了模型在創(chuàng)意寫作（creativewriting）的輸出中，比人類文本更常出現(xiàn)的詞和n-gram（詞組）。

然后他把這些大數(shù)據(jù)整合起來，形成一個特征集。

最后把這些高頻特征進行層次聚類（hierarchicalclustering），生成了一張“相似性圖”。

通過比較相似性圖中模型的遠近位置，就可以發(fā)現(xiàn)Mistral-small-3.2和DeepSeek-v3在圖中非常接近，這就表明了它們的輸出模式高度相似。

最新的爆料則進一步指明，Mistral模型和DeepSeek相似不是巧合，而是可能使用了蒸餾。

由于爆料人Susan Zhang的推特設置可見范圍，更多爆料信息暫時無從得知。

但這里需要說明，蒸餾并不是一件違規(guī)的事，現(xiàn)在很多模型都是通過這一方法快速提升能力。

Mistral的問題在于，可能隱藏了這部分事實。

離職員工說，Mistral這樣做是在

假裝自家模型的強化學習有效

，這不僅

歪曲了基準測試結果，而且誤導公眾

。

不少人也認同這一觀點：蒸餾模型必須標注，保持透明性才是關鍵。

此外還有網友表示，蒸餾實際上為模型開發(fā)開辟了一條捷徑，好讓大家不用再重復造輪子。

官方暫無回應

這事兒頗具爭議，除了事件本身，主要還在于Mistral在開源AI圈的地位不低。

它成立于2023年，base法國巴黎，一直被稱為歐洲版OpenAI。由前Google DeepMind的Arthur Mensch和前Meta的Guillaume Lample與Timothée Lacroix聯(lián)合創(chuàng)立。

在今年8月，Mistral被曝估值達到100億美元，且正在籌集新一輪10億美元融資。

而在上一輪融資中（2024年6月），Mistral完成了一輪由General Catalyst領投的6億歐元（6.45億美元）的融資，這使其估值上升至58億歐元（62億美元），排名全球第四（美國灣區(qū)外排名第一）。

從公司成立以來，Mistral一直保持開源路線，今年開源的模型就包括輕量級模型Mistral Small和主打編程的Mistral Code等。

相較于主流的大語言模型，主打開源、小快靈的Mistral，在多語言處理和推理能力方面具備相當?shù)母偁幜?，在大模型市場中占?jù)著獨特的地位。

同時他們也推出了自家聊天機器人LeChat，對標ChatGPT，內置深度研究模式、原生多語言推理和高級圖像編輯等功能。

截至目前，Mistral官方還沒有回應，就在昨天他們還發(fā)布了新模型Mistral Medium V3.1。