“歐版OpenAI”被曝蒸餾DeepSeek。
離職掀桌!Mistral
被曝
“蒸餾”DeepSeek。
網友在推特上爆料,一位Mistral離職女員工群發(fā)郵件,直指公司多項黑幕。
其中最勁爆的就是:
Mistral最新模型疑似直接蒸餾自DeepSeek,卻對外包裝成RL成功案例,并刻意歪曲基準測試結果。
說到Mistral,這家公司被譽為歐洲版OpenAI,是全球開源明星玩家之一,模型性能一直備受好評。
也正因為聲譽突出,這次爆料才顯得格外震撼。
早在今年6月,就有博主通過“語言指紋”分析,發(fā)現(xiàn)Mistral-small-3.2和DeepSeek-v3很像。
有意思的是——今年2月,還有網友調侃
DeepSeek是“中國的Mistral”。
結果半年過去,劇情反轉:Mistral不僅沒跑贏DeepSeek,還被曝“借”了人家的成果。
這波啊,這波叫回旋鏢自帶GPS,繞半圈又精準扎回自己身上。
就像我們開頭提到的,推特博主Sam Peach通過分析模型輸出中過度使用的詞匯模式(Slop),發(fā)現(xiàn)了Mistral-small-3.2與DeepSeek-v3之間令人驚訝的高度相似性。
這種相似性通常很難通過獨立訓練偶然出現(xiàn),所以很可能就是蒸餾(distillation)的結果:
Mistral-small-3.2“學習”了DeepSeek-v3的輸出風格。
具體來說,Sam Peach是這樣做的。
他先統(tǒng)計了模型在創(chuàng)意寫作(creativewriting)的輸出中,比人類文本更常出現(xiàn)的詞和n-gram(詞組)。
然后他把這些大數(shù)據(jù)整合起來,形成一個特征集。
最后把這些高頻特征進行層次聚類(hierarchicalclustering),生成了一張“相似性圖”。
通過比較相似性圖中模型的遠近位置,就可以發(fā)現(xiàn)Mistral-small-3.2和DeepSeek-v3在圖中非常接近,這就表明了它們的輸出模式高度相似。
最新的爆料則進一步指明,Mistral模型和DeepSeek相似不是巧合,而是可能使用了蒸餾。
由于爆料人Susan Zhang的推特設置可見范圍,更多爆料信息暫時無從得知。
但這里需要說明,蒸餾并不是一件違規(guī)的事,現(xiàn)在很多模型都是通過這一方法快速提升能力。
Mistral的問題在于,可能隱藏了這部分事實。
離職員工說,Mistral這樣做是在
假裝自家模型的強化學習有效
,這不僅
歪曲了基準測試結果,而且誤導公眾
。
不少人也認同這一觀點:蒸餾模型必須標注,保持透明性才是關鍵。
此外還有網友表示,蒸餾實際上為模型開發(fā)開辟了一條捷徑,好讓大家不用再重復造輪子。
這事兒頗具爭議,除了事件本身,主要還在于Mistral在開源AI圈的地位不低。
它成立于2023年,base法國巴黎,一直被稱為歐洲版OpenAI。由前Google DeepMind的Arthur Mensch和前Meta的Guillaume Lample與Timothée Lacroix聯(lián)合創(chuàng)立。
在今年8月,Mistral被曝估值達到100億美元,且正在籌集新一輪10億美元融資。
而在上一輪融資中(2024年6月),Mistral完成了一輪由General Catalyst領投的6億歐元(6.45億美元)的融資,這使其估值上升至58億歐元(62億美元),排名全球第四(美國灣區(qū)外排名第一)。
從公司成立以來,Mistral一直保持開源路線,今年開源的模型就包括輕量級模型Mistral Small和主打編程的Mistral Code等。
相較于主流的大語言模型,主打開源、小快靈的Mistral,在多語言處理和推理能力方面具備相當?shù)母偁幜?,在大模型市場中占?jù)著獨特的地位。
同時他們也推出了自家聊天機器人LeChat,對標ChatGPT,內置深度研究模式、原生多語言推理和高級圖像編輯等功能。
截至目前,Mistral官方還沒有回應,就在昨天他們還發(fā)布了新模型Mistral Medium V3.1。
在全球人工智能競賽日益激烈的背景下,OpenAI、微軟和Meta等行業(yè)巨頭正紛紛押注“蒸餾”技術,以降低AI模型的成本,提高其普及率,使企業(yè)和消費者更容易獲取先進的AI能力
2025-03-04 09:44:35全球AI巨頭正加急抄DeepSeek作業(yè)美國人工智能公司OpenAI向其快速崛起的中國競爭對手DeepSeek發(fā)起了進攻。13日,OpenAI向美國政府提交了一份長達15頁的信函,稱DeepSeek的最新模型R1是一個值得關注的進展
2025-03-15 14:35:01OpenAI寫信攻擊DeepSeek