北京時(shí)間1月28日凌晨,農(nóng)歷新年前夕,中國人工智能初創(chuàng)公司DeepSeek在GitHub和Hugging Face上發(fā)布了多模態(tài)大模型Janus-Pro,進(jìn)軍文生圖領(lǐng)域。該模型是2024年11月發(fā)布的JanusFlow大模型的升級版,分為70億參數(shù)和15億參數(shù)兩個(gè)版本,并且均開源。
AI社區(qū)開發(fā)者的評論顯示,Janus-Pro具備在消費(fèi)級電腦終端上本地運(yùn)行的潛力。這款模型在多模態(tài)理解和文本到圖像的指令跟蹤功能上實(shí)現(xiàn)了重大進(jìn)步,其文本到圖像生成的穩(wěn)定性明顯提升。根據(jù)DeepSeek發(fā)布的測試結(jié)果,Janus-Pro的70億參數(shù)版模型在一些基準(zhǔn)測試中擊敗了美國AI獨(dú)角獸OpenAI的多模態(tài)大模型DALL-E3。
盡管Janus-Pro的模型尺寸有限,但從技術(shù)報(bào)告看,DeepSeek團(tuán)隊(duì)添加了7200萬張高質(zhì)量合成圖像,模型在預(yù)訓(xùn)練階段的真實(shí)數(shù)據(jù)與合成數(shù)據(jù)的比例達(dá)到了1:1,這使模型的圖像視覺生成能力更穩(wěn)定。此外,Janus-Pro通過將視覺編碼分離為“理解”和“生成”兩條路徑,既緩解了視覺編碼器在理解和生成中的角色沖突,還提升了模型框架的靈活性。該模型還在多模態(tài)理解的訓(xùn)練數(shù)據(jù)上增加了大約9000萬個(gè)樣本,使其在文生圖的同時(shí),也能識別圖像及其中的文字、知識等。
就在北京時(shí)間1月27日,由DeepSeek開發(fā)的應(yīng)用程序超越了OpenAI的ChatGPT,成為蘋果應(yīng)用商店下載量最大的免費(fèi)應(yīng)用程序。幾乎在同一時(shí)間,包括英偉達(dá)、博通公司、超威半導(dǎo)體公司以及微軟在內(nèi)的美國科技公司股價(jià)大幅下跌,華爾街評估認(rèn)為這是受中國企業(yè)DeepSeek的技術(shù)突破影響。
在DeepSeek發(fā)布文生圖多模態(tài)大模型前一晚,達(dá)闥機(jī)器人創(chuàng)始人黃曉慶表示,其團(tuán)隊(duì)已基于DeepSeek的V3及R1大模型,將對話功能應(yīng)用于旗下的機(jī)器人開發(fā)創(chuàng)新中,目前正在規(guī)劃基于DeepSeek的多模態(tài)大模型進(jìn)行二次訓(xùn)練。他認(rèn)為,DeepSeek開源、開放的模式有利于第三方進(jìn)行二次訓(xùn)練,加入多模態(tài)和機(jī)器人控制模型。DeepSeek的MoE專家模型的融合架構(gòu)不僅適合模型應(yīng)用下游廠商的分布式訓(xùn)練場景,對像達(dá)闥機(jī)器人這樣的廠商來說,跨應(yīng)用場景的各種形態(tài)的機(jī)器人開發(fā)也可以與DeepSeek的多模態(tài)大模型進(jìn)行融合。