DeepSeek最強(qiáng)專業(yè)拆解來了，清交復(fù)教授超硬核解讀 揭秘大模型優(yōu)化之道(2)
翟季冬分享了DeepSeek在系統(tǒng)軟件方面的工作，拆解并行訓(xùn)練策略。他指出DeepSeek V3的成本相對較低，采用了MoE架構(gòu)和多種優(yōu)化策略，如負(fù)載均衡、通信優(yōu)化、內(nèi)存優(yōu)化和計(jì)算優(yōu)化，從而大幅提升了訓(xùn)練效率。
戴國浩討論了DeepSeek在軟硬件上的優(yōu)化，特別是繞過CUDA層的問題。他解釋了PTX（并行線程執(zhí)行）指令的重要性，并指出通過定制的PTX優(yōu)化，可以使系統(tǒng)和模型更好地釋放底層硬件的性能。他還提到，協(xié)同優(yōu)化可以通過軟件和硬件的結(jié)合進(jìn)一步提升整體系統(tǒng)的優(yōu)化空間。
在Q&A環(huán)節(jié)中，四位教授從各自的專業(yè)角度分享了DeepSeek引起的一些效應(yīng)和技術(shù)亮點(diǎn)。邱錫鵬認(rèn)為DeepSeek的成功在于效果好且開源；劉知遠(yuǎn)強(qiáng)調(diào)了低成本和開源的重要性；翟季冬則關(guān)注架構(gòu)創(chuàng)新，尤其是MoE；戴國浩從學(xué)術(shù)和產(chǎn)業(yè)兩個(gè)角度表達(dá)了對DeepSeek的贊賞。
對于MoE架構(gòu)是否是最優(yōu)解的問題，幾位教授一致認(rèn)為沒有絕對最優(yōu)的方法，但模塊化和稀疏激活將是未來的重要方向。關(guān)于長思維鏈設(shè)計(jì)對硬件的需求，戴國浩提出需要更高的帶寬和存儲能力，以及新的硬件架構(gòu)來支持高效的推理過程。
最后，關(guān)于PTX方法的通用性，翟季冬和戴國浩都認(rèn)為PTX是英偉達(dá)特有的指令，如果換用其他芯片，則需要使用相應(yīng)的底層接口進(jìn)行調(diào)整。
政協(xié)委員談糧食安全：讓每一個(gè)中國人吃得飽吃得好 每一百分點(diǎn)都珍貴
就在3月5日16時(shí)7分！驚蟄節(jié)氣來了 春意萌動萬物蘇
佩里西奇：我們必須處于最高水平 團(tuán)結(jié)奮戰(zhàn)求勝
青海公路局應(yīng)對全省降雪天氣 全力除冰雪保暢通
美“援烏資金”至少70%被留美國
庫爾德工人黨會對土耳其政府服軟嗎 厄賈蘭呼吁解散組織
專家：烏克蘭最大優(yōu)勢是頑強(qiáng) 堅(jiān)韌面對挑戰(zhàn)
加拿大將只能靠烏克蘭難民抵御美國擴(kuò)張
美斷供若歐洲砸錢 烏能堅(jiān)持下去嗎
珠海新規(guī)施行最高罰款10萬 嚴(yán)打電動自行車非法改裝
姚勁波：治理“提燈定損” 保護(hù)租客權(quán)益
濟(jì)南將發(fā)放娘家人暖新包 關(guān)愛“三新”女性
蜜雪冰城全球門店數(shù)超過麥當(dāng)勞 中國快餐品牌崛起
遼寧鐵人隊(duì)“最豪華”陣容出爐 前場升級“四大天王”
前日本女足國腳永里優(yōu)季退役 23年輝煌生涯告終
嚴(yán)浩翔：祝亞軒繼續(xù)保持對世界的好奇 生日快樂呀！
加元墨西哥比索跌至一個(gè)月新低 關(guān)稅風(fēng)暴沖擊匯市
政協(xié)委員談糧食安全：讓每一個(gè)中國人吃得飽吃得好 每一百分點(diǎn)都珍貴
英法支持烏克蘭能否替代美國援助 歐洲奪回和談主導(dǎo)權(quán)
就在3月5日16時(shí)7分！驚蟄節(jié)氣來了 春意萌動萬物蘇
《北上》觀眾口碑出爐 收視率亮眼引發(fā)熱議
祖沖之三號再次打破紀(jì)錄 超導(dǎo)量子計(jì)算新突破
檀健次：唐奇是“深情的渣男” 演繹百變戀愛挑戰(zhàn)
東契奇為歐文祈禱 傷病牽動人心
菲律賓一架FA50戰(zhàn)機(jī)夜間失聯(lián) 搜救行動進(jìn)行中
1元發(fā)卡巴黎世家賣2700 品牌爭議再升級
從小鮮肉，到苦大仇深的小老頭，澤連斯基是這三年里老得最快的人
英首相辦公室：對加沙援助不能受阻 呼吁持續(xù)?；?/a>
誰來承擔(dān)烏克蘭安全保障 美烏礦產(chǎn)協(xié)議引爭議
臺學(xué)者：解放軍實(shí)彈演習(xí)越來越近
美政府被曝已暫停向?yàn)蹩颂m輸送武器 援助凍結(jié)引發(fā)擔(dān)憂
車壓積雪濺路人一身泥交警出手了 自私行為惹眾怒
反馬斯克浪潮席卷全美：政府效率部引爆社會裂痕
佩里西奇：我們必須處于最高水平 團(tuán)結(jié)奮戰(zhàn)求勝
俄稱結(jié)束沖突是一個(gè)艱難的過程 俄方揭西方陣營裂痕
相關(guān)新聞
外媒拆解DeepSeek制勝秘籍 揭秘成功關(guān)鍵因素
2025-02-01 18:41:18外媒拆解DeepSeek制勝秘籍DeepSeek迎來最強(qiáng)隊(duì)友 解析三國殺武將強(qiáng)弱
2025-02-18 11:55:06DeepSeek迎來最強(qiáng)隊(duì)友DeepSeek把大模型的泡沫打下來了 打破美國壟斷地位
2025-02-07 10:40:08DeepSeek把大模型的泡沫打下來了冷空氣來了！史上最強(qiáng)“秋老虎”即將下線
“史上最強(qiáng)秋老虎來襲”“未來三天四川局地氣溫或達(dá)40℃”“成都何時(shí)明顯降溫”三個(gè)話題同時(shí)登上微博熱搜，天氣走勢備受關(guān)注。
2024-09-20 10:08:01史上最強(qiáng)“秋老虎”即將下線冷空氣來了！ 史上最強(qiáng)“秋老虎”即將下線
“史上最強(qiáng)秋老虎來襲”“未來三天四川局地氣溫或達(dá)40℃”“成都何時(shí)明顯降溫”三個(gè)話題同時(shí)登上微博熱搜，天氣走勢備受關(guān)注。
2024-09-19 15:00:48冷空氣來了！公募 DeepSeek，重磅來了 開啟金融智能化新篇章
2025-02-08 14:34:03公募DeepSeek
