DeepSeek V4最大的遺憾是什么 Engram缺席引發(fā)熱議
DeepSeekV4的技術(shù)報告中提到了mHC、CSA、HCA、Muon和FP4等技術(shù)，但沒有提到Engram。這引發(fā)了網(wǎng)友們的熱議。Engram由DeepSeek和北京大學(xué)聯(lián)合開源，主要研究大模型的記憶與效率問題。自發(fā)布以來，它一直是討論的焦點。
Engram的設(shè)計初衷是解決模型在處理如“倫敦是英國首都”這樣的事實時，不需要動用整個深層網(wǎng)絡(luò)重新推理，而是可以直接查詢。這樣不僅節(jié)省了顯存，還能釋放深層網(wǎng)絡(luò)容量用于更高階的推理。因此，很多人認(rèn)為Engram會成為V4的基礎(chǔ)架構(gòu)。然而，在V4發(fā)表后，人們發(fā)現(xiàn)論文中并沒有提及Engram，這讓不少人感到遺憾。
盡管如此，Engram的理念和技術(shù)仍在繼續(xù)發(fā)展。三篇后續(xù)論文展示了Engram的應(yīng)用潛力。其中一篇論文詳細(xì)介紹了Engram的工作原理：通過在Transformer模型中加入一個原生知識查表模塊，使得模型能夠直接查詢靜態(tài)知識，從而減少計算量。具體來說，Engram在第2層和第15層之間插入了哈希查找機制，將當(dāng)前token和前面幾個token組成的N-gram映射到一個巨大的嵌入表中，直接取出對應(yīng)的向量。門控機制確保了查找到的內(nèi)容與當(dāng)前上下文匹配。
實驗結(jié)果顯示，Engram在知識密集型任務(wù)上表現(xiàn)優(yōu)異，并且在通用推理和代碼數(shù)學(xué)方面也有顯著提升。此外，Engram還被應(yīng)用于CXL內(nèi)存池化，以解決大規(guī)模模型的內(nèi)存問題。另一個研究者則嘗試優(yōu)化Engram的哈希查表沖突問題，但結(jié)果并不理想。還有一個團隊將Engram擴展到視覺領(lǐng)域，取得了不錯的效果。
雖然Engram沒有出現(xiàn)在V4中，但它的理念和技術(shù)已經(jīng)在多個方向上得到應(yīng)用和發(fā)展。
黃金超越美債成最大儲備資產(chǎn)意味什么 全球儲備結(jié)構(gòu)大變局
寸海不讓！那一聲怒吼背后的力量 守護藍(lán)色國土
女子連續(xù)多日為搶收農(nóng)機手送盒飯 潁上好人溫暖田間
平陸運河全線通水 進入有水調(diào)試階段
紀(jì)檢部門回應(yīng)公務(wù)員被曝腳踏兩條船 私人感情糾紛引發(fā)關(guān)注
男子路上偶遇高考試卷押運車隊 守護每一份努力與希望
推遲三個月的告別：哈梅內(nèi)伊國葬敲定三城舉行 三城送別最高領(lǐng)袖
黃仁勛稱員工薪水越高越好 分享盈利增長紅利
男子救人溺亡兒女不知父已離世！
起底業(yè)務(wù)員虛假保單騙局 高額返傭背后的貓膩
哈馬斯重申：愿移交加沙地帶治理權(quán) 否認(rèn)不愿交權(quán)指控
退休夫妻離婚分割近億財產(chǎn)被移送公安 巨額資產(chǎn)來源不明引發(fā)調(diào)查
中國驅(qū)逐艦隊擴張迎里程碑 45艘服役 現(xiàn)代化海軍崛起
黃金超越美債成最大儲備資產(chǎn)意味什么 全球儲備結(jié)構(gòu)大變局
男子盜竊女友財物獲刑 虛榮心作祟觸法網(wǎng)
特朗普簽署人工智能行政令 加強AI技術(shù)監(jiān)督
3歲男孩被過度保護只會說3個字 愛的絆腳石
日菲炒作海域“劃界談判”目的何在 針對中方海上布局
烏方發(fā)布基輔遭襲畫面 多枚導(dǎo)彈引發(fā)爆炸傷亡慘重
中東多國拉響警報 導(dǎo)彈與無人機真實攻擊
女子連續(xù)多日為搶收農(nóng)機手送盒飯 潁上好人溫暖田間
俄軍大規(guī)模轟炸烏克蘭，傷亡數(shù)據(jù)出爐 空襲規(guī)?？涨?/a>
歐洲議會投票通過歐美貿(mào)易協(xié)議 立法文本待最終批準(zhǔn)
俄稱烏襲擊頓涅茨克一客運汽車致7死 烏方暫無回應(yīng)
過去一夜中東局勢驟然升級 阿聯(lián)酋倒戈引發(fā)連鎖反應(yīng)
俄烏戰(zhàn)況：烏稱俄發(fā)動大規(guī)模襲擊 俄發(fā)射巡航導(dǎo)彈打擊烏軍用機場 澤連斯基呼吁歐美支援
荔枝龍眼雜交新品種“懷石”來了 全球首例跨屬雜交成功
曝印尼準(zhǔn)備買24架殲-10CE 精明采購策略揭曉
男子嫉妒前女友入職銀行入室殺人 控制欲與嫉妒釀悲劇
基輔60秒內(nèi)遭4枚導(dǎo)彈襲擊 烏克蘭經(jīng)歷“最艱難一天”
中國機器人“出海潮”的喜與憂 從規(guī)模到價值的跨越
69歲老人高燒不退，竟是家中“萌寵”惹禍！
寸海不讓！那一聲怒吼背后的力量 守護藍(lán)色國土
男子打麻將輸錢敲詐勒索 獲刑8個月 舉報威脅獲刑罰
九寨溝越野賽181人抄近道被處罰 賽事公平受挑戰(zhàn)
相關(guān)新聞
DeepSeekV4發(fā)布 創(chuàng)新引領(lǐng)未來
2026-04-24 11:36:39DeepSeekV4發(fā)布DeepSeekV4和GPT5.5誰更強 性能對決引發(fā)熱議
2026-04-24 21:44:34DeepSeekV4和GPT5DeepSeekV4 尺度 國產(chǎn)算力的突破
2026-04-25 19:18:42DeepSeekV4尺度DeepSeekV4適配華為升騰 國產(chǎn)AI生態(tài)再升級
2026-04-25 09:48:24DeepSeekV4適配華為升騰武契奇：最大的遺憾之一是沒學(xué)會中文 小兒子已開始學(xué)中文
2026-05-26 12:06:32武契奇DeepSeekV4被曝春節(jié)前后發(fā)布 代碼生成能力顯著提升
2026-01-10 11:43:57DeepSeekV4被曝春節(jié)前后發(fā)布
