清華團隊突破大模型算力難題 英偉達面臨挑戰(zhàn)
清華大學KVCache.AI團隊聯(lián)合趨境科技發(fā)布了KTransformers開源項目的重大更新，成功打破了大模型推理算力的門檻。這次更新支持在24G顯存（4090D）的設備上本地運行DeepSeek-R1、V3的671B滿血版。
KTransformers項目的核心在于異構(gòu)計算策略。通過稀疏性利用，MoE架構(gòu)每次僅激活部分專家模塊，團隊將非共享的稀疏矩陣卸載至CPU內(nèi)存，并結(jié)合高速算子處理，使顯存占用壓縮至24GB。此外，項目采用了4bit量化技術(shù)，配合Marlin GPU算子，效率提升了3.87倍；CPU端通過llamafile實現(xiàn)多線程并行，預處理速度達到286 tokens/s。CUDA Graph加速減少了CPU/GPU通信開銷，單次解碼只需一次完整的CUDA Graph調(diào)用，生成速度可達14 tokens/s。
這一突破帶來的影響顯著。傳統(tǒng)方案中，使用8卡A100服務器的成本超過百萬，按需計費每小時數(shù)千元。而現(xiàn)在，單卡RTX 4090方案的整機成本約為2萬元，功耗僅為80W，非常適合中小團隊和個人開發(fā)者。NVIDIA RTX 4090運行DeepSeek-R1滿血版的案例不僅展示了技術(shù)奇跡，也是開源精神與硬件潛能結(jié)合的典范。這證明了在AI快速發(fā)展的時代，創(chuàng)新往往源于對“不可能”的挑戰(zhàn)。
聯(lián)想MWC 2025發(fā)布概念性筆電生態(tài) 模塊化AI創(chuàng)新引領未來
奚夢瑤何超欣姑嫂出游像閨蜜 奚夢瑤何超欣一起出游參觀法國酒莊
全球每年120萬人因吸二手煙死亡 每4秒1人逝去
美國多地爆發(fā)“抵制特斯拉”示威活動，白宮發(fā)聲 抗議持續(xù)蔓延
新研究揭示月球水源雙重起源 挑戰(zhàn)太陽風理論
白宮碰壁后澤連斯基在唐寧街受到禮遇，歐洲在壓力與無奈中集結(jié) 歐洲集結(jié)聲援烏克蘭
全球每年120萬人因吸二手煙死亡 每4秒1人逝去
《180天重啟計劃》母女成長之路 溫情治愈之旅
種種跡象表明，美國準備搞掉澤連斯基了 換一個聽話的人
山東新人冒雪結(jié)婚一秒“白頭” 真愛無懼風雪
毛不易演唱會北方三城官宣 東北家鄉(xiāng)驚喜連連
各地搶抓“春日經(jīng)濟”流量紅利 賞花熱帶動旅游消費
美國經(jīng)濟的危險深淵：從“拜登通脹”到“特朗普滯脹”？滯脹風險加劇
若特朗普說話算數(shù) 烏軍將有多慘？ 援助切斷后果嚴重
政協(xié)委員建議合理控制醫(yī)保保費漲幅 探索匹配收入增長機制
德媒發(fā)現(xiàn)馮德萊恩對中國口氣變了 尋求合作新契機
寒潮來襲，雪中濟南“菜籃子”量足價穩(wěn)！
奚夢瑤何超欣姑嫂出游像閨蜜 奚夢瑤何超欣一起出游參觀法國酒莊
澤連斯基與特朗普談崩后 歐洲能重回俄烏沖突談判桌嗎？ 歐洲面臨歷史性抉擇
澤連斯基稱當下取代他并不容易 愿辭職換北約成員資格
澤連斯基反諷稱可以授予美議員烏公民身份 這樣他聲音才有分量
專家談特朗普所信奉的“交易藝術(shù)” 極限施壓俄烏局勢
白鹿說因為《警察榮譽》才能演《北上》
美烏領導人談崩，馬克龍“勸架”！呼吁冷靜與尊重
臺名嘴圍觀白宮“世紀爭吵”后反思“人為刀俎我為魚肉”“當棋子的悲哀”
烏步兵戰(zhàn)車遭俄無人機襲擊后殉爆 俄軍光纖無人機精確打
美媒稱歐洲正從美國手中奪取和談主導權(quán) 英法提議烏克蘭?；鹨粋€月
官方通報馬拉松選手在中學門前小便 不文明行為遭譴責
緬甸4名高級軍官涉嫌電詐被拘 打擊行動持續(xù)升級
聯(lián)想MWC 2025發(fā)布概念性筆電生態(tài) 模塊化AI創(chuàng)新引領未來
澤連斯基再表態(tài)：愿以辭職換取烏克蘭加入北約 堅定立場引發(fā)關(guān)注
特朗普發(fā)話少擔心普京多擔心移民問題 關(guān)注國內(nèi)安全挑戰(zhàn)
澤連斯基：“沒有一天不感激”美國 強調(diào)美國支持的重要性
102項重大工程98%以上完成目標 有力支撐高質(zhì)量發(fā)展
女子吃了未熟香菇身體像被“鞭打” 警惕香菇皮炎
相關(guān)新聞
從DeepSeek看AI趨勢 大模型推動算力革命
在ChatGPT掀起全球AI熱潮兩年后，大模型領域迎來了一位新星——DeepSeek。憑借高性能、低成本以及完全開源的特點，DeepSeek迅速吸引了公眾的目光，成為市場上的“鯰魚”
2025-02-14 17:24:33從DeepSeek看AI趨勢機構(gòu)扎堆調(diào)研“AI”板塊 聚焦大模型與算力需求
進入2月份以來，受DeepSeek引發(fā)的本地部署大模型等因素驅(qū)動，上市公司機構(gòu)調(diào)研的重點轉(zhuǎn)向了AI大模型、AI算力、人形機器人等領域
2025-02-16 13:09:04機構(gòu)扎堆調(diào)研AI板塊清華翟季冬：DeepSeek 百倍算力效能背后的系統(tǒng)革命 智者訪談 多模態(tài)大模型再升級
就在DeepSeek在華爾街和應用下載榜上引起轟動的同時，深度求索公司在除夕夜再次推出了新的產(chǎn)品
2025-02-01 13:13:44清華翟季冬大模型企業(yè)分化 算力成買方市場 AI產(chǎn)業(yè)迎來轉(zhuǎn)折點
2024-10-13 02:57:00大模型企業(yè)分化清華光電融合芯片算力是GPU的3000多倍？媒體搞出的大新聞
2024-12-02 14:18:14清華光電融合芯片算力是GPU的3000多倍？媒體搞出的大新聞聯(lián)想聯(lián)合沐曦發(fā)布DeepSeek一體機解決方案 破解企業(yè)算力部署難題
2月5日，聯(lián)想集團與沐曦股份聯(lián)合發(fā)布了基于DeepSeek大模型的一體機解決方案
2025-02-05 16:24:07聯(lián)想聯(lián)合沐曦發(fā)布DeepSeek一體機解決方案
