中國電信發(fā)布單體稠密萬億參數(shù)語義模型 用了普通訓練方案9%的算力資源
中國電信發(fā)布單體稠密萬億參數(shù)語義模型 用了普通訓練方案9%的算力資源
6月19日，中國電信人工智能研究院（TeleAI）與北京智源人工智能研究院合作，推出了全球首個單體稠密萬億參數(shù)的語義模型——Tele-FLM-1T。這一成就使TeleAI成為國內率先進入稠密萬億參數(shù)大模型領域的機構之一。
針對大模型訓練過程中高算力消耗的問題，TeleAI與智源的研究團隊采用了模型生長和損失預測等創(chuàng)新技術，共同研發(fā)Tele-FLM系列模型。與業(yè)界常規(guī)訓練方案相比，這一方法顯著降低了算力需求，僅使用了9%的算力資源。通過112臺A800服務器，在四個月的時間內，團隊成功完成了3個模型總計2.3萬億tokens的訓練任務。
中國電信表示，Tele-FLM-1T模型即將開放源代碼，旨在為行業(yè)提供萬億稠密模型訓練的技術參考案例，助力解決模型訓練中可能出現(xiàn)的收斂難題。
作為率先布局并開放大模型的央企研究機構，TeleAI在過去一年中展現(xiàn)了其在該領域的持續(xù)進步。繼去年推出千億參數(shù)級別的“星辰”語義大模型之后，今年2月，“星辰”大模型通過了“境內深度合成服務算法備案”。5月15日，根據(jù)相關公告，“星辰”大模型再度完成產(chǎn)品備案，這意味著它已具備正式對外提供生成式人工智能服務的資格。
在開源領域，TeleAI持續(xù)發(fā)力，相繼公布了7B、12B、52B參數(shù)規(guī)模的大模型。隨著TeleChat系列模型的問世，TeleAI還對其多個大模型應用項目實施了性能升級，例如，在某城市民服務項目中，集成TeleChat-52B模型后，整體服務效能提高了40%。
拜登退選是否與特朗普遭襲事件有關
鄭欽文：奧運賽場會付出所有，力爭夢想榮耀
今年三伏天所有女孩都這樣做 養(yǎng)生新風尚
美國男籃曬球隊1v1單挑視頻 詹皇罰球奪冠引熱議
廢棄它，連帶報銷了美軍隱藏的算盤……
沖突前線處境艱難，美歐援烏明顯降溫，內外壓力涌向澤連斯基！
沙利文稱美國可能允許烏軍用美國武器深入打擊俄領土，俄外交官：美仍想給俄造成“戰(zhàn)略失敗”
中高端公路自行車一車難求 騎友吐槽交押金兩月仍未提車
與臺當局首次聯(lián)演，“日本刻意低調”
張雪峰回應公司因無法聯(lián)系被列入經(jīng)營異常名錄：是我北京的工作室房租到期了
為波音產(chǎn)導引頭短缺，日本“愛國者”導彈生產(chǎn)計劃被推遲
2萬一套房的阜新會成為新鶴崗嗎 萬元買房背后的故事
拿下冠軍還要秀？特魯姆普綠球引爆全場，母球在桌上360度大轉彎
家族政治，印度持續(xù)千年的謎題
拜登退選是否與特朗普遭襲事件有關
雷神公司測試“愛國者”雷達引導“標準6”導彈
千里奔襲胡塞武裝，以軍要過幾道坎？
四連勝+巡回賽41冠！特魯姆普創(chuàng)造歷史，準神成80后第一人！
男子猥褻被拘13天父親向受害者求情
首次空襲也門，內塔尼亞胡：以色列長臂可觸及任何地方
今年三伏天所有女孩都這樣做 養(yǎng)生新風尚
暴雨來襲8個不 確保安全度汛期
鄭欽文：奧運賽場會付出所有，力爭夢想榮耀
一覺醒來，美國發(fā)生歷史性大事
澤連斯基：如果特朗普勝選，烏克蘭只能……
內塔尼亞胡訪美與拜登會晤將按計劃進行，具體時間未知
四大行新增貸款占半壁江山 金融供給側結構性改革深化
果然，美國政府還是有辦法……
重慶警方通報游樂場發(fā)生打人事件 5名嫌疑人被刑拘
瓜帥為根基的“教練樹”上 長出了多少好教練 傳承與變革并行
美“羅斯?！碧柡侥父凹t海小心翼翼，在進入印度洋后明顯放緩速度
拜登為何會推哈里斯上位 民主黨的無奈之舉？
俄方回應拜登退選 莫斯科立場不變，靜觀美國內政
日防相木原稔今起訪歐，同英意共同開發(fā)新戰(zhàn)機計劃有變數(shù)？
又扯“中俄威脅”？“美國將明文承諾會用核武器保護日本”
相關新聞
零一萬物千億參數(shù)模型Yi-Large發(fā)布！
2024-05-13 14:27:59零一萬物千億參數(shù)模型Yi-Large發(fā)布！李開復呼吁關注TC-PMF李彥宏批“百模大戰(zhàn)”：“卷模型”造成巨大的算力浪費
2024世界人工智能大會與人工智能全球治理高級別會議于7月4日在上海拉開帷幕。會上，百度的創(chuàng)始人、董事長兼CEO李彥宏進行了主題演講，分享了他對當前人工智能領域發(fā)展的一些見解
2024-07-04 15:59:30李彥宏批“百模大戰(zhàn)”：“卷模型”造成巨大的算力浪費機構：量子計算有望解決AI算力瓶頸，開啟算力新紀元
民生證券最近的研究報告強調，量子計算作為一種前沿技術，有望突破人工智能算力限制，帶來顛覆性變革。它與傳統(tǒng)計算方法不同，不僅大幅增強了數(shù)據(jù)處理的并行性，還顯著降低了能源消耗
2024-05-21 13:26:39機構：量子計算有望解決AI算力瓶頸黃仁勛的“人肉快遞”，掀起900億美元算力戰(zhàn)爭 最強AI算力捐贈OpenAI
黃仁勛最近親自向OpenAI贈送了全球首臺Nvidia DGX H200超級計算機，這一舉動再次凸顯了英偉達與領先研究機構在推動AI、計算及人類進步方面的合作
2024-04-30 09:08:51黃仁勛的“人肉快遞”阿里云發(fā)布開源模型Qwen2，宣稱性能超美國最強開源模型Llama3-70B
6月7日，阿里云在技術博客上宣布了一個重要進展：他們發(fā)布了名為Qwen2-72B的開源模型，這款模型在全球范圍內以其卓越的性能脫穎而出
2024-06-07 10:49:47阿里云發(fā)布開源模型Qwen2Claude3.5突然發(fā)布！GPT-4o不香了 Anthropic新模型奪魁
6月20日，Anthropic發(fā)布了一款名為Claude 3.5 Sonnet的AI模型，這款模型在多個領域超越了競爭對手，包括GPT-4o及自家的Claude 3 Opus
2024-06-21 10:45:07Claude3.5突然發(fā)布！GPT-4o不香了
