中國芯“混編”戰力全開！上海AI實驗室新技術破算力瓶頸，沐曦壁仞等均適配

隨着人工智能（AI）加速演進，社會對高質量、低成本算力的需求持續攀升，但如何整合不同品牌、不同架構（即“異構”）的國產芯片，一直是制約我國AI產業大規模落地的核心瓶頸。

記者從上海人工智能實驗室（上海AI實驗室）獲悉，他們近日正式發佈DeepLink混合推理方案，率先實現多元異構芯片的深度混合調度與協同推理。這也是該實驗室繼去年率先攻克國產芯片混合訓練的難題後，在構建我國自主可控、高效協同的算力底座上，再次取得的標誌性突破。

算力重心轉向推理應用

隨着AI大模型應用的普及，社會當前的算力需求正逐漸從訓練轉向推理。簡單說，如果大模型的“訓練”是它們在研發階段“寒窗苦讀、習得知識”，那麼“推理”就是它們“學成”後步入社會、爲千行百業解決具體問題的過程。當前，伴隨AI應用的爆發，全社會對推理算力的需求，正呈幾何級增長。

然而，此前國產算力推理技術，只能支持單一型號芯片的算力調度。由於各芯片廠商缺乏互聯互通的標準，因此異構芯片間調度難、利用率低，難以形成合力。如何突破這一“算力圍城”，成爲加速AI全面賦能各行各業的關鍵。

“AI模型的推理，其實像是一場足球賽。”上海AI實驗室專家工程師、系統平臺中心負責人王輝告訴記者，用單一芯片建設的算力集羣，就像是一支由“11個前鋒”或“11個後衛”組成的球隊，雖然單兵素質挺優秀，但由於位置單一、功能重複，面對複雜賽況卻往往難以發揮最大效能。

實際上，模型的推理，包含預填充（Prefill）和解碼（Decode）兩個關鍵階段，前者對算力要求極高，後者則對內存訪問性能更敏感。此次上海AI實驗室發佈的DeepLink混推方案，首次基於多種國產異構算力，將預填充和解碼進行了分離（PD分離），從而可以將不同的任務，分配給不同型號的芯片，相當於能根據“球員能力”排兵佈陣。

巧妙“佈陣”化解“偏科”難題

算力芯片其實都存在一定的“偏科”——有的算力性能強，就好似爆發力突出，適合在推理的“預填充”環節進行“衝擊”；有的存儲性能優秀，如同耐力好，適合擔綱“解碼”任務。

王輝表示，根據具體任務需求，選出“最合適球員”的混合組隊模式，可讓國產芯片從過去的單打獨鬥轉向系統性集團作戰。

在DeepLink混合推理方案中，上海AI實驗室構建了三大原創技術底座，讓異構的國產芯片可在同一個算力集羣中絲滑配合、充分發揮所長。其中，DLSolver（策略求解器）就像是高明的“球隊經理”，可以對不同芯片的能力進行精準評測，爲其找到最適合的“場上位置”；DLRouter（智能流量路由）就像球隊教練，能實時調度，確保整個算力集羣順暢運轉；DLSlime（異構通信庫）發揮了中場銜接作用，能夠讓不同芯片之間進行高效流量傳輸。

實測數據顯示，在千卡規模的推理算力集羣中，DeepLink方案較之傳統的單一芯片方案，首字響應時間（TTFT）最大可優化34.5%。這意味着當用戶向AI提問時，它“蹦”出第一個字的速度快了約1/3。同時，其推理吞吐能力提升32%，相當於AI持續輸出答案的過程也提速近1/3。這表明，藉助DeepLink，國產算力集羣實現了芯片級的“知人善任”，真正實現了“1+1>2”。

盤活資源賦能“人工智能+”

DeepLink混推方案的發佈，不僅是一次技術意義上的“登頂”，更有可能對我國AI產業生態帶來積極影響。

當前，國內一方面渴求算力，但由於國產算力難以整合，一定程度上還出現了資源閒置的局面。DeepLink的出現，有助於充分挖掘國產芯片的潛力，將其轉化爲高價值的算力資源池，從而盤活全國的算力供給。

據透露，DeepLink混合推理方案已基本完成對8款國產芯片的適配，包括昇騰、沐曦、平頭哥、壁仞等主流品牌，其推理性能平均提升幅度超過20%。這相當於用戶所承擔的算力成本相應地下降了20%以上。

由於能有效激活存量算力，國內一些省級算力中心已決定採用這一技術方案。同時，上海AI實驗室還在繼續推動DeepLink混合推理方案與更多國產芯片開展適配，從而將爲更多本土芯片企業提供寶貴的發展空間。

值得一提的是，去年上海AI實驗室曾推出DeepLink混合訓練方案，成功實現了跨越千公里的多智算中心長穩混合訓練千億參數大模型。此次在“混合推理”上再次突破，意味着他們完成了“訓推一體化”的全方位國產算力賦能體系建設。這將對於有效降低我國對特定算力硬件的路徑依賴、保障國家算力安全、推動“人工智能+”落地，起到重要的基石作用。