趨境科技發佈高效能AI Token生產服務平臺,日均萬億Token產能

來源: 更新:

英偉達CEO黃仁勳日前提出一個觀點:現在的AI計算機變成了“工廠”,並直接與企業的收入創造掛鉤。他認爲,AI代工廠正在製造一種名爲“Token”的商品,且這種商品已經被細分和定價。

在日前由趨境科技與九源智能計算系統生態聯合體共同主辦的“全棧智能全域推理:Token爆發元年的全場景大規模推理服務”專題研討會上,中國工程院院士、九源智能計算系統生態聯合體理事長、清華大學教授、趨境科技首席科學顧問鄭緯民提出,隨着智能體、AI Coding等應用的爆發式增長,Token消耗量呈百倍、千倍級躍升,2026年已成爲名副其實的“Token爆發元年”。AI產業的核心關注焦點,正從“模型參數規模、模型可用性”全面轉向“穩定、低成本、高質量交付的Token產能”。

Token即服務

“未來的智能基礎設施應圍繞‘Token即服務(TaaS,Token as a Service)’進行重構”。鄭緯民院士表示,傳統模型服務的核心是保障模型可得性與接口完整性,而Token服務的核心是保障Token產能的可用性,更關注成本、吞吐、延遲與可靠性等生產性指標,是一個極端複雜的多維繫統最優化問題,必須完成全鏈路的系統級創新。

鄭緯民院士明確了TaaS發展的三大核心技術底座:一是全系統異構協同,通過將不同計算任務合理分配至GPU、CPU、內存和SSD,打破算力瓶頸;二是存算協同實現“以存換算”,通過前置KV Cache等技術,大幅降低重複計算量,提升推理效率;三是面向SLO的智能調度,精準地將用戶業務需求“翻譯”爲底層資源決策。鄭院士表示:“只有讓智能生成像水電一樣被穩定地調度與供給,才能真正迎來算力製造Token爲王的普惠智能時代。”

四大核心技術

趨境科技在論壇上發佈趨境ATaaS高效能AI Token生產服務平臺,可支撐萬級別AI推理需求,並達到日均萬億級別Token整體產能。

趨境ATaaS具備四大自研核心技術:全球首創大模型計算邏輯重構技術,深度融合CPU+GPU、國產與非國產算力,實現任務的智能分流,可將萬卡級智算集羣運營成本壓降20%以上;全球首創超體量KV Cache緩存技術,將KV Cache存儲空間擴展百倍至千倍,緩存命中率最高可達90%,直接削減90%的GPU算力開銷;全球首創算子級SLO仿真技術,實現算力資源的智能預規劃與動態調優,可精準切分異構算力,將萬卡級智算集羣硬件綜合資源利用率最高提升數倍;支持萬億參數大模型7秒快速拉起與動態配置變更、數百節點超大規模EP彈性調度,爲萬卡級高性能橫向擴展提供關鍵能力。

趨境ATaaS平臺使每單位算力和能耗投入都能夠數倍轉化爲更穩定、更可衡量的Token價值產出,推動算力基礎設施從“數據中心”向“Token工廠”全面演進。

打造產業服務生態

該論壇是2026中關村論壇核心組成部分,論壇匯聚院士、頂尖學者及產業領軍人物,聚焦大模型時代推理服務的核心技術、產業實踐和生態協同,共探高效、穩定、安全、普惠的大模型推理服務體系建設。

並行科技作爲國內領先的算力服務商,在第三方算力服務領域位列第一,並行科技董事長陳健表示,其MaaS服務得到趨境科技的大力支持,雙方合作將高質量Token的生產成本大幅優化,並將特定場景下的集羣性能提升50%,共同爲智譜、Kimi、MiniMax、DeepSeek等頭部大模型客戶提供優質服務。

九源智能計算系統生態聯合體副祕書長王豪傑表示,T九源聯合體打造國產智能計算生態,全國產化方案適配多款GPU、串行代碼高效並行的九源領域編程語言“九齒”、支撐Mooncake推理加速系統、基於國產芯片的高效智能體,並與KTransformers等框架深度聯動,推動國產算力從“可用”邁向“好用”。

京東雲AI Infra產品負責人郝鵬表示,京東雲已與趨境科技達成深度合作,聯合打造下一代推理引擎,共同賦能Mooncake開源生態。華爲昇騰計算業務副總裁、首席產品規劃師葉耀榮表示,趨境與昇騰展開了全方位的技術和商業化合作,部分項目在昇騰AI集羣上實現了2倍以上性能提升。此外,阿里雲政企事業部教育科研解決方案總監楊坤、商湯科技大裝置首席架構師項鐵堯等也分享了與趨境科技在Mooncake等開源項目上深度合作,以及爲趨境Token服務提供高可靠算力支持的實踐。

相關推薦
請使用下列任何一種瀏覽器瀏覽以達至最佳的用戶體驗:Google Chrome、Mozilla Firefox、Microsoft Edge 或 Safari。為避免使用網頁時發生問題,請確保你的網頁瀏覽器已更新至最新版本。
Scroll to Top