OpenInfra、CNCF、PyTorch 罕見同臺：算力稀缺時代，開源的破局之法
AI 的下半場，卡點會落在哪裏？是更大的模型、更強的芯片，還是更聰明的智能體？
9 月 8 日上午，上海。CNCF、OpenInfra、PyTorch 三大開源基金會首次聯合舉辦媒體發佈會——三方的年度大會也在同一周同期舉行。面對上面這個問題，三位受訪人不約而同地將答案指向了同一層：卡點不在模型，在模型之下的基礎設施。
出席媒體發佈會的是 OpenInfra 基金會總經理 Thierry Carrez（闞雷）、CNCF 執行總監兼 Linux 基金會雲與基礎設施執行總監 Jonathan Bryce（傅蘭石），以及 PyTorch 基金會執行總監 Mark Collier（科理懷）。他們分管三層棧、各有側重，卻不約而同地落到了同一個判斷上：AI 基礎設施已經不是單點突破的問題，而是整條棧能不能對齊的問題。
三家基金會的分工，原本是三條平行線。OpenInfra 處理最底下的資源抽象，把算力、存儲、網絡變成可按需切分的池子；CNCF 管編排調度，決定資源怎麼分配、回收、複用；PyTorch 基金會離應用最近，決定模型怎麼寫、怎麼在異構芯片上跑起來。三層拼起來，纔是從一塊 GPU 到一次推理的完整鏈路。過去這條鏈由不同社區各自維護，企業得自己當“膠水”；這一次同臺，等於把這件事擺上了檯面。
容易被忽略的，還有一層治理底色。三家都是中立基金會，開放治理、許可證可預期。在模型廠商忙着建圍牆的當下，這套“誰都不擁有”的結構，反而成了稀缺品。
“AI 始於基礎設施”
這句話，正是 Thierry 當天與媒體分享的其中一頁 PPT 的標題。
“每一個模型都取決於基礎設施。每一項推理服務，都需要一套能高效調度稀缺異構算力的基礎設施。每一個智能體，都對隔離與信任提出了新的要求。”他隨後報出了一串數字：全球生產環境中的 OpenStack 核心數創下歷史新高，達到 5500 萬；其中 76% 運行的是完整的 OpenInfra Blueprint（Linux、OpenStack、Kubernetes 這一整套）；2026 年的用戶調研顯示，三分之一的用戶正用 OpenStack 支撐生產環境的 AI/ML 負載。
矛盾也隨之而來：加速器難買，誰都在搶，只能把不同來源的算力混着用。“我們的目的是儘可能減少資源消耗，把資源分享給更多用戶。對 AI 來說，我們希望 GPU 處在 100% 的使用狀態。”Thierry 對媒體說。
兩個正在發生的用例，恰好印證了這套邏輯。螞蟻集團用 Kata Containers 的輕量級虛擬機爲智能體做硬件級隔離，再通過 Agent Sandbox 接入 Kubernetes——這背後是更普遍的數據信任問題：66% 的企業擁有目前無法在 AI 流程中使用的私有數據。越南運營商 Viettel 則把型號各異的加速器收進同一個資源池，用 OpenInfra 加 Kubernetes 加 PyTorch/vLLM 的整套開源棧，對外提供多租戶推理服務。百度也將於次日在大會上分享從基礎設施到 token 服務的全棧開源方案。
智能體把流量曲線“掰彎”了
在 Jonathan 看來，眼下的挑戰集中在兩個層面。其一是硬件：差異比以往任何一代都大——過去一臺服務器就是 CPU、內存加網卡，現在還要區分不同架構的內存、不同層級的存儲、不同型號的處理器。KV Cache 該放進內存還是高速存儲，得對着具體負載逐層分配。
另一個層面更微妙：交互模式變了。以前是人點一下、輸入一次，流量曲線大致可預測；現在換成智能體自己生成請求。“我最近看到一個例子是維基百科——互聯網上最忙碌的站點之一。35% 的用戶通過 Agent-driven 模式訪問，卻消耗了超過 60% 的資源。因爲 AI 智能體不會遵循人類可預測的行爲模式。”Jonathan 對媒體說。
這意味着，沿用已久的容量規劃方法正在失效。這也是爲什麼 CNCF 社區裏一批項目正在圍繞 AI 負載重構自己——vLLM 能在多個 GPU 上擴展推理規模，而 Karmada 則把多集羣編排推向了新的階段。
雲原生底座，開始接 AI 的活
發佈會上的一條重磅消息：CNCF 宣佈多集羣編排項目 Karmada 正式畢業。這個 2020 年 11 月提交第一行代碼、2021 年 9 月以 Sandbox 身份加入 CNCF、2023 年 12 月晉升 Incubating 的項目，如今已匯聚來自 292 家組織的 1214 位貢獻者，GitHub Star 超過 5600。
CNCF 首席技術官兼 Linux 基金會雲與基礎設施 CTO Chris Aniszczyk 的評價點出了畢業的分量：“隨着組織把 Kubernetes 擴展到多集羣、以及 GPU 資源受限的 AI 環境，如何以生產級方式協調這些資源，已經成爲運營成功的關鍵。Karmada 達到畢業標準，證明它具備企業要求的技術成熟度、治理和安全實踐。”
而畢業的時間點，同樣耐人尋味。同步發佈的 v1.19 把重點放在分佈式 AI 訓練任務的多組件調度上，基於優先級的調度升至 Beta 並默認啓用；2026 年路線圖還包括多集羣 AI 訓練與批處理任務隊列、面向 GPU 等加速器的 Kubernetes DRA（動態資源分配）多集羣支持。多集羣編排過去更多被當作多雲容災工具，現在開始承擔分佈式訓練和跨域推理的調度職責——一個雲原生項目的能力邊界，正在被 AI 負載重新定義。
率先給出配套答案的，是國內廠商。阿里雲把 Karmada 當作統一的多集羣編排平面來管理 Qwen 的推理基礎設施，GPU 利用率提升 25% 到 30%，可用性達到 99.99%；招商銀行則走另一個方向，用 CNCF 項目 HAMi 做 GPU 共享與拓撲感知調度，把硬件池利用率做到 100%，分佈式訓練的跨機調度開銷降了三成。Bloomberg、Trip.com、DaoCloud 等也各自分享了 Karmada 在多區域容災、混合雲容量和 AI Token Factory 架構上的落地經驗。
可移植性：開源給“鎖定”開的藥方
Mark 則將話題引向了更高一層：可移植性。PyTorch 社區有 12000 名貢獻者、覆蓋 2000 家組織；vLLM 一年內貢獻者增長超過 280%。來自中國開發者的貢獻約佔 PyTorch 的 44%；按開發者規模計，中國已是 PyTorch 全球第二大貢獻羣體——在 vLLM 上，中美開發者數量已經打平。
「硬件會不斷多樣化，但我們不希望軟件層面走向碎片化。所有的架構幾乎每天都在變，唯一能協調這件事的方法，就是開源。」——Mark Collier
被問及平臺鎖定時，他的回答有些出人意料：競爭本身就是最好的防鎖定手段。開源技術給了市場更多替代方案——可選的模型越多，用戶越容易把某個模型搬進自家基礎設施裏去改。此外，他還透露，開放模型的快速採用與 PyTorch 的增長高度一致：模型不只靠 PyTorch 訓練，還可以基於 Ray 等項目微調出專用模型。
發佈會當天還宣佈了三位 PyTorch 基金會新成員：阿里雲（白金）、寒武紀（白金）、螞蟻集團（黃金）。國產芯片廠商走進成員名單，意味着硬件多樣性正在被寫進開源項目的路線圖，而不是被當成外部變量。
中國市場：從最大的用戶羣體，走向上游創新的源頭
問答環節中，一個關於中國的問題被拋給三位負責人：中國企業與開發者，如何更深入地參與 CNCF、OpenInfra、PyTorch 社區，從用戶走向上游共建者？
三位負責人的回應裏，中國市場的分量被反覆提及。Mark 在演講中給出了一組數字：來自中國的開發者貢獻了 PyTorch 約 44% 的代碼，按開發者規模計已是全球第二大貢獻羣體；在 vLLM 上，中美開發者數量已經打平。「中國在上游貢獻、社區活躍度以及各技術棧的參與度上，都發揮着至關重要的作用。」他說。
支撐這份底氣的，還有體量。OpenInfra 十一萬成員中 10% 來自中國，是全球第三大社區；CNCF 統計中國有 175 萬雲原生開發者，其中約 40 萬專注 AI 流水線。面向這樣的社區，Mark 的邀請很直接——希望更多中國公司加入會員、參與共建；Thierry 則向中國用戶發出“舉手”之約：分享自己怎麼用、遇到了什麼問題，“這纔是參與的第一步”。在開源社區裏，使用經驗的公開本身就是最有價值的貢獻。
Jonathan 從另一個角度佐證了中國的位置：其他市場的公司通常直接採購 Anthropic、OpenAI 的服務，而在中國，開源是第一選項。他以招商銀行爲例——這家服務 2.5 億用戶的銀行，用完全開源的基礎框架結合 DeepSeek 等前沿模型拼出自己的組合。“我們看到中國公司正在領導開源技術和開源 AI 的開發。”
在硬件側，信號同樣清晰。中國的硬件創新密集湧現，越來越多芯片公司意識到，軟件是自家硬件走向市場最快的路，而開源是最有效的方式——寒武紀以白金成員身份加入 PyTorch 基金會，正是這一邏輯的註腳。爲了讓中國開發者的參與有更順手的入口，CNCF 還在中國成立了 CNCC（Cloud Native Community China），由本地社區領袖組織各地活動。
在三位負責人眼中，中國早已不只是全球最大的開源用戶市場，更是創新不可或缺的源頭。對於三大基金會而言，如何接住中國開發者的能量，已經是一個戰略級的命題。
爲什麼是三方：一條 AI 鏈路，三層缺一不可
被問到“爲什麼是三家”，Chris Aniszczyk 的回答幾乎不用展開：“要在任何芯片、任何雲、任何智能體上運行基礎設施，一個項目無法做到，一個基礎設施也無法做到。”三大基金會各管一層，各自都能講出一套路線圖，但 AI 負載跨過整條棧——資源抽象、編排調度、模型框架——站到一起，纔算把鏈路補齊。
這條鏈過去是斷的。企業得自己當膠水，把 OpenStack、Kubernetes、PyTorch 拼在一起用；AI 負載把對延遲、利用率、隔離性的要求抬高之後，膠水層的工程量和風險，已經超出任何一家企業單獨維護的能力。三家基金會聯合起來，等於把這道工序從企業手裏接了過去。
算力這邊，賬更現實。GPU 一卡難求，企業被迫把不同廠商、不同型號的加速器混着用；硬件越多樣，軟件越容易碎片化。要解開這個結，只能三層一起動：OpenInfra 把異構硬件抽象成統一資源池，CNCF 在多集羣間調度分配，PyTorch 讓模型在任意芯片上跑起來。前面提到的招商銀行、阿里雲能交出那樣的利用率數字，前提都是這三層在協同工作。
更深一層，是競爭的單位變了。行業正從模型時代邁向系統時代，模型幾乎每天都在更新，訓練與推理的邊界正在消融，創新的速度取決於信息在整條棧裏的流動——模型層的新需求要被調度層和資源層快速消化，硬件層的新能力要被框架層快速吸納。沒有哪家公司能獨自維護這麼多層，基金會的價值，恰恰在於提供一箇中立的協作界面，讓競爭的廠商願意把代碼放進同一層公共地基。
問答環節裏，Chris 提及了另一句容易被忽略的問題：基金會的角色，是“充當橋樑，將不同的業界、學界和產業界的人聚集一堂”。AI 從實驗室走進生產環境，技術問題背後，是算力誰出、標準誰定、代碼誰維護的協作問題。三家基金會把發佈會辦到一起，做的正是這件事：把各自維護的那一層，接到同一條鏈上。
寫在最後
一個多小時結束得很快，隨後是合影和寒武紀加入 PyTorch 基金會的簽約儀式。臺上三個人講的雖然大部分是 Kubernetes、OpenStack、PyTorch 這些開源的技術名詞，落到最後卻是同一件事：AI 已經跑進生產環境，接下來要較量的不是誰的模型更聰明，而是誰能把手裏那些昂貴、異構、又不太聽話的算力真正用起來。
Mark 在收尾時把視野拉得更遠：“我們正從模型時代邁向系統時代。信息流動得越快，系統就學得越快。構建開放的系統，讓社區和生態自由交流，模型就會越學越快。”這句話放在這場發佈會上，更像是在描述正在發生的事：同一天，Karmada 官宣畢業，寒武紀簽約爲白金成員。模型在快速更替，承載模型的那條開源棧，正在被越來越多的廠商和開發者一起維護。
