字節跳動爲了玩明白《原神》，至少「氪」了幾千萬？

01

會玩《原神》的AI

這兩天，一款號稱能玩《原神》的AI模型Lumine-Agent突然刷屏。

在B站，Lumine團隊放出了總長超過25小時的8段實錄視頻，主要展示了AI遊玩《原神》《崩壞：星穹鐵道》和《鳴潮》的過程。

在實錄視頻中，團隊公開的內容除了遊戲流程實機，還包括下方的「AI思考過程」，右側的AI鼠標鍵盤指令——通過這些視頻，我們能比較清楚地看出AI玩遊戲的具體過程：

居然還知道看教程

從實機來看，Lumine不僅能順利完成多款遊戲的體驗流程，還鬧出了不少笑話。如果加上配音，其節目效果可能不亞於一些遊戲實況UP主——看來又一個職業要被AI威脅到了。

朝凱亞發起攻擊

理直氣壯地跳過《鳴潮》動畫

據官網介紹，Lumine在《原神》中的應用場景包括：

1. 基礎交互：能完成戰鬥後開寶箱、通關祕境、完成日常委託等複合操作；

2. 應對BOSS機制：可理解並應對無相之雷、風魔龍等BOSS的特定玩法，如躲避攻擊、攻擊弱點、拾取元素顆粒等等；

3. 精密操作：能完成飛行蒐集、瞄準射擊、點燃荊棘、激活元素方碑、限時挑戰等複雜解謎；

4. 界面適應：可在3D探索與2D界面（如NPC交互、GUI操作）間自然切換；

此外，通過將複雜目標拆解爲具體步驟，你還可以引導Lumine完成收集風神瞳、凍結水面取物、利用風場開箱等更復雜的操作。

爬上右側的石柱，到達最高處後收集位於左側空中的藍色風神瞳

切換角色爲凱亞，不斷釋放E技能凍結水面，以收集前方浮在水面上的風神瞳

收集風種子以激發風場，進入風障內，開啓寶箱

從這一系列演示的效果來看，雖然Lumine並沒有表現出網友所說的「完全讓代練、代肝UP失業」的效果，但至少能在過劇情、重複刷本等相對耗時的流暢中解放玩家雙手，展現出一定的實用價值。

有意思的是，有網友指出「Lumine」這個名稱，正是《原神》中女主「熒」的英文名，團隊也因此製作了一組相關圖片。

論文進一步指出，Lumine是目前唯一能在3D開放世界中完成數小時任務的AI智能體。在四項關鍵測試中，其特定版本「Lumine-Instruct-NonHis」的成功率均超過80%，性能顯著優於GPT-5、Gemini 2.5 Pro、Grok-4、Qwen3-VL等主流大模型及其它基線方法。

此外，儘管Lumine主要使用《原神》數據進行訓練，但其目標卻是打造通用型智能體。論文顯示，團隊也將Lumine的實測範圍擴展至《鳴潮》《崩壞：星穹鐵道》乃至《黑神話：悟空》，並取得了不錯的結果：

在《鳴潮》中，Lumine僅憑推理能力，就以接近新手的水平完成了遊戲的前兩個劇情（約107分鐘）。

有意思的是，由於基礎模型知識庫的截止時間早於《鳴潮》上線，它在推理時會出現「幻覺」，借用《原神》的術語來描述《鳴潮》的內容——論文表示，類似的跨遊戲知識遷移現象，在人類玩家中也很常見。

面對與《原神》玩法不同的《崩壞：星穹鐵道》（箱庭探索+回合制戰鬥），Lumine依然通關了「黑塔」空間站的主線，耗時約7小時，僅比人類玩家的平均速度（4.7小時）慢2.3小時——速度差距主要來自回合制戰鬥的操作、驗證跳躍（崩鐵不能跳）和空氣牆阻擋。

快難爲死AI了

在更具挑戰的《黑神話：悟空》中，Lumine未能完成挑戰。問題主要在於遊戲寫實的渲染風格干擾了AI的視覺識別（比如部分場景被誤判爲不可操作的CG動畫），以及遊戲本身的高戰鬥難度。

儘管存在侷限，但跨遊戲的測試仍表明，Lumine所展現的通用能力存在較大潛力。

02

還在早期，還在招人

爲了達到目前的實測效果，Lumine團隊投入了不少心力。

簡單來說，Lumine採用視覺推理模式：由兩臺主機協同工作，一臺負責每200毫秒截一張圖並提交推理請求，另一臺主機負責推理並將其轉化爲鼠標鍵盤指令返回。

基於這一流程，Lumine團隊使用了總計約4500小時的《原神》視頻數據進行訓練，其中包括1731小時的人類遊戲數據用於預訓練、200小時的指令數據用於語言基礎訓練，以及15小時的推理數據用於實現混合式思維。

整個過程不僅耗時、耗力，更耗錢——僅用於推理的主機，就搭載了4塊H20顯卡，價格超過30萬人民幣，而訓練整個Agent模型更是需要64塊H100顯卡，成本至少1500萬元。再算上AI領域高昂的人力成本，整個項目推進下來，少說也要耗費數千萬的成本。

此外，目前Lumine仍存在不少缺陷。論文指出，最顯著的問題是多模態理解能力不足，約佔全部問題的50%，表現爲AI無法從場景中正確識別目標；

「安柏」和「火元素方碑」

其次是會「偷懶」，比如任務要求射擊三個史萊姆，AI射完兩個就幹別的去了，或者忽略類似「撿起一朵花」這樣的細節指令；再然後還有空間感知偏差問題、控制精度問題等等。

可以說，在Agent能力和成本沒有突破性迭代之前，普通玩家想用AI「代肝」，仍是一個不切實際的幻想。

而Lumine團隊之所以如此「財大氣粗」，則是因爲他們來自字節跳動種子計劃（ByteDance Seed）。

該團隊負責字節跳動的AI能力研究，覆蓋大模型、視覺、語音、多模態交互、通用機器人乃至生物領域，目前字節旗下的飛書、火山引擎、豆包、貓箱、星繪、即夢等應用都有該團隊的技術落地。

ByteDance Seed官網

Lumine項目的負責人及論文主要作者譚偉豪，是南洋理工大學博士生。他在個人主頁上表示自己很喜歡米哈遊的遊戲，巧的是，他的博士導師也叫「安柏」——與《原神》開篇的引路人安柏的中文名相似。

譚偉豪曾在2024年，發表過能「玩遊戲」的智能體Cradle的相關論文，後者的底層基於GPT-4V，執行邏輯同樣是以屏幕截圖作爲輸入，輸出鍵鼠操作。

當時團隊「讓AI玩遊戲」的技術能力還沒有這麼強，主要展示的能力包括：在《荒野大鏢客2》中完成40分鐘主線任務、在《城市：天際線》中建造千人城市、在《星露穀物語》中耕種並收穫歐洲蘿蔔、以及在《經銷商的生活2》中實現單週最高87%的交易利潤率；此外，Cradle還能操作Chrome、飛書等日常軟件，並使用美圖秀秀、剪映處理圖片和視頻，展現出了一定的通用性。

由此可見，Lumine可能是Cradle的迭代與特化版本，專注於開放世界遊戲場景的測試，目前仍處於早期探索階段——論文末尾附帶的《原神》數據標註人員招募信息也印證了這一點。

03

任何技術都有意義

可能看到這裏，不少讀者會覺得：除了「AI玩遊戲」聽起來挺新奇，再加上對實況主、代練業可能有點衝擊之外……這項技術，似乎也沒有那麼大的實際意義？

我認爲這個問題可以從兩個層面看：

第一層，我們先聚焦「AI玩遊戲」本身。

利用AI模擬真實玩家的操作，一直是衆多遊戲廠商重點投入的技術方向。從硬件層面的操作腳本，到《王者榮耀》《逆水寒》等產品中訓練的AI隊友或對手，都顯示出遊戲行業對高擬真AI的強烈需求。

但同時，有資料顯示，《王者榮耀》訓練AI「絕悟」時，其測試架構就動用了60萬個CPU核心和1064張顯卡，保守估計成本達數億元；網易《逆水寒》手遊也曾表示，每年投入約3000萬元用於AI雲計算資源，以訓練智能NPC。

圖源《逆水寒》手遊公衆號

某深圳射擊遊戲廠商CEO也表示，每年只是爲遊戲配備AI隊友，就要向超參數這類專業公司支付數千萬元的費用（也證明這類生意確實賺錢），這是他們最終選擇自研AI的原因。

超參數官網

在這種背景下，Lumine展現出了兩大優勢。

首先是通用性。跟上述依賴遊戲內部封閉數據的專屬AI智能體相比，Lumine的技術路線和特性有些不同：

它僅依靠公開遊戲資料和視覺推理，就能模擬真實玩家的操作，而且更不容易被識別爲機器人（雖然目前操作上限比不上專屬AI）、無需提供遊戲內部數據、只要能「看懂」界面，就能上手玩多種遊戲……低訓練門檻、擬真度、隱私性、通用性，可以說是Lumine未來發展的幾個競爭力。

某大廠射擊遊戲製作人曾提到，其項目中的AI隊友始終效果不佳，主因是副本類型多、機制複雜，傳統規則型AI難以靈活適應——現在來看，如果採用視覺推理AI，或許就有機會解決這一問題。

比如論文指出，Lumine在導航上的效果非常出色，堪稱其通用能力中最紮實的一環。這跟早期的「傳奇自動尋路」不同，AI智能體的通用性更強，路線更自由，在研發端也幾乎不需要繪製導航網格之類的設計成本。

沒有「璃月」地圖訓練數據的情況下，AI仍能正常推進璃月主線

其次是訓練成本較低。

雖然整個Agent模型的訓練，保守需要數千萬的成本，但相比上面這些燒錢的情況，確實算得上比較划算。更何況，廠商也完全不必自己從零開始訓練，如果能直接調用字節訓練好的、成熟的Lumine API或基礎模型，所需的成本或許會更低，風險也更小。

難怪論文中會用「僅需」

此外，我認爲Lumine至少還有兩種應用場景：自動化遊戲測試，以及反推遊戲設計。

傳統遊戲的研發階段，廠商一般依賴人力測試遊戲性能、穩定性，尋找BUG等，雖然隨着技術的迭代，部分測試環節可以用腳本代替，但相比之下，Lumine Agent不僅可以24小時不間斷工作，還能模擬真實玩家的複雜操作，高效地發現極端情況下的BUG，極大提升測試場景覆蓋率和效率——而且遊戲的場景越複雜（像《原神》），它的優勢就越明顯。

你看，這證明Lumine還能頂掉一大塊遊戲測試的開銷。

更進一步，「AI玩遊戲」的背後，是AI對遊戲交互邏輯的理解。如果把這套能力反推，未必不能實現用「AI做遊戲」：只需要設定目標和規則，AI就能自主推理，結合其他工具，自動生成地圖、關卡、任務動線等等。

當然，說來說去，又回到了問題的第二層：這一切真的有意義嗎？

比如相關的擔憂不難理解：AI都幫你玩遊戲了，那你玩遊戲的樂趣又在哪？如果有人用AI刷資源或者打破遊戲平衡，那是不是又變成了另一種「外掛」（當然目前已經有AI外掛了）？這些問題也需要隨着技術演進反覆論證。

《原神》一週前還發布了打擊鼠標宏、自動化腳本的違規行爲，而Lumine說到底還是三方自動化腳本的一種

但在此之前，我依然相信任何AI與遊戲結合的技術，都有其存在的價值。

就像你現在回過頭看AlphaGo，它不就是個只會下圍棋的AI嗎？但它帶給世界、帶給AI行業的震撼和價值，早已讓很多人忘了這點——說不定到了某一天，我們過去所有討論過「有啥意義」的技術，也會在未來，給我們巨大的回報。

至少現在，字節跳動創始人張一鳴，大概不會再批評員工上班摸魚玩《原神》了吧……

圖源網絡

參考資料：

https://www.lumine-ai.org/

https://arxiv.org/html/2511.08892v1#S9

https://seed.bytedance.com/zh/research

https://weihaotan.github.io/

https://baai-agents.github.io/Cradle/

https://arxiv.org/html/2403.03186v2#S4