蔡浩宇的AI公司悄悄發佈了首個視頻大模型

來源: 更新:

昨日,AilingZeng在X上公佈了LPM 1.0,一個基於視頻的角色表演模型,能夠實時說話、唱歌、傾聽、反應和做表情。


根據信息顯示,LPM 1.0是面向單人全雙工音視頻對話的角色表演大模型,針對現有視頻生成模型難以兼顧高表現力、實時推理、長時身份穩定性等挑戰研發。


團隊構建了以人爲中心多模態數據集,訓練17B參數的Base LPM並將其蒸餾爲低延遲流式的Online LPM,實現實時視頻生成無限時長身份一致生成細膩擬人化表演。


同時打造出首個交互角色表演基準LPM-Bench,在各項評估中取得SOTA結果,可作爲對話代理、直播角色、遊戲NPC的通用視覺引擎



根據其個人主頁信息,AilingZeng隸屬於Anuttacon技術團隊——就是蔡浩宇創辦的那個AI公司。她此前曾在騰訊混元團隊與AI Lab實驗室從事模型相關研究工作。


該模型的技術論文一共由24位研究人員參與,內容很多,有興趣的朋友可以自行搜索查看。葡萄君也不懂技術,這裏就簡單展示一下,這個模型可以具體做什麼事情吧。


首先,LPM 1.0爲多模態輸入,你可通過1張圖片+參考圖片(可選)+ 說話/聽/靜音音頻+文本的方式,來生成一段角色表演。這個表演視頻可用於角色對話、角色直播和遊戲NPC的視覺呈現。


通過下段視頻你可以看到,該模型在角色的言語、節奏、目光,以及猶豫、思考等微表情方面上,有着相當多的真實細節。



LPM 1.0採用了多維度的角色身份穩定要素:全局外觀參考、多視角身體圖像與面部表情參考素材。以此來規避模型對牙齒、表情紋路、側臉輪廓、未顯露的身體形態等未知細節進行錯誤生成的問題,以實現角色身份的精準保持。


同時該模型也支持不同角色風格作爲輸入:寫實、2D動漫、3D遊戲和非類人生物等等,無需任何微調或領域特定訓練。


並且LPM 1.0是支持實時互動的。根據官網的說法,該模型能在無限的交互時長下保持穩定、身份一致的生成,並會有回應前的停頓、身體節奏、目光轉移等細節。


這種對話支持全雙工(Full-duplex):就像真實的打電話或面對面聊天。雙方可以同時說話、傾聽,互相隨時打斷,直接反饋。


該GIF取自一段45分鐘的演示對話,基於Online LPM 480P型號生成

另外,在非對話場景中,角色獨處於某個環境時,也會有着真實的呼吸節奏、自然的表演與準確的情感表達。


在Anuttacon團隊看來,LPM 1.0主要優勢在於:視覺忠實度、精準口型、身份保護以及自然感,包括支持任意長度的內容生成。(Kling-Avatar 2.0和OmniHuman 1.5最多限制爲30秒)


所以LPM 1.0可能適用於以下情形:AI對話、遊戲NPC互動、虛擬直播、教育輔導、遊戲伴侶等等。長直播視頻生成。

不過值得注意的是,Anuttacon團隊現在沒有計劃向公衆發佈模型權重、源代碼、在線演示、API、產品或任何相關產品。


本次公開僅用於展示LPM 1.0當前的研究進展,供學術交流使用。該模型不會開源或對外開放。


所以葡萄君認爲,本次LPM 1.0對外披露的核心目的仍是招聘。之前不少相關人士都曾表示,蔡浩宇正在全力押注AI領域,且相關團隊仍存在大量AI人才招聘缺口。而LPM大概率也不是Anuttacon唯一的技術探索方向,可以推測,他們未來很有可能還會推出更多的大模型。


看到這裏,你大概就會發現,在一衆遊戲創始人中,蔡浩宇對AI的重視程度可能是最明顯的,會親自下場,在一線All in。


而不管是米哈遊還是Anuttacon、Hoyoverse,他們近年來在AI領域的種種佈局,其實已經開始形成一條有跡可循的技術探索路線。


比如說Anuttacon成立之初就表示要打造一款AI原生的遊戲引擎級平臺,開發者僅需輸入前提條件,即可一鍵生成可自由交互的智能NPC,並以此快速搭建完整遊戲世界。


而從最開始試驗性質的AI遊戲《Whispers from the Star》,再到後來的AI聊天產品AnuNeko,再到如今的LPM 1.0,這個技術的進化進度肉眼可見。


AnuNeko


包括米哈遊或者Anuttacon近年來在各個AI領域的動作,看似分散,但現在也逐漸能串聯起來了:


《崩壞:星穹鐵道》團隊早在2023年就已開始嘗試將AI工具應用到角色行爲管理、3D建模調優、NPC臺詞等多個方面,並希望未來打造“對話永不重複的智能NPC”。


米哈遊還在2025年發佈了崩壞IP項目組AI專項招募計劃。該計劃面向AI人才,核心目的包括“AI驅動提效”(將AI應用到遊戲開發全流程)和“AI驅動創新”(通過AI帶來新的遊戲體驗)。項目組已搭建AI Agent平臺Echo和多個遊戲開發管線應用。


前陣子,米哈遊三位創始人蔡浩宇、劉偉、羅宇皓還通過劉偉代表,向上海交通大學捐款助力“AI未來基石基金”。不難猜想,這也是爲後續的AI人才輸送鋪路。


而虛擬角色鹿鳴,米哈遊與Hoyoverse聯合開發的《雨之城》(Varsapura),則都有可能作爲AI技術的探索載體。


事實上,在米哈遊生活模擬新作《星布穀地》的首次測試裏,已經推出了可支持玩家自由文字對話的AI NPC。


正如遊戲葡萄此前的報道,每當談及終極願景時,蔡浩宇始終堅定會地認爲,未來生成式的語言模型能跟遊戲結合,做出非常酷的產品。


於他而言,虛擬世界是貫穿始終的燈塔。童年時對“被窩裏的小電視”的幻想,因智能手機成爲現實;而如今看不清終點的虛擬世界賽道,所有的AI技術佈局、產品試驗與底層探索,都是他一步步靠近這個終極目標的必經之路。

相關推薦
請使用下列任何一種瀏覽器瀏覽以達至最佳的用戶體驗:Google Chrome、Mozilla Firefox、Microsoft Edge 或 Safari。為避免使用網頁時發生問題,請確保你的網頁瀏覽器已更新至最新版本。
Scroll to Top