現場體驗DLSS 5後，我覺得遊戲美術要變天了
幾天前，NVIDIA正式發佈DLSS 5，帶來了3D引導神經網絡渲染技術，將生成式AI技術進一步接入遊戲實時渲染管線。
上個月底，葡萄君在NVIDIA的科隆展臺現場感受了多項最新技術。其中，《伊莫》的新NVIDIA ACE Demo展示了遊戲內具有自己心情的生物與玩家互動，執行生產建造任務；G-SYNC Pulsar則從顯示端入手，在支持可變刷新率的前提下，還能顯著提升畫面流暢度與運動清晰度。
當然，最讓葡萄君難忘的還是DLSS 5的神威。
今年3月的GTC大會上，NVIDIA首次展示了DLSS 5的基本原理與效果。半年後科隆現場展示的DLSS 5，則進一步強化了開發者對生成效果的控制，現在的DLSS 5，可以說無愧於NVIDIA創始人兼首席執行官黃仁勳對其的評價。
“在NVIDIA發明可編程着色器的25年之後，我們正再次重塑計算機圖形，DLSS 5開啓了圖形技術領域的‘GPT時刻’。”
不過，要理解NVIDIA爲什麼會爲DLSS 5放出這般豪言，還要先從遊戲圖形技術長期面對的一道難題說起。
01
遊戲圖形技術的大躍進
如何在實時運行的遊戲中，渲染出照片級別真實的畫面？
DLSS 5的研究負責人告訴我們，這是圖形學最困難、最接近“聖盃”的問題之一。從GeForce誕生開始，NVIDIA就一直朝着這個目標邁進，試圖縮小遊戲畫面與現實影像之間的差距。
回看過去二十多年的圖形技術史，遊戲圖形每隔幾年便會出現一次推動畫面質量躍遷的技術。但真正改變畫面生產方式、推動行業向前跨出一大步的節點並不多。
2001年，NVIDIA引入可編程着色器，讓開發者可以通過程序控制物體表面的顏色、光照和材質表現。
2018年，NVIDIA的實時光線追蹤技術問世，開發者可以更準確地計算光線在場景中的傳播，讓反射、陰影和間接光照進一步接近現實規律。也是從這一時期開始，NVIDIA逐漸明確，AI將成爲邁入下一階段的重要工具。
如今，誕生於AI、計算機圖形學與實時渲染交匯處的DLSS 5，很可能成爲一個新節點——引入生成式AI後，DLSS 5爲照片級畫面，找到了新的實現方式。
過去25年，GPU的浮點運算能力提高了近40萬倍，但想要達到影視級的照片真實感，現有算力依然遠遠不夠。
傳統圖形技術主要從物理規律出發構建畫面。開發者先製作場景、紋理和3D模型，再計算光線如何照射物體、在不同表面之間反彈，最後將光線與不同材質的物體交互形成的視覺效果渲染出來形成玩家看到的最終畫面。
以逆光下的頭髮爲例。想準確還原發絲邊緣的透光效果，系統需要計算光線怎樣進入每一根具有體積的髮絲，在其中反覆散射，又怎樣進入其他髮絲或離開。
影視特效可以花費數小時甚至數十小時渲染一幀畫面，遊戲卻要在一秒內連續生成幾十乃至數百幀，還要隨時響應玩家的操作。長期以來，爲了保證遊戲流暢運行，開發團隊只能不斷在畫面質量與性能之間取捨。
近年大熱的生成式AI爲這個問題提供了新的思路。大模型可以從大量真實圖片和視頻中學習光線與材質的關係，直接補充相應的視覺細節，無須把複雜的物理過程逐一計算出來。
不過，通用生成模型的穩定性和響應速度與實時遊戲的需求仍然存在距離，暫時無法直接應用。
針對這些需求，DLSS 5採用專門面向遊戲構建的像素空間擴散Transformer模型，實現3D引導神經網絡渲染。它以遊戲引擎已經渲染出的畫面爲基礎，此時角色幾何、紋理、構圖和基本光照已經確定，模型只需在原有結構上補充更豐富的視覺信息。
具體來看，這套技術對遊戲開發的影響主要體現在三個方面。
第一，保留遊戲原有的內容。
DLSS 5處理的基礎，是基於遊戲引擎已經渲染出的畫面。其中包含角色外貌、物體位置、鏡頭構圖和基本光照，爲模型劃定了明確的生成範圍。
訓練過程中，遊戲渲染器還會提供顏色、表面反射率、法線和光照等內部數據，幫助模型理解畫面中的人物、材質和空間關係。在這些信息的約束下，模型可以增強皮膚質感、髮絲受光和材質反射，但不能隨意改變角色身份、場景結構與畫面構圖。
團隊對這一點的要求相當嚴格。即使原始畫面中存在TAA造成的像素化或重影，DLSS 5也不會擅自修復。相比消除一處瑕疵，團隊更重視模型不會在其他畫面中誤改人物和場景。
第二，畫面呈現的決定權依舊掌握在美術手中。
真實感本身也有不同的呈現方式。同一個場景應該使用怎樣的光照、增加多少細節、重點增強哪些物體，都取決於遊戲原有的美術方向。爲此，DLSS 5提供了Model A、Model B、Model C等不同版本。
各模型採用不同訓練參數和權重，因此輸出風格也不同，開發者可以根據場景和風格選擇不同版本。
在具體效果上，開發者可以通過DLSS 5的結構強度（Structure Intensity）和色調強度（Tone Intensity）兩個全局選項。結構強度主要控制接觸陰影、遮蔽、反射和次表面散射等局部細節；色調強度則影響範圍更大的顏色與光照變化。把參數設置調至1，表示增強效果最大；調到0，畫面便與原始渲染幀完全一致。
同時，NVIDIA還爲DLSS 5設計了語義AI遮罩，進一步限定模型的處理範圍。他們可以只增強角色或環境，也可以單獨選中植被、食物，甚至某一件道具進行處理。
第三，模型能夠逐幀生成，並保持前後畫面穩定。
由於遊戲中的每一幀都取決於玩家當下的操作，而玩家可能隨時轉動鏡頭、改變方向或觸發動作，系統無法提前生成後續畫面。
因此，DLSS 5採用了逐幀處理的方式，每輸入一幀，便根據當前信息輸出對應結果。
運行過程中，遊戲引擎會向模型提供運動矢量，逐像素說明物體在相鄰畫面中如何移動。模型由此無須結合多幀畫面推測運動，可以直接跟隨玩家操作，減少人物、材質和陰影在移動中出現的閃爍、漂移與形變。
針對實時渲染的需求，DLSS 5還縮小了模型規模，並對渲染管線進行優化。目前的DLSS 5能夠在毫秒內完成一幀畫面的處理，在單張RTX 50系列GPU上實現最高4K分辨率的實時運行。
02
《NBA2K27》：
首款DLSS 5遊戲搶先試玩
葡萄君知道，這些原理聽起來可能仍然有些抽象。那麼，落到具體遊戲裏，玩家究竟能看到怎樣的變化？
這個問題，如今已有答案——昨天，首款原生支持DLSS 5的遊戲《NBA 2K27》上線，畫面效果讓不少玩家讚歎。
NVIDIA選擇《NBA 2K27》作爲DLSS 5的首秀，其實不難理解。這項技術現階段最容易發揮優勢的，正是追求照片級畫面的寫實遊戲。
長期以來，NBA 2K系列都希望把遊戲做得更像一場真實賽事轉播，照片級真實感也是《NBA 2K27》的重要目標。現場交流中，團隊告訴葡萄君，NVIDIA與Visual Concepts大約從五個月前就開始推進DLSS 5的適配。
實際操作上，Visual Concepts利用DLSS 5提供的模型、強度和遮罩工具，分別調整了球員與環境。
團隊先確定整場比賽的色調，再通過遮罩來微調角色的細節，限制模型對球員外貌的影響。觀衆、球場和場館則採用另一套增強範圍，讓不同畫面元素維持統一的光照關係。
首先，球員面部並沒有出現“魔改”，五官與臉型依舊來自原有掃描模型。DLSS 5主要調整球員周身光線與材質的表現：場館燈光穿過耳朵時，皮膚呈現出了自然的透光感，鼻子、下巴和眼窩周圍的遮蔽更加清楚。頭髮接住環境光後，也能看到更細的髮絲和陰影。
左邊：DLSS 5 OFF 右邊：DLSS 5 ON
其次，物體相接的位置更爲貼合。未開啓DLSS 5時，手指與籃球之間缺少足夠的陰影，籃球看起來更像是浮在手上。開啓DLSS 5後，手指與球面接觸的位置多出明確的細微陰影，二者的關係更加紮實。球衣覆蓋肩頸和手臂的地方也增加了明暗層次，布料也顯得更自然。
DLSS 5 OFF
DLSS 5 ON
更進一步，DLSS 5甚至讓觀衆席的畫面表現都得到了補強，儘管觀衆在畫面中佔據的面積很小，模型仍能補充帽檐與面部、手部與相機、鞋底與地面之間的遮蔽和接觸陰影。
這些局部變化單獨看或許並不算誇張，但放進完整的畫面後，《NBA 2K27》與真實轉播畫面的距離又縮短了一大截。
除了靜態畫質，現場演示也驗證了DLSS 5在運動中的表現。在慢動作回放裏，頭髮的透光、衣物的褶皺和人物身上的陰影能夠跟隨動作變化，在相鄰幀之間沒有出現明顯的閃爍和跳動。
科隆現場的演示同時開啓了4K最高畫質、光線追蹤、DLSS性能模式和6倍多幀生成，在整套DLSS技術的共同作用下，RTX 5090 D v2臺式機的現場幀率約爲370幀。搭載RTX 5060的筆記本電腦以約1920×1200分辨率和中等畫質運行，幀率也能跑到100幀。
要知道，今年春季GTC首次展示時，DLSS 5需要兩張RTX 5090才能運行。短短半年後，DLSS 5的所需配置已經縮減至一張RTX 5090，模型自身的執行效率相比最初提高了5倍以上。
同時，DLSS 5的顯存佔用也有所降低，從而得以覆蓋整個RTX 50系列。
值得注意的是，按照研究團隊的說法，這項技術仍處於早期階段，模型的運行速度與畫面質量還有繼續提升的空間。
最後葡萄君自己也拿了一張RTX 5080進行了《NBA 2K27》實際測試，在遊戲開啓 DLSS 5、光線追蹤和最高畫質後，RTX 5080 依然展現出了十分強悍的性能表現。1080P 下平均幀數接近 461 FPS，2K 分辨率也能達到 348 FPS，而在 4K 分辨率下依舊保持 235 FPS 以上，基本可以實現高幀暢玩。
03
結語
DLSS 5背後，生成式AI進一步改變了遊戲運行時的圖形管線。此前幾代DLSS主要通過超分辨率、幀生成和光線重建，提高幀率並改善抗鋸齒等畫質表現，DLSS 5則進一步提升畫面的真實感。
以前的傳統渲染依舊負責建立角色、場景和基礎光照，生成模型在這些信息之上補充接觸陰影、材質和光線散射等細節。輸入畫面的信息越準確，模型能夠得到的結果也越好。
因此，NVIDIA將DLSS 5放在現有渲染管線的最上層，研究人員介紹道，DLSS 5 與路徑追蹤配合後，開發者可以得到當前世界上最好的遊戲畫面效果。
同時，DLSS 5的接入方式也非常靈活，既可以在遊戲開發過程中加入，也可以等傳統渲染部分基本完成後再進行集成。所以，已經上線的舊遊戲，同樣存在更新適配的可能性。
當然，《NBA 2K27》只是第一個案例，寫實體育遊戲往往有更明確的視覺目標。面對風格化的美術、開放世界和更多遊戲類型，DLSS 5能否保持穩定，又是否能符合不同團隊的視覺藝術方向，仍要等待後續產品驗證。
不過，從DLSS 5過去半年的進步來看，我們或許可以抱有更多期待，也更大膽地想象下一代遊戲畫面的模樣。
