北京2022年4月21日 /美通社/ -- 近日，浪潮信息副總裁、AI&HPC產(chǎn)品線總經(jīng)理劉軍受邀出席新智元"元宇宙 新人類"論壇，在《元宇宙服務(wù)器MetaEngine》主題報告中，分享了浪潮信息對元宇宙的認(rèn)知，元宇宙面臨的技術(shù)挑戰(zhàn)，以及如何打造元宇宙新型基礎(chǔ)設(shè)施的見解。
以下基于演講實(shí)錄整理。
元宇宙是數(shù)實(shí)融合的數(shù)字載體
數(shù)實(shí)融合當(dāng)前已經(jīng)成為一種潮流的趨勢，當(dāng)數(shù)字技術(shù)日益融入經(jīng)濟(jì)社會發(fā)展各領(lǐng)域、全過程，持續(xù)推動著物理世界數(shù)字化、數(shù)字世界智慧化，逐漸形成了一場涵蓋個人生活方式、社會生產(chǎn)方式和國家治理方式的全面變革。
數(shù)實(shí)相融就是數(shù)字化世界同物理世界的融合，用數(shù)字世界來引導(dǎo)現(xiàn)實(shí)世界的運(yùn)行，用數(shù)字世界的智慧化實(shí)現(xiàn)現(xiàn)實(shí)世界的智慧化。
元宇宙本質(zhì)上是更高度的數(shù)實(shí)融合，它是數(shù)實(shí)融合的數(shù)字載體，這里我們以數(shù)字孿生和虛擬人為例來談?wù)劇?/p>
數(shù)字孿生是元宇宙的數(shù)字空間基礎(chǔ)，它可以將物理對象以數(shù)字化的方式在虛擬空間進(jìn)行動態(tài)呈現(xiàn)，它的應(yīng)用體現(xiàn)在多個方面，比如孿生工廠，可以動態(tài)的呈現(xiàn)從生產(chǎn)制作的全過程動態(tài)管理，實(shí)現(xiàn)運(yùn)轉(zhuǎn)效率的大幅提升；孿生城市可以在數(shù)字世界推演天氣環(huán)境、人口土地、產(chǎn)業(yè)交通等要素的交互運(yùn)行，繪制城市畫像，幫助城市規(guī)劃、城市治理的效率提升；孿生基建可以讓我們在修建高速公路、樓體建筑時，在數(shù)字世界對工程進(jìn)行仿真模擬，評估結(jié)構(gòu)和承力，在工程交付后的維護(hù)階段評估工程是否可以承擔(dān)特殊情況的壓力，以及監(jiān)測可能出現(xiàn)的事故隱患。
數(shù)字虛擬人是元宇宙的重要實(shí)體（Entity）和生態(tài)，就像是元宇宙世界中的公民，是人類身份在虛擬世界的載體。利用數(shù)字虛擬人，人們也可以提升很多工作效率，比如虛擬主播可以7*24小時的進(jìn)行新聞播報，可以讓人們?nèi)旌虻牧私馓煜麓笫?，虛擬醫(yī)生可以通過打通就診數(shù)據(jù)、跟蹤上萬種細(xì)微指標(biāo)特征差異，打破時間和空間，實(shí)現(xiàn)醫(yī)生就診病人從1對1轉(zhuǎn)變?yōu)?對多管理，虛擬模特在疫情下緩解了模特緊缺的市場情況，解決模特的供不應(yīng)求。
元宇宙：認(rèn)知世界 再現(xiàn)世界
元宇宙，可以說是一個認(rèn)知世界、再現(xiàn)世界的過程，這個過程涉及到在線協(xié)同建模、高精度仿真、實(shí)時渲染、智能交互等多個環(huán)節(jié)，每個環(huán)節(jié)下都有對應(yīng)的關(guān)鍵技術(shù)、軟件棧和算法工具。
首先，構(gòu)建元宇宙需要進(jìn)行3D建模，最近比較前沿的還有AIGC（利用GAN/多模態(tài)模型生成內(nèi)容創(chuàng)作），這部分的工作需要多人在線協(xié)同構(gòu)建。
由多人在線協(xié)同生成3D模型生成后，需要在元宇宙中仿真運(yùn)行，通過結(jié)構(gòu)仿真、感知仿真和控制仿真可以對模型進(jìn)行驗(yàn)證，如果說建模是對物理實(shí)體理解的模型化，那么仿真就是驗(yàn)證和確認(rèn)這種理解的正確性和有效性的工具。
通過光線追蹤、光柵化、數(shù)據(jù)流傳輸可以讓虛擬人、數(shù)字世界更加逼真，為用戶帶來超現(xiàn)實(shí)的感官體驗(yàn)，呈現(xiàn)出一個更加豐富多彩的數(shù)字世界，擁有逼近現(xiàn)實(shí)世界一樣的沉浸感。
利用CV/NLP/ASR/TTS等AI技術(shù)，讓數(shù)字世界的虛擬人可以能聽、會說、能交互，從而打破數(shù)字世界和物理世界的邊界，實(shí)現(xiàn)線上線下的交融。
元宇宙通過以上多個環(huán)節(jié)、多個工具才能達(dá)到超越感官、智能交互的水平，像現(xiàn)實(shí)世界一樣豐富多彩。
元宇宙需要強(qiáng)大的算力基礎(chǔ)設(shè)施
元宇宙的出現(xiàn)和發(fā)展帶來的不僅有精彩，還有挑戰(zhàn)，元宇宙構(gòu)建的各個環(huán)節(jié)都需要用到不同類型的算力支撐，也就是元宇宙的算力基礎(chǔ)設(shè)施。
大規(guī)模、高復(fù)雜的數(shù)字孿生空間、數(shù)字人和其他實(shí)體角色的建模需要眾多設(shè)計(jì)師協(xié)同創(chuàng)作完成，現(xiàn)實(shí)世界和數(shù)字世界的交互則需要實(shí)時、高清的3D渲染算力和低延遲的網(wǎng)絡(luò)數(shù)據(jù)傳輸，增加了云端協(xié)同的處理需求。
元宇宙的應(yīng)用會涉及到動力、熱力、流體等多類物理仿真，這需要用到高精度的數(shù)值計(jì)算，來支撐物理仿真和科學(xué)可視化。
讓數(shù)字世界無限接近現(xiàn)實(shí)世界，需要高逼真、沉浸感的3D場景構(gòu)建和渲染。舉個iMax 3D電影的例子，比如《戰(zhàn)斗天使阿麗塔》這部電影，其中阿麗塔高度擬真的視覺特效令人震撼，這樣以假亂真的渲染效果來源于巨大的算力消耗：主角13萬根發(fā)絲每根都需要進(jìn)行單獨(dú)渲染，僅1幀畫面渲染就要耗費(fèi)100個小時，而元宇宙的渲染不僅只涉及一個虛擬人，還包括建筑、城市等其他元素，這需要巨量的圖形圖像計(jì)算支撐。
同時，元宇宙還會涉及到人機(jī)交互等AI應(yīng)用場景，由AI驅(qū)動的數(shù)字人往往需要結(jié)合語音識別、NLP、DLRM等AI算法從而實(shí)現(xiàn)交互能力，這些模型的背后需要強(qiáng)大的AI算力來支撐其訓(xùn)練和推理需求。
可以看到，要構(gòu)建高度擬真的數(shù)字世界并實(shí)現(xiàn)數(shù)億用戶實(shí)時交互的"元宇宙"，當(dāng)前面臨著場景規(guī)模大、場景復(fù)雜度高，以及多設(shè)計(jì)師和多部門協(xié)作、極高逼真數(shù)字元素制作，實(shí)時渲染、仿真和交互等諸多挑戰(zhàn)，并對支撐元宇宙構(gòu)建和運(yùn)轉(zhuǎn)的核心源動力 -- 算力提出更高的要求。這種要求不僅僅是高性能、低延遲、易擴(kuò)展的硬件平臺，還有端到端、生態(tài)豐富、高易用的軟件棧。
浪潮元宇宙服務(wù)器MetaEngine
浪潮元宇宙服務(wù)器MetaEngine正是為滿足這些苛刻要求而設(shè)計(jì)的軟硬一體化基礎(chǔ)設(shè)施。
作為元宇宙生態(tài)的底層算力支撐平臺，MetaEngine將承載元宇宙構(gòu)建和運(yùn)行所需的技術(shù)和工具，提供對AI、渲染、仿真、建模等負(fù)載的算力支持，滿足元宇宙創(chuàng)建所需的"協(xié)同創(chuàng)建、實(shí)時渲染、高精仿真、智能交互"4大作業(yè)環(huán)節(jié)的不同類型算力需求，并通過高速、無阻塞的網(wǎng)絡(luò)信道，按需擴(kuò)展至大規(guī)模算力集群。浪潮元宇宙服務(wù)器結(jié)合業(yè)界最強(qiáng)軟硬件生態(tài)，協(xié)同優(yōu)化加速數(shù)字孿生世界構(gòu)建，為用戶打造高效的元宇宙協(xié)同開發(fā)體驗(yàn)。單臺元宇宙服務(wù)器即可支持256位元宇宙架構(gòu)師協(xié)同創(chuàng)作，每秒AIGC 2000個數(shù)字場景，1000位VR/AR用戶共享10K超高清3D數(shù)字世界順暢體驗(yàn)。
元宇宙服務(wù)器產(chǎn)品方案架構(gòu)
在硬件上，MetaEngine采用浪潮領(lǐng)先的異構(gòu)加速服務(wù)器的旗艦系統(tǒng)，支持最先進(jìn)的CPU和GPU，具有強(qiáng)大的RDMA通信和數(shù)據(jù)存儲能力，支持強(qiáng)大的渲染和AI計(jì)算能力。
在軟件上，可以支持對應(yīng)每個作業(yè)環(huán)節(jié)的各類專業(yè)軟件工具，用戶可以根據(jù)使用習(xí)慣靈活選擇，同時系統(tǒng)集成了NVIDIA Omniverse Enterprise，為用戶準(zhǔn)備了豐富的開發(fā)套件，包括專門用于結(jié)構(gòu)、感知、控制仿真的Simulation SDKs，用于渲染、實(shí)時光追、AI降噪的SDKs，用戶可以通過Kit功能將這些不同的SDK進(jìn)行模塊化的組合，快速完成定制化App或者微服務(wù)的開發(fā)，當(dāng)然這里已經(jīng)為用戶準(zhǔn)備好了一些廣泛適用的App比如用于建模和渲染的Create，用于可視化的View，更為重要的是，用戶通過App開發(fā)的內(nèi)容可以通過數(shù)據(jù)庫和協(xié)作引擎NUCLEUS，建模工具互聯(lián)插件CONNECT與第三方專業(yè)軟件工具無縫連接，目前CONNECT已經(jīng)提供了20多種Plugins，支持與3DS MAX、UE、MAYA等軟件互聯(lián)。
MetaEngine的目標(biāo)是構(gòu)建一個端到端、生態(tài)豐富和高易用的協(xié)作平臺，為用戶打造一站式元宇宙開發(fā)體驗(yàn)。
MetaEngine全面支持Omniverse
當(dāng)前，MetaEngine已經(jīng)全面支持英偉達(dá)的Omniverse Enterprise，將高性能 GPU 的圖形計(jì)算、AI計(jì)算與高速存儲訪問、低延遲網(wǎng)絡(luò)和精確計(jì)時相結(jié)合，是一個數(shù)據(jù)中心級的軟硬一體解決方案，專用于為大規(guī)模數(shù)字孿生提供算力和應(yīng)用支持，以實(shí)時創(chuàng)建和運(yùn)行非常復(fù)雜的模型和逼真的仿真環(huán)境。
目前的MetaEngine元宇宙服務(wù)器集成A40的專業(yè)GPU，CX6 Dx高速網(wǎng)卡，并與企業(yè)級管理和編排軟件相結(jié)合，為用戶準(zhǔn)備了豐富的建模、渲染、仿真套件。同時，可以將32臺MetaEngine組合成為1個集群式的可擴(kuò)展單元，多個可擴(kuò)展單元可以繼續(xù)橫向擴(kuò)展組成更大規(guī)模集群，可提供非凡的計(jì)算性能和超高的網(wǎng)絡(luò)帶寬，滿足工廠、城市乃至更大規(guī)模復(fù)雜仿真和實(shí)時數(shù)字孿生的需求。
在這里，我也將為大家分享如何用浪潮MetaEnigne創(chuàng)建數(shù)字孿生和虛擬人。
MetaEngine創(chuàng)建數(shù)字孿生
首先，以新品設(shè)計(jì)、流水線調(diào)度生產(chǎn)、上市為例，談一談MetaEngine如何創(chuàng)建運(yùn)行數(shù)字孿生，來優(yōu)化工作流，提高生產(chǎn)效率。當(dāng)生產(chǎn)及需求達(dá)到一定規(guī)模時，生產(chǎn)、配送、分揀的過程就成為了一個系統(tǒng)工程性問題，如飲料、汽車等各行業(yè)的大規(guī)模制造公司。使用數(shù)字孿生讓虛擬世界的高精仿真代替現(xiàn)實(shí)世界的運(yùn)行，在產(chǎn)品設(shè)計(jì)生產(chǎn)、調(diào)配之前，模擬其過程取得物理裝置最優(yōu)的參數(shù)配置，提高效率贏得市場。
如何建造一個流水線上的數(shù)字孿生？MetaEngine提供元宇宙構(gòu)建所需的多元算力和Omniverse組件，為構(gòu)建和運(yùn)行該數(shù)字孿生提供基礎(chǔ)能力。
首先是在線建模，按照1：1數(shù)字模型創(chuàng)建工廠的建筑、流水線等生產(chǎn)交付全過程。Connect組件提供20多個第三方建模軟件的連接插件，允許用戶使用第三方建模工具接入?yún)f(xié)同建模，Omniverse使用統(tǒng)一數(shù)據(jù)格式USD與第三方建模軟件（SketchUp/Revit）進(jìn)行數(shù)據(jù)交互，Nucleus數(shù)據(jù)庫提供多人數(shù)據(jù)管理功能，允許多用戶同時修改可視化、渲染3D-USD文件。
高精仿真階段使用Simulation組件仿真新產(chǎn)品的材質(zhì)及物理屬性，根據(jù)高逼真的虛擬物品，使用Replicator完成仿真環(huán)境的部署、搭建。Omniverse豐富的材質(zhì)庫可以為設(shè)計(jì)模擬物品，提供更好的逼真度，配合使用物理仿真、動畫制作的軟件（Ansys/Houdini）可以完成整個流水線和物品的高精仿真；Replicator組件則根據(jù)仿真結(jié)果生成AI模型訓(xùn)練需要的合成數(shù)據(jù)環(huán)境。
實(shí)時渲染階段，使用Renderer組件對仿真環(huán)境中的材質(zhì)、光照條件實(shí)時渲染畫面，生成用于訓(xùn)練AI模型的合成數(shù)據(jù)。根據(jù)合成數(shù)據(jù)在MetaEngine中訓(xùn)練我們的AI視覺模型，提供物理實(shí)體及流水線流程的監(jiān)控及理解。
智能交互階段，將在MetaEngine中訓(xùn)練完成的AI模型部署于物理環(huán)境與虛擬環(huán)境，虛擬環(huán)境中的AI推理指導(dǎo)物理實(shí)體行為，物理環(huán)境中實(shí)際反應(yīng)再返回虛擬環(huán)境指導(dǎo)模型融合訓(xùn)練。虛擬世界中如檢測到畫面中的擁堵或者空閑，可以反饋到物理流水線改變作業(yè)狀態(tài)，反之物理流水線上真實(shí)的結(jié)果可以生成真實(shí)數(shù)據(jù)繼續(xù)更新AI模型。
MetaEngine創(chuàng)建虛擬數(shù)字人
我們再以高逼真的交互型虛擬數(shù)字人的制作及使用為例，依然按照"協(xié)作建模---高精仿真---實(shí)時渲染---智能交互"的作業(yè)流程來看如何用MetaEngine創(chuàng)建虛擬人。
首先可以使用UE Metahuman/CHARACTER CREATOR配合Omniverse Nucleus/Connect進(jìn)行3D人物形象及人臉建模。然后通過高精仿真，讓虛擬數(shù)字人更加自然、真切的與我們交流，比如對毛發(fā)的模擬，12萬根毛發(fā)如何在風(fēng)中飛舞，這得需要強(qiáng)大的算力支撐，還需要借助AI模型生成逼真的手勢和面部表情。
再就是實(shí)時渲染，MetaEngine中的Omniverse RTX Renderer可以提供實(shí)時渲染能力，讓人物動畫及其場景實(shí)時立體地展示在我們面前，通過屏幕或XR設(shè)備進(jìn)行溝通交流。
最后是智能交互使用，這塊需要有大量的AI模型提供支撐，把整個智能交互的流程放大來看。用戶首先通過語音和視頻分別通過ASR 和 Vision AI模型進(jìn)行推理，得到文本及視頻動作理解；將文本、動作理解融合送入的NLP語言模型如源1.0生成語言文本，再將語言文本轉(zhuǎn)化為語音或動作語言表述，通過TTS模型將文本轉(zhuǎn)化為語音，語音驅(qū)動Avatar制作的虛擬數(shù)字人，產(chǎn)生面部行為（audio2face應(yīng)用）動作手勢（audio2gesture），并通過RTX Renderer實(shí)時渲染能力生成動畫視頻作為輸出與用戶交互。
當(dāng)然，元宇宙不僅只有數(shù)字孿生和虛擬人。元宇宙要實(shí)時地映射現(xiàn)實(shí)世界，在元宇宙中再現(xiàn)工業(yè)、農(nóng)業(yè)、服務(wù)業(yè)、社會、經(jīng)濟(jì)、文化、城市、鄉(xiāng)村、地球等現(xiàn)實(shí)世界，用戶"身臨其境"地在其中社交、娛樂、會議、協(xié)作、旅游、購物、教育，所有人都可以在其中互動，要達(dá)到這樣的目標(biāo)，還有很長的路要去走，需要不斷探索和發(fā)現(xiàn)更有效率的實(shí)現(xiàn)元宇宙的創(chuàng)新技術(shù)和方案。
如同發(fā)展汽車產(chǎn)業(yè)需要高速公路一樣，汽車是應(yīng)用，公路是基礎(chǔ)設(shè)施，元宇宙也需要基礎(chǔ)設(shè)施。MetaEngine元宇宙服務(wù)器即是浪潮為加速元宇宙產(chǎn)業(yè)提出的算力基礎(chǔ)設(shè)施。
