北京2023年12月6日 /美通社/ -- 11月29日，在北京舉行的2023人工智能計算大會(AICC)上，浪潮信息高級副總裁劉軍在主題演講《智算力系統(tǒng)創(chuàng)新 加速生成式AI產(chǎn)業(yè)發(fā)展》中分享了浪潮信息對于智算力系統(tǒng)創(chuàng)新和AI產(chǎn)業(yè)發(fā)展的思考。
以下為演講實錄整理
當前，生成式人工智能和大模型推動算力需求高速增長，如何通過智算力系統(tǒng)來更好地支撐AI創(chuàng)新與應用，已經(jīng)成為智算產(chǎn)業(yè)的關鍵。應對生成式AI的發(fā)展和挑戰(zhàn)，應該從算力系統(tǒng)、AI軟件基礎設施（AI Infra）、算法模型和產(chǎn)業(yè)生態(tài)4個方面來進行綜合考量，從而加速智能產(chǎn)業(yè)的落地。
智算系統(tǒng)創(chuàng)新，解決生成式AI的算力挑戰(zhàn)
在算力系統(tǒng)層面，生成式人工智能面臨的挑戰(zhàn)主要來自計算、數(shù)據(jù)和互聯(lián)三個方面：
在計算層面，算力多元化趨勢愈發(fā)明顯，導致AI算力系統(tǒng)開發(fā)適配周期長、定制開發(fā)投入大、業(yè)務遷移時間久。此外，大模型訓練對算力規(guī)模要求高，在單芯片算力有限的情況下，必須通過構(gòu)建更大規(guī)模的集群來獲得性能的擴展。
在數(shù)據(jù)層面，大模型從文本、圖片等單模態(tài)向多模態(tài)、跨模態(tài)演進，訓練的數(shù)據(jù)集達到TB級甚至PB級，且不同作業(yè)階段對于數(shù)據(jù)存儲的要求呈現(xiàn)多元化趨勢。
在互聯(lián)層面，傳統(tǒng)RoCE網(wǎng)絡因ECMP哈希不均導致40%以上的網(wǎng)絡帶寬被浪費，且尾時延高導致網(wǎng)絡通信時間占比訓練時間高達40%，極大降低了計算效率。同時，網(wǎng)絡是集群共享資源，當集群規(guī)模達到一定量級后，網(wǎng)絡性能波動會影響到所有計算資源的利用率，網(wǎng)絡故障會影響數(shù)十個甚至更多加速卡的連通性。
面對三重挑戰(zhàn)，浪潮信息總結(jié)了多年產(chǎn)品研發(fā)和用戶服務經(jīng)驗，提出三部分解決之道。
在計算方面，首先要針對多元算力，以統(tǒng)一的系統(tǒng)架構(gòu)和統(tǒng)一的接口規(guī)范來兼容各類AI加速卡，保障芯片算力的高效釋放。浪潮信息早在2018年就著力開放多元的AI算力平臺設計，最新發(fā)布的G7多元算力平臺是業(yè)界唯一可以同時兼容SXM、OAI加速卡并實現(xiàn)8卡全互聯(lián)、16卡全互聯(lián)和混合立方互聯(lián)系統(tǒng)拓撲的AI算力平臺。為了保障更大規(guī)模的節(jié)點擴展性能，浪潮信息研制的開放加速計算架構(gòu)支持PCIe、RocE和多種私有互聯(lián)協(xié)議，節(jié)點內(nèi)和跨節(jié)點卡間互聯(lián)最大達到896 GB/s，跨節(jié)點通過免網(wǎng)卡RDMA實現(xiàn)高效擴展，集群性能加速比超過90%。
在數(shù)據(jù)存儲方面，針對大模型的數(shù)據(jù)存儲需求，浪潮信息在業(yè)界率先實現(xiàn)了一套集群系統(tǒng)同時支持文件、對象、大數(shù)據(jù)等多種非結(jié)構(gòu)化協(xié)議的無損互訪，同時支持閃存、磁盤、磁帶、光盤四類存儲介質(zhì)，并支持數(shù)據(jù)全生命周期熱、溫、冷、冰四級存儲管理，以一套存儲架構(gòu)支持一個數(shù)據(jù)中心，真正實現(xiàn)了數(shù)據(jù)融合、管理融合。
在網(wǎng)絡互聯(lián)方面，浪潮信息專為生成式AI計算場景發(fā)布旗艦51.2T高性能交換機，為企業(yè)級智算網(wǎng)絡提供高吞吐、高可擴展、高可靠的智算網(wǎng)絡產(chǎn)品及方案，解決了傳統(tǒng)RoCE方案普遍存在的有效帶寬低、尾時延高、故障收斂慢等問題，將大模型訓練性能提升38%以上，性能接近InfiniBand，助力AI用戶高效釋放大模型生產(chǎn)力。
AI Infra全棧優(yōu)化：釋放多元算力、提升大模型算力效率
大模型算法開發(fā)的鏈條冗長，這意味著需要諸多的工程化工具支撐。因此，在算力系統(tǒng)外，AI軟件基礎設施（AI Infra）也亟需創(chuàng)新。
AIGC大模型開發(fā)是一項極其復雜的系統(tǒng)工程，即便解決了底層算力供給的問題，仍面臨建不了和用不好的問題。"建不好"是指構(gòu)建算力平臺不僅需要服務器、存儲、網(wǎng)絡等硬件集成,還需要考慮不同硬件和軟件之間的兼容性和版本選擇，確保驅(qū)動和工具的適配性和穩(wěn)定性；"用不好"則體現(xiàn)在算力平臺效率低、穩(wěn)定性不足、故障頻發(fā)等現(xiàn)實困擾。
為加速模型生產(chǎn)和落地應用，浪潮信息在AI Infra層面開發(fā)了大模型智算軟件棧OGAI (Open GenAI Infra)。在算力部署方面，OGAI開源了業(yè)界首個AI算力集群系統(tǒng)環(huán)境部署方案PODsys；在大規(guī)模訓練的長時保障方面，從算力調(diào)度平臺層實現(xiàn)了自動化斷點續(xù)訓；在多元算力接入方面以標準化、模塊化接入方式穩(wěn)定接入超過40+芯片；在數(shù)據(jù)治理方面構(gòu)建了流程化、可自定義的數(shù)據(jù)清洗pipeline，有效縮短數(shù)據(jù)清洗時間、提升文本審核過濾準確率；在計算效率優(yōu)化方面，通過對分布式并行算法的極致優(yōu)化，將千億參數(shù)模型的訓練計算效率提升到54%；在多模型管理方面已經(jīng)支持了超過10個業(yè)界主流的開源大模型和元腦生態(tài)大模型，用實踐證明AI Infra全棧基礎軟件和工作流的創(chuàng)新是多元算力高效釋放、提升大模型算力效率的關鍵。
基礎大模型，生成式AI落地發(fā)展的核心支撐
當前，大模型技術正在推動生成式人工智能產(chǎn)業(yè)迅猛發(fā)展，而基礎大模型的關鍵能力則是大模型在行業(yè)和應用落地時能力表現(xiàn)的核心支撐。但是，基礎大模型在持續(xù)進化的過程中，依然面臨著數(shù)據(jù)、算法、算力等關鍵因素的挑戰(zhàn)與制約。
目前，受政策支持、算力水平提升、數(shù)據(jù)資源龐大以及科研實力增強等利好因素的推動，中國在基礎大模型方面取得一定成績，但仍需加大在基礎性技術方面的原創(chuàng)性突破，夯實底層模型和算法能力。
浪潮信息從實踐入手，加大模型結(jié)構(gòu)創(chuàng)新、高質(zhì)量數(shù)據(jù)準備、高效算力利用投入，并將這些技術運用在了"源2.0"大模型上，在編程、推理、邏輯等方面展示了先進的能力。
在算法方面，"源2.0"提出并采用了一種新型的注意力算法結(jié)構(gòu)，有效提升了模型自然語言的表達能力與生成精度；在數(shù)據(jù)方面，"源2.0"在訓練數(shù)據(jù)來源、數(shù)據(jù)增強和合成方法等方面進行了全面創(chuàng)新，最終增強模型數(shù)理邏輯能力；在算力方面，"源2.0"采用非均勻流水并行+優(yōu)化器參數(shù)并行+數(shù)據(jù)并行+ Loss計算分塊的策略，顯著降低大模型對于芯片間互聯(lián)帶寬的要求，讓模型訓練在"條件有限"的算力規(guī)模下實現(xiàn)高效率工作。
源2.0作為千億級基礎大模型，在業(yè)界公開的評測上進行了代碼生成、數(shù)學問題求解、事實問答方面的能力測試，展示了較為先進的能力表現(xiàn)。為了滿足不同行業(yè)、不同場景的能力要求，浪潮信息全面開源"源2.0"全系列大模型，以最便捷的方式支持用戶建設自己的智能化產(chǎn)品與能力，結(jié)合行業(yè)特點進行框架、模型、數(shù)據(jù)的垂直整合，提升基礎大模型的準確性和可用性。
生態(tài)聚進，聯(lián)合創(chuàng)新，加速AI應用落地
有了強大的基礎大模型，還需要進一步深入應用場景。將大模型的能力賦能到產(chǎn)業(yè)環(huán)節(jié)之中，需要多廠商的深度配合。面對生態(tài)復雜離散、產(chǎn)業(yè)AI落地困難的挑戰(zhàn)，浪潮信息提出元腦生態(tài)，聚合優(yōu)質(zhì)伙伴協(xié)同創(chuàng)新，通過"技術支持、方案聯(lián)合、平臺共享"實現(xiàn)不同廠商之間的優(yōu)勢互補。
目前，元腦生態(tài)以浪潮信息的AI算力平臺、AI資源平臺和AI算法平臺為支撐，已經(jīng)對接40多家芯片廠商，400+算法廠商，4000+系統(tǒng)集成商，通過多元的算力供給、全棧的AI Infra軟件棧、豐富的大模型經(jīng)驗，實現(xiàn)"百模"與"千行"的對接，助力千行百業(yè)加速生成式AI 產(chǎn)業(yè)創(chuàng)新，高效釋放生產(chǎn)力。
智算力是創(chuàng)新力，AIGC與數(shù)字經(jīng)濟、實體經(jīng)濟的深度融合，將會創(chuàng)造出更多顛覆性的社會價值、經(jīng)濟價值，而浪潮信息將秉持開放、共享、共建的發(fā)展理念，抓住AIGC市場機遇，共同推進人工智能落地。
