浪潮信息獲北京通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴,源大模型加速開放賦能

• 率先布局生產(chǎn)式AI，構(gòu)建全棧領(lǐng)先的大模型算力系統(tǒng)解決方案

作為最早布局大模型的企業(yè)之一，浪潮信息在業(yè)界率先推出了中文AI巨量模型"源1.0"，參數(shù)規(guī)模高達(dá)2457億。"源1.0"在語(yǔ)言智能方面表現(xiàn)優(yōu)異，獲得中文語(yǔ)言理解評(píng)測(cè)基準(zhǔn)CLUE榜單的零樣本學(xué)習(xí)（zero-shot）和小樣本學(xué)習(xí)（few-shot）兩類總榜冠軍。 浪潮信息通過千億參數(shù)規(guī)模的大模型創(chuàng)新實(shí)踐，已在算力集群構(gòu)建、算力調(diào)度部署、算法模型開發(fā)等方面，構(gòu)建起全棧領(lǐng)先的大模型算力系統(tǒng)解決方案，助力大模型訓(xùn)練開發(fā)。

在算力集群構(gòu)建上，基于大模型實(shí)測(cè)對(duì)比的集群規(guī)劃，提供包含數(shù)據(jù)中心、算力、網(wǎng)絡(luò)、存儲(chǔ)一體化產(chǎn)品陣列。其中最新一代融合架構(gòu)的AI訓(xùn)練服務(wù)器 NF5688G7采用Hopper架構(gòu)的GPU，較上代平臺(tái)大模型實(shí)測(cè)性能提升近7倍，同時(shí)支持最新的液冷解決方案，可實(shí)現(xiàn)更低的集群能耗比與運(yùn)行成本，PUE小于1.15，以一個(gè)4000卡的智算中心為例，每年可節(jié)電620萬(wàn)度、降碳1700噸。在集群高速互聯(lián)層面，基于原生RDMA實(shí)現(xiàn)整個(gè)集群的全線速組網(wǎng)，并對(duì)網(wǎng)絡(luò)拓?fù)溥M(jìn)行優(yōu)化，可以有效消除混合計(jì)算的計(jì)算瓶頸，確保集群在大模型訓(xùn)練時(shí)始終處于最佳狀態(tài)。

在算力調(diào)度部署上，面對(duì)大模型系統(tǒng)級(jí)開發(fā)過程中所存在的調(diào)度難、部署慢、效率低、集群異常等問題，浪潮信息推出AIStation智能業(yè)務(wù)創(chuàng)新生產(chǎn)平臺(tái)，通過全生命周期的一體化監(jiān)控及調(diào)度系統(tǒng)，構(gòu)建起完備的模型訓(xùn)練失效恢復(fù)持續(xù)方案，滿足大模型分布式訓(xùn)練中高穩(wěn)定、高穩(wěn)健性等特性要求，實(shí)現(xiàn)訓(xùn)練異常和故障診斷的自動(dòng)處理，縮短斷點(diǎn)續(xù)訓(xùn)時(shí)間90%。同時(shí)，自研分布式任務(wù)自適應(yīng)系統(tǒng)，有效分配底層計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源，提升集群利用率與模型訓(xùn)練效率。高效的集群優(yōu)化調(diào)度策略，大幅簡(jiǎn)化大模型訓(xùn)練前大量的、環(huán)境配置、依賴庫(kù)適配和超參數(shù)調(diào)整工作。

在算法模型開發(fā)上，"源1.0"針對(duì)大模型的Attention層和前饋層的模型空間進(jìn)行結(jié)構(gòu)優(yōu)化，改進(jìn)注意力機(jī)制聚焦文章內(nèi)部聯(lián)系的學(xué)習(xí)。千億大模型的創(chuàng)新實(shí)踐，使得浪潮信息具備從數(shù)據(jù)、訓(xùn)練、部署到應(yīng)用落地的全棧開發(fā)能力。在訓(xùn)練數(shù)據(jù)處理上，通過自研海量數(shù)據(jù)過濾系統(tǒng)（MDFS），建立從數(shù)據(jù)采集、粗濾、質(zhì)量分類、精濾的全自動(dòng)化的端到端數(shù)據(jù)工作流程，通過清洗866TB海量數(shù)據(jù)，獲得5TB高質(zhì)量中文數(shù)據(jù)集。

在助力大模型訓(xùn)練開發(fā)方面，浪潮信息推出AI算力服務(wù)，提供經(jīng)"源"清洗驗(yàn)證過的語(yǔ)言或多模態(tài)的大模型數(shù)據(jù)、算法產(chǎn)品及模型訓(xùn)練資源管理平臺(tái)，為AI創(chuàng)新研究團(tuán)隊(duì)提供先進(jìn)、開放、高性能、高質(zhì)量的AI算力資源及配套服務(wù)，賦能AIGC創(chuàng)新發(fā)展。目前，浪潮信息AI算力服務(wù)已成功助力網(wǎng)易伏羲中文預(yù)訓(xùn)練大模型"玉言"登頂中文語(yǔ)言理解權(quán)威測(cè)評(píng)基準(zhǔn)CLUE分類任務(wù)榜單，并在多項(xiàng)任務(wù)上超過人類水平。 

浪潮信息AI團(tuán)隊(duì)將"源1.0"成功的系統(tǒng)工程經(jīng)驗(yàn)應(yīng)用于智算中心算力系統(tǒng)，對(duì)集群架構(gòu)、高速互聯(lián)、算力調(diào)度等進(jìn)行全面優(yōu)化，對(duì)分布式訓(xùn)練策略進(jìn)行了針對(duì)性優(yōu)化，通過合理設(shè)計(jì)張量并行、流水并行和數(shù)據(jù)并行，精準(zhǔn)調(diào)整模型結(jié)構(gòu)和訓(xùn)練過程的超參數(shù)，最終實(shí)現(xiàn)千億參數(shù)規(guī)模的大模型訓(xùn)練算力效率達(dá)至53.5%。

• 強(qiáng)大穩(wěn)健的基礎(chǔ)大模型，讓行業(yè)應(yīng)用"順勢(shì)而為"

目前，浪潮信息"源1.0"已在眾多行業(yè)領(lǐng)域?qū)崿F(xiàn)應(yīng)用的快速落地，真正實(shí)現(xiàn)AIGC的產(chǎn)業(yè)普惠：通過構(gòu)建強(qiáng)大穩(wěn)健的基礎(chǔ)大模型，讓千行百業(yè)擁有"順勢(shì)而為"的大模型能力。浪潮信息推出的"源1.0"開源開放計(jì)劃，開放模型API、工具鏈、數(shù)據(jù)集，構(gòu)建"開放、共贏"的開發(fā)者社區(qū)生態(tài)，助力開發(fā)者快速創(chuàng)新，目前"源開發(fā)者社區(qū)"已匯聚了近萬(wàn)名高水平開發(fā)者，孵化出眾多創(chuàng)新應(yīng)用。

在智能客服領(lǐng)域，通過將"源"大模型的智能力與復(fù)雜的服務(wù)場(chǎng)景進(jìn)行深度融合，打造專家級(jí)數(shù)據(jù)中心智能客服大腦，憑借強(qiáng)大的學(xué)習(xí)能力，"源曉服"能夠?qū)χR(shí)庫(kù)進(jìn)行自主化學(xué)習(xí)，可覆蓋終端用戶92%的咨詢問題，將復(fù)雜技術(shù)咨詢的業(yè)務(wù)處理時(shí)長(zhǎng)降低65%，整體服務(wù)效率達(dá)160%，榮獲評(píng)哈佛商業(yè)評(píng)論鼎革獎(jiǎng)。

在智慧政務(wù)領(lǐng)域，基于源大模型打造的AI社區(qū)助理"臨小助"，可為基層社區(qū)工作者提供沉浸式、針對(duì)性的一對(duì)一群眾工作能力培訓(xùn), 社區(qū)工作者通過手機(jī)載體與"臨小助"進(jìn)行互動(dòng)對(duì)話形式，讓社區(qū)小白"秒變"服務(wù)群眾的能人。目前，"臨小助"已投入使用，在某高頻場(chǎng)景中, 社區(qū)工作人員培訓(xùn)學(xué)習(xí)效率提升5倍, 有效輔助問答建議達(dá)至75%。

在智慧文創(chuàng)領(lǐng)域，開發(fā)者開發(fā)出首個(gè)AI劇本殺；基于"源1.0"，開發(fā)并上線一個(gè)會(huì)"鬧情緒"的AI陪練，幫助心理咨詢師更專業(yè)及時(shí)地提供各種服務(wù)和治療方案。除此之外，"AI數(shù)字人魯迅"、數(shù)字演員、陪伴機(jī)器人、游戲NPC對(duì)話等極具創(chuàng)新的應(yīng)用也在不斷地孵化落地。

"源1.0"作為新型的大模型算法基礎(chǔ)設(shè)施，正通過強(qiáng)大的通用智能和全棧的工具鏈服務(wù)能力，助力千行百業(yè)開發(fā)運(yùn)行更多的智能應(yīng)用。