北京2024年10月29日 /美通社/ -- 當(dāng)前,隨著生成式人工智能和各行業(yè)的應(yīng)用快速融合,大模型在企業(yè)端被越來越多的采用,以提高效率、降低成本、增強創(chuàng)新能力。大模型開發(fā)首先要解決的,便是訓(xùn)練環(huán)境的搭建問題,在算力多元異構(gòu)、依賴庫眾多、配置步驟繁瑣的情況下,如何快速搭建滿足要求的訓(xùn)練環(huán)境,為底層算力平臺匹配最佳驅(qū)動,避免依賴庫及配置龐雜導(dǎo)致訓(xùn)練環(huán)境魯棒性低的問題,成為各類大模型開發(fā)企業(yè)需要面對的挑戰(zhàn)。
為此,浪潮信息推出「元腦服務(wù)器操作系統(tǒng)KOS Al定制版」(簡稱KOS Al定制版),通過簡單2步即可實現(xiàn)大模型訓(xùn)練環(huán)境部署,以搭建200節(jié)點訓(xùn)練環(huán)境為例,過往需要數(shù)天時間才能完成,通過KOS AI定制版20分鐘即可完成上線可用,極大提升了大模型開發(fā)部署效率。
大模型訓(xùn)練環(huán)境復(fù)雜 面臨兼容適配等多項挑戰(zhàn)
當(dāng)前階段,大模型的發(fā)展仍然遵循Scaling Law,不斷增加的參數(shù)規(guī)模、訓(xùn)練數(shù)據(jù)量以及計算資源,也讓大模型的部署環(huán)境變得十分復(fù)雜。大模型部署是一個系統(tǒng)性的問題,涉及到算力設(shè)備兼容、依賴庫配置、繁瑣的安裝步驟等等多個方面。
KOS Al定制版 "2步"搞定大模型訓(xùn)練環(huán)境部署
針對用戶在大模型部署中遇到的困難,浪潮信息推出KOS Al定制版,實現(xiàn)了覆蓋驅(qū)動和應(yīng)用軟件編譯、鏡像文件構(gòu)建、系統(tǒng)發(fā)布與部署的鏡像開發(fā)全流程創(chuàng)新, 解決了部署大模型訓(xùn)練環(huán)境中遇到的硬件兼容適配、依賴項龐雜及安裝部署流程繁瑣等問題,讓大模型部署化繁為簡。
針對硬件兼容適配挑戰(zhàn),浪潮信息KOS技術(shù)團隊?wèi){借深厚的技術(shù)沉淀和經(jīng)驗積累,遴選出十余款GPU和infiniband卡的最佳驅(qū)動,驗證不同硬件環(huán)境下的軟件兼容性,優(yōu)化BIOS、底層驅(qū)動、文件系統(tǒng)和網(wǎng)絡(luò)等多項指標(biāo),實現(xiàn)平臺資源利用效率最大化。目前KOS已經(jīng)與1200+硬件板卡、250+服務(wù)器整機、400+數(shù)據(jù)庫中間件完成兼容性認證。
面對軟件依賴庫龐雜的問題,KOS Al定制版對鏡像構(gòu)建過程中的軟件包安裝列表進行了擴展,并優(yōu)化了軟件包的集成范圍和安裝順序,解決軟件安裝依賴問題,確保在集成大量軟件的情況下,操作系統(tǒng)能夠順利完成安裝,且保證系統(tǒng)安裝完成后,驅(qū)動和應(yīng)用軟件能夠正常進行編譯和安裝。同時,面對AI大模型訓(xùn)練過程中某些應(yīng)用軟件體積龐大,無法直接構(gòu)建為rpm包集成至鏡像的挑戰(zhàn),采用"軟件切割與再聚合"技術(shù),將超大型軟件包進行分割,并在聚合后校驗其哈希值,以確保軟件的一致性,從而有效解決了超大軟件集成難題,實現(xiàn)了超大應(yīng)用軟件的自動化安裝。
大模型部署的關(guān)鍵是單節(jié)點環(huán)境配置。在簡化發(fā)布與部署方面,為了解決大模型訓(xùn)練集群單節(jié)點環(huán)境配置復(fù)雜的問題,KOS技術(shù)團隊開發(fā)了一套環(huán)境配置自動化部署腳本。該腳本能夠智能檢測操作系統(tǒng)的啟動狀態(tài),只在系統(tǒng)安裝完成后的首次重啟時自動運行,確保在不同節(jié)點上快速部署大模型運行環(huán)境。在此之后的系統(tǒng)啟動中,該腳本將不再執(zhí)行,從而實現(xiàn)集群環(huán)境中單節(jié)點環(huán)境的自動部署。
用戶依托KOS AI定制版,僅需2步即可實現(xiàn)大模型訓(xùn)練環(huán)境快速部署。
步驟1:利用PXE實現(xiàn)自動化系統(tǒng)部署
KOS AI定制版集成了大模型訓(xùn)練環(huán)境部署所需的驅(qū)動、應(yīng)用軟件和依賴庫等,用戶只需要把該定制版鏡像當(dāng)作普通鏡像一樣進行自動化部署,通過PXE方式實現(xiàn)操作系統(tǒng)自動化安裝。
步驟2:正常開機啟動,完成環(huán)境部署
定制版鏡像安裝完成后,通過管理節(jié)點向計算節(jié)點下發(fā)重啟指令,計算節(jié)點重啟后,大模型訓(xùn)練環(huán)境部署即可完成。
面對操作系統(tǒng)與AI結(jié)合的趨勢,KOS定位智算時代最A(yù)I的操作系統(tǒng),全面優(yōu)先擁抱AI,深度融合AI能力。KOS Al定制版簡化了大模型部署流程,通過Al定制版部署大模型訓(xùn)練環(huán)境具有簡單高效、廣泛兼容和運行穩(wěn)定等特點,大幅降低了用戶開發(fā)大模型的技術(shù)門檻。