北京2021年7月5日 /美通社/ -- 6月26日,由浪潮數(shù)據(jù)與開源基礎(chǔ)設(shè)施基金會聯(lián)合籌備,以“來自中國的貢獻”為主題的OpenInfra Q2 meetup正式拉開帷幕。
會上,來自開源基礎(chǔ)設(shè)施基金會及木蘭開源社區(qū)的代表分別就國內(nèi)開源發(fā)展態(tài)勢和企業(yè)技術(shù)貢獻等內(nèi)容展開深入分享與探討。來自浪潮數(shù)據(jù)、烽火通信、九州云以及英特爾國內(nèi)的資深技術(shù)專家,分享并深入剖析了各家在開源社區(qū)貢獻新開源項目的未來的開源項目并深入探討了開源社區(qū)未來的發(fā)展愿景。
開源不止理想 更多落地實踐待關(guān)注
“伴隨云計算發(fā)展對行業(yè)的深度賦能,如何圍繞創(chuàng)新實踐案例以及落地場景來搭建行之有效的開源開放技術(shù),是基金會關(guān)注的重要方向之一,因為開源軟件不止是理想與風(fēng)花雪月,更重要的是在商業(yè)實踐方面扎根落地。”開源基礎(chǔ)設(shè)施基金會李昊陽總結(jié)道。
基于此今年8月如約而至的OpenInfra Days China的主題將會鎖定“下一個十年的開源基礎(chǔ)設(shè)施”,集中面向5G新基建、工業(yè)智能化轉(zhuǎn)型、云原生基礎(chǔ)設(shè)施以及云網(wǎng)融合與開源治理等話題深度延展,“當(dāng)然,我們依然是將OpenStack、邊緣計算、硬件加速網(wǎng)絡(luò)與存儲等技術(shù)作為開源社區(qū)長期發(fā)展的重要目標(biāo)。”李昊陽進一步補充道。
開放、融合、敏捷、智能:詳解OpenStack社區(qū)貢獻實踐與優(yōu)化
過去一年時間,人們驚喜地發(fā)現(xiàn),越來越多的企業(yè)和組織積極參與到了開源基礎(chǔ)設(shè)施社區(qū)。以浪潮數(shù)據(jù)為例,一直堅持初心,從實踐中來到實踐中去,將來自客戶的真實需求及在研發(fā)項目上的創(chuàng)新實踐以貢獻開源項目或highlights的形式回饋開源社區(qū)并初具技術(shù)領(lǐng)導(dǎo)力。
浪潮數(shù)據(jù)研發(fā)部總經(jīng)理亓開元在活動致辭中表示,一直以來浪潮秉承“開放、融合、敏捷、智能”的理念,主要圍繞高效能、高并發(fā)、高可用、資源融合、多云融合、云數(shù)智融合以及智能運維與智能服務(wù)等方面持續(xù)進行優(yōu)化創(chuàng)新,為各行各業(yè)提供數(shù)字轉(zhuǎn)型、智能升級、融合創(chuàng)新基礎(chǔ)設(shè)施。
“尤其在標(biāo)準(zhǔn)化的基準(zhǔn)測試工作方面,以大規(guī)模的測試驗證與SpecCloud基準(zhǔn)測試為代表,云海研發(fā)團隊從中不斷技術(shù)完善并自我創(chuàng)新。通過500節(jié)點以及1000節(jié)點兩次大規(guī)模測試認(rèn)證,不但檢驗了云海OS在大規(guī)模場景下的敏捷交付、極致擴展性、性能優(yōu)化以及智能運維等能力,更為業(yè)界在大規(guī)模落地實踐中提供了參考設(shè)計的規(guī)范和高可用、高效率、高可靠的規(guī)格。”亓開元說。
在技術(shù)創(chuàng)新、產(chǎn)品研發(fā)以及社區(qū)貢獻方面,浪潮數(shù)據(jù)始終努力推進OpenStack產(chǎn)業(yè)化進程,連續(xù)近幾個版本社區(qū)貢獻國內(nèi)第一并將對標(biāo)Horizon的全新OpenStack Dashboard項目貢獻木蘭社區(qū)進行孵化,為更多使用OpenStack項目的企業(yè)提供幫助。
在工信部信通院組織的大規(guī)模能力評測中,浪潮云海Insight憑借其集群聯(lián)邦技術(shù)、跨機房調(diào)度和超大規(guī)模集群的管控能力,不但一次性通過了5000+節(jié)點的大規(guī)模集群測試,成績更是優(yōu)異并穩(wěn)居行業(yè)內(nèi)Top3。
充分證明以O(shè)penStack為核心構(gòu)建的云基礎(chǔ)設(shè)施,不僅滿足傳統(tǒng)核心應(yīng)用的需求,還在極大程度上滿足新興的大數(shù)據(jù)、機器學(xué)習(xí)在上云過程中的復(fù)雜場景要求,以云海OS產(chǎn)品為代表的商業(yè)版產(chǎn)品廣泛應(yīng)用于金融、政府、教育、銀行等諸多領(lǐng)域,并獲得一致好評。
在活動中,以浪潮數(shù)據(jù)云計算架構(gòu)師張百林為代表的浪潮云海OS技術(shù)研發(fā)團隊還深入分享了OpenStack社區(qū)貢獻實踐與優(yōu)化。
詳解了如何貢獻社區(qū),如何參與社區(qū)峰會等基本情況,還著重結(jié)合浪潮云海1000節(jié)點大規(guī)模云數(shù)智融合實踐,全面介紹了在高可用、計算存儲功能方面的優(yōu)化實踐,內(nèi)容涵蓋計算、存儲、網(wǎng)絡(luò)等方面,重點對批量創(chuàng)建虛機等待網(wǎng)卡超時和消息隊列DHCP Agent消息積壓等致使虛擬機創(chuàng)建失敗、Qcow2格式鏡像啟動虛擬機慢、大規(guī)模主機故障疏散錯亂等主要疑難問題進行了深入的闡釋,對比分析OpenStack社區(qū)原生計算、存儲、高可用等功能的優(yōu)化及價值體現(xiàn),并提出未來基于OpenStack技術(shù)創(chuàng)新達(dá)成的規(guī)劃目標(biāo)。
浪潮數(shù)據(jù)云計算高級研發(fā)工程師宋文平:基于異步IO和多隊列的磁盤性能優(yōu)化,有效提升了vGPU性能并降低GPU損耗,優(yōu)化資源同步機制,性能提升高達(dá)30%。
浪潮數(shù)據(jù)云計算高級研發(fā)工程師蘇正偉:針對大規(guī)模主機故障這個比較難解決的問題,我們通過引入設(shè)計了自適應(yīng)的恢復(fù)控制規(guī)則,通過排隊、熔斷、限流、降級重試等方式,做到發(fā)生故障時優(yōu)先保障高價值的云主機優(yōu)先疏散,通過熔斷和限流在云平臺不具備故障恢復(fù)時來確保云平臺的穩(wěn)定性和高可靠性。
浪潮數(shù)據(jù)云計算高級研發(fā)工程師海鑫:在云存儲方向,cinder模塊通過自研智能鏡像緩存算法,在提高緩存命中率的同時可降低鏡像卷創(chuàng)建耗時80%。manila模塊新增文件存儲類型修改,用戶消息查詢增強、限制共享實例大小等功能,極大地提高了平臺易用性。
源于開源、饋于開源:實力詮釋Venus項目核心技術(shù)
浪潮數(shù)據(jù)云計算架構(gòu)師逄立業(yè)為與會技術(shù)研發(fā)人員詳盡介紹了Venus項目的關(guān)鍵架構(gòu)與核心技術(shù)。
Venus作為浪潮貢獻OpenStack社區(qū)的日志管理項目,可以一站式滿足OpenStack日志的采集、清洗、索引、分析、告警、可視化、生成報告等需求,幫助運維人員快速檢索問題,掌握平臺的運行健康度。
簡單來說在檢索工作上,主要提供了簡單易用的檢索方式,可以做到檢索一切日志數(shù)據(jù),定位日志上下文;分析上主要實現(xiàn)日志關(guān)聯(lián)、字段數(shù)值統(tǒng)計,提供多場景、多維度的可視化分析報表;告警層面則將搜索轉(zhuǎn)化為主動告警,實現(xiàn)海量日志中錯誤的“大海撈針”;定位主要是通過建立知識圖譜和調(diào)用的鏈?zhǔn)疥P(guān)系,結(jié)合算法實現(xiàn)故障的快速定位。
以日志預(yù)處理為例。對于日志數(shù)據(jù),OpenStack社區(qū)從開始開發(fā)就制定了嚴(yán)格的日志規(guī)范,大部分模塊都遵守此規(guī)范,即社區(qū)規(guī)定的日志格式為<時間戳><日志等級><代碼模塊><Request ID><日志內(nèi)容><源代碼位置> 。此種日志很容易進行預(yù)處理,拆分成多種維度進行索引。
如今開源到OpenStack社區(qū)的Venus項目現(xiàn)已具備基本的日志分析處理功能,總結(jié)一下主要為:
全文/多維度檢索:針對全文或已索引維度進行關(guān)鍵詞檢索(可模糊匹配)
多維度統(tǒng)計/展示:對已索引的一個或多個維度的日志條數(shù)進行統(tǒng)計并展示
典型錯誤分析:集成典型的錯誤分析,例如MariaDB連接錯誤等
錯誤日志告警:當(dāng)周期內(nèi)錯誤日志條數(shù)超過閾值,進行告警并通知
調(diào)用鏈分析:對系統(tǒng)中的調(diào)用,根據(jù)global_requestid進行流程分析
API執(zhí)行狀態(tài)/耗時:對記錄API調(diào)用狀態(tài)的模塊,可以統(tǒng)計API執(zhí)行的狀態(tài)和時間消耗
整體而言,Venus通過集合廣大用戶在日志領(lǐng)域的需求和實踐,提供各場景日志分析并集成算法和知識圖譜實現(xiàn)故障的快速定位,構(gòu)建完備的日志運維場景,并在未來計劃引用機器學(xué)習(xí)算法,快速定位IT故障及根因,提高運維效率以及平臺管理的水平。
活動中,英特爾亞太研發(fā)有限公司數(shù)據(jù)平臺事業(yè)部解決方案架構(gòu)師高仲、九州云研發(fā)工程師高瀚翔以及烽火通信的架構(gòu)師李煜琦,還分別就OpenCloud根植于開源生態(tài)的實踐與創(chuàng)新、Skyline開發(fā)核心的理念以及易擴展、易定制、易衍生、易融合的多云管理架構(gòu)等內(nèi)容展開了深入解析。
一直以來,浪潮云海都通過對開源開放技術(shù)的攻堅,突破開源版本在性能、大規(guī)模管理能力方面的瓶頸。面向未來,浪潮數(shù)據(jù)將持續(xù)秉承“源于開源、饋于開源”的理念,打造云海OS硬核技術(shù)實力,圍繞智算操作系統(tǒng)核心引擎的產(chǎn)品定位,以O(shè)penStack、Kubernetes等開放基礎(chǔ)設(shè)施為底座,持續(xù)構(gòu)建起云數(shù)智一體化解決方案,助力業(yè)界共同構(gòu)建開放統(tǒng)一的智能基礎(chǔ)設(shè)施,推動企業(yè)數(shù)字化、智能化轉(zhuǎn)型。