構(gòu)建端到端計(jì)算智能，浪潮云海Insight加速釋放數(shù)據(jù)價(jià)值

北京2021年3月23日 /美通社/ -- 在數(shù)字化轉(zhuǎn)型戰(zhàn)略持續(xù)落地的今天，大數(shù)據(jù)分析與人工智能已成為各個(gè)行業(yè)挖掘數(shù)據(jù)價(jià)值、推動(dòng)業(yè)務(wù)轉(zhuǎn)型升級(jí)的重要方式，但傳統(tǒng)的大數(shù)據(jù)平臺(tái)與人工智能平臺(tái)通常彼此獨(dú)立，構(gòu)建一種從數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理到模型訓(xùn)練與推理的高效流程，經(jīng)常存在基礎(chǔ)設(shè)施成本高、效率低下等一系列問題。

為了更好解決大數(shù)據(jù)分析與AI融合在開發(fā)和部署方面帶來的諸多疑難，浪潮云海Insight產(chǎn)品構(gòu)建了端到端的智能計(jì)算解決方案，旨在將大數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型推理與現(xiàn)有的數(shù)據(jù)處理工作流整合起來，基于傳統(tǒng)大數(shù)據(jù)分析平臺(tái)中的各種框架模型來簡(jiǎn)化和加速人工智能業(yè)務(wù)的開發(fā)。

這個(gè)挑戰(zhàn)很嚴(yán)峻：傳統(tǒng)分析模式難以高效“回應(yīng)”分布式端到端數(shù)據(jù)分析

通常傳統(tǒng)的人工智能學(xué)習(xí)框架與大數(shù)據(jù)分析平臺(tái)之間存在斷層，人工智能平臺(tái)由于不具備多元的數(shù)據(jù)接入及預(yù)處理能力，往往依賴外部（大數(shù)據(jù)平臺(tái)）預(yù)處理過的數(shù)據(jù)集進(jìn)行分析；而傳統(tǒng)大數(shù)據(jù)平臺(tái)也沒有更多考量AI因素，自然難以為AI應(yīng)用提供敏捷、高效的基礎(chǔ)設(shè)施支持。基于此，一個(gè)從無到有的AI應(yīng)用場(chǎng)景搭建，往往面臨如下困難：

• 數(shù)據(jù)接入與管理很繁瑣：需要耗費(fèi)大量時(shí)間構(gòu)建一個(gè)面向數(shù)據(jù)源對(duì)接、數(shù)據(jù)清洗等預(yù)處理工作的數(shù)據(jù)處理平臺(tái)，資源消耗多且影響上線時(shí)間。
• 數(shù)據(jù)處理過程效率低下：面向大數(shù)據(jù)量的迭代開發(fā)，傳統(tǒng)的AI平臺(tái)需要反復(fù)遷移增量數(shù)據(jù)來優(yōu)化AI模型進(jìn)而解決問題，成本高且遷移效率低下。
• 沒有標(biāo)準(zhǔn)化端到端方案：要構(gòu)建一站式的從數(shù)據(jù)預(yù)處理到人工智能開發(fā)的應(yīng)用，通常需要手動(dòng)“拼接”許多單獨(dú)組件來達(dá)成訴求，整個(gè)過程不但復(fù)雜還極易出錯(cuò)。

打造端到端智能計(jì)算解決方案：大數(shù)據(jù)與AI分析平臺(tái)要統(tǒng)一

大數(shù)據(jù)生態(tài)中，Apache Spark作為專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的計(jì)算引擎，其本身提供了很多Data Storage支持，可幫助操作者方便讀取HDFS、Parquet、Avro和HBase等格式；同時(shí)也提供了大量有用的API來完成數(shù)據(jù)的ETL、特征提取以及數(shù)據(jù)清洗等工作，還可以利用Spark MLlib完成一些傳統(tǒng)機(jī)器學(xué)習(xí)工作等。

而端到端的智能計(jì)算組件Analytics Zoo則可將Spark及AI生態(tài)中的TensorFlow、Keras 、BigDL等無縫整合到一個(gè)集成管道中，透明擴(kuò)展至資源管理YARN集群，可便捷地將人工智能應(yīng)用從單機(jī)擴(kuò)展到大型集群，直接處理大規(guī)模生產(chǎn)環(huán)境中的數(shù)據(jù)并進(jìn)行分布式訓(xùn)練或推理，如此看來端到端的智能計(jì)算解決方案并不是重新開發(fā)各個(gè)組件，而是擁抱現(xiàn)有的開源生態(tài)。

此外Analytics Zoo 還為開發(fā)人員和用戶提供了多種分析和人工智能工具，以便更好地為端到端流水線提供支持，主要包括：簡(jiǎn)單易用的抽象層，例如Spark DataFrame 和 ML 流水線支持、遷移學(xué)習(xí)支持以及服務(wù) API 的 POJO 式模型等；面向圖像、文本和 3D 圖像的常用特征工程操作；內(nèi)置的深度學(xué)習(xí)模型，例如文本分類、推薦和對(duì)象檢測(cè)；內(nèi)置參考用例，例如時(shí)間序列異常檢測(cè)、欺詐檢測(cè)和圖像相似性搜索等。

如此形成的智能計(jì)算解決方案可以統(tǒng)一大數(shù)據(jù)與AI分析平臺(tái)，幫助用戶將數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理以及訓(xùn)練推理的流水線整合到一套基礎(chǔ)設(shè)施中，大幅提升方案的部署效率、資源利用率和系統(tǒng)的可擴(kuò)展性，以此減少管理以及運(yùn)維成本。

不斷探索：浪潮云海Insight關(guān)于“端到端智能計(jì)算”的實(shí)踐

作為面向海量數(shù)據(jù)存儲(chǔ)、計(jì)算、挖掘的一站式企業(yè)級(jí)大數(shù)據(jù)解決方案，浪潮云海Insight大數(shù)據(jù)平臺(tái)從用戶需求出發(fā)并結(jié)合業(yè)務(wù)場(chǎng)景，對(duì)端到端智能計(jì)算進(jìn)行方案性POC及驗(yàn)證，最終在平臺(tái)中將其技術(shù)產(chǎn)品化，包括智能計(jì)算相關(guān)組件的一鍵安裝部署、可視化運(yùn)維、交互式智能數(shù)據(jù)分析體驗(yàn)以及端到端AI流式推理等。

通過簡(jiǎn)化大數(shù)據(jù)分析和人工智能的融合開發(fā)與部署，構(gòu)建端到端的數(shù)據(jù)分析和深度學(xué)習(xí)應(yīng)用流水線，進(jìn)而打造統(tǒng)一的大數(shù)據(jù)分析和人工智能平臺(tái)，為用戶提供了更優(yōu)質(zhì)的體驗(yàn)。

該方案基于大數(shù)據(jù)HDFS存儲(chǔ)、Spark/Flink等計(jì)算以及Yarn資源調(diào)度來運(yùn)行，將數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型推理等通過Analytics Zoo構(gòu)建在大數(shù)據(jù)平臺(tái)上，提供大數(shù)據(jù)分析和深度學(xué)習(xí)應(yīng)用流水線，避免數(shù)據(jù)的反復(fù)遷移。

用戶可以便捷地將AI應(yīng)用部署到現(xiàn)有的 YARN 集群，在“零”代碼更改的前提下將AI應(yīng)用程序透明地?cái)U(kuò)展到大型集群，顯著節(jié)約企業(yè)在開發(fā)、優(yōu)化平臺(tái)等方面的時(shí)間與精力，具體可以達(dá)到：

• 一站式端到端數(shù)智能力提升，效率飛漲：將數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型推理與現(xiàn)有的大數(shù)據(jù)處理的工作流整合，構(gòu)建端到端的大數(shù)據(jù)分析和深度學(xué)習(xí)應(yīng)用流水線，無需“拼裝”環(huán)境，更無需遷移數(shù)據(jù)。
• 達(dá)成分布式訓(xùn)練和推理，增強(qiáng)系統(tǒng)擴(kuò)展性：通過YARN實(shí)現(xiàn)CPU和GPU資源的統(tǒng)一管理和調(diào)度，支持主流框架分布式實(shí)現(xiàn)，支持可擴(kuò)展性部署且?guī)硇阅芫€性提升。
• 有效降低基礎(chǔ)設(shè)施建設(shè)成本：復(fù)用現(xiàn)有Hadoop/Spark集群構(gòu)建大規(guī)模深度學(xué)習(xí)應(yīng)用，一套平臺(tái)完成數(shù)據(jù)預(yù)處理到深度學(xué)習(xí)，降低基礎(chǔ)設(shè)施建設(shè)與維護(hù)成本，減輕運(yùn)維壓力。

重要的一點(diǎn)，得益于浪潮云海Insight大數(shù)據(jù)平臺(tái)在性能、數(shù)據(jù)管理、統(tǒng)一運(yùn)維等方面的優(yōu)勢(shì)，以及對(duì)于Analytics Zoo的融合，該端到端智能計(jì)算解決方案如今能夠成功幫助政府、金融和互聯(lián)網(wǎng)等客戶構(gòu)建高效、敏捷的大數(shù)據(jù)分析與人工智能平臺(tái)，助力數(shù)字化轉(zhuǎn)型。

伴隨大數(shù)據(jù)與人工智能的蓬勃發(fā)展，數(shù)智結(jié)合已成為大數(shù)據(jù)技術(shù)發(fā)展的必然趨勢(shì)。浪潮云海Insight將從數(shù)智深度融合的角度出發(fā)，繼續(xù)加強(qiáng)端到端的大數(shù)據(jù)分析和人工智能的創(chuàng)新發(fā)展，為用戶提供更優(yōu)秀的解決方案。