omniture

IBM Storage Ceph:現(xiàn)代數(shù)據(jù)湖倉(cāng)的理想技術(shù)底座

IBM China
2024-02-01 17:11 4851

作者:周立旸,IBM 大中華區(qū)科技事業(yè)部存儲(chǔ)軟件產(chǎn)品總監(jiān)

北京2024年2月1日 /美通社/ -- 一年前,IBM 將 Red Hat 存儲(chǔ)產(chǎn)品的路線(xiàn)圖及團(tuán)隊(duì)集成至 IBM存儲(chǔ)業(yè)務(wù)(IBM Storage)。在此期間,企業(yè)在擴(kuò)展 AI 時(shí)正面臨前所未有的數(shù)據(jù)挑戰(zhàn):在多個(gè)位置、以多種形式存儲(chǔ)的數(shù)據(jù)量飆升,但數(shù)據(jù)質(zhì)量較差。為了幫助客戶(hù)解決這一問(wèn)題,我們需要領(lǐng)先的解決方案對(duì)客戶(hù)的基礎(chǔ)架構(gòu)進(jìn)行現(xiàn)代化改造,以支持其數(shù)字化轉(zhuǎn)型。這主要涉及在本地和云環(huán)境中提供一致的應(yīng)用和數(shù)據(jù)存儲(chǔ)。此外,還需要幫助客戶(hù)采用云原生架構(gòu),實(shí)現(xiàn)公有云在成本、速度和彈性等方面的優(yōu)勢(shì)。作為業(yè)界領(lǐng)先的開(kāi)源軟件定義存儲(chǔ)平臺(tái),IBM Storage Ceph(前身為 Red Hat Ceph)正是實(shí)現(xiàn)這一目標(biāo)所需的基石。

周立旸,IBM 大中華區(qū)科技事業(yè)部存儲(chǔ)軟件產(chǎn)品總監(jiān)
周立旸,IBM 大中華區(qū)科技事業(yè)部存儲(chǔ)軟件產(chǎn)品總監(jiān)

 

IBM Storage Ceph:現(xiàn)代數(shù)據(jù)湖倉(cāng)的理想技術(shù)底座
IBM Storage Ceph:現(xiàn)代數(shù)據(jù)湖倉(cāng)的理想技術(shù)底座

在數(shù)據(jù)管理方面,軟件定義存儲(chǔ) (SDS) 已成為一股變革力量。與傳統(tǒng)的傳統(tǒng)存儲(chǔ)陣列相比,它具有許多優(yōu)勢(shì),包括極高的靈活性與可擴(kuò)展性,這非常適用于處理生成式 AI 等最新用例。借助 IBM Storage Ceph,用戶(hù)可從底層硬件中提取存儲(chǔ)資源,實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的動(dòng)態(tài)分配和高效利用。這種靈活性不僅可以簡(jiǎn)化管理流程,還有助于提高敏捷性,適應(yīng)不斷變化的業(yè)務(wù)需求,并將隨著新工作負(fù)載的增加而擴(kuò)展計(jì)算和容量。這一自我修復(fù)和自我管理的平臺(tái)可在行業(yè)標(biāo)準(zhǔn)硬件上運(yùn)行,并大規(guī)模地提供統(tǒng)一的文件存儲(chǔ)、塊存儲(chǔ)和對(duì)象存儲(chǔ)服務(wù)。[1] 統(tǒng)一存儲(chǔ)可以幫助客戶(hù)將在獨(dú)立文件或塊存儲(chǔ)上運(yùn)行的傳統(tǒng)應(yīng)用,和包含單一設(shè)備對(duì)象存儲(chǔ)的通用平臺(tái)連接起來(lái)。

Ceph 針對(duì)大型單站點(diǎn)和多站點(diǎn)部署進(jìn)行了優(yōu)化,經(jīng)過(guò)高效擴(kuò)展可以支持?jǐn)?shù)百 PB 級(jí)數(shù)據(jù)和數(shù)百億個(gè)對(duì)象,[2]這對(duì)于傳統(tǒng)工作負(fù)載和生成式 AI 工作負(fù)載至關(guān)重要。IBM Storage Ceph 可擴(kuò)展、彈性且安全,支持更傳統(tǒng)的工作負(fù)載,例如 Red Hat OpenShift 或 RedHat OpenStack 上的 MySQL 和 MongoDB,是支持數(shù)據(jù)湖倉(cāng)AI/ML 開(kāi)源框架的理想之選。這也是 IBM watsonx.data 包含 IBM Storage Ceph 768 TiB 裸容量授權(quán)的原因之一;前者是 IBM推出的開(kāi)放、可治理、定制化的數(shù)據(jù)湖倉(cāng)架構(gòu),并針對(duì)數(shù)據(jù)、分析和 AI 工作負(fù)載進(jìn)行了優(yōu)化。 

計(jì)算密集型和數(shù)據(jù)密集型工作負(fù)載的理想底座

非結(jié)構(gòu)化數(shù)據(jù)的爆炸式增長(zhǎng)和生成式 AI 相互影響,也相輔相成。Gartner 在其《2023 年企業(yè)數(shù)據(jù)存儲(chǔ)的主要趨勢(shì)》報(bào)告中指出:"到 2028 年,大型企業(yè)的本地、邊緣和公有云上的非結(jié)構(gòu)化數(shù)據(jù)將比 2023 年年中增加兩倍。"[3] 非結(jié)構(gòu)化數(shù)據(jù)(如文本、圖像和視頻)的激增為訓(xùn)練生成式 AI 模型提供了廣泛而多樣的資源,而生成式 AI 可支持用戶(hù)從非結(jié)構(gòu)化數(shù)據(jù)中提前寶貴的洞察。這種協(xié)同作用形成了一個(gè)反饋循環(huán),生成式 AI 在大量非結(jié)構(gòu)化數(shù)據(jù)的基礎(chǔ)上蓬勃發(fā)展,而 AI 持續(xù)生成的真實(shí)數(shù)據(jù)則進(jìn)一步豐富和完善人們對(duì)非結(jié)構(gòu)化數(shù)據(jù)集的理解,從而促進(jìn)創(chuàng)新和進(jìn)步。

根據(jù)上述報(bào)告[4],預(yù)計(jì)到 2028 年,將有 70% 的文件和對(duì)象數(shù)據(jù)部署在集成的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)平臺(tái)上(高于 2023 年的 35%),組織需要能夠加速數(shù)據(jù)提取、數(shù)據(jù)清理和分類(lèi)、元數(shù)據(jù)管理和擴(kuò)充、云規(guī)模容量管理和部署(如軟件定義存儲(chǔ))的存儲(chǔ)管理解決方案。IBM Storage Ceph 可實(shí)現(xiàn)無(wú)縫擴(kuò)展,滿(mǎn)足不斷增長(zhǎng)的數(shù)據(jù)需求;其自我管理功能確保系統(tǒng)適應(yīng)不斷變化的條件,輕松實(shí)現(xiàn)數(shù)據(jù)完整性。

為了在整個(gè)組織中加速和擴(kuò)展數(shù)據(jù)和 AI,并最終改善業(yè)務(wù)成果,企業(yè)必須有意識(shí)地采用混合云設(shè)計(jì)(hybrid cloud by design)。這包括通過(guò)云原生運(yùn)營(yíng)模式在本地使用存儲(chǔ)服務(wù),以解決公有云上的部分企業(yè)級(jí)功能不可用、數(shù)據(jù)主權(quán)和成本等問(wèn)題。IBM Storage Ceph 的"即插即用"架構(gòu)簡(jiǎn)化了與現(xiàn)有基礎(chǔ)架構(gòu)的集成,包括各種平臺(tái)、云環(huán)境、虛擬管理程序、開(kāi)源數(shù)據(jù)存儲(chǔ)庫(kù)(如 Apache Iceberg 或 Apache Parquet)以及完整解決方案(如 watsonx.ai、watsonx.data 等)。新節(jié)點(diǎn)或設(shè)備可以無(wú)縫添加到集群中,而不會(huì)出現(xiàn)中斷或服務(wù)停機(jī)。它為客戶(hù)提供來(lái)一種簡(jiǎn)單高效的方式,來(lái)使用 watsonx.data 和其他新一代 AI 工作負(fù)載構(gòu)建數(shù)據(jù)湖倉(cāng)。 

Snap Inc.相關(guān)負(fù)責(zé)人表示:"在 Snap,我們對(duì)數(shù)據(jù)存儲(chǔ)的需求越來(lái)越大,需要一個(gè)能夠快速擴(kuò)展、滿(mǎn)足性能 KPI 且具有成本效益的平臺(tái)。IBM Storage Ceph 憑借其簡(jiǎn)單可擴(kuò)展的架構(gòu)、易于管理的界面和經(jīng)濟(jì)高效的軟件定義部署,成為我們的首選平臺(tái)。IBM Storage Ceph 還擁有 IBM 的世界級(jí)專(zhuān)長(zhǎng)和支持,這也是我們決定將其引入關(guān)鍵業(yè)務(wù)的一個(gè)重要原因。"

利用NVMe over TCP 技術(shù)實(shí)現(xiàn)快速數(shù)據(jù)訪(fǎng)問(wèn)

去年,IBM 對(duì) Ceph 進(jìn)行了幾項(xiàng)重要更新,包括最近的 IBM Storage Ceph 7.0。新一代Ceph 平臺(tái)為 NVMe/TCP 功能做好了準(zhǔn)備。它保留了傳統(tǒng) NVMe 的低延遲和高帶寬特性,可以在存儲(chǔ)設(shè)備、服務(wù)器和云平臺(tái)之間實(shí)現(xiàn)更快的數(shù)據(jù)傳輸,因此適用于需要超快速存儲(chǔ)訪(fǎng)問(wèn)的應(yīng)用,例如數(shù)據(jù)庫(kù)、分析和內(nèi)容傳輸;并且兼容傳統(tǒng)的網(wǎng)絡(luò)技術(shù)投資,從而簡(jiǎn)化了基礎(chǔ)架構(gòu)。這些優(yōu)勢(shì)將幫助客戶(hù)采用軟件定義的方法,在速度、敏捷性和經(jīng)濟(jì)性方面享受云端體驗(yàn)。

NVMe/TCP 可以幫助 Ceph 通過(guò)擴(kuò)展架構(gòu)彌補(bǔ)傳統(tǒng)塊存儲(chǔ)的不足。借助 NVMe/TCP,Ceph 將與 VMware 等平臺(tái)集成,幫助企業(yè)在自己的數(shù)據(jù)中心復(fù)制云架構(gòu),擺脫昂貴且固定的 SAN 網(wǎng)絡(luò)和單片存儲(chǔ)陣列。

Ceph 7.0 的其他新功能:

  • SEC 和 FINRA 合規(guī)認(rèn)證的"寫(xiě)一次讀多次" (WORM) 對(duì)象鎖定,確保對(duì)象存儲(chǔ)符合 WORM 合規(guī)要求
  • 非原生 Ceph 客戶(hù)端的 CephFS 文件系統(tǒng)訪(fǎng)問(wèn)提供NFS 支持
  • 如需了解該功能的更多信息,請(qǐng)點(diǎn)擊此處訪(fǎng)問(wèn) IBM Storage 社區(qū)

借助IBM Storage Ceph 實(shí)現(xiàn)云規(guī)模經(jīng)濟(jì)

由于 IBM Storage Ceph 將數(shù)據(jù)作為對(duì)象存儲(chǔ)在邏輯存儲(chǔ)池中,因此單個(gè)集群可以有多個(gè)存儲(chǔ)池,每個(gè)存儲(chǔ)池都將針對(duì)不同的性能或容量需求進(jìn)行調(diào)整。這樣一來(lái),客戶(hù)能夠更輕松快速地訪(fǎng)問(wèn)各種經(jīng)過(guò)分類(lèi)的內(nèi)容數(shù)據(jù)和上下文數(shù)據(jù),存儲(chǔ)容量?jī)H受組織基礎(chǔ)架構(gòu)規(guī)模的限制;與傳統(tǒng)存儲(chǔ)陣列架構(gòu)相比,IBM Storage Ceph可消除硬件限制,實(shí)現(xiàn)大規(guī)模成本降低。

加快價(jià)值實(shí)現(xiàn)的步伐

IBM Storage Ceph
IBM Storage Ceph

IBM 更進(jìn)一步簡(jiǎn)化了 Ceph 部署。借助 IBM Storage Ready Nodes for Ceph,該平臺(tái)可部署為完整的軟硬件解決方案,提供多種容量配置,針對(duì)運(yùn)行 IBM Storage Ceph 工作負(fù)載進(jìn)行了優(yōu)化。我們消除了配置中的不確定因素,使其更易于理解、配置和管理。

IBM Storage Ceph 的發(fā)展是 IBM 存儲(chǔ)的軟硬件產(chǎn)品通過(guò)擴(kuò)展的容量與性能,加速價(jià)值實(shí)現(xiàn)、優(yōu)化客戶(hù)成本的又一例證。

了解更多信息,請(qǐng)?jiān)L問(wèn)https://www.ibm.com/cn-zh/products/ceph 

關(guān)于IBM

IBM 是全球領(lǐng)先的混合云、人工智能及企業(yè)服務(wù)提供商,幫助超過(guò) 175 個(gè)國(guó)家和地區(qū)的客戶(hù),從其擁有的數(shù)據(jù)中獲取商業(yè)洞察,簡(jiǎn)化業(yè)務(wù)流程,降低成本,并獲得行業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)。金融服務(wù)、電信和醫(yī)療健康等關(guān)鍵基礎(chǔ)設(shè)施領(lǐng)域的超過(guò) 4000 家政府和企業(yè)實(shí)體依靠 IBM 混合云平臺(tái)和紅帽 OpenShift 快速、高效、安全地實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。IBM 在人工智能、量子計(jì)算、行業(yè)云解決方案和企業(yè)服務(wù)方面的突破性創(chuàng)新為我們的客戶(hù)提供了開(kāi)放和靈活的選擇。對(duì)企業(yè)誠(chéng)信、透明治理、社會(huì)責(zé)任、包容文化和服務(wù)精神的長(zhǎng)期承諾是 IBM 業(yè)務(wù)發(fā)展的基石。了解更多信息,請(qǐng)?jiān)L問(wèn):https://www.ibm.com/cn-zh 

媒體聯(lián)絡(luò)人

崔守峰,shou.feng.cui@ibm.com 

[1], [2] https://www.redhat.com/en/resources/data-solutions-overview

[3], [4]《2023 年企業(yè)數(shù)據(jù)存儲(chǔ)的主要趨勢(shì)》;作者:Chandra Mukhyala、Julia Palmer、Jeff Voge,2023 年 6 月 29 日

  

 

消息來(lái)源:IBM China
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營(yíng)動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購(gòu)消息。掃描二維碼,立即訂閱!
collection