北京2022年4月1日 /美通社/ -- IBM智能決策優(yōu)化系統(tǒng)已經(jīng)融入IBM Cloud Pak for Data平臺,支持?jǐn)?shù)據(jù)科學(xué)家通過Python、OPL、CPLEX、CPO、建模助手等方式構(gòu)建決策模型。近日,IBM技術(shù)專家對該系統(tǒng)背后的硬核技術(shù)做了細(xì)致解讀。
IBM智能決策平臺,作為行業(yè)的領(lǐng)跑者,通過持續(xù)革新,不斷賦能企業(yè)全鏈路決策升級,助力企業(yè)完成數(shù)字化、智能化轉(zhuǎn)型,加速企業(yè)卓越地完成業(yè)務(wù)KPI指標(biāo)。IBM智能決策平臺將和中國企業(yè)一起攜手共創(chuàng),優(yōu)化一切。
0. 引言
在制造業(yè),如何將有限的人力和設(shè)備,在不同的時段分配到不同產(chǎn)品制造上,使得企業(yè)的效益最大化?
在航空業(yè),如何實時的調(diào)整航空時刻表來調(diào)度航班,機組人員,航線設(shè)計等,使得收益最大化?
在金融業(yè),如何實現(xiàn)信貸資金優(yōu)化配置,權(quán)衡用戶需求和風(fēng)險監(jiān)管要求,使得利益最大化?
在物流業(yè),如何調(diào)配物流車輛和選擇物流路徑,才能最低的成本和最快的速度完成貨物的運輸?
作為企業(yè)的決策者,該如何來回答這些問題呢?不乏有人會根據(jù)初步數(shù)據(jù)和歷史經(jīng)驗來 “拍腦袋”決策,造成的結(jié)果可能是后悔得 “將大腿拍腫”。
隨著數(shù)字化時代的到來,數(shù)據(jù)越來越多,運營模式越來越復(fù)雜,這給決策者帶來了前所未有的困難。企業(yè)只有全面地對決策鏈進(jìn)行智能化轉(zhuǎn)型,讓“數(shù)據(jù)說話”,才能塑造核心競爭力,統(tǒng)籌成本和規(guī)模等,實現(xiàn)效益最大化。
1. 從統(tǒng)籌學(xué)鼻祖軟件CPLEX說起
CPLEX是一位妥妥的80后,最初版本在1988年就被開發(fā)出來,可謂歷史悠久!在1997年,被ILOG公司收購,2009年,納入IBM懷抱, CPLEX在統(tǒng)籌學(xué)領(lǐng)域可謂盡人皆知。
CPLEX是業(yè)界領(lǐng)先的數(shù)學(xué)規(guī)劃問題求解軟件, 以靈活的超高性能優(yōu)化程序,來解決線性(LP)優(yōu)化問題、網(wǎng)絡(luò)流問題、二次規(guī)劃 (QP) 問題、二次約束規(guī)劃 (QCP) 問題和混合整數(shù)規(guī)劃 (MIP) 問題等,適應(yīng)于多種統(tǒng)籌學(xué)決策優(yōu)化場景。經(jīng)過多年的技術(shù)沉淀,IBM ILOG CPLEX 已經(jīng)全面發(fā)展成為商業(yè)的智能決策平臺IBM Decision Optimization系列產(chǎn)品。
2. IBM決策優(yōu)化系統(tǒng)COS蓬勃發(fā)展
IBM ILOG CPLEX Optimization Studio(簡稱COS)為用戶提供了一個非常簡便的建模環(huán)境,可供運籌學(xué)專家或者數(shù)據(jù)科學(xué)家輕松方便的建模,并測試模型。COS的關(guān)鍵組件和構(gòu)架如下:
2.1 COS的優(yōu)化引擎
優(yōu)化引擎猶如決策優(yōu)化系統(tǒng)的大腦,而COS有兩個強悍的大腦,其中之一就是CPLEX,CPLEX通常用于大規(guī)模的戰(zhàn)略問題。CPLEX包含了多種算法,并可基于問題自動檢測出最佳的算法。CPLEX引擎支持并行化,可以運行在共享和分布式內(nèi)存體系結(jié)構(gòu)中,支持不可行性分析。CPLEX引擎支持解決方案池,用戶可以從解決方案池中選擇最適合他們需求的特定方案。此外,CPLEX支持用戶通過參數(shù)集對算法進(jìn)行微調(diào)來達(dá)到最理想的效果。CPLEX用戶的自定義行為,運籌專家用戶可以利用自己對問題的深刻理解來創(chuàng)建自己的算法,更有效地解決復(fù)雜的問題。
COS的第二個大腦是CPO (Constraint Programming Optimizer),用不同的算法解決不同類型的問題,比如離散非線性問題等。這也正是COS與其他商業(yè)決策優(yōu)化引擎之間的重要區(qū)別,CPO可以解決CPLEX和其他求解器難以解決的復(fù)雜調(diào)度問題。CPO引擎允許建模者基于預(yù)置的調(diào)度模型來構(gòu)建,從而實現(xiàn)輕松而又快速建模。和CPLEX引擎一樣,CPO一般可以自行決定在底層使用哪些算法,支持統(tǒng)籌學(xué)專家微調(diào),支持在共享內(nèi)存架構(gòu)中并行運行來提高性能。
2.2 COS模型開發(fā)工具
COS集成開發(fā)環(huán)境(IDE)是基于Eclipse的,運籌學(xué)專家或數(shù)據(jù)科學(xué)家可以基于此IDE,使用OPL(Optimization Programming Language)建模語言來構(gòu)建優(yōu)化模型。通過這個IDE,使用OPL建模會更加容易,因為OPL有很多內(nèi)置的模塊可供用戶使用,而且格式化的建模便于用戶快速簡單上手,用戶按照預(yù)定格式,定義變量、目標(biāo)、約束等模型結(jié)構(gòu),同時可選擇性定義一個數(shù)據(jù)初始化塊和一個后處理塊。OPL并不像編碼語言那么要求嚴(yán)格,它更像是一種容易讀懂的高級腳本語言,上手容易。
2.3 訪問和部署
COS支持IBM產(chǎn)品的Connectors有 SPSS Modeler Connector和Planning Analytics Connector 等。另外還有一些第三方的軟件,比如Excel、JDBC Connector (連接到數(shù)據(jù)庫)、Microsoft Solver Foundation、MATLAB等,可以通過這些Connector獲取數(shù)據(jù)。輸出和部署模型,可通過API,用戶使用C, Java, C++, .NET, Python等語言來創(chuàng)建一個應(yīng)用程序,來控制對引擎的訪問、輸入和輸出。
3. IBM端到端智能決策平臺DOC
IBM 決策優(yōu)化中心(Decision Optimization Center,簡稱DOC)是一個決策優(yōu)化端到端的平臺,支持從模型開發(fā)、測試、部署和應(yīng)用全生命周期過程。
當(dāng)前DOC以聯(lián)合開發(fā)的方式,并向著如火如荼的云原生平臺積極靠攏,既支持以Docker Compose方式安裝部署,同時也可以通過Helm等方式安裝到Openshift或者Kubernetes平臺上。其核心是Optimization Server(下文稱為DOC OS),可以使用戶專注于模型開發(fā)和應(yīng)用上,無需關(guān)注IT底層設(shè)施的維護,DOC OS可以自動的管理測試環(huán)境,模型部署測試,同時提供自動伸縮性和健壯性。其構(gòu)架圖如下。
DOC OS Master猶如一個管理者,從客戶端接收作業(yè)請求和輸入數(shù)據(jù),并通過一個消息隊列(RabbitMQ),合理分配到Worker上執(zhí)行,并實時的得到Worker的反饋,DOC OS預(yù)置了CPLEX和OPL兩種優(yōu)化器,同時支持用戶自定義Worker,以便靈活使用。每個作業(yè)的日志、輸入和輸出都存儲在一個分布式文件存儲的數(shù)據(jù)庫(MongoDB)中。業(yè)務(wù)用戶通過Web控制臺來提交作業(yè)(可從本地上傳文件和數(shù)據(jù)),并在Web控制臺監(jiān)控作業(yè)運行,并查看結(jié)果。
4. 決策優(yōu)化和機器學(xué)習(xí)相得益彰
機器學(xué)習(xí)已在各行各業(yè)取得了巨大的進(jìn)展,越來越多的企業(yè)借助機器學(xué)習(xí)來進(jìn)行數(shù)據(jù)挖掘、聚類、用戶行為分析等。其實運籌學(xué)的歷史比機器學(xué)習(xí)更悠久,當(dāng)運籌學(xué)的決策優(yōu)化遇上機器學(xué)習(xí),可謂相得益彰,相互成就。
機器學(xué)習(xí)更多的是“數(shù)據(jù)驅(qū)動”,其重點在于通過歷史數(shù)據(jù)來訓(xùn)練模型,然后預(yù)測未來。比如某電信營運商可以通過大量歷史用戶的信息來訓(xùn)練模型,預(yù)測流失用戶,但是機器學(xué)習(xí)不會告訴用戶如何使用營銷和降費等手段,以最佳方案地避免此類用戶的流失。決策優(yōu)化系統(tǒng)更多的是“認(rèn)知驅(qū)動”,可以結(jié)合機器學(xué)習(xí)的預(yù)測,并利用規(guī)則限制和目標(biāo),給出最佳的行動方案。二者如下圖所示。
IBM Watson是領(lǐng)先的機器學(xué)習(xí)平臺,目前IBM決策優(yōu)化系統(tǒng)已和Watson連珠合璧,形成智能決策平臺IBM Decision Optimization for Watson Studio(下文稱DO for Watson Studio)。數(shù)據(jù)科學(xué)家可以基于DO for Watson Studio,借助于AI能力,端到端地快速構(gòu)建和部署智能化決策優(yōu)化模型,并通過微服務(wù)發(fā)布模型服務(wù)。因其天然優(yōu)勢,可以很容易地連接到構(gòu)建機器學(xué)習(xí)模型所用的相同數(shù)據(jù)源。DO for Watson Studio平臺支持用戶可以圖形界面的形式,查看模型的有效性,進(jìn)而發(fā)現(xiàn)一些模型的缺點或者不正確(或者遺漏)的約束條件,或者不合理的目標(biāo)等。模型驗證通過后,可以直接基于Watson平臺,將模型部署為微服務(wù),供業(yè)務(wù)用戶使用。
5. 決策優(yōu)化和規(guī)劃分析雙劍合璧
在規(guī)劃分析領(lǐng)域,IBM Planning Analytics(PA)被廣泛使用,它有個曾用名叫“TM1”,業(yè)界熟知。PA是基于內(nèi)存的預(yù)算、預(yù)測解決方案。和Watson結(jié)合,形成IBM Planning Analytics with Watson 平臺。借助此平臺,消除了業(yè)務(wù)部門孤島,簡化和整合企業(yè)內(nèi)的財務(wù)和運營規(guī)劃,快速的為財務(wù)、銷售、供應(yīng)鏈等創(chuàng)建更準(zhǔn)確的計劃和預(yù)測,并實時的做出調(diào)整。
然而,規(guī)劃和分析很難離開決策,因為雖然PA可以產(chǎn)生動態(tài)的規(guī)劃分析結(jié)果,但不能保證其是最優(yōu)的,或者是局部最優(yōu)的,也沒有假設(shè)場景可以供用戶測試,而且很多時候,PA的規(guī)劃分析并不能納入某些必要的條件約束,這就會對業(yè)務(wù)結(jié)果產(chǎn)生影響,甚至造成不可執(zhí)行。然而在今天,這已經(jīng)不是問題了,因為在2021年發(fā)布的PA Cloud版本中,已然和IBM決策優(yōu)化系統(tǒng)的雙劍合璧,共同為客戶提供基于決策優(yōu)化的預(yù)測分析。
6. 決策優(yōu)化和數(shù)據(jù)經(jīng)緯魚水情深
數(shù)據(jù)經(jīng)緯(Data Fabric)是一種全新的數(shù)據(jù)處理方法論,猶如汪洋大海,包羅萬象。IBM Cloud Pak for Data平臺是當(dāng)前數(shù)據(jù)經(jīng)緯構(gòu)架最具代表性的實現(xiàn),通過數(shù)據(jù)虛擬化,減少數(shù)據(jù)實際遷移過程,提高自動化數(shù)據(jù)處理;通過建立智能數(shù)據(jù)目錄,以便自動發(fā)現(xiàn)、關(guān)聯(lián)、理解數(shù)據(jù),讓數(shù)據(jù)時刻準(zhǔn)備好支持業(yè)務(wù)需求;通過設(shè)定數(shù)據(jù)安全策略,保證多用戶和多數(shù)據(jù)源下的數(shù)據(jù)安全;通過混合云靈活的基礎(chǔ)架構(gòu),提供多種數(shù)據(jù)智能化技術(shù),從而淋漓盡致的發(fā)揮AI潛力。
IBM Cloud Pak for Data借助于各種技術(shù)手段,讓企業(yè)數(shù)據(jù)變活,更好地服務(wù)于業(yè)務(wù),在讓數(shù)據(jù)智能化服務(wù)業(yè)務(wù)的過程中,決策優(yōu)化則是關(guān)鍵的一環(huán),舉足輕重。決策優(yōu)化就好比數(shù)據(jù)經(jīng)緯汪洋大海中的“蛟龍”,蛟龍入海,使得數(shù)據(jù)經(jīng)緯“有龍則靈”,盤活整個數(shù)據(jù)經(jīng)緯海域。IBM智能決策優(yōu)化系統(tǒng)已經(jīng)融入了IBM Cloud Pak for Data平臺中,支持?jǐn)?shù)據(jù)科學(xué)家通過Python、OPL、CPLEX、CPO、建模助手等方式構(gòu)建決策模型。
在IBM Cloud Pak for Data平臺中,構(gòu)建決策模型主要分為三步:
第一步,導(dǎo)入和準(zhǔn)備數(shù)據(jù)。用戶可以從項目導(dǎo)入數(shù)據(jù),并檢查和修正數(shù)據(jù)。
第二步,構(gòu)建模型。用戶可以使用Python(包括Notebook方式),OPL、建模助手等方式來構(gòu)建決策優(yōu)化模型,并完成模型的調(diào)試和驗證,也可以通過從本地上傳文件等方式來導(dǎo)入模型。建模助手可輔助用戶,使用基于數(shù)據(jù)結(jié)構(gòu)和某些特定的規(guī)則和策略(如資源分配、調(diào)度等)來規(guī)劃決策優(yōu)化模型。
第三步,探索解決方案。允許用戶預(yù)覽解決方案、KPI、優(yōu)化目標(biāo)、限制沖突或者建議等。最優(yōu)解決方案將通過圖形化和表格等形式展示出來,用戶可以查看結(jié)果(解決方案和沖突條件等),引擎的統(tǒng)計信息(運行狀態(tài),比如已處理,已停止或者以失敗的作業(yè),方案圖形化信息和模型的統(tǒng)計信息),和日志信息等。
7. 結(jié)語
IBM決策優(yōu)化系統(tǒng)四處開花,發(fā)展迅猛,已經(jīng)被廣泛應(yīng)用于各行各業(yè),包括航空業(yè)、金融業(yè)、零售業(yè)、物流業(yè)、證券業(yè)、制造業(yè)、保險業(yè)、能源領(lǐng)域、電子商務(wù)領(lǐng)域等,助力用戶持續(xù)降本增效。
正如IBM中國混合云與AI華東及華南大區(qū)總經(jīng)理許偉杰所說:“我們有業(yè)界最穩(wěn)定的企業(yè)級工具、為客戶提供優(yōu)質(zhì)服務(wù)的團隊、優(yōu)化企業(yè)各個環(huán)節(jié)的行業(yè)經(jīng)驗,以及注重實效的IBM方法論。我們希望和中國企業(yè)一起攜手共創(chuàng),優(yōu)化一切。在生產(chǎn)領(lǐng)域,IBM利用Cloud Pak for Data攜手伙伴幫助中國頭部的汽車內(nèi)飾企業(yè)實現(xiàn)多產(chǎn)線全局最優(yōu)的小時級自動排程,提高生產(chǎn)效率,幫助中國頭部的鋰電池制造企業(yè)開啟了新一代全局最優(yōu)生產(chǎn)排程APS之旅,同樣的例子還發(fā)生在航空、半導(dǎo)體、化工、醫(yī)藥等行業(yè)。”
IBM 大中華區(qū)車庫創(chuàng)新體驗中心負(fù)責(zé)人魚棟表示:“決策優(yōu)化是企業(yè)數(shù)智化轉(zhuǎn)型中的重中之重,IBM智能決策系統(tǒng)可賦能企業(yè)快速實現(xiàn)決策全鏈路轉(zhuǎn)型。IBM車庫創(chuàng)新體驗中心團隊可以通過車庫工作坊的形式,和客戶一起梳理決策優(yōu)化中的痛點,并和客戶攜手共創(chuàng),定義最小可行性產(chǎn)品(MVP),助力企業(yè)以敏捷靈活的方式開啟智能決策之門?!?/p>
IBM智能化決策優(yōu)化平臺依舊在根據(jù)市場的需求變化而持續(xù)革新,在未來,將繼續(xù)結(jié)合Cloud Pak for Data的多種數(shù)據(jù)處理工具和人工智能技術(shù),更進(jìn)一步成就客戶,助力企業(yè)在混合云和AI時代,走向高光時刻。
作者:何金池,IBM 科技事業(yè)部車庫創(chuàng)新體驗中心架構(gòu)師
媒體聯(lián)系:Tao Guo, gguotao@cn.ibm.com.。