數(shù)據(jù)中臺的價值
幾十年的信息化發(fā)展歷程,就是“業(yè)務數(shù)據(jù)化”的過程——無論是一家公司或者是一個機構當它持續(xù)不斷在IT方面進行投入和建設,不斷將自身發(fā)展過程中業(yè)務模式和經營管理端的各種能力以數(shù)據(jù)指標的形態(tài)沉淀累計下來。
利用沉淀積累的數(shù)據(jù)進行業(yè)務上的優(yōu)化升級,則是將已經成為企業(yè)數(shù)字資產的“業(yè)務大數(shù)據(jù)”作為生產資料融入業(yè)務價值的創(chuàng)造過程,使之持續(xù)產生更長遠的價值。
數(shù)據(jù)中臺就是實現(xiàn)”數(shù)據(jù)業(yè)務化“的基礎!
系統(tǒng)越多,數(shù)據(jù)孤島現(xiàn)象越嚴重
隨著信息化的不斷加深,在傳統(tǒng)的“煙囪式”IT產品工具系統(tǒng)的搭建模式下,企業(yè)獨立采購或者定制開發(fā)的各種信息軟件,會在企業(yè)日常運維的內部形成眾多數(shù)據(jù)孤島;而在互聯(lián)網、移動互聯(lián)網背景下,小程序、O2O平臺等新模式下產生的外部新鮮數(shù)據(jù)與傳統(tǒng)系統(tǒng)的內部數(shù)據(jù)有效直接互通,這進一步加劇了數(shù)據(jù)孤島問題……系統(tǒng)多樣性和多態(tài)性,增加了企業(yè)IT架構的復雜度。
云時代下多云策略使得IT架構更加復雜
IT硬件基礎設施從PC時代的計算服務器演變成DT時代的萬物“云”,絕大多數(shù)企業(yè)現(xiàn)今及未來都將選取多云策略,以避免被單一云廠商鎖定,且多云可以讓企業(yè)系統(tǒng)內的IT架構更靈活、更符合自身情況。但這也讓企業(yè)IT架構變得更為復雜,不同云服務商之間的底層數(shù)據(jù)的互聯(lián)互通成為困擾企業(yè)發(fā)展的痛點之一。每一次系統(tǒng)之間的同步,帶寬的消耗都是云服務商掙取利潤的主要來源。
IT 發(fā)展迫切進入新階段
企業(yè)信息化發(fā)展目前正處于從數(shù)據(jù)集成向數(shù)據(jù)管理階段轉變的關鍵時期,數(shù)據(jù)管理從分散向集中發(fā)展,從不規(guī)范向規(guī)范化發(fā)展;信息系統(tǒng)建設從單項建設向集成化發(fā)展
1)數(shù)據(jù)價值
數(shù)據(jù)是企業(yè)已有業(yè)務和管理思想的結晶,數(shù)據(jù)中臺幫助企業(yè)對數(shù)據(jù)進行整合,進一步挖掘數(shù)據(jù)價值,從而達成賦能業(yè)務的目的。通過構建數(shù)據(jù)中臺實現(xiàn)3大核心價值:整合、共享、賦能。
整合·數(shù)據(jù)資產
工作剛需:消除數(shù)據(jù)孤島,匯聚企業(yè)內外部數(shù)據(jù),形成數(shù)據(jù)資產
對接業(yè)務核心數(shù)據(jù),打通ERP、MES、PLM、CRM、HR等信息系統(tǒng),建立統(tǒng)一的數(shù)據(jù)標準,梳理基礎數(shù)據(jù)與交易數(shù)據(jù),消除數(shù)據(jù)孤島,匯聚企業(yè)內夯實數(shù)據(jù)資產基礎
數(shù)據(jù)資源盤點、聯(lián)接、規(guī)范管理,形成企業(yè)的“數(shù)據(jù)資產”管理體系。幫助解決傳統(tǒng)信息系統(tǒng)建設過程中,因”煙囪式“架構導致的數(shù)據(jù)隔離、數(shù)據(jù)不一致等問題,避免“數(shù)據(jù)孤島”的出現(xiàn)。
共享·數(shù)據(jù)資源
歸納總結:主動針對數(shù)據(jù)進行思考分析,追根溯源,查找原因,為決策提供支持
圍繞著能給業(yè)務帶來價值的數(shù)據(jù)資產進行建設,形成統(tǒng)一的數(shù)據(jù)資產體系,使企業(yè)數(shù)據(jù)中臺體系初具雛形,以能滿足企業(yè)業(yè)務對數(shù)據(jù)的需求。
避免重復開發(fā),確保前端業(yè)務“輕量化”。數(shù)據(jù)中臺要求“整合、共享“,因此業(yè)務前端需要的數(shù)據(jù)應用能力必須經過數(shù)據(jù)中臺進行實現(xiàn),這樣既確保了前端業(yè)務的輕量化,又鞏固了數(shù)據(jù)中臺作為關鍵地位,實現(xiàn)數(shù)據(jù)資源的共享與開發(fā)效率的提升。
賦能·業(yè)務創(chuàng)新
賦能創(chuàng)新:借助大數(shù)據(jù)AI技術,以演繹方式通過數(shù)據(jù)實現(xiàn)業(yè)務智能化
提供便捷、快速的數(shù)據(jù)服務能力,選擇具體業(yè)務場景,結合AI算法,讓相關人員能夠迅速開發(fā)數(shù)據(jù)應用,實現(xiàn)“場景+算法+數(shù)據(jù)”的智慧創(chuàng)新場景的應用,充分發(fā)揮數(shù)據(jù)價值。
通過數(shù)據(jù)的統(tǒng)一數(shù)據(jù)服務,將企業(yè)基礎數(shù)據(jù)能力整合在數(shù)據(jù)中臺中,并開放給前端業(yè)務進行調用,實現(xiàn)了自主驅動、賦能業(yè)務的最終目的。
2)實現(xiàn)企業(yè)數(shù)字化愿景
實現(xiàn)基于數(shù)據(jù)的管理:基于中臺構建面向業(yè)務應用的全量數(shù)據(jù)分析
從“業(yè)務驅動數(shù)據(jù)”走向“數(shù)據(jù)驅動業(yè)務”企業(yè)
實現(xiàn)智能企業(yè),建立大數(shù)據(jù)BI平臺,打造智能企業(yè)的大腦,幫助企業(yè)實現(xiàn)從透明化到智能化的閉環(huán)管理
1、數(shù)據(jù)集成方案
1)手工數(shù)據(jù)填報
對于企業(yè)手工線下EXCEL的數(shù)據(jù),可通過在線填報方式進行統(tǒng)一采集與管理。
模版定義:定義補錄模板,包括目標數(shù)據(jù)庫,補錄列字段名稱、類型、長度、校驗方式、默認值等信息,更新方式、是否審批等策略
數(shù)據(jù)補錄:根據(jù)補錄模版動態(tài)生成不同補錄頁面,支持excel批量錄入、校驗、提交
補錄查看:查看、下載已補錄數(shù)據(jù),并支持對已導入數(shù)據(jù)編輯、修改操作
2)離線/批處理
可通過圖形化配置化頁面實現(xiàn)數(shù)據(jù)的同步:
定義同步任務,可視化配置源端和目標端;
提供任意異構數(shù)據(jù)源間的同步,以及Excel、API等;
支持多種同步方式(Datax、Kettle);
提供批量同步的方式,一次創(chuàng)建多張表的同步任務;
可配置多種同步策略,包括增量、讀取配置、寫入配置、容錯率等;
可通過查看引用快速定位數(shù)據(jù)集成的調度作業(yè),及查看作業(yè)運行日志
3)實時同步
通過kafak+flink實現(xiàn)數(shù)據(jù)的實時更新,滿足基于流式計算統(tǒng)一解決數(shù)據(jù)集成的各種場景,正常情況:
Kafka會保留一段時間的隊列
入倉數(shù)據(jù)都有時間戳
Flink 處理過程會記錄到控制表
3、數(shù)據(jù)應用
1)數(shù)據(jù)可視化應用
2)數(shù)據(jù)API服務
除了提供報表可視化服務以外,還可通過API方式為各應用場景提供數(shù)據(jù)服務,形成數(shù)據(jù)閉環(huán)管控
面向各類數(shù)據(jù)應用場景,統(tǒng)一數(shù)據(jù)倉庫對外數(shù)據(jù)服務標準
整合應用需求,持續(xù)完善數(shù)據(jù)倉庫服務能力,底層能力迭代不影響前端業(yè)務
統(tǒng)一的服務管理提升了數(shù)據(jù)安全防護,數(shù)據(jù)審計,數(shù)據(jù)調用統(tǒng)計的效率