在數字經濟大踏步前進和全球數據量大規模爆發下,數據成為新關鍵生産要素。
然而,大量數據資源并沒有得到充分有效的利用。
根據中國信通院的《大數據白皮書(2020)》,企業運營中的數據隻有56%能夠被及時捕獲,而這其中僅有57%的數據得到了利用、43%的采集數據沒有被激活,也就是說僅有32%的企業數據價值能夠被激活。如何有效利用數據、充分釋放數據價值已經成為企業數字化轉型過程中的難題。
時速雲依托在雲原生領域的多年實踐積累,打造了集數據開發平台、數據建設、數據資産、數據服務、算法開發平台、數據可視化等功能于一體的“雲原生數據平台KubeData”。其向下采集與接入全業務、多終端、多形态的數據,經過數據建設與開發,通過數據規範化的方式實現指标口徑的統一,并分類存儲以實現數據資産化管理。向上提供各類數據服務,面向業務構建全生命周期的數據服務接口,針對不同業務場景提供可視化的數據分析與展示。

圖:KubeData功能架構
作為一站式可視化數據建設和數據開發平台,KubeData幫助企業實現業務數據化、數據資産化、資産價值化的數據全生命周期的打通,全面解放數據的生産力,并最終導向業務,幫助企業完成數字化轉型。
業務數據化
構建企業級的數據平台,首先要讓企業各個業務系統的數據實現互聯互通,為後續數據資産的價值挖掘提供全面、統一的原始材料,而這主要通過數據接入集成的能力實現。
在數據接入層面,KubeData采用了全容器部署和微服務架構來構建數據平台所需的基礎設施底座,并集成了Hadoop大數據生态圈基本組件。此外,平台與上層應用平台形成松耦合關聯,可将新舊業務系統、外部系統、第三方采集平台等多種數據源統一接入數據處理模塊,從物理上打破了數據孤島。
資源管理器、各類計算和存儲引擎服務的對接基于Web圖形化界面即可完成,無需額外的安裝與部署工作,極大地提高了數據平台的易用性。
此外,KubeData還提供組件的運維管理,包括:存儲配置、鏡像和服務訪問地址、配置文件的動态修改、事件記錄等,方便運維人員發現問題以及快速升級組件能力以适配上層平台,保障穩定性。

圖:資源組接入

圖:數據引擎接入
數據資産化
數據資産化的過程是解放數據生産力的核心環節,KubeData通過數據建設-數據開發-數據資産的流水化作業,根據不同業務需求,将數據轉換成各種新的形态,從而易于企業日常經營活動中進行搜索、過濾和管理,充分激活數據的商業價值。
在數據開發及ETL作業階段,KubeData滿足實時與離線開發的多場景需求,可輕松通過可視化拖拽的方式完成作業流程的編排,并通過豐富的内置組件、模闆來加速構建數據分析處理流程,極大地降低了用戶使用大數據平台的門檻。研發人員也無需關注底層技術棧,使用SQL即可完成開發鍊路編譯。作業開發支持多種粒度的周期性調度配置,并對于流程運行中可能出現異常的節點,可通過監控及看闆模塊來快速發現和定位。

圖:數據開發平台 - 離線開發

圖:ETL作業
算法開發平台作為一站式的AI開發平台,從數據喂料的準備到算法模型訓練及數據推演,完成所有任務。
平台集成了常見運行框架及算法,包括:Tensorflow、PyTorch、MXNet 等主流學習框架。用戶可通過可視化拖拽組件,完成模型的訓練及部署應用流程。

圖:算法開發
數據建設作為KubeData業務搭建的核心,通過規範化的主題劃分及數據建模,幫助用戶自上而下的構建企業數據分層體系,沉澱出公共主題、維度以及業務主線,提高數據使用的效率,減少數據的重複建設、孤島、口徑不統一等弊端。
在上層的标簽畫像體系以及指标體系的建設中,統一來源的數據按照高質量、高易用性标準層層遞進,讓企業實踐數據治理及分析決策更加科學。厘清數據業務分類體系的同時,還可在數據安全及質量的層面,對數據的監管工作做更堅實的鋪墊。


圖:模型設計

圖:标簽加工

圖:衍生指标
通過數據資産模塊,用戶可以查看數據資産全局,包括業務與技術資産總量、存儲情況,按分類可以搜索到技術數據資産與業務數據資産的結構、血緣、關系脈絡,并且可以利用元數據采集工具,進行元數據管理工作,進一步厘清數據所有信息。

圖:資産概覽

圖:數據血緣

圖:指标庫
資産價值化
數據平台的使命便是為業務賦能。
基于已形成的數據資産,KubeData構建了數據網關、數據可視化等服務能力,使企業利用數據資産的過程更加靈活便捷,輔助企業利用數據進行管理決策,進而推動企業業務創新。
例如在數據服務模塊,KubeData為企業提供了API從創建、調試、發布到調用的全生命周期管理工具,可快速将标簽或數據表等數據資産生成API,同時也支持将現有API注冊到數據服務平台進行統一的管理和發布。數據網關服務采用Serverless架構,用戶無需關心基礎建設及環境,隻需編寫API本身的查詢邏輯,設置流量控制策略即可,使數據資産的價值化擁有了更多靈活性。

圖:API管理
此外,KubeData已可全面支持國産化,基于自有研發的雲原生平台,能夠滿足企業多中心容災及多活要求,從而保障業務的連續性。當前,KubeData已經具備落地城市地鐵等多個行業場景的能力。以數據為基,KubeData正在推動數字化與各行各業的深度融合。
未來,結合雲原生能力,時速雲将持續推進KubeData的建設疊代,幫助企業激活數據價值,盤活數據資産,彌補數據與業務之間的鴻溝,助力更多企業實現數字化轉型升級。
免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

