市場上 K8s 上的大數據平台,開源了!
智領雲自主研發的完全基于Kubernetes的容器化大數據平台
Kubernetes Data Platform (簡稱KDP)
開源啦!
開發者隻要準備好命令行工具,一鍵部署
Hadoop,Hive,Spark,Kafka, Flink, MinIO ...
就可以創建以前要花幾十萬甚至幾百萬才可以買到的大數據平台
無需再花大量的時間和經費去做重複的研發
高度集成,單機即可體驗大數據平台
在安裝模式下
用戶可在現有的K8s集群上集成運行大數據組件
不用額外單獨建設大數據集群
辛辛苦苦研究出來的成果,為什麼要開源?
這波格局開大,老闆有話說
問題1:我們為什麼要開源?
我們的産品一直是基于大數據開源生态體系建設的。之前就一直有開源回饋社區的計劃,但是因為之前Kubernetes對于大數據組件的支持還不夠成熟,我們也一直在疊代與Kubernetes的适配。現在我們的企業版已經在很多頭部客戶落地并且在生産環境下高效運行,覺得這個版本已經可以達到大部分生産級項目的需求,集成度以及可用性是能夠幫到有類似需求的用戶的,希望這次開源能夠降低在Kubernetes上集成大數據組件的門檻,讓更多Kuberenetes和big data社區的同行們可以使用。
問題2:開源版本的KDP,能幹啥?
KDP可以很方便的在Kubenetes上安裝和管理常用的大數據組件,Hadoop,Hive,Spark,Kafka, Flink, MinIO 等等,不需要自己一個一個去适配,可以直接開始使用。然後KDP也提供集成的運維管理界面,用戶可以從界面管理所有組件的安裝配置,運行狀況,資源使用情況,修改配置。而且KDP會将一個大數據組件的所有負載(容器,pod)作為一個整體管理,用戶不需要在Kubernetes的控制平面上去管理單獨的負載。
問題3:的亮點是?
隻要你已經在使用Kubernetes,那麼在現有集群上十幾分鐘就可以啟動一個完整的大數據集群,馬上開始使用,極大的降低了大數據平台的使用門檻。因為我們這個流程是高度集成的,整個安裝過程在一個單機環境下也都能啟動(例如使用單機kind虛拟集群都可以),所以在測試和實驗環境下都可以高效使用。當然,啟動之後Day 2的很多好處,例如資源的高效利用和集成的運維管理,也是KDP提供的重要功能。
KDP,即在Kubernetes上使用原生的分布式功能搭建及管理大數據平台。
将多套大數據組件集成在Kubernetes之上,同時提供一個整體的管理及運維工具體系,形成一個完全基于Kubernetes的大數據平台。企業級KDP更是支持在同一個Kubernetes集群中同時運行多個大數據平台以及多租戶管理的能力,充分發揮Kubernetes雲原生體系的優勢。

KDP,通過對開源大數據組件的擴展和集成,實現了傳統大數據平台到K8s大數據平台的平穩遷移。
作為市場上可完全在Kubernetes上部署的容器化雲原生大數據平台,智領雲自主研發的KDP,深度整合雲原生架構優勢,将大數據組件、數據應用及資源調度混排,納入Kubernetes管理體系,從而帶你真正玩轉雲原生!

總體框架
簡單來講,KDP可以允許客戶在Kubernetes上運行它所有的大數據組件,并把它們作為一個整體管理起來。如果項目感興趣,請在Github上搜索kubernetes-data-platform,或者搜索公衆号“智領雲科技”了解詳情。
在Kubernetes上運行大數據平台有三個好處:
第一,更高效的大數據組件集成:KDP提供标準化自動化的大數據組件部署和配置,極大地縮短了大數據項目開發和上線時間;
第二,更高效的大數據集群運管:KDP通過大數據組件與K8s的集成,在K8s之上搭建了一個大數據組件管理抽象層,标準化大數據組件生命周期管理,并提供UI界面進一步提升了部署、升級等操作的效率;
第三,更高的集群資源利用率:利用K8s的資源管理和配額機制,與其它系統共享K8s資源池,精細化資源管理,對比傳統大數據平台約30%左右的資源利用率,KDP可大幅提升至60%以上。
社區
我們期待您的貢獻和建議!最簡單的貢獻方式是參與Github議題/讨論的讨論。 如果您有任何問題,請與我們聯系,我們将确保盡快為您解答。
免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

