我們開源啦!一鍵部署免費使用!Kubernetes上直接運行大數據平台!

2024-05-14 14:25:03 來源:和訊網
        【每日科技網】

市場上 K8s 上的大數據平台,開源了!

智領雲自主研發的完全基于Kubernetes的容器化大數據平台

Kubernetes Data Platform (簡稱KDP)

開源啦!

開發者隻要準備好命令行工具,一鍵部署

Hadoop,Hive,Spark,Kafka, Flink, MinIO ...

就可以創建以前要花幾十萬甚至幾百萬才可以買到的大數據平台

無需再花大量的時間和經費去做重複的研發

高度集成,單機即可體驗大數據平台

在安裝模式下

用戶可在現有的K8s集群上集成運行大數據組件

不用額外單獨建設大數據集群

辛辛苦苦研究出來的成果,為什麼要開源?

這波格局開大,老闆有話說

問題1:我們為什麼要開源?

我們的産品一直是基于大數據開源生态體系建設的。之前就一直有開源回饋社區的計劃,但是因為之前Kubernetes對于大數據組件的支持還不夠成熟,我們也一直在疊代與Kubernetes的适配。現在我們的企業版已經在很多頭部客戶落地并且在生産環境下高效運行,覺得這個版本已經可以達到大部分生産級項目的需求,集成度以及可用性是能夠幫到有類似需求的用戶的,希望這次開源能夠降低在Kubernetes上集成大數據組件的門檻,讓更多Kuberenetes和big data社區的同行們可以使用。

問題2:開源版本的KDP,能幹啥?

KDP可以很方便的在Kubenetes上安裝和管理常用的大數據組件,Hadoop,Hive,Spark,Kafka, Flink, MinIO 等等,不需要自己一個一個去适配,可以直接開始使用。然後KDP也提供集成的運維管理界面,用戶可以從界面管理所有組件的安裝配置,運行狀況,資源使用情況,修改配置。而且KDP會将一個大數據組件的所有負載(容器,pod)作為一個整體管理,用戶不需要在Kubernetes的控制平面上去管理單獨的負載。

問題3:的亮點是?

隻要你已經在使用Kubernetes,那麼在現有集群上十幾分鐘就可以啟動一個完整的大數據集群,馬上開始使用,極大的降低了大數據平台的使用門檻。因為我們這個流程是高度集成的,整個安裝過程在一個單機環境下也都能啟動(例如使用單機kind虛拟集群都可以),所以在測試和實驗環境下都可以高效使用。當然,啟動之後Day 2的很多好處,例如資源的高效利用和集成的運維管理,也是KDP提供的重要功能。

KDP,即在Kubernetes上使用原生的分布式功能搭建及管理大數據平台。

将多套大數據組件集成在Kubernetes之上,同時提供一個整體的管理及運維工具體系,形成一個完全基于Kubernetes的大數據平台。企業級KDP更是支持在同一個Kubernetes集群中同時運行多個大數據平台以及多租戶管理的能力,充分發揮Kubernetes雲原生體系的優勢。

我們開源啦!一鍵部署免費使用!Kubernetes上直接運行大數據平台!

KDP,通過對開源大數據組件的擴展和集成,實現了傳統大數據平台到K8s大數據平台的平穩遷移。

作為市場上可完全在Kubernetes上部署的容器化雲原生大數據平台,智領雲自主研發的KDP,深度整合雲原生架構優勢,将大數據組件、數據應用及資源調度混排,納入Kubernetes管理體系,從而帶你真正玩轉雲原生!

我們開源啦!一鍵部署免費使用!Kubernetes上直接運行大數據平台!

總體框架

簡單來講,KDP可以允許客戶在Kubernetes上運行它所有的大數據組件,并把它們作為一個整體管理起來。如果項目感興趣,請在Github上搜索kubernetes-data-platform,或者搜索公衆号“智領雲科技”了解詳情。

在Kubernetes上運行大數據平台有三個好處:

第一,更高效的大數據組件集成:KDP提供标準化自動化的大數據組件部署和配置,極大地縮短了大數據項目開發和上線時間;

第二,更高效的大數據集群運管:KDP通過大數據組件與K8s的集成,在K8s之上搭建了一個大數據組件管理抽象層,标準化大數據組件生命周期管理,并提供UI界面進一步提升了部署、升級等操作的效率;

第三,更高的集群資源利用率:利用K8s的資源管理和配額機制,與其它系統共享K8s資源池,精細化資源管理,對比傳統大數據平台約30%左右的資源利用率,KDP可大幅提升至60%以上。

社區

我們期待您的貢獻和建議!最簡單的貢獻方式是參與Github議題/讨論的讨論。 如果您有任何問題,請與我們聯系,我們将确保盡快為您解答。

免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
    本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

猜你喜歡

海能達發布全新專業防爆PDT對講機CH690Ex

随着我國應急管理體系持續完善,消防救援任務正在從傳統火災處置,向化工園區事故、危險品洩漏、地下空間救援、大型綜合災害等多風險、多場景方向發展。在這些複雜環境中,救援現場往往面臨爆炸性氣體、可燃性粉塵、

2周前

海能達CCW 2026載譽收官:AI與融合通信引領專用通信新未來

6月16日至18日,2026年全球關鍵通信展(CCW2026)在英國倫敦舉行。展會期間,海能達集中展示了從終端到系統、從感知到決策的全鍊路創新版圖,AI與融合通信産品及解決方案貫穿三天展期,持續獲得高

4周前

登陸歐洲 Intersolar!遠景AI電力系統支撐全球 AI 算力發展

慕尼黑,2026年6月23日——在IntersolarEurope2026上,遠景科技集團發布面向AI數據中心的下一代電力基礎設施——融合風光儲一體化方案、固态變壓器(SST)、800V直流供電、儲能

1個月前

海能達六度問鼎ICCAs,PDC650與西安機場方案摘得雙獎

6月17日,2026年國際關鍵通信獎(InternationalCriticalCommunicationsAwards,ICCAs)在英國倫敦舉行的全球關鍵通信展(CCW2026)期間正式揭曉。海能

1個月前

海能達即将亮相2026年CCW全球關鍵通信展: 攜AI與融合通信解決方案登陸倫敦

6月16日至18日,2026年CCW全球關鍵通信展将在英國倫敦啟幕。作為全球領先的專用通信解決方案提供商,海能達将以全場景關鍵通信産品矩陣亮相F25展位,集中展示面向公共安全、應急救援、城市治理等領域

1個月前

海能達再獲第十一屆廣東專利獎:持續自主創新,構築專用通信知識産權高地

近日,廣東省市場監督管理局正式公示第十一屆廣東專利獎評選結果。海能達通信股份有限公司申報的“一種集群通信系統的組派接方法、通信系統及存儲介質”(專利号:ZL201811296617.7)榮獲廣東專利優

1個月前