構築開放式大數據架構,Apache Kyuubi和NDH榮登開源OSCAR

2023-02-01 13:46:01 來源:艾瑞網
        【每日科技網】

  在9月16日召開的“2022 OSCAR開源産業大會”上,中國信息通信研究院發布了一系列開源研究成果和開源表彰,網易數帆發起的開源項目Apache Kyuubi榮獲“OSCAR尖峰開源項目及開源社區”,有數大數據基礎平台NDH榮獲“OSCAR尖峰開源技術創新(二次開發)”。

  此外,網易數帆發起的雲原生開源項目Slime和Curve分别獲得了“可信開源社區共同體(TWOS)”和“TWOS 銀河計劃成員”的授牌。 “OSCAR開源尖峰案例”評選旨在為開源産業發展立标杆、樹典範,已開展多年,可謂中國開源領域的奧斯卡,可信開源社區則緻力于推動開源社區發展和落地應用。網易數帆獲得權威評選的認可,再次證明了公司構建的開放式大數據架構的先進性,及踐行“架構開放,内核開源”理念的決心。

  Apache Kyuubi:社區成熟,畢業可期 Kyuubi作為一個封裝SparkSQL的服務誕生,将多租戶、高可用和分布式等企業級特性引入開源大數據的世界,因其實用性受到了社區用戶的關注。2021年6月,Kyuubi項目進入Apache軟件基金會孵化,并在Apache Way的指引下實現了更快的發展速度。依托本身的架構設計,Apache Kyuubi快速疊代,在Spark之外完成了Flink 、Trino(Presto)、Hive 等主流計算框架的支持,成為一個面向Serverless SQL on Lakehouse的服務,支持更加豐富的大數據場景應用,并被網易、阿裡雲、騰訊雲、小米、華泰證券、廣發證券、丁香園、eBay、T3出行、攜程、愛奇藝、哔哩哔哩、womply、Houzz、kt NexR等國内外近百家企業采用。

  在網易數帆的開放式大數據架構中,Apache Kyuubi被視為統一SQL網關,用以屏蔽整個體系中不同存儲、計算/查詢引擎的差異,為數據中台提供支撐。

  Apache Kyuubi的演進得益于社區的成熟,經過不到15個月的孵化,社區已經擁有93位代碼貢獻者,其中來自網易外部的貢獻者占比超過了80%,充分體現了社區驅動的力量。最近,Apache Kyuubi被中國開源軟件推進聯盟主編的《2022中國開源發展藍皮書》和InfoQ研究院編撰的《中國開源發展研究分析2022》列為中國開源大數據基礎設施的代表。而今,在整個社區堅持不懈的努力下,Kyuubi從Apache基金會畢業可期,成為基金會項目的目标不再遙遠。

  對于Apache Kyuubi的項目表現和社區發展态勢,OSCAR評委專家均給予高度認可。

  NDH:我左Spark,右Impala,Kyuubi在上面

  作為一款企業級大數據基礎平台,網易數帆有數大數據基礎平台NDH的核心特點,一是兼容并增強Hadoop體系組件,二是完全自主掌握核心代碼,這對于企業從原有大數據平台平滑遷移、滿足自主可控要求來說都很重要。更為重要的是,有數大數據基礎平台NDH基于開源技術打造,在業務支撐能力及性能上有更加出色的表現。

  有數大數據基礎平台NDH内置多種存儲計算引擎,并在Hadoop、Spark、Impala等多個核心組件做了功能及性能增強(例如在Impala上實現虛拟數倉特性),還新增了智能運維和任務治理能力,支持企業級安全管控。這些能力的增強正是大規模生産落地的結晶,獲得了評委專家的肯定。

  有數大數據基礎平台NDH原本作為網易數帆數據中台的底座提供,因市場需求,于今年6月作為單獨的産品發布,此舉也曾引發業界熱議——網易數帆為何進軍這門“不好的生意”。然而,這款産品在Impala和Kyuubi方面的積累和優勢讓從業者印象深刻。目前,有數大數據基礎平台NDH已應用于銀行、證券、流通、制造等行業三百多家企業客戶生産環境。

  Slime和Curve:持續完善開源雲原生基礎設施

  Apache Kyuubi和有數大數據基礎平台NDH是網易數帆開放式大數據架構的開源項目和商業産品代表,Slime和Curve則是網易數帆開源雲原生基礎設施的兩大支柱,分别填補了服務網格智能管理和國産高性能雲原生存儲的空白。因其生态定位、架構設計的獨特性以及社區發展前景,Slime社區和Curve社區分别受邀成為可信開源社區共同體(TWOS)成員和TWOS 銀河計劃成員,針對項目質量、社區發展、商業模式等話題加強開源社區之間的交流協作,不僅完善開源雲原生基礎設施生态,也助推國内開源産業健康、快速發展。

  未來,網易數帆将繼續秉承開放式思維擁抱開源,以紮實的産品實力和先進的技術實力為後盾,團結社區合作夥伴,持續為開源生态建設貢獻力量。

免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
    本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

猜你喜歡

海能達發布全新專業防爆PDT對講機CH690Ex

随着我國應急管理體系持續完善,消防救援任務正在從傳統火災處置,向化工園區事故、危險品洩漏、地下空間救援、大型綜合災害等多風險、多場景方向發展。在這些複雜環境中,救援現場往往面臨爆炸性氣體、可燃性粉塵、

2周前

海能達CCW 2026載譽收官:AI與融合通信引領專用通信新未來

6月16日至18日,2026年全球關鍵通信展(CCW2026)在英國倫敦舉行。展會期間,海能達集中展示了從終端到系統、從感知到決策的全鍊路創新版圖,AI與融合通信産品及解決方案貫穿三天展期,持續獲得高

1個月前

登陸歐洲 Intersolar!遠景AI電力系統支撐全球 AI 算力發展

慕尼黑,2026年6月23日——在IntersolarEurope2026上,遠景科技集團發布面向AI數據中心的下一代電力基礎設施——融合風光儲一體化方案、固态變壓器(SST)、800V直流供電、儲能

1個月前

海能達六度問鼎ICCAs,PDC650與西安機場方案摘得雙獎

6月17日,2026年國際關鍵通信獎(InternationalCriticalCommunicationsAwards,ICCAs)在英國倫敦舉行的全球關鍵通信展(CCW2026)期間正式揭曉。海能

1個月前

海能達即将亮相2026年CCW全球關鍵通信展: 攜AI與融合通信解決方案登陸倫敦

6月16日至18日,2026年CCW全球關鍵通信展将在英國倫敦啟幕。作為全球領先的專用通信解決方案提供商,海能達将以全場景關鍵通信産品矩陣亮相F25展位,集中展示面向公共安全、應急救援、城市治理等領域

1個月前

海能達再獲第十一屆廣東專利獎:持續自主創新,構築專用通信知識産權高地

近日,廣東省市場監督管理局正式公示第十一屆廣東專利獎評選結果。海能達通信股份有限公司申報的“一種集群通信系統的組派接方法、通信系統及存儲介質”(專利号:ZL201811296617.7)榮獲廣東專利優

1個月前