據深圳銀興智能數據有限公司(簡稱：銀興智能)介紹，随着廣發銀行大數據平台hadoop集群應用場景越來越多，研發中心、數據中心、卡中心和分行等部門均在大數據平台上進行數據開發和數據分析，由于數據開發和分析的場景各不相同，使用和購置的資源也不同。故需要通過多租戶對不同用戶資源進行管理。
廣發銀行擁有5個大數據平台hadoop集群，分别是CDH應用集群、CDH分析集群、CDP集群和FI分行集群和離線集群，使用的産品為華為的FusionInsight和Cloudera的CDH/CDP。兩類集群在管理用戶、租戶以及數據授權時的操作方法差别較大。FI在管理頁面配置，CDH需要登錄服務器用命令行的方式配置，随着集群規模不斷擴大，這種不同的配置方式給運維工作增加了很大的壓力。在此背景下，銀興智能與廣發銀行簽約合作，助力廣發銀行自研一套hadoop集群資源統一管理工具，提高運維工作的效率，簡化資源管理工作。
項目目标
該需求投産上線後，可進一步提升大數據平台hadoop集群資源管理水平，快速實現複雜場景的業務需求的落地實現。
解決方案
源管理平台分為三大模塊，一、資源管理模塊，通過hadoop提供的接口和sdk，實現對多集群用戶、用戶組、角色和租戶管理二、集群監控模塊，通過hadoop提供的接口和sdk，對集群狀态、租戶信息和使用情況、Yarn任務和ACL目錄授權監控信息進行采集，并通過可視化圖表對上述采集到的信息進行展示三、平台管理模塊，管理平台本身的用戶、用戶組、角色及平台的配置與權限，并實現審計管理等功能
項目成果
通過可視化界面進行集群管理，提高運維效率和準确率
通過集中化集群管理，提高對集群管控能力，減少生産事件
提供集群租戶使用資源報表功能，擁有對集群租戶使用情況的全景視野，實現租戶精細化管理
Yarn任務監控和導出功能，實現集群大任務監控和定期任務優化
打通行内其它系統，與其它系統實現數據共享，增強集群上下遊數據交互能力
免責聲明：本文僅代表作者個人觀點，與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實，對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體，轉載目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，若因作品内容、知識産權、版權和其他問題，請及時提供相關證明等材料并與我們聯系，本網站将在規定時間内給予删除等相關處理.
