火山引擎發布湖倉一體分析服務、E-MapReduce，幫助企業構建湖倉架構的大數據平台

　　12月2日，火山引擎在“新雲·共未來”發布會上推出兩款數據産品——湖倉一體分析服務(Lakehouse Analysis Services)和E-MapReduce服務，幫助企業構建湖倉架構的大數據平台。

　　伴随着移動互聯網、5G、AI、IoT的飛速發展，企業數據建設正處于更大規模和更加多樣的變化趨勢中。随着企業業務持續和規模化上雲，數據分析系統和應用正逐步面向公有雲進行構建或遷移，雲上大數據分析能力正成為業務數字化、智能化的關鍵支撐。

　　傳統自建數據倉庫，在企業數據體量持續增長、業務時效持續提升的情況下，已經很難應對更複雜、更多樣化的分析場景需求，平台擴展和數據融合面臨重重障礙。另外一方面，盡管Hadoop已成為企業大數據平台建設的主流技術框架，但企業在逐步建設大數據平台過程中也會面臨這樣的難題——基于開源Hadoop無法有效支撐商用部署和高效開發，建設和運維成本高企。

　　本次火山引擎發布的兩款産品，均來自于字節跳動多年來的技術實踐，能為企業提供高性能、更便捷的大數據計算/存儲引擎服務，有效解決了大數據平台搭建門檻高、運維成本高的“雙高”難題。

　　湖倉一體分析服務：Serverless，湖倉一體、流批一體

　　火山引擎發布的湖倉一體分析服務(LakehouseAnalysisServices)是面向湖倉一體架構的Serverless數據處理分析服務，提供多模分析引擎，完全兼容Spark、Presto、Flink生态，具備統一SQL接口和智能引擎選擇，增強EB級數據并發事務，批流一體分析，彈性計算、跨源分析等優點：

　　統一SQL接口，智能引擎選擇： 一套SQL接口支持Presto、SparkSQL引擎，自動選擇引擎，用戶無需感知不同引擎接口差異

　　EB級實時湖倉，增強事務并發： 相比開源湖倉存儲組件Hudi的弱并發能力，LAS支持EB級實時湖倉存儲和百級以上事務并發

　　批流一體分析，極簡架構設計： 存儲層提供批流一體存儲格式，一份數據寫入直接批流模式同時分析，避免架構設計複雜度和數據不一緻性，使用體驗更優

　　低門檻、高可靠、彈性： 開箱即用，免平台運維;Serverless，存算分離，容器調度，按需計算，降低數倉建設成本

　　E-MapReduce服務：開源兼容、安全可靠、更優成本、易管易運維

　　火山引擎發布的E-MapReduce服務作為開源Hadoop企業級大數據平台服務，集成開源生态主流組件和字節深度的優化。與自建 Hadoop 集群相比，E-MapReduce服務可以提供更安全可靠、更優成本、更易用的雲化 Hadoop 服務：

　　開源兼容： 集成Spark、Flink、Hive等主流組件，提供存儲、計算、挖掘等能力，保持原生的開源生态，支持用戶平滑遷移現有集群。

　　安全可靠： Master 節點容災設計，保障大數據服務可用性;支持Kerberos，支持細粒度數據訪問權限，應用程序數據訪問權限等，支持操作審計;支持将 Hive 元數據存放于獨立RDS，提升元數據可靠性。

　　更優成本： 分鐘級别創建和擴容集群，支持彈性伸縮，幫助客戶節省大數據平台閑時資源

　　簡單易用： 提供集群管理、服務管理、用戶管理、監控告警、日志查詢能力，完善服務監控指标體系，感知集群組件及任務的運行異常狀況。

　　另外，上述兩款産品還能分别與火山引擎大數據開發治理套件(DataLeap)組合，打造從端到端數據集成、存儲、開發、治理到分析的全鍊路數據能力，比如：湖倉一體分析服務(LakehouseAnalysisServices)與大數據開發治理套件(DataLeap)結合，可以為企業提供一站式數據存儲、處理和分析能力，幫助企業構建雲原生實時湖倉分析平台。E-MapReduce服務與大數據開發治理套件(DataLeap)結合，集成端到端數據接入、分析、挖掘能力，支持數據和任務的快速創建，可以幫助企業用戶輕松完成企業大數據平台的構建和數據上雲。

　　這兩款産品及其組合運用方式，能廣泛适用于泛互聯網、零售、汽車/新能源産業鍊、制造行業。

　　尤其針對那些需要新建大數據平台或想要更換升級大數據技術棧的企業，數據存量在TB~PB級規模的企業、積極擁抱公有雲方案的企業，這兩款産品及組合方案可以為它們打造更前沿、更高效、更實用的解決方案。