阿裡雲聯合Intel啟動E-MapReduce 極客挑戰賽

　　近年來,随着大數據時代的到來,各行各業正迎來一波上雲熱潮。為了讓更多的開發者在對數據處理的極限探索過程中,體驗雲上開發的優勢。日前由阿裡雲和英特爾公司聯合主辦,阿裡雲EMR團隊和阿裡雲天池承辦的“E-MapReduce極客挑戰賽”正式開啟。目前,大賽已面向全社會開放報名,個人、高等院校、科研單位、企業、創客團隊等人員均可報名參賽。

　　在不久前舉行的中國互聯網大會上發布的《中國互聯網發展報告(2021)》顯示,2020年,我國雲計算整體市場規模達到1781.8億元,增速為33.6%。在此背景下,如何利用新技術高效存儲、處理數據,在降低成本的同時提高資源配置效率,成為了當下企業數字化轉型的重要議題。

　　為此,阿裡雲針對性開發的E-MapReduce雲原生開源大數據平台,以其易用性高,性能強,彈性大的特點,成為了廣大用戶的。其可以在為客戶提供簡單易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等開源大數據計算和存儲引擎的同時,部署在阿裡雲公有雲的ECS和ACK、專有雲平台。相對的,英特爾® 傲騰™ 持久内存打造的兼具出色的内存與存儲性能的解決方案,可以将高性價比的大容量内存與對數據持久性的支持巧妙地結合在一起。

　　為了讓更多的開發者們,體驗雲上開發的優勢,阿裡雲計算平台EMR團隊和英特爾公司聯合開啟了本屆“E-MapReduce極客挑戰賽”,廣邀創新極客,結合阿裡雲 EMR和英特爾® 傲騰™ 數據中心級持久内存,優化軟件系統和利用硬件的特征,追求TPC-DS測試集的性能。

　　目前大賽已公布的初賽題目,是由阿裡雲EMR 團隊提供用于比賽的Spark 3.1.2代碼分支,交給選手進行 Spark 代碼優化和參數調優以提升SparkSQL執行效率,同時組委會提供性能測評工具供選手自行測試(單機環境或EMR集群環境)。在比賽階段,選手将最終優化後的Spark代碼和調優參數打包,通過天池平台提交,天池平台會使用相同的性能測評工具,進行評測和排名。在初賽的基礎上,複賽需要處理的數據量更大,同時升級了 EMR 集群配置,并為每個 Worker 節點配置了 PMEM 持久内存,選手可以通過 App Direct 模式使用持久内存。

　　據悉,大賽現已開放報名,并将分為初賽、複賽及決賽三個賽段,評委嘉賓包括阿裡雲開源大數據平台數據湖構建與分析負責人吳謂、數據湖存儲負責人鄭锴,英特爾傲騰産品事業部中國技術創新中心軟件開發經理吳國安、英特爾加速計算系統和圖形事業部工程經理徐铖等。

　　阿裡雲計算平台事業部負責人賈揚清表示:”希望通過這次大賽,讓開發者們在體驗雲原生的開發環境的同時,可以嘗試一次技術的挑戰。不僅在比賽中收獲好的成績,更重要的是尋找到代碼的樂趣和技術的收獲。”Intel 數據分析軟件部門總監Heidi Pan也表示: “希望大家通過這次比賽能夠有所收獲,能夠對數據分析引擎的性能優化有更深刻的體會與理解洞察”。

　　同時,阿裡雲研究員、開源大數據平台負責人王峰也強調:“我們歡迎來自高校、企業及各行業的開發者們加入我們的比賽,希望各位開發者能在這次競賽中充分展示自己的技術能力。” 阿裡雲開源大數據平台産品負責人陳守元表示:“我們希望為廣大的大數據愛好者及科研企業提供一個創新挑戰的平台,一起來探索性能極限。”

　　據介紹,本次大賽最終将有1支隊伍、2支亞軍隊伍和3支季軍隊伍分獲10萬、5萬、2萬人民币獎金及獲獎證書。值得一提的是,本次大賽還特别推出了“EMR開發者激勵計劃”,為邀請好友參賽的達人,以及參與比賽的選手分别制定了特别激勵規則與獎品,相信将為本次E-MapReduce 極客挑戰賽吸引更多行業内外的關注。