2019年6月4日至5日,由中國信息通信研究院、中國通信标準化協會主辦,大數據技術标準推進委員會承辦的2019大數據産業峰會在北京國際會議中心隆重舉辦,阿裡雲實時計算憑借各項優異測評數據通過數據中心聯盟大數據流計算分布式流處理平台基礎能力測評,并在現場接受評測頒獎。
“大數據産品能力評測”是由數據中心聯盟(DCA)發起的國内大數據領域的産品能力評測體系,被譽為大數據産品發展的風向标。本次大數據産品能力評測将流計算産品納入評測體系,阿裡雲實時計算作為國内首批通過大數據産品能力評測的流計算産品,率先成為被數據中心聯盟圈定的國内大數據基礎平台第一梯隊。
阿裡雲實時計算(Alibaba Cloud Realtime Compute)是一套基于Apache Flink構建的一站式、高性能實時大數據處理平台,廣泛應用于流式數據分析、流式數據ETL、流式複雜事件處理等場景。在本次測試中,阿裡雲實時計算的顯著優勢體現在以下方面:
低延遲 :阿裡雲實時計算的基本數據模型是數據流及事件(Event) 的序列,可使用同一套引擎和API接口實現批流統一,因此阿裡雲實時計算處理數據時,一個事件在某個節點處理完後的輸出結果可立即發送到下一個節點進行處理,執行引擎并不會引入額外的延遲,可保障數據處理速度,測試結果可以達到100ms以内的低數據處理延時。
異步 C heckpoint機制 :實時計算采用異步的 Checkpoint 機制來達到任務狀态的可恢複性,從而保證數據處理的一緻性,所以在處理的主流程上可以做到數據源和輸出之間數據完全不用落盤,達到更高的性能和更低的延遲。
Exactly - once語義 :實時計算數據量超出流計算系統處理能力的情況下,采用使數據限流反壓的措施保證流計算系統正常運行(不會崩潰或丢失數據),具備容錯機制,能夠恢複狀态數據,保證恰好處理一次,且不影響作業性能。
資源 動态調整 :實時計算産品目前備動态調整資源的能力,資源不足時,可以調大任務的并行度,分配更多的資源;資源充足時,可以縮小任務的并行度,節省資源占用。
部署 兼容 性 :實時計算産品支撐Flink on Kubernetes、Flink on Yarn、Standalone以及本機的部署方式,測試驗證了阿裡雲實時計算具備友好的部署能力和可視化開通能力。
支持亂序數據正确處理 :實時計算支持基于事件時間和系統時間來切分窗口,并且引入了水印機制來處理遲到的數據,水印的偏移大小可以調節。
目前,阿裡雲實時計算已廣泛應用于在線教育、新零售、物聯網、城市大腦等行業以及實時推薦、工業IoT、實時預測場景、欺詐檢測、實時報表、實時大屏等多業務場景,赢得了各行業用戶的高度認可。未來,實時計算将持續優化,以技術與強大支持推動企業向實時化、智能化大數據計算升級轉型。
免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

