阿裡巴巴,果然開始擁有“預測未來”的能力了。

2024-11-08 11:33:07 來源:比特網
        【每日科技網】

  頂燈閃爍,笛聲響徹。

  救護車載着病人,沖向茫茫車海,在時間的賽道上狂奔。

  高德地圖、GPS 衛星導航、路面磁感線圈、1300 個路口攝像頭同時開動,為這輛救護車勘探最快路線;

  GPS 傳回實時數據,後台根據輔助數據糾偏,錨定救護車每一刻的位置;

  救護車将要經過的沿途,車輛情況被實時計算。确保路口綠燈提前亮起,在救護車通過之前,剛好所有社會車輛已經行駛一空。

  這不是演習,這是杭州城市大腦每天都在執行的任務。依靠計算,一輛救護車到達醫院的速度,平均縮短了 50%。在這座城市,靠鳴笛和闖紅燈開道的悲壯徹底成為曆史。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  說人同蝼蟻,其實并不為過。兩百多萬輛車奔跑在城市裡,他們的行蹤像風裡的落葉一樣叵測。但通過對 1300個路口的攝像頭的實時計算,城市大腦就可以地預測出未來十五分鐘、未來半小時哪個路段将會擁堵,從而第一時間指揮路口信号燈“變換姿勢”。

  計算在幫人類追趕時間。

  中哥今天要說的,就是這個精緻而堅固的“大數據實時計算引擎”。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  你可能從未聽說過這個引擎,甚至在此刻之前都不知道它的存在,但你很可能早已成為這個引擎服務的一員:

  一年一度的雙11,無數人湧進天貓,每個人都能用 0.1 秒搜索到自己理想的商品,在智能推薦中發現适合的寶貝,背後正是依賴這個引擎;

  雙11慶典現場,大屏上那個跳動的總成交量數字,隻是背後所有數據的冰山一角。幾十億種商品的實時庫存、價格、優惠數據得以分秒不慢地同步給屏幕前的你,也同樣依賴這個引擎。

  從某種意義上來說,隻要給這個計算引擎足夠的資源,無論面對多麼龐大複雜的系統,我們都可以用幾乎忽略不計的時間看到真相——這大大快于人類最聰明的大腦。

  這是我們親手創造的“先知”。

  重器難成。為了這個先知一般的“大數據實時計算引擎”,阿裡巴巴最核心的技術人,已經耗費了将近五年時間。

  讓人感慨的是,這個承載了一個個城市的交通,扛起了一條條生産線,擔負了一個國家十幾億人購物的強大引擎之所以的誕生在阿裡巴巴,最初并不是為了滿足什麼需要,而僅僅是因為它“看上去很美”。

  這是一個鮮為人知的故事。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  (1)

  1999年,阿裡巴巴在杭州成立。

  同樣在1999年,蔣曉偉正在美國攻讀理論物理博士。作為一個初三就立志要探索宇宙秘密的年輕人,到目前為止他的人生堪稱完美。

  就在一個嶄新的物理學家即将出爐的時候,命運開始展現它的波雲詭谲。蔣曉偉突然被自己的導師“忽悠”到了一家非常有希望的互聯網初創公司。理由是:“在30歲之前先财富自由,以後愛怎麼學物理就怎麼學物理。”

  一年之後,互聯網泡沫破裂。然而,蔣曉偉卻留在了這片戰場。2002年,他加入微軟,2010年他加入 Facebook。彈指揮間,直到回國加入阿裡巴巴之前,他已經從物理學家成功轉型成為數據庫和計算資源調度系統專家。

  他還記得,自己加入阿裡的時間是 2014年12月29日。這是一年中可以辦理入職的最後。

  “為什麼選最後?”

  “因為看上去比較有美感。”

  “。。。”

  目測,蔣曉偉是我見過的第一個用物理公式般的美感對待人生的人。甚至,他給自己的花名都想叫做“量子”,後來思考了一下,覺得量子不太像個人名,才改為諧音“量仔”。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  蔣曉偉

  蔣曉偉入職的是阿裡巴巴集團搜索團隊。你可能會問:納尼?阿裡巴巴還有搜索團隊?當然有,而且還極其重要。舉個搜索引擎的日常:

  當你在淘寶搜索框裡輸入“杜蕾斯”的時候,搜索引擎就馬上行動,從億萬賣家出售中的寶貝裡幫你找到合适的 TT(及其他産品),然後按照推薦順序排列在搜索結果裡。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  注意,有趣的硬核要來了:

  如果,商家的 TT 價格永遠不改,庫存永遠無限,優惠促銷方案永遠不變,那麼搜索團隊隻需要做一個最簡單的查詢系統就行了。

  但是,現實中商家會随時調整價格和優惠,某一款激情大顆粒也可能因為太受歡迎,上架十秒就賣到缺貨。在淘寶網上,你會發現真實的狀态是:每時每刻都有無數賣家的産品參數在改動。

  所以,搜索引擎的挑戰就是,要根據每時每刻的數據庫來瞬間算出最适合呈現給你的搜索結果。

  相信我,隻有用鮮的數據算出的結果,才能讓屏幕對面的你露出心滿意足的表情:

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  面對這種現實,一個最穩妥的方式就是,搜索引擎用把現在的數據庫全部算一遍,給出結果。

  但是,這會耗費大量的計算力。畢竟這一秒相對于上一秒來說,可能發生參數變動的寶貝隻有十個,而沒有參數變動的寶貝有十萬個。

  那麼,你自然會想:“有沒有一種方法,讓我隻計算改動的部分,再通過特别的數學運算和之前的結果融合,就能達到和計算全量數據一樣的效果呢?”

  有的,這就叫“流式計算”。

  打個最簡單的比方:

  你負責把椰汁平分給10個妹紙。剛開始你有10瓶椰汁,于是你一人分了一個。後來,你又得到了10瓶椰汁,這時候椰汁的總數變成了 20 瓶,平均每個妹紙應該得到兩個。

  但你沒有必要把之前分給妹紙的椰汁收回來,重新每人給兩個;而是可以讓每個妹紙手上拿着之前的那瓶椰汁的基礎上,每人再補發一瓶。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  通過這個例子,我猜你已經感受到了“流式計算”的激蕩。當然,實際的數據庫運算比“分椰汁”複雜得多。

  需要說明的是,當時在阿裡巴巴内部,并不是沒有流式計算引擎,各部門都根據自己的需求研發了特定的流式計算引擎,隻不過,大多引擎隻用來解決各自部門的問題,沒有通用性。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  很多業務都開發了

  各自的流式計算引擎

  但蔣曉偉突然發現,流式計算背後隐藏着一個神奇的事實:

  既然隻計算增量,就能得知全量的結果;那麼就可以永遠用計算增量的方式來表達計算全量。

  也就是說:增量計算等效于全量計算;流式計算等效于批處理計算,實時計算等效于離線計算!

  也就是說,如果按照這個構想做出一套完整功能的“流式計算引擎”,就可以一統江湖,運轉在阿裡巴巴所有的技術底層。這可是一份不小的産業啊!

  蔣曉偉越想越雞凍。

  然鵝,讓他激動的最主要原因竟然是:“這個引擎太完美了!”他發現,其實自己身體裡的那個“物理學家”一直都在。物理追求的就是“大一統理論”——用一套機制解決所有問題。沒想到人生峰回路轉,在計算機領域也給發現了一個“大一統”的機會。

  老實說,蔣曉偉老濕傅這個想法有點危險。危險在哪呢?

  首先,如果把當時搜索業務需要的流式計算比作汽車發動機的話,蔣曉偉想要研制的發動機,是豪華到可以用到下一代宇宙飛船上的“核能發動機”。自己團隊支持的這攤子業務目前根本不需要這麼好的引擎。

  其次,研究這個引擎的基本動力居然是“美感”。出于美感開發一個計算引擎,這種動機天然就有一種理想主義氣質。。。能不能研究成,那隻有天知道。

  再說,面對這麼宏大的任務,手下能用來做研發的團隊,隻有五個人。況且這五個兄弟還有日常的任務,人手極度短缺。

  “但馬老師不是說了麼,夢想還是要有的,萬一實現了呢?”

  剛剛加入阿裡的蔣曉偉倒是決心已定。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  (2)

  蔣曉偉“能用”的團隊,全員都在北京。

  這個小分隊的老大叫做王峰。王峰是個老阿裡了,2006年加入阿裡巴巴,在阿裡北京的雅虎中國團隊做搜索,後來又做過一淘和淘寶搜索。此時此刻,他和北京的幾個兄弟主要負責一個開放搜索項目的離線系統。

  聽到蔣曉偉對于“流式計算引擎”的描述,王峰内心驚呼“卧槽”。對于一個合格技術宅來說,一個好的技術構想比萌妹子更能讓他動心。

  蔣曉偉和王峰一合計,事情很簡單:腳踩兩隻船,那基本沒戲。要麼就趁早死心,放棄新引擎研發;要麼就大家就把舊工作完全交出去,破釜沉舟幹票大的。

  王峰的決定是,幹!

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  現在的王峰,

  笑起來一幅波瀾不驚,

  當年内心也是慌得一批。

  王峰回憶,領導們覺得很不可思議。因為交出原有的業務,北京這個小團隊相當于“失業”了。而新的研究——流式計算引擎——當時隻是個構想,連技術方向也沒有,代碼更是一行都還沒寫。對于王峰來說,這相當于一次破釜沉舟的内部創業,前途未蔔,兇險異常。

  事實也證明,别人的擔心都是對的。一開始團隊努着勁兒寫了三個月代碼,仍然沒辦法達到蔣曉偉理想中的通用性,連他本人都有點心虛。

  “我剛來阿裡巴巴,就忽悠兄弟們把之前的項目都放棄了,要是最後證明我的構想是個坑,那不是害了别人麼。。。”他想。

  焦急之中,已經到了 2015 年夏天,蔣曉偉突然在業内的大數據峰會 Hadoop Sumit 的論壇上看到有人發表了一個驚悚的評論:感覺 Flink 出來之後,Hadoop 就顯得不怎麼需要了。。。

  Hadoop 是當年最火的大數據分布式架構,這個 Flink 是個神馬,根本沒聽過啊。但是當蔣曉偉、王峰和團隊研究完技術資料之後突然發現,這種“用流式計算來等效一切計算”的理念不就和我們想開發的那套引擎一模一樣嗎?

  蔣曉偉仰天長嘯:

  真是天助我也!既然已經有開源的技術,那麼我們隻要在此之上繼續開發流計算引擎就好了啊!

  這裡多介紹一句。Flink 是一個流式計算的開源框架,2010 年誕生于德國研究中心和柏林工業大學,2014年被捐贈給 Apache 基金會,并由創始公司 DataArtisans 繼續運營。

  Flink 的 Logo 是一隻眼神裡有故事的松鼠。

  簡單來說,2015年的時候,Flink 剛剛“出道”一年,幾乎沒有人知道,更沒有人大規模使用。就像一個剛剛畢業的大學生,看上去很有潛力,但“穩定性”和“實用性”都缺乏事實驗證。

  就這樣,這幫阿裡巴巴的技術專家,成為了全球第一批使用 Flink 框架做大數據引擎研發的人,蔣曉偉一瞬間就給自己的引擎起好了名字——“Blink”。這是英文眨眼的意思。”一眨眼,所有東西都計算好了!“

  2015年底,搜索部門要向阿裡巴巴 CTO 行癫彙報。每人20分鐘時間,結果蔣曉偉上去講 Blink,沉浸在對這個“完美引擎”的想象中,一下就說了40分鐘。

  作為阿裡巴巴所有核心技術的,行癫素來對新技術很敏感。他聽懂了蔣曉偉的技術路線,内心也覺得相當靠譜。但這畢竟是搜索團隊自己“偷偷”搞的項目,這幫兄弟究竟可以堅持走多遠,行癫心裡也沒底。于是鼓勵蔣曉偉說:“那就等你們明年做出來,我們再看!”

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  阿裡巴巴 CTO 行癫 張建鋒

  (3)

  說到底,Blink 是一個通用引擎。它就像一個萬能發動機,可以裝載到轎車、卡車、飛機、火箭任何地方。

  蔣曉偉手握這台“萬能發動機”的1.0版本,到處去找車實驗。他盯上的“第一批車”,就是搜索業務中的使用場景。

  簡單科普一下:

  搜索業務的機器學習平台内部代号叫“保時捷”(還真是一輛車。。。),可以根據你浏覽商品的時間和動作,實時判斷出你可能會對什麼感興趣,從而在下一秒就能給你智能推薦可能喜歡的商品。這是阿裡巴巴非常有技術含量的一個應用。

  實際上,機器學習平台當時已經“心有所屬”,配有一台流式計算引擎——之前王峰帶領搜索團隊自研的 iStream。iStream 是專門為搜索設計的,雖然目前可以很好地完成任務,但結構簡單,不具有特别強的通用性。

  機器學習算法團隊的一位負責人仁基,技術思想非常超前,非常巧的是,他同樣是個執着于“美感”的人。他相信,未來 Flink 很可能會成為下一代機器學習算法重要的底層計算框架,于是在 Blink 系統研發的早期,就把團隊裡一百多位算法工程師的力量都用來配合蔣曉偉。

  “一兩百人的團隊,被我一個人折騰。”回憶到這裡,蔣曉偉露出了羞赧的表情。

  說得很美好,結果真拿來 Blink 一用,動不動就躺屍。。。說實話,算法工程師沒有義務為 Blink 的技術問題買單。畢竟算法工程師是“生産汽車的”,而 Blink 這個“發動機”質量不穩定,導緻人家的汽車備受诟病,可以說相當冤枉了。

  所以那幾個月一百多位算法工程師的日常就是各種吐槽“瘋子”蔣曉偉。

  後來蔣曉偉才知道,這些吐槽,全都被仁基扛下來。仁基盡自己一切所能,在保護着這個弱小的 Blink。

  終于,2016年5月,第一個基于 Blink 的機器學習小功能“A/B Testing”上線。雖然還存在一些青澀的小毛病,但所有的技術人都看到了,Blink 已經像會呼吸的小獸一樣,泛出誘人的引擎光澤。

  最激動的,當然是蔣曉偉本人。

  他把自己在 Flink 上成功的應用作為一個演講,投給了當年的 Hadoop Sumit 大會。非常巧,Flink 的創始人 Kostas 和 Stephan 也在同一個大會上有一個演講。他們兩撥人實際是那次 Hadoop 大會上唯二的 Flink 演講。

  Kostas 提前看到了議程,頓感相見恨晚,于是主動聯系了蔣曉偉,希望他能用團隊研究的成果影響社區。

  “本來之前是想自己玩玩的,我們連阿裡都不敢影響,還敢影響社區?”蔣曉偉說。但是 Kostas 和 Stephan 覺得這群阿裡人的嘗試簡直不要太酷,特别支持。

  蔣曉偉深受感動,“從那時候開始就覺得,我們不僅得把阿裡内部的業務做好,還要為 Flink 社區做貢獻,把 Flink 社區做好。”

  就這樣,蔣曉偉和團隊就跟組織“接上了頭”,成為了 Flink 社區的核心成員。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  Flink 創始人 Kostas

  這麼帥還來搞技術

  可以說是相當想不開了

  (4)

  在搜索團隊内部證明了 Blink 能力,又得到了 Flink 社區的認可,蔣曉偉終于有資格正視自己的“野心”了。

  他提出要讓 Blink 支撐“雙11”上的實時機器學習任務,對方同意了。

  也就是說,雙11當天,數億人在淘寶天貓搜索商品,他們的每次查看,點擊,都會影響個性化的智能推薦,在下一秒就能看到為自己量身定做的寶貝推薦。而這背後的實時計算,都要由 Blink 來支撐。

  然而擡眼一看,夏天已經到了,距離雙11隻有不到半年了。

  整個九、十月份,Blink 和機器學習系統的聯調都處在各種花式崩潰之中。Blink 還小,壓根就沒見過雙十一這種“人類狂歡”的陣仗。出現了一個死結:一旦超大規模數據進來,Blink 的性能立刻大幅下降。

  要知道,在 AI 領域,性能就是功能。性能大幅下降的 Blink 分分鐘就把人工智能坑成“人工智障”。

  老程序猿都知道,數據規模是對一個系統的考驗。一個系統承受不住大規模的數據浪潮,有可能證明這個架構就是無解的。如果真是架構缺陷,那麼解決方案隻有一個:放棄。

  帶領團隊攻堅的王峰回憶,那幾天“自己已經崩潰了”。

  十一假期,所有團隊的人都從北京沖到了杭州,别說休假,連覺都不睡了。六七個人就在工位上吃住,尋找究竟是哪個節點出了問題。即使是面對這樣的情況,蔣曉偉、王峰,還有其他同事都完全相信,Flink 架構是完美的,問題一定是局部的可解的,隻是我們還沒找到它。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  終于,問題找到了!是不同層級算子之間的調度模式需要優化。解決這個問題之後,系統能處理的數據量立刻躍升。十月中旬,Blink 正式切上線。本以為劫波渡盡,沒成想又是一大堆系統配合的問題接踵而來。

  蔣曉偉記得,将近11月,Blink 還有一些問題沒搞定。這邊基礎引擎不搞定,算法團隊就沒辦法在它的基礎上調優雙11的算法。到最後,算法團隊的老大都直接找到蔣曉偉,着急地質問:“你們究竟是怎麼回事啊?”

  現在想想,他的意思可能是想讓我别折騰,直接換回去年的舊系統。但我的情商低,當時沒聽明白。就是一門心思地組織大家調優 Blink。。。

  蔣曉偉回憶。

  終于趕在11月前,Blink 完成了聯調。原則上,從11月1日開始,雙11的系統就要封閉代碼,誰都不能動了。但是,這是 Blink 第一次承擔這麼重大的任務,為了萬無一失,相關團隊又提了很多冗餘性的建議。

  王峰記得很清楚,一直到11月10日,還有幾個小時雙11就開始了,代碼還最後改了幾行,最終封閉。

  人事已盡,唯聽天命。

  11月11日,巨大的數據像海嘯一樣湧向 Blink,蔣曉偉和王峰都捏了一把汗。然而,這個年輕的引擎應對自如。

  第二天,Blink 在阿裡巴巴一炮而紅。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  2016年“雙11”

  交易額定格在1207億

  (5)

  你以為故事結束了麼?圖樣圖森破。緊随而來的 2017 年對于蔣曉偉來說,簡直不要更刺激。

  意識到大數據引擎這麼重要,阿裡巴巴集團決定調整組織架構,集全公司之力發展大數據引擎,由原阿裡雲的首席科學家周靖人組建計算平台事業部,在流式計算方面,把公司發展的三個引擎團隊合三為一。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  周靖人

  他也是阿裡巴巴達摩院的“禅師”之一

  這三個引擎分别是:阿裡中間件團隊的 JStorm、阿裡雲的 Galaxy、阿裡巴巴搜索團隊的 Blink。

  得知大牛周靖人負責整合三個團隊,正在美國參加 Flink 官方大會 Flink Foward 的蔣曉偉和王峰内心有點波瀾。他們知道,三個隊伍合并之後,很可能在三條技術路線之中選擇一條。

  蔣曉偉當然覺得自己的開源技術路線技術前景。但平心而論,Galaxy 的框架同樣非常。更關鍵的問題在于,Galaxy 一直是周靖人團隊的成果。雖然在阿裡巴巴不會出現因為親疏遠近而偏袒某個技術路線,但不可否認周靖人一定對于 Galaxy 更為熟悉。

  那時的蔣曉偉,和這個即将成為新領導的周靖人完全不熟悉,他完全無法預測将會發生什麼。

  我擔心,不會一回到國内,就沒工作了吧。。。。

  蔣曉偉回憶。

  回國之後,周靖人來找蔣曉偉,蔣曉偉的心已經快跳到嗓子眼了。周靖人說:“我想把整合之後的團隊交給你來負責,你們三人一起商量未來的技術路線,你覺得怎麼樣?”

  這意味着,蔣曉偉突然擁有了80人的豪華陣容。那一瞬間他在心裡默念:“穩了!”隻要不是強制采用某個技術路線,他就有信心說服 Galaxy 和 JStorm 的負責人。技術擺在這裡,孰優孰劣是能講得清道理的。

  蔣曉偉回憶,三個技術負責人的“談判”整整維持了一周。

  大家都知道,這次技術路線的抉擇,将會影響阿裡巴巴未來十年甚至更遠的技術發展,誰都不敢掉以輕心。

  談到最後,争奪的焦點就集中在 Blink 和 Galaxy 之間。

  Flink 的開源生态,最終說服了Galaxy 的支持者。此時的 Flink 已經不像兩年那樣鮮有人問津,而是已經形成了巨大的社區,中國已經有騰訊、滴滴、美團等公司開始用 Flink 建造自己的流式計算引擎。

  在這個社區裡,會有無數國内外大牛對 Flink 的代碼做貢獻。建立在這個開源基座上的架構,也會發展得更快速。

  至此,Blink 正式成為了阿裡巴巴計算引擎的軍。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  Flink 社區逐漸聲勢浩蕩

  (6)

  軍可不是白當的。

  2017年雙十一,Blink 領到了自己的艱巨任務——支持全集團(阿裡巴巴、阿裡雲、菜鳥)的流式計算任務。

  王峰告訴我,其實2016年雙11 Blink 承擔的搜索任務,已經是一個重頭戲,有過這個經曆墊底,再适配很多系統的時候隻不過是麻煩一點而已。唯獨有一樣:Blink 要接管後台所有的交易數據的實時計算任務。

  交易數據計算,是淘寶天貓業務的最核心。也是支撐背後支付、物流的核心依據。

  很多其他的計算都要基于訂單數據的結果。這就像面包店的面粉一樣,無論你做什麼蛋糕,都需要面粉。如果面粉的供應出問題,那整個面包店就要關門了。所以無論面臨多大的訂單量,交易數據計算必須穩定、快速、實時。一旦出現錯誤,損失無可估量。

  每年雙十一狂歡晚會上的那塊大屏幕上顯示的實時成交數字,也是由訂單數據彙總而成的。也就是說,如果 Blink 當天挂掉,不僅對淘寶天貓的運轉影響巨大,還會導緻一個略為明顯的結果:成交量大屏一直維持“0”,一秒把人丢到全球無死角。

  2014、2015、2016 這三年,這個核心任務都是由兄弟引擎 Galaxy 來承擔的。

  所有人都想到一個穩妥的方案:2017年“雙11”讓 Blink 和準備退役的 Galaxy 來個雙備份,如果 Blink 臨時廢掉,還可以用 Galaxy 作為備份頂上,至少不會丢人。

  然鵝,2016年雙11的成交量是1207億元,按照曆年經驗推測,2017年的成交量八成是會超過1500億的(事實證明确實如此,達到了1682億)。而根據 Galaxy 的技術架構,如果不做大量繁瑣的優化,很可能頂不住。

  初出茅廬的 Blink,就這樣成為 2017 年雙11媒體大屏“全球指定必須頂上不幹不行合作夥伴”。。。

  雙11 當天,兩條 Blink 鍊路互為備份。“雖然成功率基本是,但萬裡有一,假設 Blink 本身設計存在未知的缺陷,或者兩條備份鍊路的機器硬件同時壞掉,都可能導緻災難。”蔣曉偉回憶。

  在雙11到來前一周,王峰帶領兄弟們已經把 Blink 引擎調整到無以複加的好狀态。蔣曉偉想了想,又派同樣是 Facebook 回來的大牛工程師大沙去天竺法喜寺燒了一炷香。。。

  2017年11月11日零點。狂歡現場。

  時鐘敲響零點,然後出現五秒。按照流程,留給 Blink 的計算時間隻有這五秒。也就是說,00:00:05 的時候,無論如何大屏幕都會切到 Blink 給出的雙11前五秒交易總額。

  這五秒,幾乎是蔣曉偉人生當中最漫長的五秒。

  1、2、3。。。

  第三秒的時候,蔣曉偉面前的監視器跳出了實時成交數據!再兩秒之後,實時交易數據被投上大屏,穹頂之下,歡聲雷動。

  蔣曉偉知道,現場觀衆并不一定理解大屏運行原理,内心也并沒有特地把一份掌聲送給幕後的流式計算引擎團隊。

  但那一刻,他熱淚盈眶。這幾年兄弟們付出的努力值了。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  168,269,635,159。每一個數字,對蔣曉偉和兄弟們都意味着歲月和付出。

  (7)

  經過兩年雙11的考驗,已經沒人懷疑 Blink 是阿裡巴巴最強悍的計算引擎之一。

  所以,不僅阿裡巴巴集團所有用到流式計算的場景都會選用 Blink,Blink 還開始對外提供服務。雖然在蔣曉偉看來,各個場景的計算都可以用 Blink 來解決,但目前被應用最多的場景有如下幾個:

  1、實時統計分析。

  在電商行業,尤其是促銷的場景中,巨大的網絡流量湧來,形勢變幻莫測。每一秒的庫存統計、訂單報表,都能揭示出用戶的行為規律。對這些數據進行實時分析,就能随時調整促銷策略。

  2、在線機器學習。

  用戶的行為會展現出他的性格和偏好,用機器學習分析一個人浏覽商品的姿勢,就能為他精準推薦可能感興趣的商品。

  但是,可能一個用戶隻浏覽一分鐘,如果在這個時間段内沒有能夠吸引他的商品,它就會退出。所以必須在一秒鐘之内,對他剛才的動作進行實時學習,才能保證他第一時間看到感興趣的寶貝。

  3、實時金融風控。

  在金融領域,技術就是金錢。每成功阻斷一次欺詐交易,就等于挽回了真金白銀。通過對一個賬戶實時行為的分析,就可以知道現在它有沒有進行危險交易,從而在第一時間阻斷。

  4、IoT 邊緣計算。

  在工廠中,每台生産線都會随時産生數據,如果可以實時對這些數據進行分析,就可以減少生産線的損壞幾率,提高産品的良品率。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  根據參數實時調整生産線

  如此,才有了開頭一幕所說:阿裡雲承建的城市大腦,可以利用 Blink 來預測道路擁堵,為救護車開拓生命道路。

  根據阿裡雲首席科學家闵萬裡博士的介紹:

  2018年,城市大腦第一次出國,被部署在馬來西亞吉隆坡,把救護車到達現場的時間縮短了 48.9%。

  借助工業大腦,流式計算實時判斷生産線的健康狀況,幫助世界第一大光伏企業協鑫光伏提高了良品率1%,每年可以節省上億元的無謂浪費。

  2018年12月20日,阿裡巴巴将 Flink 的旗艦會議 Flink Foward 第一次引入中國,現場座無虛席。蔣曉偉、王峰和流式計算團隊的每一個人,在過去的三年都親眼見證了 Flink 從踽踽獨行到集結成軍。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  Flink Forward 2018 北京

  為了感謝社區的幫助,在這次會議上周靖人宣布,在未來會把基于 Flink 修改的 Blink 流式計算引擎開源。從2019年1月開始,所有人都可以查閱這個支持了雙11、支持了城市大腦、支持了工業IoT等無數計算的引擎代碼。

  也就是在這一年,王峰正式接替蔣曉偉,成為流式計算的新掌門。而蔣曉偉則朝着他的“完美夢想”更進一步,帶着一幫兄弟在此基礎上研究“帶有流式計算引擎的數據存儲系統”——交互式查詢系統,讓這個引擎能夠解決更多通用的計算問題。

  帶有流式計算引擎的數據存儲系統,聽起來有些不知所雲。其實,這個世界上最經典的這類系統,其實就是我們的大腦。

  我們一生中會接受各種信息,這些信息共同構成大腦的資料庫,幫助我們預測未來。每當有新的信息進來,我們都會根據這一點點信息增量微調我們對于未來的預測。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

  這種調整,毫無疑問是實時的。我們的祖先不小心觸摸野火,從那一刻開始就會告訴自己和家人小心火焰。

  我們依靠對世界的萬億次反饋,發現了萬有引力,發現了相對論,發現了量子力學。

  正是千萬人實時更新的預測能力,構成了我們的文明,也書寫了我們的曆史。

  以前,所有關于未來的預測都在我們的腦海裡,如今,我們終于有機會在軀體之外,利用人類的武器——計算力——建造起一個碩大的預測引擎。

  角落裡,這些技術英雄笑起來安靜而羞澀。但正因他們存在,人類面對未來,再也不是手無寸鐵。

阿裡巴巴,果然開始擁有“預測未來”的能力了。

免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
    本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

猜你喜歡

海能達發布全新專業防爆PDT對講機CH690Ex

随着我國應急管理體系持續完善,消防救援任務正在從傳統火災處置,向化工園區事故、危險品洩漏、地下空間救援、大型綜合災害等多風險、多場景方向發展。在這些複雜環境中,救援現場往往面臨爆炸性氣體、可燃性粉塵、

2周前

海能達CCW 2026載譽收官:AI與融合通信引領專用通信新未來

6月16日至18日,2026年全球關鍵通信展(CCW2026)在英國倫敦舉行。展會期間,海能達集中展示了從終端到系統、從感知到決策的全鍊路創新版圖,AI與融合通信産品及解決方案貫穿三天展期,持續獲得高

4周前

登陸歐洲 Intersolar!遠景AI電力系統支撐全球 AI 算力發展

慕尼黑,2026年6月23日——在IntersolarEurope2026上,遠景科技集團發布面向AI數據中心的下一代電力基礎設施——融合風光儲一體化方案、固态變壓器(SST)、800V直流供電、儲能

1個月前

海能達六度問鼎ICCAs,PDC650與西安機場方案摘得雙獎

6月17日,2026年國際關鍵通信獎(InternationalCriticalCommunicationsAwards,ICCAs)在英國倫敦舉行的全球關鍵通信展(CCW2026)期間正式揭曉。海能

1個月前

海能達即将亮相2026年CCW全球關鍵通信展: 攜AI與融合通信解決方案登陸倫敦

6月16日至18日,2026年CCW全球關鍵通信展将在英國倫敦啟幕。作為全球領先的專用通信解決方案提供商,海能達将以全場景關鍵通信産品矩陣亮相F25展位,集中展示面向公共安全、應急救援、城市治理等領域

1個月前

海能達再獲第十一屆廣東專利獎:持續自主創新,構築專用通信知識産權高地

近日,廣東省市場監督管理局正式公示第十一屆廣東專利獎評選結果。海能達通信股份有限公司申報的“一種集群通信系統的組派接方法、通信系統及存儲介質”(專利号:ZL201811296617.7)榮獲廣東專利優

1個月前