共譜數據的冰與火之歌：Techo TVP 開發者峰會圓滿落幕！

　　21世紀，是數字經濟的時代。數據已成為企業和社會最寶貴的資産。在這片前景廣闊的領域裡，數據發展的曆史長河埋藏了怎樣的機遇?在未來，數據技術将往哪些方向演進?數據開發者又該如何在新時代中，找到自己的職業發展的錨點?

　　2021年4月24日，由騰訊雲 TVP 主辦的首屆 Techo TVP 開發者峰會「數據的冰與火之歌——從在線數據庫技術，到海量數據分析技術」在深圳深鐵皇冠假日酒店成功舉辦。峰會囊括數據庫、大數據兩大專題，彙聚十二位深耕數據技術領域的大咖，帶來了全天候、全方位、沉浸式的技術分享與交流，為超過500位現場參會的開發者獻上了一場“最有料、有趣、且有用”的開發者大會。

　　上午·數據庫專題

　　上午，圍繞數據庫專題，騰訊雲數據庫總經理 林曉斌帶來了開場緻辭，雲和恩墨CEO、騰訊雲TVP 蓋國強、騰訊雲數據庫專家工程師 李海翔、微衆銀行數據庫平台室室經理、騰訊雲TVP 胡盼盼、騰訊雲數據庫技術總監 張青林進行了技術分享。

　　“分布式數據庫已經成為行業必需品，在近幾年也發展出一些新方向。“在峰會伊始，騰訊雲數據庫總經理 林曉斌對參會的廣大開發者表達了誠摯的歡迎，同時分享了他對于數據庫領域新動向的洞察：”在雲原生大潮下，雲原生數據庫為開發者們帶來了極大便利。此外，數據庫的融合型能力HTAP也是一大趨勢和挑戰。“對此，他表示騰訊雲TDSQL在全國第七次人口普查的大考中交出了令人滿意的答卷，本次峰會的分享将會為開發者們勾勒數據技術發展的全景畫卷。

　　騰訊雲數據庫總經理 林曉斌

　　萬象更新-數據庫技術的發展與未來

　　雲和恩墨CEO、騰訊雲TVP 蓋國強是國内第一個Oracle ACE及ACE總監，曾出版多本數據庫技術專著，在《萬象更新-數據庫技術的發展與未來》主題分享中，他分别從工業界與學術界的視角梳理了數據庫技術發展的曆史脈絡，提出目前我們正走向”商業和開源、SQL和NewSQL交融“的新數據庫時代，在新時代，雲成為了數據庫最重要的一個陣地，下一步的格局将是雲的體驗雲下化，最終雲上和雲下趨于一緻。

　　雲和恩墨CEO、騰訊雲TVP 蓋國強

　　而面向未來，企業需要怎樣的數據庫?蓋國強指出，數據庫的更疊，不是重走一次長征路，不是功能和體驗的降級，而應該是循環上升的數據庫變更升級曆程，應該是更好的開發運維體驗、故障自愈、自動化和智能化，同時兼顧投資保護、人才培育。

　　在分享的最後，蓋國強對國産數據庫浪潮之下，正處于迷茫狀态當中的數據開發者們提出了清晰的方向指引及真誠的建議：從DBA到數據庫設計、内核研發，對開發者來說，職業道路是寬廣而明亮的。面對國産化的行業變革，數據庫從業人員隻有躬身入局，盡早轉型，做到“一主一備雙引擎，商用開源兩相宜”，才能夠抓住機遇，一步。

　　分布式數據庫的演進

　　騰訊近十年的分布式數據庫技術發展與騰訊TDSQL研發團隊所做的理論、創新方面的基礎工作息息相關，作為該團隊的核心力量，騰訊雲數據庫專家工程師 李海翔帶來了《分布式數據庫的演進》主題分享，全面地回顧了分布式數據庫技術的發展曆程，并層層剖析分布式數據庫架構，分布式一緻性、計算與存儲技術，以及基于HTAP的TDSQL強一緻性技術實踐。

　　“分布式數據庫系統的演進是由内在的、本質性的需求在推動，高可靠、高可用、高性能、易用性等基礎因素在推動着分布式技術不斷地向前發展。”李海翔從學術界、工業界的角度對比分析了分布式系統經典架構、主流技術的差異。他認為，分布式數據庫系統裡技術層面最核心的一定是事務，而事務處理會産生數據異常。此外，分布式數據庫系統還面臨着缺乏一緻性所帶來的挑戰。同時，新的硬件在計算、存儲上也面臨挑戰。基于這些需求，騰訊的TDSQL系統包含了分析、事務處理、強一緻等特性。随後，他詳細地展示了騰訊的TDSQL開源系統3TS如何解決數據異常問題，TDSQL研究的基礎技術，也是基于學術界的認識和業界的現有産品對于強一緻的支持程度得出的結果。

　　騰訊雲數據庫專家工程師 李海翔

　　分布式數據庫在微衆銀行核心系統的實踐

　　技術的發展與進步，最終還要回歸到實際的落地與應用，在分布式數據庫技術領域，TDSQL在微衆銀行核心系統的大規模實踐便是一個經典的案例。微衆銀行數據庫平台室室經理，騰訊雲TVP 胡盼盼帶來了《分布式數據庫在微衆銀行核心系統的實踐》的行業實戰分享。

　　微衆銀行數據庫平台室室經理、騰訊雲TVP 胡盼盼

　　準确把握了金融行業數據庫”國産化、去中心化、開源化“的三大趨勢，微衆銀行在成立之初就确定要做單元化的分布式架構。在單元化架構之上，微衆銀行擁有2地7中心的機房IDC架構;目前所有的核心系統基本使用TDSQL承載。這樣的數據庫架構部署在高可靠、高可用等方面優點凸顯。如今微衆銀行的TDSQL規模承載了數百個銀行的核心系統，目前已達到單日峰值6億+金融交易量，10萬+TPS峰值。

　　未來，微衆銀行數據庫的演進方向會朝硬件國産化、雲原生與容器化、智能化預警(AIops)發展。

　　騰訊雲TDSQL-C架構探索和實踐

　　TDSQL是峰會中被多次提及的熱門話題，TDSQL-C作為騰訊自主研發的存儲和計算分離的數據庫産品，實現了哪些突破性的創新?騰訊雲數據庫技術總監 張青林帶來了《騰訊雲TDSQL-C架構探索和實踐》的詳盡解析。

　　針對傳統CDB所面臨的存儲容量、拓展性、可用性、可靠性這四大方面的挑戰，騰訊雲TDSQL-C應運而生。它具有海量存儲、智能擴容、線性擴充性能，兼容MySQL和PG等優異特性。這些設計源于解決用戶實際問題的需要，同時實現了幾大突破：突破Serverless場景、IO Bound性能優化、無感知備份。目前，TDSQL-C仍在不斷革新，張青林分享了後續的兩大重點發展方向：實現雲時代的極簡數據庫運維，以及雲時代的Low Database業務開發。

　　騰訊雲數據庫技術總監 張青林

　　下午·大數據與數據分析專題

　　下午，圍繞大數據與數據分析專題，騰訊雲大數據産品總經理聶晶進行了開場緻辭，随後，易觀CTO、騰訊雲TVP 郭炜，騰訊雲彈性MapReduce技術負責人 陳龍，騰訊大數據專家工程師 杜立，偶數科技CEO、騰訊雲TVP 常雷，騰訊大數據專家工程師 于華麗帶來了技術分享。在峰會的最後，由支流科技CEO、騰訊雲TVP 溫銘擔任主持人，五位大咖嘉賓圓桌論道，就《從行業到職業，看數據的現在與未來》這一話題展開了精彩的交流。

　　在開場緻辭中，騰訊雲大數據産品總經理聶晶分享了他對數據分析領域的趨勢洞見：數據分析領域正在快速演進疊代，批流一體數倉的實時化、數據湖等新技術、新架構持續湧現;大批的工程師、開源組織和商業化公司持續入場，未來充滿無限可能。在聶晶看來，雲已經成為企業IT發展的必經路徑，雲廠商也在為數據分析領域提供更多動能。最後，他對Techo TVP開發者峰會提出了寄語與期待：”Techo TVP 提供了一個很好的技術交流平台，讓我們推進技術的普惠化與平民化，将數據分析技術有效地落地到企業發展的方方面面。”

　　騰訊雲大數據産品總經理 聶晶

　　ClickHouse 技術的實踐與應用

　　易觀CTO、騰訊雲TVP郭炜帶來了《ClickHouse 技術的實踐與應用》的主題演講，為大家分享了大數據分析引擎的黑馬 ClickHouse 的“前世今生”、實踐應用、feature以及未來暢想。

　　易觀CTO、騰訊雲TVP 郭炜

　　ClickHouse 是“戰鬥民族”俄羅斯搜索巨頭Yandex公司開源的一個極具"戰鬥力"的實時數據分析數據庫。在全球範圍内，ClickHouse 單表查詢比其他引擎要快數倍以上，在過去的4年以來未曾有對手。ClickHouse 為什麼會這麼快?郭炜指出，這得益于其的向量化計算引擎、的列式存儲引擎，以及的系統研發思維和社區精神。

　　對于廣大開發者所關注的應用實戰話題，郭炜結合騰訊音樂、新浪、喜馬拉雅、B站等豐富的案例，對ClickHouse的典型特性優勢、具體使用場景進行了詳盡而生動的講解。

　　在未來，ClickHouse會在具體深入場景和結合解決客戶使用數據的最後一公裡上深耕，同時，中國社區也在思考 ClickHouse 的商業化道路。

　　雲原生環境下大數據基礎技術演進

　　近年來，雲原生變得炙手可熱，在《雲原生環境下大數據基礎技術演進》的主題分享中，騰訊雲彈性MapReduce技術負責人陳龍對雲原生的概念給出了清晰的定義，“雲原生是在源碼轉化為産品的過程中，充分利用雲計算軟件交付模型，來構建和運行應用程序。” 它能實現整個軟件生産的工業化，進而實現降本增效。

　　那麼，如何實現大數據雲原生?陳龍認為主要從以下四點出發：工業化交付、儲存與計算成本量化、負載自适應、以及面向數據。在落地的技術上，陳龍做了進一步的說明：結合雲基礎設施和Hadoop生态技術棧，騰訊雲的數據湖解決方案将Hadoop集群的拓撲進行了改進，分為Master、Router、Core和Task。為保障雲上大數據處理的性能，騰訊雲大數據提供從基礎設施硬件層到組件内核以及架構的完善的産品能力支持，即便選擇用傳統模式構建大數據應用，雲主機也提供了多種硬件選擇。

　　最後，陳龍也預測了下一代大數據基礎處理引擎的形态。

　　騰訊雲彈性MapReduce技術負責人 陳龍

　　對于廣大數據開發者所高度關注的，“在新時代應如何規劃自身的職業發展”的問題，作為在數據領域深耕多年的前行者，各位圓桌嘉賓對後來人真誠地提出了以下建議。

　　郭炜則運用了一個形象的比喻來進行說明：如今數據和業務、和場景的結合越來越緊密，未來的組件将百花齊放，和場景深度結合。因此，做數據的小夥伴要變成“龍”式的數據工程師，必須結合數據分析師、數據工程師、産品經理乃至運營，既要有專業知識，也要不斷學習，拓展自己的知識邊界，再加上主營的某種技術，才能成為真正的面向未來的數據工程師。

　　實時流式計算實踐與優化

　　随着互聯網場景的不斷深入，在大數據領域除了海量數據查詢外，對數據的實時性也提出了更多更高的要求，越來越多企業将 Flink SQL 作為實時計算的工具。那麼在使用 Flink SQL 會遇到什麼痛點和挑戰?如何進行優化和擴展?騰訊雲實時計算服務又有哪些的實踐?騰訊大數據專家工程師 杜立帶來了他的分享《實時流式計算實踐與優化》。

　　騰訊大數據專家工程師 杜立

　　騰訊雲實時計算服務的研發方向分為四部分：一是提供一站式的開發平台，降低用戶的接入和學習成本。二是保證用戶實時部署前的數據正确性，開發後可直接進行線上測試。三是一站式部署，實時的計算任務可直接部署至騰訊雲的TKE容器。四是提供一系列的運維工具，幫助用戶快速解決線上問題。

　　針對Flink SQL當前的痛點，杜立重點分享了騰訊在Flink SQL上所做的擴展與優化：首先是擴展語法方面，在Windowing Table-valued Function和Stream-Dimension Table Join上進行擴展，對Window内數據集進行交、并、差等操作的新語法。其次是新增窗口類型，增強了增量窗口和Tumble窗口類型，減少下遊的數據接收壓力。第三是優化了回撤流性能，針對SQL兩層Group by場景、Sink場景、Outer Join場景，分别做了不同方案的優化。經過優化後向下遊接收的數據量能實現30倍的減少，100萬的數據有接近20%的提升。

　　新一代雲原生數據倉庫的應用

　　雲原生數據倉庫，是大數據領域最前沿的趨勢之一。随着雲計算的普及，傳統的數據倉庫架構在資源彈性，成本等方面已經很難适應雲原生的要求。雲原生數據倉庫架構又有哪些優勢?如何充分結合雲原生數據倉庫的特點來實現雲上大數據應用?在《新一代雲原生數據倉庫的應用》分享中，偶數科技CEO、騰訊雲TVP 常雷對雲數倉的定義、架構、應用場景做了全面的介紹。

　　偶數科技CEO、騰訊雲TVP 常雷

　　每隔15-20年，數據平台會經曆一輪較大的技術變革，新一代的雲原生數據倉庫在2015年後誕生，如今我們處于智能數據雲平台階段。提及雲原生的概念，常雷認為，雲原生系統的本質是“雲環境中可以達到彈性可擴展、容錯性好、松散耦合、易于管理”。而雲原生數據庫是在公有雲、私有雲和混合雲等新型動态環境中，基于存儲與計算分離架構的，存儲和計算可以獨立彈性擴展、松散耦合的數據庫系統。同時，雲原生數據庫還需具有高性能、高可擴展、一緻性保證、符合标準、容錯、易于管理和多雲支持等特性。他還以Snowflake和OushuDB的雲原生數據倉庫架構為例，對以上特點進行了透徹的解析。

　　此外，常雷提出在新一代雲原生架構下，數據湖正逐漸簡化，出現了“湖倉一體”的概念，一套系統就能實現數據加工、數據資産管理、數據治理、數據科學、機器學習、建模等功能，新一代數據雲平台的架構解決了傳統的多個集群、多個系統之間做ETL等複雜的問題。

　　雲原生數據湖：新一代數據架構

　　“雲原生數據湖架構是由傳統大數據架構上雲的缺陷——存算耦合且規模固定而催生的。”，在《雲原生數據湖：新一代數據架構》主題分享中，騰訊大數據專家工程師 于華麗指出，面對傳統架構成本高、靈活性低、性能差、可靠性不高的痛點，應對的核心是公有雲共享經濟的兩大機遇——彈性計算和對象存儲。雲原生數據湖架構就是充分結合雲上彈性計算、對象存儲優勢和大數據前沿數據湖技術，構建高性價比、高性能的大數據平台。

　　但目前雲原生數據湖的構建成本高、難度大，要解決數據湖架構彈性計算、對象存儲、性能補償中的諸多問題，從0打造雲原生數據湖，需要專業的公有雲背景和數據湖技術能力，而騰訊雲推出兩款開箱即用的數據湖産品，能夠幫助客戶快速構建和分析數據湖。

　　騰訊大數據專家工程師 于華麗

　　騰訊雲原生數據湖産品具有以下多種優勢：

　　成本低：彈性計算、對象存儲5-10倍，成本低;

　　性能高：對象存儲解決小文件問題、緩存加速、稀疏索引、shuffle性能、commit性能高;

　　免運維：Serverless形态降低了運維負擔;

　　統一和開放：統一數據湖存儲、統一元數據減少一緻性維護工作;聯邦分析、數據湖解決方案滿足數倉建模、數據分析甚至機器學習。

　　從行業到職業，看數據的現在與未來

　　在精彩的演講分享後，支流科技CEO、騰訊雲TVP 溫銘擔任主持人，提出有關Apache基金會大數據項目的“冷與熱”、大數據技術的未來演進趨勢、如何平衡雲廠商和開源社區、開源商業公司之間的關系、國内“Snowflake”的誕生條件等頗具前沿性的話題，與常雷、郭炜、陳龍、李海翔四位分享嘉賓齊聚一堂，展開了主題為《從行業到職業，看數據的現在與未來》的深度圓桌對話。

　　支流科技CEO、騰訊雲TVP 溫銘

　　圓桌論壇

　　對于廣大數據開發者所高度關注的，“在新時代應如何規劃自身的職業發展”的問題，作為在數據領域深耕多年的前行者，各位圓桌嘉賓對後來人真誠地提出了以下建議。

　　李海翔指出，熱愛是的驅動力，“專注”是最重要的品質，堅持在喜愛的行業或方向中深耕，時間久了自然而然會有所獲，有所成。我們說“因為相信，所以看見”。而同時到了今天，更重要的是“因為看見，所以相信”，我們通過十數年的堅持，在分布式數據庫技術創新上有所發展，今天我們已經看到了它的價值和未來，所以我們可以相信，它将有更大的創新和未來，這是驅使我們将一直堅持和投入的基礎。

　　陳龍認為，在大數據領域，數據開發者可以根據三個方向來規劃自身的職業發展：第一是内核方向，如分布式存儲、分布式計算等偏底層技術方向。第二是數據架構師，既了解雲産品，也了解公司業務，根據業務去規劃或使用雲産品來解決問題。第三是數據科學家，真正利用機器學習、算法，以底層支撐的能力去挖掘數據之間的關系，進而實現通過數據給企業帶來價值。

　　郭炜則運用了一個形象的比喻來進行說明：如今數據和業務、和場景的結合越來越緊密，未來的組件将百花齊放，和場景深度結合。因此，做數據的小夥伴要變成“龍”式的數據工程師，必須結合數據分析師、數據工程師、産品經理乃至運營，既要有專業知識，也要不斷學習，拓展自己的知識邊界，再加上主營的某種技術，才能成為真正的面向未來的數據工程師。

　　而在常雷看來，中國現在比較缺的是底層的内核開發人才，而内核是需要沉澱的，在這一領域持續深耕、熟悉技術原理、有經驗的開發者未來将得到很好的回報。

　　最後，溫銘總結道，開發者既要“仰望星空”，也要“腳踏實地”，一方面可以多參加像 Techo TVP 開發者峰會這樣的活動，了解業界在使用什麼技術，比起埋頭做業務，技術上的交流和探讨會帶來更多有價值的東西。另一方面，做基礎的技術研究會非常有價值，我們可以在上面精細深耕，創造一些不僅能給自己公司、業務帶來價值的事，也能給其他公司、給整個數據領域帶來進步的産品。

　　結語

　　本次 Techo TVP 開發者峰會還為開發者們準備了豐厚的禮品和精緻可口的茶歇，在認真聆聽大咖的技術幹貨之餘，大家也熱情高漲地參與了拍照打卡、遊戲互動。同時，峰會也在線上多渠道進行了同步直播，在直播間、技術社群中，開發者們也進行着熱烈的交流和讨論，峰會收獲了來自參會嘉賓、開發者們的廣泛好評。

　　參會嘉賓與開發者合影

　　正如騰訊雲數據庫專家工程師李海翔所言，騰訊有豐富的數據庫産品，其中部分基于開源項目開發，同時騰訊也在回饋社區、擁抱開源。不僅是産品，騰訊還在推動基礎研究的技術開源與思想的開源，希望在未來形成良性互動的，更好的互生模式。

　　作為騰訊雲 TVP 專門為開發者舉辦的大型技術交流盛會，未來，Techo TVP 開發者峰會将繼續攜手領域大咖，通過最用心的分享、最前沿的洞察、最實際的觀點，為開發者們獻上一場場“最有料、有趣、且有用”的開發者峰會。騰訊雲 TVP 将始終秉承着“用科技影響世界”的使命，推動技術普惠化、平民化，踐行科技向善的初心和本心。

　　TVP，即騰訊雲價值專家(Tencent Cloud Valuable Professional)，是騰訊雲授予雲計算領域技術專家的一個獎項。TVP 計劃緻力打造與行業技術專家的交流平台，構建雲計算技術生态，實現“用科技影響世界”的美好願景。