國産數據庫先行者ArgoDB——以自主創新技術，加速全行業國産化替代

2022年的黨政信創試點即将進入尾聲。黨政信創國産化試點的成功加速了其他行業國産替代的腳步。預計從2023年起，數據庫國産化替代工作将在各行業的信息化、數字化建設中遍地開花。随着信息化建設的推進，業務數據不斷增長，業務處理愈發複雜，傳統的單機或者集中式數據庫逐漸無法滿足對原有業務和新興業務的處理需求。由于傳統數據庫在功能、架構等的局限性因素，難以支撐更高并發、更低延時的業務訴求，同樣也難以滿足企業多模融合、湖倉一體、隐私計算等新興業務需求。

  在國際上，我們不難發現，在2022年的俄烏沖突中，沖突雙方通過限制底層通用技術的使用，可以幹預并控制民生、政府、金融等行業的正常運行。在Oracle宣布暫停俄羅斯所有業務後，大量企業的ERP、财務系統等一系列基于Oracle數據庫的業務系統在很長一段時間内均處于癱瘓狀态，相關業務無法正常開展。

  同樣在國内，從美國近年來多次發動的經濟制裁與技術封鎖行動中，我們也深刻認識到科技戰必将成為未來IT領域的新常态。作為信息化支撐的基礎軟件，數據庫的國産化替代已迫在眉睫。但是數據庫國産化替代往往涉及到IT底層架構、業務應用等各個方面，并不是一蹴而就的事情。

  星環科技堅持核心技術自主研發與創新，打造先進的分布式分析型數據庫ArgoDB，深耕國内市場，推動各行業國産化替代落地，助力企業加速數字化轉型。

  堅持自主研發，力求産品安全可控

  在國産化替代的大背景下，受利好政策和用戶需求的催化，近年來“國産數據庫”如雨後春筍般湧現。但是剝開“國産數據庫”華麗的外殼，究其内裡，我們不禁要問，“國産數據庫”真的能夠實現數據庫技術的“完全自主可控”嗎？其實，我們不難發現，大多數所謂的“國産數據庫”中，絕大多數是基于開源MySQL或PostgreSQL數據庫進行加工改造，“基于開源”并非原創，“抄作業”始終難以内化為自己的東西。缺少對數據庫核心技術的掌控，又如何真正實現“完全自主可控”呢？

  ArgoDB自誕生以來，星環科技始終堅持數據庫技術的自主研發路線，一步一個腳印，曆時長達9年時間，逐步積累了一系列數據庫的核心技術，如分布式技術、實時數據處理技術、多模型數據的統一處理技術、湖倉一體化、隐私計算技術等。根據工信部電子第五研究所的代碼掃描結果顯示——ArgoDB代碼自主率(行數)超過90%，完全滿足了各行業對國産數據庫“自主可控”的訴求。此外，ArgoDB還通過了信通院分布式數據庫産品能力基礎能力和性能測試2項測評認證，進一步驗證了使用ArgoDB數據庫建設自主可控的分析業務數字化底座的可行性。

  得益于自主創新技術，2019 年 8 月，經過國際事務處理性能委員會(簡稱TPC)官方審計，ArgoDB成為全球第四個通過 TPC-DS 基準測試的數據庫産品。

  當前，ArgoDB已與國内主流軟硬件信創廠商完成了兼容适配互認證，并且深度适配飛騰、鲲鵬等國産CPU及麒麟、UOS等國産操作系統，全面融入國産化生态。

  基于技術創新，為數字化轉型鋪路

  ArgoDB堅持核心技術全面自主創新，并積累了一系列核心技術。不止能夠幫助企業實現國産化替代，而且加速企業數字化轉型，滿足未來對于更多業務場景的需求。

  * 高性能、高擴展、高可用的分布式計算框架

  * 高吞吐、低時延的實時分析能力

  * 支持10種數據模型，輕松實現多模型數據融合分析

  * 支持多方言SQL兼容，協助業務極簡改造

  * 高性能、高擴展、高可用的分布式計算框架

  基于分布式計算框架，ArgoDB能完美支持交互式查詢、基于索引方式的點查等，協助用戶構建大型的、低延遲的數據分析應用程序。ArgoDB憑借Native、向量化計算引擎和多模存儲引擎的雙重利器，性能大幅度提升。典型應用場景已全面優于Clickhouse、Greenplum、Spark等常見OLAP引擎。在相同的測試環境配置下， ArgoDB的OLAP場景性能是Clickhouse、Greenplum、Spark的2~10倍。

  此外，随着新興硬件的不斷發展，為了充分發掘新興硬件的更多潛能，ArgoDB結合新硬件技術，滿足更複雜的業務場景需求。如基于閃存存儲硬件進行深度優化，相比機械硬盤分析性能有顯著提升，讓用戶真正感受到新興硬件帶來的巨大性能優勢。

  基于分布式計算框架，ArgoDB還能夠提供相對于傳統并行計算架構更好的擴展能力。大多數基于并行計算的數據庫(如Teradata、Greenplum等MPP架構數據庫)在實現集群擴展時，對IO資源消耗較大，直接影響現有業務的運行。部分基于并行計算架構的數據庫在調整數據服務節點過程中，會出現元信息讀取的不可用，導緻必須停服而中斷業務。而對于基于分布式計算框架的ArgoDB數據庫而言，由于通過TDDMS(星環分布式數據管理系統)進行了元信息的統一管理，集群規模調整過程中，不會因為元信息同步導緻對數據表無法讀寫，在集群規模變更時，僅需将小部分數據移動到新節點即可。

  * 高吞吐、低時延的實時分析能力

  對于上遊業務數據庫(如MySQL、Oracle等)以日志形式實時傳遞數據的場景，傳統數據庫一般通過對日志解析，再以SQL重放的形式實現數據加載，在小數據量場景下可以實現近實時的數據同步和數據分析。但随着上遊業務源的增多，同步數據對象變多，需同步的數據量随之增大，如果仍采用SQL重放的方式處理數據的實時同步，在分析庫端的SQL提交、SQL解析等過程中會出現嚴重的性能瓶頸，随之就影響了分析庫中實時分析業務的性能。同樣的實時寫入分析場景，如果采用流式寫入的方式，在應對大量表數據需要同步場景時，對于流式寫入中Kafka Topic的管理也會成為處理瓶頸，并且對上千任務的調度和維護成本也急劇增長。高并發、高吞吐的實時數據寫入分析型數據庫，并同時對外提供極緻高效的查詢分析服務是對分析型數據庫能力的一個重大挑戰。

  基于上述實時寫入和實時分析的業務場景，ArgoDB 以新的數據寫入接口方式提供了新的實時數據接入方案，該接口具備對數據的Insert、Update、Delete和Upsert操作能力。對于大規模的數據實時同步場景，客戶端可通過對接口的調用，直接将數據寫入ArgoDB的存儲引擎中，在實時更新的場景下進行高效的數據分析。

  * 支持10種數據模型，輕松實現多模型數據融合分析

  為解決多種數據庫或平台混合使用的混合架構中的數據孤島問題，ArgoDB提供了多模型融合分析處理能力。在編譯器層、計算引擎層、數據存儲管理層、資源管理層實現了統一重構，提供了統一的 SQL 引擎、統一的計算引擎、異構的數據存儲模型、統一的分布式數據管理系統和統一的資源管理系統的技術架構，能夠支持關系型、搜索、文本、對象、圖等10種數據模型。

  ArgoDB 通過統一的元數據管理、統一的事務管理和完備的多模優化器支撐了對不同模态數據的統一讀取調度，支持跨模型聯合分析，滿足更多“一庫多用”場景。例如傳統反欺詐解決方案由于不同數據模型分散存儲在不同的數據庫(例如關系型數據庫和圖數據庫)等原因，在實際業務中需要大量數據轉換操作，應用實施成本高，實時性有待提高。ArgoDB為解決此類業務中的數據關聯難問題，将多模型數據存儲、數據融合處理能力進行疊代加強，用戶可将關系型數據和圖數據庫進行統一存儲，用戶隻需通過一個 SQL 即可關聯查詢分析關系型數據和圖數據，在數據免搬遷、減少人工操作的同時，提升業務效率。

  * 支持多方言SQL兼容，協助業務極簡改造

  Oracle、IBM DB2、Teradata等國外數據庫往往已經在企業中使用多年，國産化替代往往涉及到IT底層架構、業務應用等各個方面，因此遷移過程比較複雜。大多數國産數據庫存在SQL 語法無統一規範、對 ANSI SQL 标準和傳統關系型數據庫方言支持度較低、兼容的存儲過程語法有限等問題。這些問題導緻國産化替代落地時，開發人員需要耗費大量人力進行業務改造，數據庫使用人員需要重新學習産品用法。

  為了使得各行業國産化替代時，業務平滑遷移，降低遷移成本。星環科技自研編譯技術，實現了用統一的 SQL 語言操作不同模型(如表、文檔、圖等)的數據。與其他國産數據庫相比，SQL 編譯技術達到業界先進水平，支持絕大部分 ANSI92、99、2003 SQL 标準，兼容傳統關系型數據庫方言，如 Oracle、IBM DB2、Teradata等，支持存儲過程，從而大幅降低了大數據應用開發的難度和成本。

  從Oracle、IMB DB2、Teradata等數據庫遷移至ArgoDB時，開發人員無需對原有業務進行過多的改造，使用人員無需重新學習産品用法，大幅度降低了遷移至ArgoDB的技術與人力成本，快速實現業務的平滑遷移。

  經過9年的自主研發，ArgoDB已全面超越了國外數據庫産品，可以為用戶提供更優的解決方案。

  深耕業務模型，助力客戶架構升級

  經過多年發展，ArgoDB 已經在金融、政府等領域有數十個落地案例，其中包括諸多成功替換 Oracle、Teradata、IBM DB2 等傳統數據庫的案例。

  * 某銀行替換Oracle數據庫，構建新一代實時數據倉庫

  某行是當地規模最大的商業性地方金融機構，行内原基于 Oracle 數據庫建設業務系統。随着行内在移動互聯渠道提供的客戶服務逐漸豐富，客戶點擊流量增長快速，客戶的體驗要求也在提高，對數據庫的查詢和分析能力也提出了較高要求。原 Oracle數據庫在業務支撐能力方面有以下問題：

  a)、随曆史數據不斷增長，現存統一收單系統的交易明細查詢結果輸出緩慢，無法快速精确查詢到相關交易;

  b)、業務需要實時統計分析用戶的相關信息，改進業務質量和産品的服務水平。基于 Oracle 的複雜分析能力的欠缺在業務中的掣肘愈發明顯，且經常出現數據加工延遲的情況;

  c)、Oracle 以交易型業務為主，分析型業務擠占交易業務的資源，給日常業務的穩定性帶來隐患;

  d)、Oracle支撐場景單一，無法滿足諸如基于實時數據處理等的創新型業務。

  基于星環 ArgoDB 數據庫平台，支持滿足倉集一體、實時數倉等建設需求，同時具備完整的 SQL 及 PL/SQL 支持。通過支持 Oracle 方言，極大降低了 Oracle 數據庫業務數據和現有分析型業務的遷移成本。在分析型業務方面以更低成本、更高性能完整替代了傳統 Oracle 數據倉庫，确保分析型業務與交易型業務的隔離。

  新平台滿足了行内包括曆史明細數據查詢、交易流水查詢、實時交易大屏、大額交易提醒等十多個關鍵查詢業務場景需求。平台針對各類分析型業務的自動性能優化，保障了多用戶高并發場景下的性能要求。平台将源數據庫 Oracle的增量數據以秒級延時快速同步到 ArgoDB 實時數倉，尤其确保了對源系統數據有删改的經常性調賬退款業務數據能即時反映在分析系統中。基于實時落庫的業務數據，實現多流水表多維度數據整合的交互式複雜分析，将原基于 Oracle 的離線級分析能力提升到秒級的準實時級交互式分析能力，為行内未來多種複雜的分析型業務應用的拓展與更高的實時性要求打下堅實的技術基礎。

  * 某銀行替換Teradata數據庫，構建湖倉一體化架構平台

  某銀行自 2012 年起建設了基于 Teradata 的數據倉庫。随着銀行業務的演進，業務數據規模不斷擴大，随之待處理數據激增，原Teradata 數據倉庫因功能單一，且數據處理效率低下，難以與更多數據源及上下遊系統對接，導緻出現了新業務上線困難等問題。

  在該銀行數據倉庫解決方案中，針對客戶現狀進行數據/體系架構設計，在原有系統基礎上提出了優化方案。在新數據倉庫系統中，基于分布式分析型數據庫 ArgoDB構建，不僅支持 SQL 99/2003 标準語法，并且完整兼容原 Teradata SQL 語法，方便開發人員熟悉使用。在原有基于 Teradata 的數據倉庫整體遷移到星環科技大數據基礎平台過程中，完成了臨時數據層遷移、操作鏡像層遷移、臨時曆史層遷移、基礎模型層遷移、彙總層遷移、應用集市層/視圖遷移等遷移工作，制定并落實數據标準管理辦法及流程、數據質量管理辦法及流程、元數據管理辦法及流程、配套管控系統功能模塊設計與實現，完善整個數據管控與治理體系，完成了數千張數據表、近萬個腳本、近千個數據服務接口的完整遷移，推動了該銀行的大數據戰略實施。通過ArgoDB替換Teradata，從根源上解決了該行在數據倉庫領域存在的問題，提升銀行對業務發展的數據支撐能力。