2021年10月18日~20日，由IT168聯合旗下ITPUB、ChinaUnix兩大技術社區主辦的第12屆中國數據庫技術大會(DTCC2021)在北京國際會議中心隆重召開。曆經十餘年的積累與沉澱，DTCC已然成為國内數據庫領域的技術風向标，見證了整個行業的發展與演變。DTCC2021秉承一貫的幹貨分享和實踐指導原則，本次大會依然為行業呈現了一場頂級技術盛會。
作為國産數據庫和人工智能基礎軟件提供商、數據庫領域國際标準主筆單位與國家标準牽頭建設單位，柏睿數據受邀參會，柏睿數據行業咨詢總監陳林生在會上進行了《全内存分布式數據庫RapidsDB的應用場景與實踐》主題演講。下文整理自現場演講内容，分享給大家～(在公衆号對話框回複關鍵字：全内存數據庫，即可獲取嘉賓PPT)
圖：柏睿數據行業咨詢總監陳林生
一、 内存計算及 内存數據庫 已 逐漸 成為 大數據處理 主流技術路線
近年來，内存數據庫成為解決高并發、低時延數據管理需求的主流技術路線。但内存數據庫并不是一個新鮮概念，如今得以廣泛應用，是行業需求、成本性價比與技術成熟使然。
一方面，随着移動互聯網的飛速發展，數據呈現出海量、實時、在線等趨勢，追求極限數據處理性能的場景越來越多，基于磁盤存儲的數據庫管理系統受限于磁盤讀寫的速度，已經很難滿足新場景的擴展性和時延要求。
另一方面，内存器件的容量密度在快速上升，早期直接焊接在主闆上的内存芯片，容量普遍在64KB以下;發展至今，最大容量内存是單根128GB，8路服務器内存容量已經能夠達到8TB。而内存單位價格也在逐年下降，從1970年代至今，内存每兆字節的價格下降了近9個數量級。内存技術的成熟，使大量數據在内存中的存儲和處理成為可能。
那麼，内存數據庫的關鍵需求是什麼呢?我們知道，NoSQL在初創公司或互聯網公司獲得了很大的應用，但對于傳統的企業客戶而言，甚至是互聯網公司，也逐漸意識到數據庫的SQL和ACID是大部分企業無法直接舍棄的，同時需要兼顧極緻性能、分布式、可擴展性需求等，這是柏睿數據在設計全内存分布式數據庫架構時的出發點與着重考量的關鍵需求。
但是，“内存數據庫≠磁盤數據庫+大内存”，即在傳統基于磁盤數據庫的架構上無法充分發揮内存計算給數據庫性能的提升，内存數據庫和傳統磁盤數據庫在數據庫架構的方方面面有着很大的區别。
二、 内存數據庫 與 傳統磁盤數據庫 的本質區别
内存數據庫與傳統磁盤庫采用不同的架構設計。
磁盤數據庫(Disk Resident Database，DRDB)即數據存于磁盤，需要頻繁地訪問磁盤來進行數據的操作。而磁盤相對于内存來說是極其低速的存儲介質，内存尋址為納秒(ns)級别，磁盤尋址是毫秒(ms)級别，比内存慢了100萬倍。因此，解決磁盤I/O性能瓶頸一直是磁盤數據庫的主要問題。
内存數據庫(Main Memory Database，MMDB)與磁盤數據庫的根本區别在于，内存數據庫将數據全量加載到内存中進行處理，省去了磁盤I/O開銷，具備更極緻的讀寫速度，性能相對傳統的磁盤數據庫有數量級的提升。
但内存數據庫并非簡單地将數據移至内存即可，内存數據庫架構需要思考并優化其他可能的性能瓶頸與問題，還要考慮比如數據持久化、超出内存數據的統一管理(Larger-than-Memory)等問題。
三、 當磁盤 I/O 不再是瓶頸 ，内存數據庫要考慮什麼問題？
2008年，SIGMOD的一篇論文對面向磁盤的數據庫性能開銷做了分析，把整個數據庫系統的開銷做了統計。分析發現：典型的數據庫環境中實際上隻有12%的資源是在真正處理業務查詢和處理邏輯。其中30%用于緩沖區管理;30%處理數據并發控制管理的開銷(Locking和Latching);另外28%處理數據庫日志的處理(Logging)。如何降低這些數據庫額外開銷?這是我們在設計内存數據庫時考慮的重點方向。
柏睿數據基于多年深耕數據庫行業經驗，全面考量内存數據庫架構下，數據存儲、并發訪問控制、查詢優化器、查詢編譯器、執行引擎、數據持久化、高可用等方面新需求，自主研發具有國産知識産權的全内存分布式數據庫RapidsDB。
RapidsDB采用分布式内存架構，支持高吞吐、高并發、高擴張、高可用的複雜應用場景需求，實現TB級數據及上百個維度随機數據的秒級查詢，并滿足按需動态擴展的業務需求。同時，在避免數據遷移風險的前提下，RapidsDB實現對多源異構數據統一的接入、查詢、分析，并快速生成可視化報表。
四、 深耕 行業 應用，柏睿數據收獲春華秋實
至今，柏睿數據全内存分布式數據庫RapidsDB已經通過了衆多實踐檢驗，廣泛應用于金融、運營商、能源、政府、制造業、交通等領域，在自助分析/靈活查詢、傳統數倉平台加速、物聯網數據分析、實時電信計費、HTAP場景中發揮實效。
在近日公布的國家工業信息安全發展研究中心(工業和信息化部電子第一研究所)電信行業數據庫能力第一期測評結果中，柏睿數據各項指标評測結果均入圍前三甲，斬獲電信行業數據庫綜合能力第二名。并且，柏睿數據已經成為中國移動智慧中台唯一分布式内存數據庫供應廠商。
在某省級移動公司網格運營平台提速項目中，RapidsDB大幅提升系統性能和經分系統自助分析速度，實現了PC端網格門戶的數據展示秒級響應、APP端全功能秒級響應;優化GIS圖層渲染效率，實現網格規配、入格管理等秒級響應。
在某大型國有金融客戶項目中，RapidsDB代替Oracle+ElasticSearch複雜技術棧，實現極速性能，為全行5萬個客戶經理團隊提供日常業務查詢，支撐精準營銷及信貸風控的業務需要。
如數據庫界的“大神”、1998年圖靈獎獲得者Jim Gray先生所言：“Tape is Dead，Disk is Tape，Flash is Disk，RAM Locality is King.”陳林生認為，随着實時性數據處理場景需求的增多、對應用極緻性能要求的不斷提高，以及非易失性存儲器件技術的不斷成熟和商用化，未來絕大部分的數據庫負載都将運行在内存數據庫上。
數據庫技術的蓬勃發展，不僅帶動了産業的百家争鳴之勢，更使中國數據庫在國際數據庫格局中占據了一席之地。作為“卡脖子”關鍵技術攻堅者、國家“專精特新”科技小巨人企業，柏睿數據持續突破底層核心技術、圍繞數據庫技術打造算力核心引擎築牢中國數字基座，并正以領先的創新技術、自主可控的數據智能基礎軟件作為犀舟徑楫，在數字經濟浪潮下揚帆遠航!
免責聲明：本文僅代表作者個人觀點，與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實，對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體，轉載目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，若因作品内容、知識産權、版權和其他問題，請及時提供相關證明等材料并與我們聯系，本網站将在規定時間内給予删除等相關處理.
