零:前言
雲原生時代已經到來,今天博主分享一下,華為雲數據庫上雲解決方案的實戰經驗。
一、背景 介紹
随着各行各業業務的快速發展,數據量不斷增加,數據類型也變得更為複雜。為滿足不同業務需求,多種數據庫部署方式被廣泛使用。但同時,這些行業也面臨着諸多挑戰,如無法實現彈性擴縮容、高昂的運維成本等問題。
目前,客戶的數據庫主要采用以下三種部署方式:
·本地數據庫:采用傳統的本地數據庫部署方式,在IDC機房中自行部署數據庫,而非使用公有雲服務。
·雲ECS部署數據庫:為降低成本并優化架構設計,選擇将數據庫部署在雲廠商的服務器上,而不是使用雲數據庫服務。
·雲數據庫服務:為提高數據可靠性、安全性,擴展性和靈活性,向雲廠商直接購買雲數據庫服務。
1.1、問題痛點
在使用上述部署方式時,用戶主要面臨以下問題:
·業務上線速度緩慢:無論是本地數據庫還是ECS自建數據庫,用戶都需要自行安裝軟件,解決補丁升級、高可用等問題,這個過程非常耗時。
·無法實現彈性擴縮容:無法根據業務需求快速調整資源,例如在流量增長後,自建數據庫無法快速升級配置,可能因此流失潛在客戶。當流量高峰回落後,又無法快速降配,造成資源浪費。
·運維人力成本高:自建數據庫需要用戶自行處理日常運維問題,當實例數量達到一定程度後,管理将變得非常困難,且DBA人力成本高昂。
·安全防護問題多:自建數據庫需要用戶自行下載安裝包,可能被植入木馬病毒,對數據庫構成威脅。同時,沒有災備機制也需要用戶自行解決安全防護問題。此外,缺乏專業團隊為數據庫提供安全保障也是一大問題。
1.2、 華為雲數據庫上雲 解決方案
重要的事情說三遍:數據庫上雲!數據庫上雲!數據庫上雲!
核心優點
彈性伸縮,部署靈活
彈性伸縮:雲數據庫即開即用,可彈性伸縮,規格可升可降,讓企業靈活掌握資源投入;
按需付費:資源按需付費,随業務需求快速擴容,靈活部署,幫助客戶從容應對業務量增長帶來的資源緊張、響應速度慢等問題。
智能運維,降本增效
智能運維:相對客戶原有自建數據庫,雲數據庫在備份、添加隻讀、監控告警等更加方便;
降低運維成本:讓DBA有時間專注應用優化等更有價值業務,降低DBA運維成本。同時,華為雲具備專業的數據中心運維團隊,讓企業專注發展業務;
減輕企業負擔:企業無需耗費長時間搭建IDC,無需高昂的一次性投入,無需擔心設備折舊問題。
災備完善,安全可靠
完善的災備機制華為雲數據庫具備主備、兩地三中心災備、回收站、安全組等機制設計,大大提高數據庫的安全性與可靠性;
嚴守數據中立:華為雲不用技術手段非法獲取客戶數據,不對客戶數據進行商業變現;
專注基礎設施:華為雲專注打造雲基礎設施服務,助力企業數據庫上雲,自主掌握核心數據;
數據中心穩定:T4級别機房,支持3AZ高可靠,滿足客戶高安全需求,所有數據3副本存儲,跨機房跨區域保存;
安全防護豐富:提供WAF/DDoS等10+安全服務,保障業務安全。
更高可用,更強性能
雲數據庫性能更強:與自建單機數據庫相比,主備、分布式架構的雲數據庫性能更加強大,滿足大數據量需求。
下面以華為雲的幾款不同的數據庫産品為例,分享下從零到壹數據庫上雲。
二、 雲數據庫RDS for MySQL
雲數據庫RDS for MySQL是一種關系型數據庫管理系統,RDS for MySQL性能卓越,搭配LAMP,成為WEB開發的高效解決方案。
2.1、優點
超高性能,體驗
優質硬件:華為經過多年的研究、創新和開發的服務器硬件,穩定、高性能。
SQL優化:提供慢SQL檢測,并給出對應的優化建議。
高速訪問:搭配同一地域的彈性雲服務器,通過内網通信,縮短應用響應時間,并節省公網流量費用。
更低成本,更多服務
使用華為雲數據庫RDS for MySQL,隻需支付RDS for MySQL實例費用,無需購買和安裝任何軟硬件,簡化運維操作。與之相比,使用自建數據庫則需要付出服務器、系統、數據庫等軟硬件費用+機房托管費用+運維操作成本。
全系列高安全認證,數據庫安全無憂
訪問控制:入站、出站規則進行限制,控制可以連接數據庫的網絡範圍。
安全防護:處于多層防火牆的保護之下,可以有力地抗擊各種惡意攻擊,保證數據安全。
數據加密:通過TLS加密、SSL加密實現傳輸加密。通過靜态加密、表空間加密對數據進行加密。
操作審計:雲審計服務,記錄與雲數據庫RDS實例相關的操作事件。
多種部署及容災方案,滿足多種可用性需求
雙機熱備:雲數據庫RDS服務采用熱備架構,故障秒級自動切換。
異地容災:可以在異地區域使用備份文件在異地恢複到新的RDS實例,用來恢複業務。
同城容災:支持多可用區部署,可用區之間内網互通,不同可用區之間電力、網絡物理隔離。
強大擴展能力,滿足不同階段業務需求
豐富的産品規格:提供單機、主備、隻讀實例,一鍵單機轉主備。
彈性擴容:支持增删隻讀實例,及時應對業務暴漲/回落情況。
多種配置:通用型(通過資源複用換取CPU使用率化,性價比較高)、獨享型(完全獨享CPU和内存,性能長期穩定)。
豐富的運維工具,助力聚焦核心業務
備份恢複:支持按備份集和指定時間點的恢複,732天自動備份恢複,數據不丢失。
智能運維:全方位對數據庫進行智能監控與診斷優化。
監控報警:自定義監控目标與通知策略,及時了解雲數據庫RDS for MySQL服務運行狀況。
差異化優勢
性價比:優異産品性能,确保或持平業界,且價格上更具競争力;
可為單機實例添加隻讀實例,可以滿足非核心業務的多讀需求;
支持秒級監控,包括1秒監控和5秒監控,用于提高監控指标的瞬時值;
支持查看參數模闆所應用到實例的記錄。
2.2、适用場景
針對電商客戶
雲數據庫RDS for MySQL為電商和移動商務應用提供可靠、經濟、高效的數據存儲,使應用在網絡上快速安全運行;
服務價值
RDS for MySQL可幫助客戶有效管理用戶、充值支付、賬單等關鍵數據,快速進行規格變更應對流量洪峰;
針對遊戲客戶
雲數據庫RDS for MySQL憑借其高可靠、高性能等特性,能幫助客戶輕松部署移動在線遊戲服務;
服務價值
RDS for MySQL可幫助客戶有效管理用戶、充值、支付、賬單、購物車等數據;
針對物聯網IoT客戶
規模和可靠性至關重要,需要雲數據庫提供快速的響應時間來支持大量的連接;
服務價值
雲數據庫RDS for MySQL提供了高吞吐量和高并發性,可以通過快速的響應來支持大量的連接;
針對電子政務客戶
電子政務面臨服務數十億人次的潛在規模的挑戰,需要高性能,高吞吐量和高可用的雲服務;
服務價值
高性能、高吞吐量、高可用的雲數據庫RDS for MySQL可幫助客戶輕松應對潛在用戶規模的挑戰。
2.3、購買體驗

先注冊登錄華為雲帳号。
登錄管理控制台并單擊“購買數據庫實例”。

請大家按需購買,本次博主為了學習,買了單機版,4核8g,建議連接數是2500的。

注:企業的生産數據庫,要用主備 的實例類型(一主一備的經典高可用架構)。
設置網絡:

設置root賬号的密碼

最後一步,買買買。
2.4、連接體驗
綁定彈性公網IP
選擇買的實例,單擊實例名稱,進入實例的“基本信息”頁面。

選擇彈性公網IP,單擊“是”,提交綁定任務。

這樣就綁定成功了。
設置安全組規則
選擇買的實例,單擊實例名稱,進入實例的“基本信息”頁面。

左側導航欄,單擊“連接管理”,在“安全組規則”模塊“當前安全組”處,單擊安全組名稱,進入安全組頁面。

可添加入方向規則和出方向規則。

通過公網連接RDS for MySQL實例
使用客戶端navicat


密碼是購買時,設置的密碼。
測試連接。

接下來連接上的操作與本地操作一樣。
三、Redis上雲
雲數據庫GaussDB(for Redis)作為華為雲旗下企業級Redis,緻力于為企業客戶提供穩定可靠、超高并發,且能夠極速彈性擴容的核心數據存儲服務。GaussDB(for Redis)采用雲原生分布式架構,完全兼容Redis協議,支持豐富的數據類型,提供數據實時持久化、多副本強一緻保障,以及實時監控、彈性伸縮、自動備份等一站式服務。
3.1、優點
高可用
某個節點發生故障,可以在秒級内完成接管,即使N-1節點同時發生故障,隻要還有1個實例可用,業務依然可以正常運行,程度減少對業務的影響;
高吞吐
多節點可以同時寫入,且采用多線程架構,吞吐輕松翻倍,QPS可水平擴展,有效扛住流量高峰;
強一緻
通過GaussDB基礎組件服務實現數據三副本冗餘,确保0丢失,同時滿足多點訪問強一緻性要求,業務設計更輕松;
大容量
采用計算、存儲分離架構,全面支持大數據量場景,産品定位突破“緩存”局限,能幫業務長期承載更多重要數據;
秒擴容
以1GB粒度随時按需調整,秒級生效。GaussDB基礎組件服務實現了存儲平滑伸縮,業務0感知;
降成本
相比純内存架構,硬件成本降低75%~90%,容量幾乎全部可用,并且可按1GB細粒度購買,不會買多浪費。
差異化優勢
·高可靠——數據0丢失,強一緻,性能穩定
·低成本——價格節省75%,容量更大
·彈性伸縮——平滑擴容,秒級體驗
·安全運維——專業雲服務,一站式運維
·單節點支持1TB,可對數據做持久化存儲,保證數據強一緻存儲,;
·通過安全組限制源端IP對實例的訪問權限,可以細化到端口;
·可通過控制台對訪問賬号的權限進行設置和管理;
·客戶可以在控制台自定義設置備份文件留存時間,最長保留周期為35天,滿足金融客戶監管需求;
·客戶可以在控制台實現實例重啟,修改某些運行參數。
3.2、适用場景
針對電商客戶
在大促活動期間會出現大量并發訪問,而商品搜索又存在熱門商品和冷門商品并存的狀況,同時對數據一緻性有較高要求;
服務價值
使用GaussDB(for Redis)作為前端緩存(需要配置大内存),可緩解後端數據庫壓力,平穩渡過業務高峰;同時,将熱門商品信息作為熱數據駐留在内存中,冷門商品信息置換到共享存儲池中,可進一步降低數據庫壓力;此外,強一緻counter讓活動不再“雪崩”,庫存扣減不再擔心“超賣”,還可以用sorted set幫助構建spam機制,用geo實現物流跟蹤;
針對遊戲客戶
存在一些對時延非常敏感的場景,如跨服對戰,同時需要打造敏捷疊代、功能完備的遊戲系統;
服務價值
GaussDB(for Redis)為客戶提供豐富的數據類型,助力構建高效的遊戲系統。通過使用sorted set數據類型,可以輕松搭建實時排行榜,實時反映玩家的排名情況。而pub/sub機制則可以實現即時聊天室功能,讓玩家能夠随時随地保持溝通。此外,GaussDB(for Redis)還支持部署動态服務器,用于更新玩家發布的“朋友圈”,讓玩家能夠随時分享自己的遊戲經曆和心得。賬号服務器用于保存基本用戶信息,保障玩家賬戶的安全性。好友服務器則用于持久化存儲海量、複雜的玩家關系網,讓玩家能夠輕松查找并保持聯系。
更值得一提的是,GaussDB(for Redis)可以作為前端緩存,通過配置大内存,加快應用訪問速度,有效降低時延。這對于提高遊戲體驗和響應速度具有重要意義。總之,GaussDB(for Redis)憑借其豐富的數據類型和靈活的部署方式,為遊戲開發者提供了全面的解決方案,幫助構建穩定、高效的遊戲系統。
針對物聯網IoT客戶
需要高可靠、高可用、高性能的數據庫,保障業務穩定發展,防止出現阻塞問題。
服務價值
例如多城市車輛充電平台,往往需要管理分布在極大範圍的端點設備,為了讓更多終端輕松互聯、安全管理,可以借助GaussDB(for Redis)構建高并發的任務調度系統、端設備監控以及更多邊緣計算能力。
3.3、購買體驗

先注冊登錄華為雲帳号。
登錄管理控制台并選擇雲數據庫GaussDB(for Redis)。


按需購買哈,這裡博主選購的是2核24GB的


選擇網絡:

設置密碼:

最後一步,買買買。
3.4、連接體驗
獲取Redis客戶端:

解壓客戶端工具包:

連接實例:

出現如下信息,說明連接成功:

四、InfluxDB上雲
GaussDB(for Influx) 是一款采用計算存儲分離架構,兼容InfluxDB生态的雲原生時序數據庫。提供高性能讀寫、高壓縮率、冷熱分層存儲以及彈性擴容、監控告警等服務能力。适用于運維、物聯網、工業生産等監控應用場景。
4.1、優點
性能
億級時間線數據管理,輕松支撐每天萬億記錄寫入,聚合查詢性能卓越。
海量數據分析
支持多維條件組合查詢,更有聚合分析、時序洞察特性,提供全場景支持。
低成本存儲
列式存儲,自适應壓縮算法,自動冷熱分級存儲,存儲成本低。
彈性
計算和存儲可以獨立按需擴容,無需遷移數據,急速完成數據庫集群擴縮容。
4.2、适用場景
針對物聯網IoT客戶
IoT傳感器時序數據分析,助力萬物互聯。
服務價值
·超強寫入:小批量寫入場景性能為開源版本InfluxDB的4.5倍,大批量寫入場景性能為開源版本InfluxDB的3.3倍
·多維度分析:支持多維條件組合查詢,對海量數據分析得心應手
·彈性擴展:基于計算存儲分離的分布式架構,分鐘級計算節點擴容,應對業務高峰期
針對應用運維監控
統一應用運維實時監控,全局把控系統運行狀态。
服務價值
·海量數據支持:支持每天萬億條監控指标寫入,寫入性能線性擴展
·異常檢測:支持多種時序異常類型的檢測告警,異常可視化直觀展示,方便運維人員識别異常,告警策略設置簡單,無需機器學習知識背景
·智能預測:采用多維時序預測算法,利用多指标間關聯關系提高預測準确度,相比傳統預測算法準确度更高
4.3、購買體驗

先注冊登錄華為雲帳号。
登錄管理控制台并選擇GaussDB(for Influx)。


按需購買哈,博主選購的是4核16的:


網絡設置和密碼設置:

最後一步,買買買。
4.4、連接體驗
通過Java語言連接實例:
pom.xml依賴添加:

使用SSL方式連接實例的Java代碼示例:

使用非SSL方式連接實例的Java代碼示例:


使用連接池方式連接實例的Java代碼示例:

#FormatImgID_35#
五、文檔數據庫上雲
華為雲文檔數據庫服務(Document Database Service,簡稱DDS)完全兼容MongoDB協議,提供安全、高可用、高可靠、彈性伸縮和易用的數據庫服務,支持分片集群(Sharding)、副本集(ReplicaSet)和單節點三種部署架構,同時提供一鍵部署、彈性擴容、容災、備份、恢複、監控和告警等功能。
5.1、優點
實例類型靈活多樣
文檔數據庫服務DDS支持集群實例、副本集實例、單節點實例等多種實例類型,能夠滿足不同業務場景需求;
彈性伸縮靈活配置
文檔數據庫服務DDS提供了變更實例存儲空間、節點數量、CPU和内存規格的功能,客戶可以根據業務需要靈活配置所需資源;
靈活管理可視可控
管理控制台提供全面的監控信息,簡單易用,靈活管理,可視可控;
多層數據安全保障
通過虛拟私有雲、子網、安全組、存儲加密、DDoS防護以及SSL安全訪問等多層安全防護體系,有力抗擊各種惡意攻擊,保障數據安全;提供審計日志功能,記錄客戶對數據庫或集合執行的操作,幫助客戶對數據庫進行安全審計、故障根因分析等操作;支持細粒度權限,實現精細的權限管理;
豐富工具簡化運維
在備份和恢複方面,支持全量備份、增量備份,副本集支持任意時間點備份恢複,備份數據最多可保存732天;在監控報警方面,可實時監控實例運行的指标,用戶可自定義監控目标與通知策略,及時了解數據庫服務的運行情況。
差異化優勢
1、支持單節點部署,解決無高可用需求的測試場景,節省資源成本;
2、支持用戶設置跨區域備份策略,包含開啟/關閉,備份區域,以及備份保留時長;
3、實例支持可用區遷移:解決用戶AZ級别的容災問題;
4、提供錯誤日志展示和下載功能;
5、支持租戶使用自己在KMS服務上上傳的密鑰對DDS數據進行靜态加密,提高數據安全性,部分金融、外企有加密需求,并且是上雲必備門檻;
6、隻讀複制延遲:客戶可以在控制台設置隻讀節點的複制延遲時間,在緊急情況下(誤删數據)通過延遲的隻讀節點快速找回數據。
5.2、适用場景
針對大型企業和互聯網客戶
往往需要應對TB級數據,有較強的數據存儲需求。且大數據場景下,還需要滿足業務在線數據實時寫入數據庫、大數據計算分析、分析結果反饋等實時查詢、動态分析的需求。
服務價值
DDS的副本集模式采用三節點Replica Set的高可用架構,三個數據節點組成一個反親和組,部署在不同的物理服務器上,自動同步數據。Primary節點和Secondary節點提供服務,兩個節點分别擁有獨立内網地址,配合Driver實現讀取壓力分配。不僅可以滿足大型企業和互聯網行業客戶對海量數據存儲的需求,還能解決數據分析場景需求。
針對遊戲客戶
在遊戲應用中,遊戲玩家活躍高峰期,對并發能力要求較高,同時随着業務發展,在遊戲玩法變化時可能還需要變更表結構,運維難度和工作量較大;
服務價值
您可以将用戶的遊戲裝備和積分等數據存儲在DDS數據庫中。通過采用DDS的集群類型,您可以有效地應對高并發場景,确保遊戲運行的穩定性和可用性。此外,DDS的副本集和集群架構具備高可用特性,能夠滿足遊戲在高并發場景下的持續穩定運行需求。
DDS與MongoDB兼容,并且采用No-Schema方式,這意味着當遊戲玩法發生變化時,您無需更改表結構。這種靈活性非常适合處理遊戲業務的多變需求。通過将模式固定的結構化數據存儲在雲數據庫RDS中,您可以輕松地管理這些數據。同時,将模式靈活的業務數據存儲在DDS中,可以實現高效的數據存取。為了降低存儲數據的投入成本,您可以将高熱數據存儲在GaussDB(for Redis)中。這種方式可以優化數據存儲和管理,從而降低運營成本。通過合理地利用這些技術和工具,您可以構建一個高效、穩定且靈活的遊戲數據存儲解決方案,以滿足不斷變化的遊戲業務需求。
針對物聯網IoT客戶
IoT智能終端往往需要進行多樣化的數據采集,且需要存儲設備日志信息,并對這些信息進行多維度分析。同時,IoT業務增長快、數據量大、訪問量增長迅速,數據存儲需要具備水平擴展能力;
服務價值
DDS兼容MongoDB,具有高性能和異步數據寫入功能,特定場景下可達到内存數據庫的處理能力。同時,DDS中的集群實例,可動态擴容和增加mongos和shard組件的性能規格和個數,性能及存儲空間可實現快速擴展,非常适合IoT的高并發寫入的場景;
5.3、購買體驗

先注冊登錄華為雲帳号。
登錄管理控制台并選擇DDS。


按需購買哈,博主選購的是,副本集,4核8G的。

網絡設置:

最後一步,買買買。
5.4、連接體驗
Java示例(無證書連接 ):
通過Java連接集群實例時,代碼中的Java鍊接格式如下:

參數說明:


總結
本文分享的内容比較多,從遊戲、電商、社交等泛互聯網行業的現狀和痛點進行分析,主要涉及的問題是:業務上線速度慢、無法彈性擴縮容、運維人力成本高和安全防護問題多。博主建議解決方案是:華為雲數據庫上雲解決方案!
數據庫上雲的核心優點主要有4個方面:
·彈性伸縮,部署靈活
·智能運維,降本增效
·災備完善,安全可靠
·更高可用,更強性能
通過本文的學習,可以對華為雲數據庫上雲有一定的了解和實操經驗。
除了理論方面的分享,文中還介紹了多個不同數據庫類型的上雲實踐分享。主要數據庫有:雲數據庫RDS for MySQL,雲數據庫GaussDB(for Redis),GaussDB(for Influx) 和華為雲文檔數據庫服務(Document Database Service,簡稱DDS)。從優點到适用場景,到購買體驗和連接體驗詳細介紹一番。



目前正值華為雲雙11營銷季,雲數據庫RDS for MySQL 1核2GB隻需15.3元/3個月,更有雲數據庫GaussDB(for Redis)、GaussDB(for Influx)等産品和服務先用後買,讓數據庫輕松上雲!感興趣的朋友快去華為雲官網看看吧!
免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

