運維數據：建設與落地AIOps的基石

自全球IT咨詢機構Gartner在2017年正式提出AIOps以來，國内外各個企業與廠商都在積極探索與嘗試利用大數據、機器學習技術來改進和增強傳統IT運維能力(如在監控、自動化和服務管理等方向)。

   關于AIOps，業界有很多的定義和解釋，但筆者在2019年底參加Gartner全球I&O大會時，分析師Charley Rich一語道破了本質：“智能運維另外一個名字就是數據分析;(My name is AIOps, but you can call me Data Analytics……)”。所以，撥開迷霧，除了各種各樣數據應用場景、高深複雜的算法和酷炫的可視化，其最基礎的部分就是數據——運維數據是構建和落地AIOps的基石。

   運維數據驅動AIOps成為必選項

   業務增長速度快、架構複雜度指數級升高，帶來的是運維數據的極大變化。傳統運維數據一般僅涉及到底層基礎設施以及部分應用，但是在以用戶體驗和業務結果為核心的外向型運維管理模式下，運維數據的邊界已然被打開了。

   現在的運維數據不僅包括面向多層技術棧的各類參數與文件，同時還包括了各種用戶體驗的數據以及與企業休戚相關的核心業務質量KPI等，如下圖所示。

  面向全棧的運維數據

   運維數據的另外一個特點是數據類型的多樣性(Variety)，可分為時序型指标、追蹤(關聯)模型、日志數據、配置管理數據、告警事件、工單數據和運維知識/運維知識圖譜等類型。

   運維數據邊界的開放，同時意味着數據量的極速暴漲，以某大型企業運維部門的數據為例，在2017年數據處理量穩定在150億條/天， 2018年的數據是800億條/天，而到2019年中處理量已經達到了驚人的2000億條/天，數據洪水帶來價值挖掘成本也越來越高。

   運維監控另一個突出特點是問題發現的敏捷性，故障發生的同時就要根據數據實現事件的産生與消息通知。因此大部分運維數據都是流式數據，數據的價值随着時間的流逝而降低，因此必須實時計算并給出秒級響應。

   運維監控最核心任務之一就是對業務應用的故障預防、定位與處置。而在處理突發故障時，現有工具和解決手段存在效率低、不準确、不及時的問題，因為我們面向的IT環境架構比以往規模更大、複雜度更高、海量數據的挖掘更困難，而處理海量、實時、多樣的數據并産生高價值的工作恰恰是機器學習的特長。因此，利用機器學習等AI技術對運維數據進行處理的AIOps，成為運維發展的必然走向。

   面向智能運維的數據體系方案

   落地AIOps戰略，一方面要強調運維數據的基礎作用，另一面要形成運維數據治理與應用的全局體系，圍繞規劃、系統與實施三個階段，面向運維數據的全生命周期與業務導向結果，從數據的整體規劃、運維數據源、數據采集、數據的計算與處理、指标管理體系規劃與實施、專業運維數據庫的建立以及數據的典型應用場景等多角度着手，如下圖所示。

  【面向AIOps的數據體系建設】

   面向未來的基于數據驅動的運維管理模式将以主動、集中、業務價值為核心，構建一種颠覆傳統運維的全新管理方法：

   ●從IT系統的各個對象，以及現有監控工具中獲取全量，海量以及多樣的運維數據;

   ●将指标、事件、告警、日志、工單等各類運維數據在運維大數據系統上進行統一存儲與處理;

   ●通過機器學習和先進的運維場景分析方法，主動識别和響應數據模型潛在的問題，評價IT基礎設施和應用對于業務運營的影響。

   數據作為企業的核心資産，提升數據分析能力、數據決策水平以及數字化運維效能，努力營造“基于數據說話、基于數據管理、基于數據決策”的工作氛圍是數字化轉型的行動方針。

   對于運維團隊，面向不斷變化的業務與極速挑戰，更要用“夯實數據基礎，提升數據質量，穩步推進數據應用”作出表率。借助新的運維數據管理模式，能對IT系統以及業務進行高效精準的管理，輔助故障根因分析，有效降低MTTD(Mean Time To Detect，平均故障檢測時間)和MTTR(Mean Time To Restore，平均故障恢複時間)，并大幅減輕運維工作壓力，顯著降低成本，不斷提升服務質量和用戶體驗。

   運維數據的典型應用場景

   所有運維數據的智能運維場景，都是AIOps本身的應用場景，這裡用問題發現、智能告警、故障診斷、數據預測等幾個典型場景進行舉例說明。

   (1)智能異常檢測：企業IT系統規模的擴大、運維環境的複雜化、監控數據量的海量增長，使得運維人員從海量的數據中發現問題的難度也越來越大。而智能異常檢測通過基于曆史數據模型的異常檢測等方法，能夠自動、實時、準确地從監控數據中發現異常，為後續故障的分析與處理提供基礎。根據對象的不同異常檢測可劃分為數據源異常檢測、文本異常檢測、數據源異常檢測。

   (2)智能異常預測：在實際的運維過程中，故障往往不是獨立存在的。海恩法則告訴我們，任何不安全的事故都可以預防。智能異常預測通過對重要特性數據進行預測算法學習來實現故障的提前診斷、從而避免損失。故障預測的典型場景包括：磁盤故障預測、網絡故障預測以及内存洩露預測等。

   (3)故障關聯分析：在運維過程中，各類監控工具每天會産生大量冗餘的告警，而這些告警之間可能存在一些關聯，隻有找到産生告警的根本原因才能快速、有效地對故障進行處理。關聯分析可以用于發現隐藏在大型數據集中有意義的聯系。在智能運維中，我們通過對曆史數據的學習和分析，發現有意義的關聯數據，再通過對關聯數據的分析建立業務與硬件的拓撲關系，從而實現故障的提前預警以及根源分析。

   (4)故障根因分析：對故障進行根源分析是在衆多可能引起故障的因素中，追溯到導緻故障發生的症結所在，并找出根本性的解決方案。利用機器學習或者深度學習的方法，我們可以找出不同因素之間的強相關關系，并利用這些關系，推斷出哪些因素是根本性的因素。故障根因分析可以幫助用戶快速診斷問題、提高故障的定位速度以及修複效率。

   (5)容量規劃預測：為保證業務的正常運營，企業需要對容量進行合理的評估。過多的預留容量會造成浪費、增加企業成本;而過少的容量則可能帶來故障、造成業務損失。而随着IT架構的廣泛雲化，容量評估也不僅僅是對硬件需求的預測，更有可能是為優化業務運行成本而進行的服務平台選擇的關鍵。利用智能運維中的解決方案，通過分析業務量、業務性能以及資源的占用情況的曆史數據，并結合業務量預測數據來建立容量規劃模型，從而在保證業務性能的同時幫助企業節省運營成本。

   (6)業務與性能關聯分析：應用故障以及性能問題發生時，往往會影響用戶體驗進而對業務造成影響，在智能運維方案裡，通過建立業務關鍵指标與性能之間的關系模型，從海量的曆史數據中分析性能與業務之間的非線性、多因素關系，從事後的影響評估、事前的What-if預測分析等多方面來考慮性能問題對業務的影響。比如通過分析IT性能提升與降低對業務好壞的量化影響來快速發現業務與IT性能之間的量化關系，分析IT性能對業務的影響程度。

   (7)告警壓縮：企業各種監控工具會産生海量的告警信息，這些告警信息中可能存在大量的冗餘告警甚至形成告警風暴，對運維人員産生極大幹擾。傳統運維平台無法對告警風暴進行有效處理，而在智能運維中，我們針對短時、大量、甚至是持續的冗餘告警，可以通過相似度、相關性判斷對這些冗餘告警進行合并，從而為運維人員提供有效的告警信息，大幅降低運維工作難度、提升運維KPI。

   (8)智能化故障處理：傳統運維管理中對故障的處理非常依賴運維人員的經驗，但人的經驗無法覆蓋所有故障範圍，運維人員經驗不足可能造成運維效率低下或者産生錯誤決策。而在智能運維中，将API接入的實時監測結果或預測結果引入決策知識庫(智慧大腦)智能生成決策建議，并根據實際結果及趨勢判斷采用的處理策略，可以是人工處理或者自動處理。故障智能處理可以減少問題排查的時間、大幅提高問題解決的效率，提升企業運維标準化程度。

   總結和展望

   運維數據作為AIOps的最基礎構成，無疑起到了基石的作用。企業在實施AIOps時，必須從最開始就注重運維數據，建設數字化運維數據體系，踐行數據文化與應用模式，面向業務與用戶體驗不斷疊代與優化，才能把AIOps戰略落到實處。