研究機構IDG公司最近發布的一份調查報告顯示，雖然組織數據向雲平台的大規模遷移在2020年沒有開始，但今年發展迅速。大多數組織計劃在2021年擴大對雲計算數據倉庫和數據湖的投資。然而，圍繞數據管理和ETL的許多問題仍然存在。
調查顯示，77%的IT決策者計劃在未來6至12個月内遷移到雲計算數據倉庫或擴展現有的雲計算數據倉庫。另有21%的信息技術決策者計劃在未來24個月内擴展他們的雲數據倉庫。隻有1%的IT決策者表示沒有遷移或擴展雲數據倉庫的計劃。
這些調查數據非常出色，尤其是考慮到隻有38%的IDG調查參與者(商業智能、分析或數據科學領域的高管和高層決策者)擁有雲計算數據倉庫。根據調查，30%的組織運行内部數據倉庫，而23%的組織使用非雲數據倉庫。
顯然，在2021年的數據分析計劃中，雲計算對各種規模的組織都有着重要的影響。比如雪花、AWS、MicrosoftAzure、GoogleCloud、Databrickss等提供的雲計算數據倉庫，市場份額正在增加。除了這些的雲計算數據倉庫廠商，大部分開發數據倉庫用于内部部署的廠商也在這方面提供類似的産品。
根據ETL供應商Matillion公司委托IDG公司進行的調查，雖然雲計算數據倉庫顯然發展迅速，但不到一半的用戶計劃使用雲計算數據倉庫。
IDG調查顯示，雲數據倉庫部署正在增長。
調查顯示，57%的組織将采用内部部署與雲計算數據倉庫相結合的數據管理策略，22%的組織将采用雲數據倉庫策略。在采用雲數據倉庫戰略的公司中，隻有21%的組織使用單一雲平台。
這個調查有一個類似的關于數據湖的故事，數據湖是一個無限可擴展且廉價的數據存儲，在過去的十年裡接手了Hadoop的責任。根據IDG的調查，雖然目前隻有16%的組織在使用數據湖，但高達56%的組織表示他們将來會使用數據湖，而另外26%的組織正在考慮使用數據湖。隻有2%的組織表示他們不考慮使用數據湖。
盡管許多組織正在将大量數據遷移到各種雲存儲庫中，但雲計算技術不應被視為解決所有數據管理挑戰的靈丹妙藥。根據IDG的調查報告，數據分析從業者需要一周的時間來獲得一個給定的數據集進行分析。一般來說，準備和總結數據進行分析需要将近一半的時間(45%)，另外30%的時間用于探索和訓練大型模型。隻有25%的時間花在部署到生産中的模型上。
Matillion的産品總監大衛·朗頓(DavidLangton)對最初的分析陷阱越來越多并不感到驚訝。他說:“造成這類問題難以解決的原因很多。第一點也是最重要的一點是，組織能夠生成的最有趣的分析和報告不是來自單一的數據源，而是必須結合起來。”
他說，雲計算數據倉庫結合有趣的數據，為用戶帶來有利可圖的見解。他說，一些客戶有在内部為這項操作部署設施的經驗，他們隻是在利用雲計算數據倉庫提供的規模，而其他客戶現在才開始參與。
朗頓說，“我們過去常常在内部部署設施來做所有這些事情。我們現在正在重新構思、重新配置工具，并将大量數據轉移到雲平台。一些客戶很清楚需要實現什麼，現代化和以新的方式實現什麼。但也有很多新客戶沒做過。”
他說，客戶選擇在ETL/ELT工具上做出許多選擇，以在雲存儲中移動和轉換他們的數據。他注意到了最近的一個趨勢，就是供應商将主要集中在提取和裝載上，把轉型留給數據倉庫供應商。一些ETL/ELT廠商也支持轉換，但隻提供一般的轉換。
以Matillion為例，該公司旨在提供一個功能齊全的ETL工具，不僅可以提取和加載數據，還可以支持各種内部部署和雲計算數據倉庫系統的數據庫内轉換。他說，保持跨多個數據目的使用多種不同數據類型的靈活性是Matillion提供的産品的一個重要價值。
朗頓說:“這對我們來說是一個特别的地方。很多ETL工具提供者說他們有一個讀寫數據的标準适配器，我們的轉換邏輯在中間，這樣的好處是我們隻需要寫一次轉換邏輯。我們為每個支持的目标系統編寫轉換邏輯來優化它。所以我們會在雪花上按方式操作，或者在紅移上按方式操作，而不是把它們都當成黑盒，它們的工作方式都是一樣的。”
靈活性很重要，因為采用了許多不同的方法。一些數據倉庫使用讀取模式方法(Hadoop就是這樣設計的)，而另一些數據倉庫在數據寫入數據庫時強制使用模式。事實上，許多雲計算數據倉庫都配備了查詢處理功能，允許它們查詢駐留在雲計算數據湖中的數據，這也加劇了混亂。支持JSON數據類型的各種方法也是如此，通常在使用SQL語言查詢JSON數據類型之前必須先對其進行扁平化。
總的來說，雲計算分析中的工具和技術有了很大的改進，這促進了實驗的發展，因為客戶找到了适合他們的方法。朗頓說，使用ETL/ELT工具在中間定義數據的客戶的優勢是，他們可以輕松地更改數據倉庫。
他說:“我們越來越多地看到人們在成為客戶後遷移并嘗試不同的數據倉庫，并希望嘗試采用另一種數據倉庫。顯然，我們有辦法幫助遷移。但這确實表明，該組織已經全力以赴，在這些決策上投入巨資，希望在幾年内更新和嘗試新的解決方案。”
免責聲明：本文僅代表作者個人觀點，與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實，對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體，轉載目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，若因作品内容、知識産權、版權和其他問題，請及時提供相關證明等材料并與我們聯系，本網站将在規定時間内給予删除等相關處理.
