調(diào)研機(jī)構(gòu)IDG公司最近發(fā)布的一份調(diào)查報(bào)告表明，雖然組織的數(shù)據(jù)向云平臺(tái)的大規(guī)模遷移并不是從2020年開(kāi)始的，但在這一年中得以快速發(fā)展。絕大多數(shù)組織計(jì)劃在2021年擴(kuò)大對(duì)云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的投資。然而，圍繞數(shù)據(jù)管理和ETL的許多問(wèn)題仍然存在。

調(diào)查發(fā)現(xiàn)，77%的IT決策者計(jì)劃在未來(lái)6到12個(gè)月內(nèi)遷移到云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)或擴(kuò)展現(xiàn)有的云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)。另有21%的IT決策者計(jì)劃在未來(lái)24個(gè)月擴(kuò)展其云數(shù)據(jù)倉(cāng)庫(kù)。只有1%的IT決策者表示，他們沒(méi)有遷移或擴(kuò)展云數(shù)據(jù)倉(cāng)庫(kù)的計(jì)劃。

這些調(diào)查數(shù)據(jù)非常突出，特別是考慮到IDG公司的調(diào)查參與者中只有38%（他們是商業(yè)智能、分析或數(shù)據(jù)科學(xué)領(lǐng)域的主管和更高級(jí)別的決策者）擁有云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)。調(diào)查發(fā)現(xiàn)，30%的組織正在運(yùn)行內(nèi)部部署的數(shù)據(jù)倉(cāng)庫(kù)，而23%的組織使用非云數(shù)據(jù)倉(cāng)庫(kù)。

顯然，在2021年的數(shù)據(jù)分析計(jì)劃中，云計(jì)算對(duì)各種規(guī)模的組織都有重要影響。例如Snowflake、AWS、Microsoft Azure、Google Cloud和Databrickss提供的云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)正在搶占市場(chǎng)份額。除了這些頂級(jí)的云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)供應(yīng)商之外，大多數(shù)為內(nèi)部部署開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)的供應(yīng)商在這一方面也提供了類(lèi)似的產(chǎn)品。

根據(jù)ETL供應(yīng)商Matillion公司委托IDG公司進(jìn)行的調(diào)查，盡管云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)顯然正在快速增長(zhǎng)，但不到一半的用戶(hù)計(jì)劃使用云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)。

IDG調(diào)查表明云數(shù)據(jù)倉(cāng)庫(kù)部署正在增長(zhǎng)

調(diào)查表明，57%的組織將采用內(nèi)部部署和云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)相結(jié)合的數(shù)據(jù)管理策略，22%的組織采用多云數(shù)據(jù)倉(cāng)庫(kù)的策略。在采用云數(shù)據(jù)倉(cāng)庫(kù)策略的公司中，只有21%的組織使用單一的云平臺(tái)。

這項(xiàng)調(diào)查在數(shù)據(jù)湖方面也有類(lèi)似的故事，數(shù)據(jù)湖是一個(gè)無(wú)限可擴(kuò)展且價(jià)格低廉的數(shù)據(jù)存儲(chǔ)，在過(guò)去十年中已經(jīng)接替了Hadoop的職責(zé)。IDG公司的調(diào)查發(fā)現(xiàn)，雖然目前只有16%的組織正在使用數(shù)據(jù)湖，但高達(dá)56%的組織表示在將來(lái)使用數(shù)據(jù)湖，而另外26%的組織正在考慮使用數(shù)據(jù)湖。只有2%的組織表示并未考慮使用數(shù)據(jù)湖。

盡管很多組織正在將大量數(shù)據(jù)遷移到各種云存儲(chǔ)庫(kù)，但不應(yīng)將云計(jì)算技術(shù)視為應(yīng)對(duì)所有數(shù)據(jù)管理挑戰(zhàn)的靈丹妙藥。IDG公司的調(diào)查報(bào)告顯示，數(shù)據(jù)分析從業(yè)者需要一周的時(shí)間才能得到一個(gè)給定的數(shù)據(jù)集來(lái)進(jìn)行分析。總的來(lái)說(shuō)，準(zhǔn)備和匯總數(shù)據(jù)進(jìn)行分析需要花費(fèi)將近一半的時(shí)間（45%），另外30%的時(shí)間用于探索和訓(xùn)練大型模型。只有25%的時(shí)間用于處理部署到生產(chǎn)中的模型。

Matillion公司產(chǎn)品總監(jiān)David Langton對(duì)原有分析陷阱正在增長(zhǎng)并不感到驚訝。他說(shuō)：“有很多原因使這種問(wèn)題難以解決。首先也是最重要的一點(diǎn)是，組織所能生成的最有趣的分析和報(bào)告并不是來(lái)自單一的數(shù)據(jù)源，必須結(jié)合起來(lái)?！?/p>

他表示，云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)是將有趣的數(shù)據(jù)組合在一起，從而為用戶(hù)帶來(lái)有利可圖的見(jiàn)解。他說(shuō)，一些客戶(hù)具有在內(nèi)部部署設(shè)施進(jìn)行這一操作的經(jīng)驗(yàn)，并且只是在利用云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)提供的規(guī)模，而其他一些客戶(hù)現(xiàn)在才開(kāi)始參與其中。

Langton說(shuō)，“我們過(guò)去經(jīng)常在內(nèi)部部署設(shè)施做所有這類(lèi)事情。我們現(xiàn)在正在重新構(gòu)想、重新配置工具，并將大量數(shù)據(jù)移動(dòng)到云平臺(tái)中。有一些客戶(hù)對(duì)需要達(dá)到什么目標(biāo)，進(jìn)行現(xiàn)代化改造并以新的方式來(lái)做到這一點(diǎn)很了解。但也有很多新客戶(hù)從未做過(guò)。”

他表示，客戶(hù)選擇在ETL/ELT工具上進(jìn)行大量選擇，以選擇在云存儲(chǔ)庫(kù)中移動(dòng)和轉(zhuǎn)換其數(shù)據(jù)。他注意到最近出現(xiàn)的一個(gè)趨勢(shì)，即供應(yīng)商將主要專(zhuān)注于提取和加載，而將轉(zhuǎn)換留給數(shù)據(jù)倉(cāng)庫(kù)供應(yīng)商。一些ETL/ELT供應(yīng)商也支持轉(zhuǎn)換，但僅提供通用轉(zhuǎn)換。

在Matillion公司的案例中，該公司旨在提供功能齊全的ETL工具，該工具不僅可以提取和加載數(shù)據(jù)，而且還支持針對(duì)各種不同的內(nèi)部部署和云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)庫(kù)內(nèi)轉(zhuǎn)換。他表示，即保持靈活性使其能夠跨多個(gè)數(shù)據(jù)目的使用許多不同的數(shù)據(jù)類(lèi)型，是Matillion公司提供的產(chǎn)品的重要價(jià)值。

Langton說(shuō)，“對(duì)我們來(lái)說(shuō)，這是一個(gè)與眾不同的地方。許多ETL工具提供商都表示，具有一個(gè)讀取數(shù)據(jù)和寫(xiě)入數(shù)據(jù)的標(biāo)準(zhǔn)適配器，并且中間是我們的轉(zhuǎn)換邏輯，因此獲得的好處是只需要編寫(xiě)一次轉(zhuǎn)換邏輯。我們?yōu)橹С值拿總€(gè)目標(biāo)系統(tǒng)編寫(xiě)轉(zhuǎn)換邏輯，以對(duì)其進(jìn)行優(yōu)化。因此，我們將在Snowflake上以首選方式進(jìn)行操作，或者在Redshift上以首選方式進(jìn)行操作，而不是將它們?nèi)恳暈楹诤?，并且它們?a href="http://m.brongaenegriffin.com/v/tag/773/" target="_blank">工作原理都是相同的?！?/p>

由于采取許多不同的方法，因此靈活性很重要。一些數(shù)據(jù)倉(cāng)庫(kù)使用一種讀模式方法（Hadoop就是這樣設(shè)計(jì)的），而另一些則在數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)時(shí)強(qiáng)制使用一種模式。事實(shí)上，許多云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)都配備了查詢(xún)處理功能，允許它們查詢(xún)駐留在云計(jì)算數(shù)據(jù)湖中的數(shù)據(jù)，這也加劇了混淆。支持JSON數(shù)據(jù)類(lèi)型的各種方法也是如此，在使用SQL語(yǔ)言查詢(xún)JSON數(shù)據(jù)類(lèi)型之前，通常必須將其扁平化。

總體而言，云計(jì)算分析中的工具和技術(shù)已經(jīng)得到了極大的改進(jìn)，隨著客戶(hù)發(fā)現(xiàn)適合他們的方法，這推動(dòng)了實(shí)驗(yàn)的發(fā)展。Langton表示，在中間使用ETL/ELT工具定義數(shù)據(jù)的客戶(hù)具有一個(gè)優(yōu)勢(shì)，即可以輕松地更換數(shù)據(jù)倉(cāng)庫(kù)。

他說(shuō)：“我們?cè)絹?lái)越多地看到人們?cè)诔蔀榭蛻?hù)后遷移和嘗試不同的數(shù)據(jù)倉(cāng)庫(kù)，并希望嘗試采用另一個(gè)數(shù)據(jù)倉(cāng)庫(kù)。顯然，我們有辦法幫助遷移。但這確實(shí)表明組織已經(jīng)全力以赴，在這些決策上進(jìn)行了很大的投入，希望在幾年之內(nèi)可以更新并嘗試新的解決方案?！?br /> 責(zé)編AJX