一般情況下，要使大數(shù)據(jù)項(xiàng)目成功，至少需要兩件事：其一，知道需要什么可操作的數(shù)據(jù);其二，獲得正確的數(shù)據(jù)來(lái)進(jìn)行分析和利用，以實(shí)現(xiàn)預(yù)期目標(biāo)。

6. 節(jié)約企業(yè)數(shù)據(jù)倉(cāng)庫(kù)資源

最后一個(gè)優(yōu)點(diǎn)是，正如上面來(lái)自PwC的說(shuō)明所示，數(shù)據(jù)湖可以作為數(shù)據(jù)倉(cāng)庫(kù)(EDW)的中轉(zhuǎn)區(qū)域。

然后，它僅用于將相關(guān)數(shù)據(jù)傳遞到倉(cāng)庫(kù)，從而節(jié)省EDW資源。

數(shù)據(jù)湖的挑戰(zhàn)、風(fēng)險(xiǎn)和演變

大數(shù)據(jù)湖有諸多的好處，同時(shí)，也有風(fēng)險(xiǎn)和挑戰(zhàn)需應(yīng)對(duì)。

如果沒(méi)有正確的戰(zhàn)略設(shè)計(jì)，并考慮到必要的目標(biāo)，數(shù)據(jù)湖可能成為數(shù)據(jù)沼澤。這也是為什么企業(yè)從非常傳統(tǒng)的數(shù)據(jù)湖方法轉(zhuǎn)向面向目標(biāo)和業(yè)務(wù)導(dǎo)向的方法的原因。

顯然，應(yīng)該從業(yè)務(wù)驅(qū)動(dòng)和戰(zhàn)略方針著手來(lái)處理數(shù)據(jù)湖。然而，傳統(tǒng)上，這些數(shù)據(jù)往往是從不斷上升的數(shù)據(jù)量角度和最終所有數(shù)據(jù)都具有潛在價(jià)值的觀點(diǎn)來(lái)看待的。

雖然這個(gè)價(jià)值確實(shí)是有潛力的，但相當(dāng)多的公司表現(xiàn)得像數(shù)據(jù)囤積者。此外，公司是否需要一個(gè)數(shù)據(jù)湖，如果需要，是否可以從數(shù)據(jù)湖中獲得價(jià)值。

Gartner2015年的一份報(bào)告中顯示，一些公司的Hadoop((數(shù)據(jù)湖架構(gòu)的者)是過(guò)猶不及的，技術(shù)上的差距是阻礙發(fā)展的主要原因。

大數(shù)據(jù)湖的規(guī)模

由于大數(shù)據(jù)量和大數(shù)據(jù)使用量不斷增長(zhǎng)，大數(shù)據(jù)規(guī)劃的廣度、深度和包容性都在增加，因此數(shù)據(jù)湖的大小顯然也在不斷增長(zhǎng)。

一篇Dimensional Research2018年大數(shù)據(jù)趨勢(shì)和挑戰(zhàn)報(bào)告的博客文章指出，平均數(shù)據(jù)湖大小超過(guò)100太字節(jié)的組織比例從2017年的36%增長(zhǎng)到2018年的44%( 一年內(nèi)增加22%)。這種趨勢(shì)只會(huì)持續(xù)下去，而且是大數(shù)據(jù)處理向云轉(zhuǎn)變的眾多驅(qū)動(dòng)因素之一。

然而，難題依然存在：如何從所有這些數(shù)據(jù)中獲取價(jià)值。決策和行動(dòng)是市場(chǎng)如何發(fā)展的關(guān)鍵驅(qū)動(dòng)力。

確保數(shù)據(jù)湖不會(huì)變成數(shù)據(jù)沼澤

讓我們更深入地研究這些數(shù)據(jù)沼澤。如前所述，在數(shù)據(jù)湖的早期，重點(diǎn)是大數(shù)據(jù)的容量方面，許多企業(yè)實(shí)際上使用數(shù)據(jù)湖作為轉(zhuǎn)儲(chǔ)數(shù)據(jù)的地方。

這導(dǎo)致了數(shù)據(jù)沼澤的現(xiàn)象，需采取適當(dāng)?shù)姆椒ū３謹(jǐn)?shù)據(jù)湖的清潔。

直到今天，仍然聽到一些組織提出常規(guī)性的問(wèn)題，比如：“我應(yīng)該用一個(gè)數(shù)據(jù)湖來(lái)替換我的數(shù)據(jù)中心嗎?”。數(shù)據(jù)湖經(jīng)常與數(shù)據(jù)中心相比較，雖然理解這些差異很重要，但問(wèn)題是使用什么，什么時(shí)候使用并不是重點(diǎn)，正如咨詢師所言，你真正需要的是什么，要視情況而定。

我們的旨在通過(guò)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析和商業(yè)智能環(huán)境來(lái)解決它們所適應(yīng)的商業(yè)智能環(huán)境的問(wèn)題。

• 數(shù)據(jù)可實(shí)現(xiàn)什么;
• 如何從這些數(shù)據(jù)中獲得更多的價(jià)值;
• 通過(guò)高級(jí)分析將數(shù)據(jù)貨幣化的用例有哪些;
• 我們需要什么技能;
• 我們的業(yè)務(wù)是如何由數(shù)據(jù)驅(qū)動(dòng)的;
• 我們今天的處境(包括技能和文化)
• 在法規(guī)范圍內(nèi)，我們需要考慮到哪些有關(guān)敏感數(shù)據(jù)的問(wèn)題;
• 。。。

當(dāng)數(shù)據(jù)湖的數(shù)據(jù)情況變得清晰無(wú)誤時(shí)，就不難確保它不會(huì)變成一個(gè)數(shù)據(jù)沼澤。這種討論已經(jīng)進(jìn)行了很長(zhǎng)時(shí)間，數(shù)據(jù)湖需要更多的策略和關(guān)注。

改變數(shù)據(jù)湖的要素：云、分析、價(jià)值和AI/ML

當(dāng)然，數(shù)據(jù)湖也不像以前所觸及的那樣了。在早期，數(shù)據(jù)湖本質(zhì)上是添加Hadoop，并保留所有現(xiàn)有的內(nèi)容，而現(xiàn)在，我們可以更多地使用云中的數(shù)據(jù)。

最初，一個(gè)數(shù)據(jù)湖是給那些有技能和能力的用戶使用：找到他們想要的數(shù)據(jù)，然后能夠使用模式在讀技術(shù)來(lái)處理這個(gè)問(wèn)題。幸運(yùn)的是，SQL正在進(jìn)入數(shù)據(jù)湖，我們開始學(xué)習(xí)如何對(duì)其中的不同島嶼建模，讓用戶直接訪問(wèn)數(shù)據(jù)湖中的數(shù)據(jù)。

云的增長(zhǎng)速度和它在業(yè)務(wù)中總體增長(zhǎng)速度一樣快。很明顯，數(shù)據(jù)湖的未來(lái)意味著云，盡管某些行業(yè)也會(huì)有例外，其中包括監(jiān)管問(wèn)題，以及傳統(tǒng)上對(duì)公眾云采取更為謹(jǐn)慎的做法。
一些企業(yè)顯然也從過(guò)去所犯的錯(cuò)誤中吸取了教訓(xùn)，最后，隨著人工智能和機(jī)器學(xué)習(xí)變得更加重要，重點(diǎn)更多的放在結(jié)果和價(jià)值上，以及對(duì)近實(shí)時(shí)分析、高級(jí)分析和可視化的需求，人們更加關(guān)注結(jié)果和價(jià)值。

我們還看到數(shù)據(jù)湖向商業(yè)智能解決方案轉(zhuǎn)變。簡(jiǎn)單地總結(jié)一下：數(shù)據(jù)湖景觀發(fā)展迅速，其本質(zhì)仍然是將數(shù)據(jù)轉(zhuǎn)化為價(jià)值和更好地實(shí)現(xiàn)這一目標(biāo)的手段，技術(shù)前沿的大量趨勢(shì)和經(jīng)驗(yàn)教訓(xùn)，使得我們很難將數(shù)據(jù)湖的過(guò)去與現(xiàn)在進(jìn)行比較，更不用說(shuō)未來(lái)了。許多組織表示，它們計(jì)劃部署一個(gè)數(shù)據(jù)湖，并轉(zhuǎn)向云，這一未來(lái)看上去相當(dāng)光明。

要知道，當(dāng)數(shù)據(jù)湖變得流行時(shí)，大數(shù)據(jù)仍然是一個(gè)熱門詞，至少大數(shù)據(jù)已經(jīng)變得無(wú)所不在了。大數(shù)據(jù)就是數(shù)據(jù)，問(wèn)題是如何處理它?？偟膩?lái)說(shuō)，數(shù)據(jù)的成熟度已經(jīng)提高，新一代的專家知道，大數(shù)據(jù)分析是獲得價(jià)值的關(guān)鍵所在，你對(duì)待數(shù)據(jù)的方式與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)時(shí)代不同-關(guān)于利用大數(shù)據(jù)的思維方式和文化已經(jīng)在醞釀。

網(wǎng)站標(biāo)題：數(shù)據(jù)湖里沒(méi)有“水怪”，有的是，，，
瀏覽路徑：http://www.rwnh.cn/news12/104562.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、網(wǎng)站維護(hù)、云服務(wù)器、軟件開發(fā)、微信公眾號(hào)、全網(wǎng)營(yíng)銷推廣

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)