問題導讀

1.本文認為有哪5種大數(shù)據(jù)主流架構？

2.傳統(tǒng)大數(shù)據(jù)架構是什么架構？

3.Lambda 架構包含哪些內容？

之所以叫傳統(tǒng)大數(shù)據(jù)架構，是因為其定位是為了解決傳統(tǒng)BI的問題。簡單來說，數(shù)據(jù)分析的業(yè)務沒有發(fā)生任何變化，但是因為數(shù)據(jù)量、性能等問題導致系統(tǒng)無法正常使用，需要進行升級改造，那么此類架構便是為了解決這個問題?？梢钥吹?，其依然保留了ETL的動作，將數(shù)據(jù)經(jīng)過ETL動作進入數(shù)據(jù)存儲。

優(yōu)點：簡單、易懂，對于BI系統(tǒng)來說，基本思想沒有發(fā)生變化，變化的僅僅是技術選型，用大數(shù)據(jù)架構替換掉BI的組件。

缺點：對于大數(shù)據(jù)來說，沒有BI下如此完備的Cube架構，雖然目前有Kylin，但是Lylin的局限性非常明顯，遠遠沒有BI下Cube的靈活度和穩(wěn)定度，因此對業(yè)務支撐的靈活度不夠，所以對于存在大量報表或復雜鉆取的場景，需要太多的手工定制化，同時該架構依舊以批處理為主，缺乏實時的支撐。

適用場景：數(shù)據(jù)分析需求依舊以BI場景為主，但是因為數(shù)據(jù)量、性能等問題無法滿足日常使用。

在傳統(tǒng)大數(shù)據(jù)架構的基礎上，流式架構非常激進，直接拔掉了批處理，數(shù)據(jù)全程以流的形式處理，所以在數(shù)據(jù)接入端沒有了ETL，轉而替換為數(shù)據(jù)通道。經(jīng)過流處理加工后的數(shù)據(jù)，以消息的形式直接推送給了消費者。雖然有一個存儲部分，但是該存儲更多以窗口的形式進行存儲，所以該存儲并非發(fā)生在數(shù)據(jù)湖，而是在外圍系統(tǒng)。

優(yōu)點：沒有臃腫的ETL過程，數(shù)據(jù)的實效性非常高。

缺點：對于流式架構來說，不存在批處理，因此對于數(shù)據(jù)的重播和歷史統(tǒng)計無法很好的支撐。對于離線分析僅僅支撐窗口之內的分析。

適用場景：預警、監(jiān)控、對數(shù)據(jù)有有效期要求的情況。

Lambda架構算是大數(shù)據(jù)系統(tǒng)里面舉足輕重的架構，大多數(shù)架構基本都是Lambda架構或者基于其變種的架構。

Lambda的數(shù)據(jù)通道分為兩條分支：實時流和離線。實時流依照流式架構，保障了其實時性，而離線則以批處理方式為主，保障了最終一致性。

什么意思呢？流式通道處理為保障實效性更多的以增量計算為主輔助參考，而批處理層則對數(shù)據(jù)進行全量運算，保障其最終的一致性。因此，Lambda最外層有一個實時層和離線層合并的動作，此動作是Lambda里非常重要的一個動作，大概的合并思路如下：

優(yōu)點：既有實時又有離線，對于數(shù)據(jù)分析場景涵蓋的非常到位。

缺點：離線層和實時流雖然面臨的場景不相同，但是其內部處理的邏輯卻是相同，因此有大量冗余和重復的模塊存在。

適用場景：同時存在實時和離線需求的情況。

Kappa架構在Lambda的基礎上進行了優(yōu)化，將實時和流部分進行了合并，將數(shù)據(jù)通道以消息隊列進行替代。因此對于Kappa架構來說，依舊以流處理為主，但是數(shù)據(jù)卻在數(shù)據(jù)湖層面進行了存儲，當需要進行離線分析或者再次計算的時候，則將數(shù)據(jù)湖的數(shù)據(jù)再次經(jīng)過消息隊列重播一次則可。

優(yōu)點：Kappa架構解決了Lambda架構里面的冗余部分，以數(shù)據(jù)可重播的超凡脫俗的思想進行了設計，整個架構非常簡潔。

缺點：雖然Kappa架構看起來簡潔，但是施難度相對較高，尤其是對于數(shù)據(jù)重播部分。

適用場景：和Lambda類似，該架構是針對Lambda的優(yōu)化。

以上的種種架構都圍繞海量數(shù)據(jù)處理為主，Unifield架構則更激進，將機器學習和數(shù)據(jù)處理揉為一體，從核心上來說，Unifield依舊以Lambda為主，不過對其進行了改造，在流處理層新增了機器學習層?？梢钥吹綌?shù)據(jù)在經(jīng)過數(shù)據(jù)通道進入數(shù)據(jù)湖后，新增了模型訓練部分，并且將其在流式層進行使用。同時流式層不單使用模型，也包含著對模型的持續(xù)訓練。

優(yōu)點：Unifield架構提供了一套數(shù)據(jù)分析和機器學習結合的架構方案，非常好的解決了機器學習如何與數(shù)據(jù)平臺進行結合的問題。

缺點：Unifield架構實施復雜度更高，對于機器學習架構來說，從軟件包到硬件部署都和數(shù)據(jù)分析平臺有著非常大的差別，因此在實施過程中的難度系數(shù)更高。

適用場景：有著大量數(shù)據(jù)需要分析，同時對機器學習方便又有著非常大的需求或者有規(guī)劃的情況。

總結

以上為目前數(shù)據(jù)處理領域使用較多的幾種架構，當然還有非常多其他架構，不過其思想都會或多或少的類似。數(shù)據(jù)領域和機器學習領域會持續(xù)發(fā)展，以上幾種思想或許終究會變得過時，我們只能與時俱進，不斷更新自己的知識庫。

---

每日一篇大數(shù)據(jù)優(yōu)秀文章，助力大數(shù)據(jù)開發(fā)者成長！

本文題目：目前五種主流大數(shù)據(jù)架構簡介
當前地址：http://www.rwnh.cn/news/104344.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供全網(wǎng)營銷推廣、營銷型網(wǎng)站建設、企業(yè)網(wǎng)站制作、商城網(wǎng)站、自適應網(wǎng)站、網(wǎng)站設計

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)