一、大數(shù)據(jù)

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對(duì)這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡(jiǎn)單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：主機(jī)域名、虛擬主機(jī)、營(yíng)銷軟件、網(wǎng)站建設(shè)、澤庫(kù)網(wǎng)站維護(hù)、網(wǎng)站推廣。

1、什么是大數(shù)據(jù)？

大數(shù)據(jù)（Big data或Megadata）：大數(shù)據(jù)，或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時(shí)間達(dá)到截取、管理、處理、并整理成為人類所能解讀的形式的信息。

2、大數(shù)據(jù)特點(diǎn)

①Volume：數(shù)據(jù)量大，包括采集、存儲(chǔ)和計(jì)算的量都非常大。大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個(gè)T）、E（100萬個(gè)T）或Z（10億個(gè)T）。

②Variety：種類和來源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具體表現(xiàn)為網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。

在這里還是要推薦下我自己建的大數(shù)據(jù)學(xué)習(xí)交流群:529867072，群里都是學(xué)大數(shù)據(jù)開發(fā)的，如果你正在學(xué)習(xí)大數(shù)據(jù) ，小編歡迎你加入,大家都是軟件開發(fā)黨，不定期分享干貨（只有大數(shù)據(jù)軟件開發(fā)相關(guān)的），包括我自己整理的一份最新的大數(shù)據(jù)進(jìn)階資料和高級(jí)開發(fā)教程，歡迎進(jìn)階中和進(jìn)想深入大數(shù)據(jù)的小伙伴加入。

③Value：數(shù)據(jù)價(jià)值密度相對(duì)較低，或者說是浪里淘沙卻又彌足珍貴。隨著互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但價(jià)值密度較低，如何結(jié)合業(yè)務(wù)邏輯并通過強(qiáng)大的機(jī)器算法來挖掘數(shù)據(jù)價(jià)值，是大數(shù)據(jù)時(shí)代最需要解決的問題。

④Velocity：數(shù)據(jù)增長(zhǎng)速度快，處理速度也快，時(shí)效性要求高。比如搜索引擎要求幾分鐘前的新聞能夠被用戶查詢到，個(gè)性化推薦算法盡可能要求實(shí)時(shí)完成推薦。這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的顯著特征。

⑤Veracity：數(shù)據(jù)的準(zhǔn)確性和可信賴度，即數(shù)據(jù)的質(zhì)量。

二、數(shù)據(jù)倉(cāng)庫(kù)

1、什么是數(shù)據(jù)倉(cāng)庫(kù)？

在計(jì)算中，數(shù)據(jù)倉(cāng)庫(kù)（DW或DWH）也稱為企業(yè)數(shù)據(jù)倉(cāng)庫(kù)（EDW），是用于報(bào)告和數(shù)據(jù)分析的系統(tǒng)，被視為商業(yè)智能的核心組件。DWs從一個(gè)或多個(gè)不同源的綜合數(shù)據(jù)的中央儲(chǔ)存庫(kù)。他們將當(dāng)前和歷史數(shù)據(jù)存儲(chǔ)在一個(gè)地方，用于為整個(gè)企業(yè)的工作人員創(chuàng)建分析報(bào)告。

2、數(shù)據(jù)倉(cāng)庫(kù)兩種操作方式的特點(diǎn)

①在線分析處理（OLAP）的特點(diǎn)是交易量相對(duì)較低。查詢往往非常復(fù)雜，涉及到聚合。對(duì)于OLAP系統(tǒng)，響應(yīng)時(shí)間是一種有效性度量。數(shù)據(jù)挖掘技術(shù)廣泛使用OLAP應(yīng)用程序。OLAP數(shù)據(jù)庫(kù)以多維模式（通常為星型模式）存儲(chǔ)匯總的歷史數(shù)據(jù)。與數(shù)據(jù)集市相比，OLAP系統(tǒng)通常具有數(shù)小時(shí)的數(shù)據(jù)延遲，而數(shù)據(jù)集市預(yù)計(jì)延遲將接近一天。OLAP方法用于分析來自多個(gè)來源和視角的多維數(shù)據(jù)。OLAP中的三個(gè)基本操作是：總結(jié)（合并），鉆取和切片和切塊。

②聯(lián)機(jī)事務(wù)處理（OLTP）的特點(diǎn)是大量短暫的在線事務(wù)（INSERT，UPDATE，DELETE）。OLTP系統(tǒng)強(qiáng)調(diào)非常快速的查詢處理并保持多訪問環(huán)境中的數(shù)據(jù)完整性。對(duì)于OLTP系統(tǒng)，有效性以每秒交易次數(shù)來衡量。OLTP數(shù)據(jù)庫(kù)包含詳細(xì)和當(dāng)前的數(shù)據(jù)。用于存儲(chǔ)事務(wù)數(shù)據(jù)庫(kù)的模式是實(shí)體模型（通常是3NF）。規(guī)范化是對(duì)在該系統(tǒng)中數(shù)據(jù)建模技術(shù)的規(guī)范。

三、ETL與DM的區(qū)別

ETL/Extraction-Transformation-Loading——用于完成DB到DW的數(shù)據(jù)轉(zhuǎn)存，它將DB中的某一個(gè)時(shí)間點(diǎn)的狀態(tài)，“抽取”出來，根據(jù)DW的存儲(chǔ)模型要求，“轉(zhuǎn)換”一下數(shù)據(jù)格式，然后再“加載”到DW的一個(gè)過程，這里需要強(qiáng)調(diào)的是，DB的模型是ER模型，遵從范式化設(shè)計(jì)原則，而DW的數(shù)據(jù)模型是雪花型結(jié)構(gòu)或者星型結(jié)構(gòu)，用的是面向主題，面向問題的設(shè)計(jì)思路，所以DB和DW的模型結(jié)構(gòu)不同，需要進(jìn)行轉(zhuǎn)換。

DM/Data Mining/數(shù)據(jù)挖掘——這個(gè)挖掘，不是簡(jiǎn)單的統(tǒng)計(jì)了，他是根據(jù)概率論的或者其他的統(tǒng)計(jì)學(xué)原理，將DW中的大數(shù)據(jù)量進(jìn)行分析，找出我們不能直觀發(fā)現(xiàn)的規(guī)律。

四、Hadoop

1、什么是Hadoop？

維基百科上面，Hadoop的定義是：一個(gè)用java語言編寫的便于大型數(shù)據(jù)集合的分布式儲(chǔ)存和計(jì)算的軟件框架。簡(jiǎn)單來說，這是計(jì)算機(jī)領(lǐng)域的一個(gè)開源軟件，任何程序開發(fā)者都可以看到它的源代碼，并且進(jìn)行編譯。它的出現(xiàn)讓大數(shù)據(jù)的儲(chǔ)存和處理一下子變的快了很多，也便宜了很多。

2、Hadoop特點(diǎn)是什么？

①高效率（Efficient）：分布式云計(jì)算，采用標(biāo)準(zhǔn)x86架構(gòu)服務(wù)器大規(guī)模集群實(shí)現(xiàn)，每個(gè)模塊都是一個(gè)離散的處理單元，使用并行計(jì)算技術(shù)，及群內(nèi)各計(jì)算節(jié)點(diǎn)負(fù)載均衡，當(dāng)某節(jié)點(diǎn)負(fù)荷過高時(shí)，可智能的將負(fù)荷轉(zhuǎn)移到其他節(jié)點(diǎn)，并支持節(jié)點(diǎn)線性平滑擴(kuò)展；分布式云存儲(chǔ)，采用x86服務(wù)器的本地硬盤實(shí)現(xiàn)，使用分布式文件系統(tǒng)，每份數(shù)據(jù)至少保存在3個(gè)節(jié)點(diǎn)，保證存儲(chǔ)設(shè)計(jì)的性能和可靠性目標(biāo)。

②可靠性（Reliable）：能搞自身的維護(hù)數(shù)據(jù)的多個(gè)成本，并且在任務(wù)失敗是自動(dòng)的重新部署計(jì)算任務(wù)

③可擴(kuò)容性（Scalable）：能可靠的儲(chǔ)存和處理PB級(jí)的數(shù)據(jù)

④成本低（Economical）：可以通過普通機(jī)器組成的服務(wù)器群來分發(fā)以及處理數(shù)據(jù)。這些服務(wù)器群總計(jì)可達(dá)數(shù)千個(gè)節(jié)點(diǎn)。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

文章名稱：簡(jiǎn)單了解一下大數(shù)據(jù)的一些基本概念-創(chuàng)新互聯(lián)
文章出自：http://www.rwnh.cn/article14/ddspge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、定制開發(fā)、品牌網(wǎng)站建設(shè)、網(wǎng)站收錄、網(wǎng)站制作、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)