大數(shù)據(jù)是什么，詳細(xì)

大數(shù)據(jù)是指在一定時(shí)間內(nèi)，常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)集合。它是一種海量、高增長、多元化的信息資產(chǎn)，需要一種新的處理模式，以具備更強(qiáng)的決策、洞察和流程優(yōu)化能力。

創(chuàng)新互聯(lián)公司云計(jì)算的互聯(lián)網(wǎng)服務(wù)提供商,擁有超過13年的服務(wù)器租用、眉山聯(lián)通機(jī)房、云服務(wù)器、雅安服務(wù)器托管、網(wǎng)站系統(tǒng)開發(fā)經(jīng)驗(yàn)，已先后獲得國家工業(yè)和信息化部頒發(fā)的互聯(lián)網(wǎng)數(shù)據(jù)中心業(yè)務(wù)許可證。專業(yè)提供云主機(jī)、雅安服務(wù)器托管、域名與空間、VPS主機(jī)、云服務(wù)器、香港云服務(wù)器、免備案服務(wù)器等。

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些有意義的數(shù)據(jù)進(jìn)行專業(yè)的處理。換句話說，如果把大數(shù)據(jù)比作一個(gè)行業(yè)，這個(gè)行業(yè)盈利的關(guān)鍵在于提高數(shù)據(jù)的“處理能力”，通過“處理”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

從技術(shù)上講，大數(shù)據(jù)和云計(jì)算的關(guān)系就像硬幣的正反面一樣密不可分。大數(shù)據(jù)不能用單臺計(jì)算機(jī)處理，必須采用分布式架構(gòu)。其特點(diǎn)在于海量數(shù)據(jù)的分布式數(shù)據(jù)挖掘。但它必須依賴云計(jì)算分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù)。

擴(kuò)展信息:

大數(shù)據(jù)只是現(xiàn)階段互聯(lián)網(wǎng)的一個(gè)表征或特征。沒有必要將其神話或保持敬畏。在以云計(jì)算為代表的技術(shù)創(chuàng)新背景下，這些原本看似難以收集和使用的數(shù)據(jù)開始被輕松使用。通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)將逐漸為人類創(chuàng)造更多的價(jià)值。

是體現(xiàn)大數(shù)據(jù)技術(shù)價(jià)值的手段，是進(jìn)步的基石。這里從云計(jì)算、分布式處理技術(shù)、存儲技術(shù)、感知技術(shù)的發(fā)展，闡述大數(shù)據(jù)從采集、處理、存儲到形成結(jié)果的全過程。

實(shí)踐是大數(shù)據(jù)的終極價(jià)值。在這里，我們從互聯(lián)網(wǎng)大數(shù)據(jù)、政府大數(shù)據(jù)、企業(yè)大數(shù)據(jù)、個(gè)人大數(shù)據(jù)四個(gè)方面來描繪大數(shù)據(jù)的美好圖景和將要實(shí)現(xiàn)的藍(lán)圖。

互聯(lián)網(wǎng)如何海量存儲數(shù)據(jù)？

目前存儲海量數(shù)據(jù)的技術(shù)主要包括NoSQL、分布式文件系統(tǒng)、和傳統(tǒng)關(guān)系型數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)行業(yè)不斷的發(fā)展，產(chǎn)生的數(shù)據(jù)量越來越多，并且這些數(shù)據(jù)的特點(diǎn)是半結(jié)構(gòu)化和非結(jié)構(gòu)化，數(shù)據(jù)很可能是不精確的，易變的。這樣傳統(tǒng)關(guān)系型數(shù)據(jù)庫就無法發(fā)揮它的優(yōu)勢。因此，目前互聯(lián)網(wǎng)行業(yè)偏向于使用NoSQL和分布式文件系統(tǒng)來存儲海量數(shù)據(jù)。

下面介紹下常用的NoSQL和分布式文件系統(tǒng)。

NoSQL

互聯(lián)網(wǎng)行業(yè)常用的NoSQL有：HBase、MongoDB、Couchbase、LevelDB。

HBase是Apache Hadoop的子項(xiàng)目,理論依據(jù)為Google論文 Bigtable: A Distributed Storage System for Structured Data開發(fā)的。HBase適合存儲半結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)。HBase的數(shù)據(jù)模型是稀疏的、分布式的、持久穩(wěn)固的多維map。HBase也有行和列的概念，這是與RDBMS相同的地方，但卻又不同。HBase底層采用HDFS作為文件系統(tǒng)，具有高可靠性、高性能。

MongoDB是一種支持高性能數(shù)據(jù)存儲的開源文檔型數(shù)據(jù)庫。支持嵌入式數(shù)據(jù)模型以減少對數(shù)據(jù)庫系統(tǒng)的I/O、利用索引實(shí)現(xiàn)快速查詢，并且嵌入式文檔和集合也支持索引，它復(fù)制能力被稱作復(fù)制集（replica set），提供了自動的故障遷移和數(shù)據(jù)冗余。MongoDB的分片策略將數(shù)據(jù)分布在服務(wù)器集群上。

Couchbase這種NoSQL有三個(gè)重要的組件：Couchbase服務(wù)器、Couchbase Gateway、Couchbase Lite。Couchbase服務(wù)器，支持橫向擴(kuò)展，面向文檔的數(shù)據(jù)庫，支持鍵值操作，類似于SQL查詢和內(nèi)置的全文搜索;Couchbase Gateway提供了用于RESTful和流式訪問數(shù)據(jù)的應(yīng)用層API。Couchbase Lite是一款面向移動設(shè)備和“邊緣”系統(tǒng)的嵌入式數(shù)據(jù)庫。Couchbase支持千萬級海量數(shù)據(jù)存儲

分布式文件系統(tǒng)

如果針對單個(gè)大文件，譬如超過100MB的文件，使用NoSQL存儲就不適當(dāng)了。使用分布式文件系統(tǒng)的優(yōu)勢在于，分布式文件系統(tǒng)隔離底層數(shù)據(jù)存儲和分布的細(xì)節(jié)，展示給用戶的是一個(gè)統(tǒng)一的邏輯視圖。常用的分布式文件系統(tǒng)有Google File System、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。

相比過去打電話、發(fā)短信、用彩鈴的“老三樣”，移動互聯(lián)網(wǎng)的發(fā)展使得人們可以隨時(shí)隨地通過刷微博、看視頻、微信聊天、瀏覽網(wǎng)頁、地圖導(dǎo)航、網(wǎng)上購物、外賣訂餐等，這些業(yè)務(wù)的海量數(shù)據(jù)都構(gòu)建在大規(guī)模網(wǎng)絡(luò)云資源池之上。當(dāng)14億中國人把衣食住行搬上移動互聯(lián)網(wǎng)的同時(shí)，也給網(wǎng)絡(luò)云資源池帶來巨大業(yè)務(wù)挑戰(zhàn)。

首先，用戶需求動態(tài)變化，傳統(tǒng)業(yè)務(wù)流量主要是端到端模式，較為穩(wěn)定；而互聯(lián)網(wǎng)流量易受熱點(diǎn)內(nèi)容牽引，數(shù)據(jù)流量流向復(fù)雜和規(guī)模多變：比如雙十一購物狂潮，電商平臺訂單創(chuàng)建峰值達(dá)到58.3萬筆，要求通信網(wǎng)絡(luò)提供高并發(fā)支持；又如優(yōu)酷春節(jié)期間有超過23億人次上網(wǎng)刷劇、抖音拜年短視頻增長超10倍，需要通信網(wǎng)絡(luò)能夠靈活擴(kuò)充帶寬。面對用戶動態(tài)多變的需求，通信網(wǎng)絡(luò)需要具備快速洞察和響應(yīng)用戶需求的能力，提供高效、彈性、智能的數(shù)據(jù)服務(wù)。

“隨著通信網(wǎng)絡(luò)管道十倍百倍加粗、節(jié)點(diǎn)數(shù)從千萬級逐漸躍升至百億千億級，如何‘接得住、存得下’海量數(shù)據(jù)，成為網(wǎng)絡(luò)云資源池建設(shè)面臨的巨大考驗(yàn)”，李輝表示。一直以來，作為新數(shù)據(jù)存儲首倡者和引領(lǐng)者，浪潮存儲攜手通信行業(yè)用戶，不斷 探索 提速通信網(wǎng)絡(luò)云基礎(chǔ)設(shè)施的各種姿勢。

早在2018年，浪潮存儲就參與了通信行業(yè)基礎(chǔ)設(shè)施建設(shè)，四年內(nèi)累計(jì)交付約5000套存儲產(chǎn)品，涵蓋全閃存儲、高端存儲、分布式存儲等明星產(chǎn)品。其中在網(wǎng)絡(luò)云建設(shè)中，浪潮存儲已連續(xù)兩年兩次中標(biāo)全球最大的NFV網(wǎng)絡(luò)云項(xiàng)目，其中在網(wǎng)絡(luò)云二期建設(shè)中，浪潮存儲提供數(shù)千節(jié)點(diǎn)，為上層網(wǎng)元、應(yīng)用提供高效數(shù)據(jù)服務(wù)。在最新的NFV三期項(xiàng)目中，浪潮存儲也已中標(biāo)。

能夠與通信用戶在網(wǎng)絡(luò)云建設(shè)中多次握手，背后是浪潮存儲的持續(xù)技術(shù)投入與創(chuàng)新。浪潮存儲6年內(nèi)投入超30億研發(fā)經(jīng)費(fèi)，開發(fā)了業(yè)界首個(gè)“多合一”極簡架構(gòu)的浪潮并行融合存儲系統(tǒng)。此存儲系統(tǒng)能夠統(tǒng)籌管理數(shù)千個(gè)節(jié)點(diǎn)，實(shí)現(xiàn)性能、容量線性擴(kuò)展；同時(shí)基于浪潮iTurbo智能加速引擎的智能IO均衡、智能資源調(diào)度、智能元數(shù)據(jù)管理等功能，與自研NVMe SSD閃存盤進(jìn)行系統(tǒng)級別聯(lián)調(diào)優(yōu)化，讓百萬級IO均衡落盤且路徑更短，將存儲系統(tǒng)性能發(fā)揮到極致。

“為了確保全球最大規(guī)模的網(wǎng)絡(luò)云正常上線運(yùn)行，我們聯(lián)合用戶對存儲集群展開了長達(dá)數(shù)月的魔鬼測試”，浪潮存儲工程師表示。網(wǎng)絡(luò)云的IO以虛擬機(jī)數(shù)據(jù)和上層應(yīng)用數(shù)據(jù)為主，浪潮按照每個(gè)存儲集群支持15000臺虛機(jī)進(jìn)行配置，分別對單卷隨機(jī)讀寫、順序?qū)?、混合讀寫以及全系統(tǒng)隨機(jī)讀寫的IO、帶寬、時(shí)延等指標(biāo)進(jìn)行了360無死角測試，達(dá)到了通信用戶提出的單卷、系統(tǒng)性能不低于4萬和12萬IOPS、時(shí)延小于3ms的要求，產(chǎn)品成熟度得到了驗(yàn)證。

以通信行業(yè)為例，2020年全國移動互聯(lián)網(wǎng)接入流量1656億GB，相當(dāng)于中國14億人每人消耗118GB數(shù)據(jù)；其中春節(jié)期間，移動互聯(lián)網(wǎng)更是創(chuàng)下7天消耗36億GB數(shù)據(jù)流量的記錄，還“捎帶”打了548億分鐘電話、發(fā)送212億條短信……海量實(shí)時(shí)數(shù)據(jù)洪流，在網(wǎng)絡(luò)云資源池(NFV)支撐下收放自如，其中分布式存儲平臺發(fā)揮了作用。如此樣板工程，其巨大示范及拉動作用不言而喻。

國內(nèi)有哪些大數(shù)據(jù)公司

“大數(shù)據(jù)”這一概念最早在國外被提及。之后國內(nèi)外興起了一系列大數(shù)據(jù)技術(shù)，包括大數(shù)據(jù)硬件類、大數(shù)據(jù)分析類、大數(shù)據(jù)數(shù)據(jù)處理類等等，也因此誕生了一批大數(shù)據(jù)廠商。

分析解決方案類廠商除去IBM、SAP、Oracle、微軟、惠普國外代表廠商，在國內(nèi)有星環(huán)科技、帆軟、用友、等等。

星環(huán)信息科技主要從事大數(shù)據(jù)時(shí)代核心平臺數(shù)據(jù)庫軟件的研發(fā)與服務(wù)，被Gartner列為國際主流Hadoop發(fā)行版廠商。其產(chǎn)品Transwarp Data Hub提供高速SQL引擎Transwarp Inceptor, NoSQL搜索引擎Transwarp Hyperbase、流處理引擎Transwarp Stream和數(shù)據(jù)挖掘組件Transwarp Discover。

帆軟公司由報(bào)表軟件FineReport起家，目前已成為報(bào)表領(lǐng)域的權(quán)威者，擁有10年企業(yè)數(shù)據(jù)分析的行業(yè)經(jīng)驗(yàn)。后發(fā)布的商業(yè)智能自助式BI工具FineBI，提供包括Hadoop、分布式數(shù)據(jù)庫、多維數(shù)據(jù)庫的大數(shù)據(jù)可視化分析；提供PC端、移動端、大屏的可視化方案，廣泛應(yīng)用于銀行、電商、地產(chǎn)、醫(yī)藥、制造、電信、制造、化工等行業(yè)，擁有成熟的行業(yè)化解決方案。

數(shù)據(jù)可視化類廠商有海云數(shù)據(jù)、星途數(shù)據(jù)、帆軟、數(shù)字冰雹等。

用戶行為/精準(zhǔn)營銷分析類，大數(shù)據(jù)技術(shù)使得用戶在互聯(lián)網(wǎng)的行為，得到精準(zhǔn)定位，從而細(xì)化營銷方案、快速迭代產(chǎn)品。這方面的廠商有GrowingIO、神策數(shù)據(jù)等。

newsql和nosql的區(qū)別和聯(lián)系

在大數(shù)據(jù)時(shí)代，“多種架構(gòu)支持多類應(yīng)用”成為數(shù)據(jù)庫行業(yè)應(yīng)對大數(shù)據(jù)的基本思路，數(shù)據(jù)庫行業(yè)出現(xiàn)互為補(bǔ)充的三大陣營，適用于事務(wù)處理應(yīng)用的OldSQL、適用于數(shù)據(jù)分析應(yīng)用的NewSQL和適用于互聯(lián)網(wǎng)應(yīng)用的NoSQL。但在一些復(fù)雜的應(yīng)用場景中，單一數(shù)據(jù)庫架構(gòu)都不能完全滿足應(yīng)用場景對海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲管理、復(fù)雜分析、關(guān)聯(lián)查詢、實(shí)時(shí)性處理和控制建設(shè)成本等多方面的需要，因此不同架構(gòu)數(shù)據(jù)庫混合部署應(yīng)用成為滿足復(fù)雜應(yīng)用的必然選擇。不同架構(gòu)數(shù)據(jù)庫混合使用的模式可以概括為：OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過三個(gè)案例對不同架構(gòu)數(shù)據(jù)庫的混合應(yīng)用部署進(jìn)行介紹。

OldSQL+NewSQL 在數(shù)據(jù)中心類應(yīng)用中混合部署

采用OldSQL+NewSQL模式構(gòu)建數(shù)據(jù)中心，在充分發(fā)揮OldSQL數(shù)據(jù)庫的事務(wù)處理能力的同時(shí)，借助NewSQL在實(shí)時(shí)性、復(fù)雜分析、即席查詢等方面的獨(dú)特優(yōu)勢，以及面對海量數(shù)據(jù)時(shí)較強(qiáng)的擴(kuò)展能力，滿足數(shù)據(jù)中心對當(dāng)前“熱”數(shù)據(jù)事務(wù)型處理和海量歷史“冷”數(shù)據(jù)分析兩方面的需求。OldSQL+NewSQL模式在數(shù)據(jù)中心類應(yīng)用中的互補(bǔ)作用體現(xiàn)在，OldSQL彌補(bǔ)了NewSQL不適合事務(wù)處理的不足，NewSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲能力和處理性能方面的缺陷。

商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合部署方式搭建，OldSQL數(shù)據(jù)庫滿足各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的歸檔備份和事務(wù)型應(yīng)用，NewSQL MPP數(shù)據(jù)庫集群對即席查詢、多維分析等應(yīng)用提供高性能支持，并且通過MPP集群架構(gòu)實(shí)現(xiàn)應(yīng)對海量數(shù)據(jù)存儲的擴(kuò)展能力。

商業(yè)銀行數(shù)據(jù)中心存儲架構(gòu)

與傳統(tǒng)的OldSQL模式相比，商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合搭建模式，數(shù)據(jù)加載性能提升3倍以上，即席查詢和統(tǒng)計(jì)分析性能提升6倍以上。NewSQL MPP的高可擴(kuò)展性能夠應(yīng)對新的業(yè)務(wù)需求，可隨著數(shù)據(jù)量的增長采用集群方式構(gòu)建存儲容量更大的數(shù)據(jù)中心。

OldSQL+NoSQL 在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中混合部署

在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中采用OldSQL+NoSQL混合模式，能夠很好的解決互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用對海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲和快速處理的需求。在諸如大型電子商務(wù)平臺、大型SNS平臺等互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用場景中，OldSQL在應(yīng)用中負(fù)責(zé)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲和事務(wù)型處理，NoSQL在應(yīng)用中負(fù)責(zé)存儲和處理海量非結(jié)構(gòu)化的數(shù)據(jù)和低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)。OldSQL+NoSQL模式在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中的互補(bǔ)作用體現(xiàn)在，OldSQL彌補(bǔ)了NoSQL在ACID特性和復(fù)雜關(guān)聯(lián)運(yùn)算方面的不足，NoSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲和非結(jié)構(gòu)化數(shù)據(jù)處理方面的缺陷。

數(shù)據(jù)魔方是淘寶網(wǎng)的一款數(shù)據(jù)產(chǎn)品，主要提供行業(yè)數(shù)據(jù)分析、店鋪數(shù)據(jù)分析。淘寶數(shù)據(jù)產(chǎn)品在存儲層采用OldSQL+NoSQL混合模式，由基于MySQL的分布式關(guān)系型數(shù)據(jù)庫集群MyFOX和基于HBase的NoSQL存儲集群Prom組成。由于OldSQL強(qiáng)大的語義和關(guān)系表達(dá)能力，在應(yīng)用中仍然占據(jù)著重要地位，目前存儲在MyFOX中的統(tǒng)計(jì)結(jié)果數(shù)據(jù)已經(jīng)達(dá)到10TB，占據(jù)著數(shù)據(jù)魔方總數(shù)據(jù)量的95%以上。另一方面，NoSQL作為SQL的有益補(bǔ)充，解決了OldSQL數(shù)據(jù)庫無法解決的全屬性選擇器等問題。

淘寶海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)

基于OldSQL+NoSQL混合架構(gòu)的特點(diǎn)，數(shù)據(jù)魔方目前已經(jīng)能夠提供壓縮前80TB的數(shù)據(jù)存儲空間，支持每天4000萬的查詢請求，平均響應(yīng)時(shí)間在28毫秒，足以滿足未來一段時(shí)間內(nèi)的業(yè)務(wù)增長需求。

NewSQL+NoSQL 在行業(yè)大數(shù)據(jù)應(yīng)用中混合部署

行業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)的區(qū)別在于行業(yè)大數(shù)據(jù)的價(jià)值密度更高，并且對結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強(qiáng)一致性等都比互聯(lián)網(wǎng)大數(shù)據(jù)有更高的要求。行業(yè)大數(shù)據(jù)應(yīng)用場景主要是分析類應(yīng)用，如：電信、金融、政務(wù)、能源等行業(yè)的決策輔助、預(yù)測預(yù)警、統(tǒng)計(jì)分析、經(jīng)營分析等。

在行業(yè)大數(shù)據(jù)應(yīng)用中采用NewSQL+NoSQL混合模式，充分利用NewSQL在結(jié)構(gòu)化數(shù)據(jù)分析處理方面的優(yōu)勢，以及NoSQL在非結(jié)構(gòu)數(shù)據(jù)處理方面的優(yōu)勢，實(shí)現(xiàn)NewSQL與NoSQL的功能互補(bǔ)，解決行業(yè)大數(shù)據(jù)應(yīng)用對高價(jià)值結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強(qiáng)一致性等要求，以及對海量非結(jié)構(gòu)化數(shù)據(jù)存儲和精確查詢的要求。在應(yīng)用中，NewSQL承擔(dān)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲和分析處理工作，NoSQL承擔(dān)存儲和處理海量非結(jié)構(gòu)化數(shù)據(jù)和不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的工作。

當(dāng)前電信運(yùn)營商在集中化BI系統(tǒng)建設(shè)過程中面臨著數(shù)據(jù)規(guī)模大、數(shù)據(jù)處理類型多等問題，并且需要應(yīng)對大量的固定應(yīng)用，以及占統(tǒng)計(jì)總數(shù)80%以上的突發(fā)性臨時(shí)統(tǒng)計(jì)(ad-hoc)需求。在集中化BI系統(tǒng)的建設(shè)中采用NewSQL+NoSQL混搭的模式，充分利用NewSQL在復(fù)雜分析、即席查詢等方面處理性能的優(yōu)勢，及NoSQL在非結(jié)構(gòu)化數(shù)據(jù)處理和海量數(shù)據(jù)存儲方面的優(yōu)勢，實(shí)現(xiàn)高效低成本。

集中化BI系統(tǒng)數(shù)據(jù)存儲架構(gòu)

集中化BI系統(tǒng)按照數(shù)據(jù)類型和處理方式的不同，將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分別存儲在不同的系統(tǒng)中：非結(jié)構(gòu)化數(shù)據(jù)在Hadoop平臺上存儲與處理;結(jié)構(gòu)化、不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的數(shù)據(jù)保存在NoSQL數(shù)據(jù)庫或Hadoop平臺;結(jié)構(gòu)化、需要關(guān)聯(lián)分析或經(jīng)常ad-hoc查詢的數(shù)據(jù)，保存在NewSQL MPP數(shù)據(jù)庫中，短期高價(jià)值數(shù)據(jù)放在高性能平臺，中長期放在低成本產(chǎn)品中。

結(jié)語

當(dāng)前信息化應(yīng)用的多樣性、復(fù)雜性，以及三種數(shù)據(jù)庫架構(gòu)各自所具有的優(yōu)勢和局限性，造成任何一種架構(gòu)的數(shù)據(jù)庫都不能完全滿足應(yīng)用需求，因此不同架構(gòu)數(shù)據(jù)庫混合使用，從而彌補(bǔ)其他架構(gòu)的不足成為必然選擇。根據(jù)應(yīng)用場景采用不同架構(gòu)數(shù)據(jù)庫進(jìn)行組合搭配，充分發(fā)揮每種架構(gòu)數(shù)據(jù)庫的特點(diǎn)和優(yōu)勢，并且與其他架構(gòu)數(shù)據(jù)庫形成互補(bǔ)，完全涵蓋應(yīng)用需求，保證數(shù)據(jù)資源的最優(yōu)化利用，將成為未來一段時(shí)期內(nèi)信息化應(yīng)用主要采用的解決方式。

目前在國內(nèi)市場上，OldSQL主要為Oracle、IBM等國外數(shù)據(jù)庫廠商所壟斷，達(dá)夢、金倉等國產(chǎn)廠商仍處于追趕狀態(tài);南大通用憑借國產(chǎn)新型數(shù)據(jù)庫GBase 8a異軍突起，與EMC的Greenplum和HP的Vertica躋身NewSQL市場三強(qiáng);NoSQL方面用戶則大多采用Hadoop開源方案。

做大數(shù)據(jù)分析一般用什么工具呢？

Java ：只要了解一些基礎(chǔ)即可，做大數(shù)據(jù)不需要很深的Java 技術(shù)，學(xué)java SE 就相當(dāng)于有學(xué)習(xí)大數(shù)據(jù)?；A(chǔ)

Linux：因?yàn)榇髷?shù)據(jù)相關(guān)軟件都是在Linux上運(yùn)行的，所以Linux要學(xué)習(xí)的扎實(shí)一些，學(xué)好Linux對你快速掌握大數(shù)據(jù)相關(guān)技術(shù)會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，能少踩很多坑，學(xué)會shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。還能讓你對以后新出的大數(shù)據(jù)技術(shù)學(xué)習(xí)起來更快。

好說完基礎(chǔ)了，再說說還需要學(xué)習(xí)哪些大數(shù)據(jù)技術(shù)，可以按我寫的順序?qū)W下去。

Hadoop：這是現(xiàn)在流行的大數(shù)據(jù)處理平臺幾乎已經(jīng)成為大數(shù)據(jù)的代名詞，所以這個(gè)是必學(xué)的。Hadoop里面包括幾個(gè)組件HDFS、MapReduce和YARN，HDFS是存儲數(shù)據(jù)的地方就像我們電腦的硬盤一樣文件都存儲在這個(gè)上面，MapReduce是對數(shù)據(jù)進(jìn)行處理計(jì)算的，它有個(gè)特點(diǎn)就是不管多大的數(shù)據(jù)只要給它時(shí)間它就能把數(shù)據(jù)跑完，但是時(shí)間可能不是很快所以它叫數(shù)據(jù)的批處理。

記住學(xué)到這里可以作為你學(xué)大數(shù)據(jù)的一個(gè)節(jié)點(diǎn)。

Zookeeper：這是個(gè)萬金油，安裝Hadoop的HA的時(shí)候就會用到它，以后的Hbase也會用到它。它一般用來存放一些相互協(xié)作的信息，這些信息比較小一般不會超過1M，都是使用它的軟件對它有依賴，對于我們個(gè)人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學(xué)習(xí)完大數(shù)據(jù)的處理了，接下來學(xué)習(xí)學(xué)習(xí)小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫，因?yàn)橐粫bhive的時(shí)候要用到，mysql需要掌握到什么層度那?你能在Linux上把它安裝好，運(yùn)行起來，會配置簡單的權(quán)限，修改root的密碼，創(chuàng)建數(shù)據(jù)庫。這里主要的是學(xué)習(xí)SQL的語法，因?yàn)閔ive的語法和這個(gè)非常相似。

Sqoop：這個(gè)是用于把Mysql里的數(shù)據(jù)導(dǎo)入到Hadoop里的。當(dāng)然你也可以不用這個(gè)，直接把Mysql數(shù)據(jù)表導(dǎo)出成文件再放到HDFS上也是一樣的，當(dāng)然生產(chǎn)環(huán)境中使用要注意Mysql的壓力。

Hive：這個(gè)東西對于會SQL語法的來說就是神器，它能讓你處理大數(shù)據(jù)變的很簡單，不會再費(fèi)勁的編寫MapReduce程序。有的人說Pig那?它和Pig差不多掌握一個(gè)就可以了。

Oozie：既然學(xué)會Hive了，我相信你一定需要這個(gè)東西，它可以幫你管理你的Hive或者M(jìn)apReduce、Spark腳本，還能檢查你的程序是否執(zhí)行正確，出錯(cuò)了給你發(fā)報(bào)警并能幫你重試程序，最重要的是還能幫你配置任務(wù)的依賴關(guān)系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態(tài)體系中的NOSQL數(shù)據(jù)庫，他的數(shù)據(jù)是按照key和value的形式存儲的并且key是唯一的，所以它能用來做數(shù)據(jù)的排重，它與MYSQL相比能存儲的數(shù)據(jù)量大很多。所以他常被用于大數(shù)據(jù)處理完成之后的存儲目的地。

Kafka：這是個(gè)比較好用的隊(duì)列工具，隊(duì)列是干嗎的?排隊(duì)買票你知道不?數(shù)據(jù)多了同樣也需要排隊(duì)處理，這樣與你協(xié)作的其它同學(xué)不會叫起來，你干嗎給我這么多的數(shù)據(jù)(比如好幾百G的文件)我怎么處理得過來，你別怪他因?yàn)樗皇歉愦髷?shù)據(jù)的，你可以跟他講我把數(shù)據(jù)放在隊(duì)列里你使用的時(shí)候一個(gè)個(gè)拿，這樣他就不在抱怨了馬上灰流流的去優(yōu)化他的程序去了，因?yàn)樘幚聿贿^來就是他的事情。而不是你給的問題。當(dāng)然我們也可以利用這個(gè)工具來做線上實(shí)時(shí)數(shù)據(jù)的入庫或入HDFS，這時(shí)你可以與一個(gè)叫Flume的工具配合使用，它是專門用來提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方(比如Kafka)的。

Spark：它是用來彌補(bǔ)基于MapReduce處理數(shù)據(jù)速度上的缺點(diǎn)，它的特點(diǎn)是把數(shù)據(jù)裝載到內(nèi)存中計(jì)算而不是去讀慢的要死進(jìn)化還特別慢的硬盤。特別適合做迭代運(yùn)算，所以算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因?yàn)樗鼈兌际怯肑VM的。

中國有哪些數(shù)據(jù)分析公司

目前，數(shù)據(jù)分析公司主要涉及金融服務(wù)、零售、醫(yī)療衛(wèi)生/生命科學(xué)、執(zhí)法、電信、能源與公共事業(yè)、數(shù)字媒體/精準(zhǔn)營銷、交通運(yùn)輸?shù)刃袠I(yè)。

國內(nèi)的數(shù)據(jù)分析公司包括：艾瑞咨詢、IDC、國家統(tǒng)計(jì)局、易觀、賽迪顧問等，如下圖。

文章名稱：多維數(shù)據(jù)庫和NOsql,多維數(shù)據(jù)庫和關(guān)系型數(shù)據(jù)庫的區(qū)別
本文地址：http://www.rwnh.cn/article42/dscojec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、自適應(yīng)網(wǎng)站、網(wǎng)頁設(shè)計(jì)公司、小程序開發(fā)、軟件開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)