互聯(lián)網(wǎng)IDC圈4月27日?qǐng)?bào)道，互聯(lián)網(wǎng)的發(fā)展使得大數(shù)據(jù)引起人們廣泛關(guān)注?，F(xiàn)如今大數(shù)據(jù)技術(shù)早已滲透到金融、通訊等行業(yè)以及生物學(xué)、物理學(xué)等領(lǐng)域。大數(shù)據(jù)在容量、多樣性和高增速方面的爆炸式增長(zhǎng)全面考驗(yàn)著現(xiàn)代企業(yè)的數(shù)據(jù)處理和分析能力，與此同時(shí)也為各個(gè)行業(yè)帶來(lái)了準(zhǔn)確洞察市場(chǎng)行為的機(jī)會(huì)。迄今為止大數(shù)據(jù)技術(shù)與產(chǎn)品有哪些創(chuàng)新，工業(yè)大數(shù)據(jù)應(yīng)用面臨哪些挑戰(zhàn)，金融行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀如何等。圍繞這一系列問(wèn)題，4月27日至28日，由工業(yè)和信息化部指導(dǎo)、中國(guó)信息通信研究院主辦的"2016大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)"在北京國(guó)際會(huì)議中心盛大召開(kāi)。在27日大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新分論壇中東方金信聯(lián)合創(chuàng)始人石棋玲以《海盒大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新》為題做了精彩的分享。

創(chuàng)新互聯(lián)2013年開(kāi)創(chuàng)至今，是專(zhuān)業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元廣陽(yáng)做網(wǎng)站,已為上家服務(wù),為廣陽(yáng)各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話(huà):13518219792

東方金信聯(lián)合創(chuàng)始人石棋玲

以下是石棋玲的演講實(shí)錄：

石棋玲：大家好，很高興在這里為大家介紹我們北京東方金信科技有限公司的海盒大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新。我本次演講主要介紹一下大數(shù)據(jù)的通用技術(shù)與我們海盒大數(shù)據(jù)產(chǎn)品。本次演講首先會(huì)介紹大數(shù)據(jù)的技術(shù)發(fā)展近況，其次會(huì)介紹我們海盒大數(shù)據(jù)平臺(tái)產(chǎn)品創(chuàng)新，然后講解創(chuàng)新點(diǎn)的應(yīng)用實(shí)踐，再就是大數(shù)據(jù)行業(yè)的趨勢(shì)。

首先我介紹大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的近況。我國(guó)的大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)規(guī)模越來(lái)越大，國(guó)家也推出了很多很好的政策，比如說(shuō)工信部很多的政策對(duì)我們大數(shù)據(jù)技術(shù)的研發(fā)有很大的推動(dòng)作用。我們就大數(shù)據(jù)在金融行業(yè)的廣泛應(yīng)用大家可以看到有很多的案例，我本身在美國(guó)PNC銀行從事風(fēng)險(xiǎn)管理很多年，我們?cè)诿绹?guó)大的銀行也有很多的大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)在通信行業(yè)也有很多的應(yīng)用，逐漸滲透到很多的行業(yè)，我所知道的像醫(yī)療、政府，還有很多其他的行業(yè)可以看到大數(shù)據(jù)的應(yīng)用。

這是一張大數(shù)據(jù)產(chǎn)業(yè)生態(tài)圖，這只是一個(gè)簡(jiǎn)單的例子，大數(shù)據(jù)有很多的組件，我列舉了一些例子，像分布式文件系統(tǒng)，今天我們用的最多的就是這個(gè)。HBase等等大家都比較熟悉，其他的組件，很多都是我們常用的。我們公司根據(jù)客戶(hù)的需求，深度定制大數(shù)據(jù)平臺(tái)不同的組件，去滿(mǎn)足客戶(hù)的需求。

現(xiàn)在在大數(shù)據(jù)發(fā)展的熱潮中，很多技術(shù)點(diǎn)開(kāi)始成為大家熱切關(guān)心的一個(gè)方面，像數(shù)據(jù)存取，現(xiàn)在要求數(shù)據(jù)存取的速度不斷的提升，催生了數(shù)據(jù)實(shí)時(shí)處理的一些需求。云計(jì)算的發(fā)展，現(xiàn)在催生了很多大數(shù)據(jù)本地部署和云端部署的結(jié)合。大數(shù)據(jù)平臺(tái)的不斷擴(kuò)展，催生了數(shù)據(jù)管理安全的必要性。有些像商務(wù)方面的發(fā)展，我們就有很多像移動(dòng)商務(wù)與大數(shù)據(jù)平臺(tái)的結(jié)合。其他方面，有一些像預(yù)測(cè)性的分析、規(guī)范文本分析的發(fā)展應(yīng)用。

下面我介紹我們公司海盒大數(shù)據(jù)平臺(tái)的一些產(chǎn)品創(chuàng)新。首先我介紹一下我們公司，今年數(shù)據(jù)中心聯(lián)盟第一批大數(shù)據(jù)產(chǎn)品認(rèn)證通過(guò)的企業(yè)，這個(gè)認(rèn)證是國(guó)內(nèi)首家考察商用大數(shù)據(jù)平臺(tái)能力的測(cè)試。多家業(yè)界領(lǐng)先的企業(yè)都參與了測(cè)試，高可用、多租戶(hù)我們都通過(guò)了測(cè)試，而且這個(gè)測(cè)試非常全面，包括功能、運(yùn)維、安全、兼容性等各個(gè)指標(biāo)，對(duì)大數(shù)據(jù)平臺(tái)的能力進(jìn)行了全面的考察，有很多的測(cè)試專(zhuān)家全程監(jiān)控整個(gè)測(cè)試的現(xiàn)場(chǎng)，由參測(cè)的廠(chǎng)家，還有客戶(hù)專(zhuān)家、學(xué)術(shù)專(zhuān)家構(gòu)成的評(píng)審委員會(huì)，測(cè)試非常公正嚴(yán)謹(jǐn)。

我們海盒大數(shù)據(jù)平臺(tái)一個(gè)主要的技術(shù)創(chuàng)新就是一個(gè)高效的實(shí)時(shí)處理技術(shù)。我們通過(guò)實(shí)時(shí)處理的技術(shù)，能夠?qū)崿F(xiàn)首先是數(shù)據(jù)的連續(xù)性，然后是實(shí)時(shí)信息的訪(fǎng)問(wèn)，之后是實(shí)時(shí)數(shù)據(jù)的展現(xiàn)，能降低IT成本。我們?cè)趺慈?shí)現(xiàn)實(shí)時(shí)的技術(shù)？我們有一個(gè)專(zhuān)門(mén)的海盒實(shí)時(shí)同步工具，首先是解析日志的文件，實(shí)現(xiàn)數(shù)據(jù)同步的功能。另一方面我們也使用了很多Hadoop的開(kāi)源組件或者是其他的組件進(jìn)行封裝，能夠?qū)崿F(xiàn)準(zhǔn)實(shí)時(shí)的同步。另外我們平臺(tái)的一個(gè)創(chuàng)新點(diǎn)在于，在我們的大數(shù)據(jù)平臺(tái)上我們做了很多數(shù)據(jù)倉(cāng)庫(kù)的理論創(chuàng)新，因?yàn)槲冶旧碜约壕褪亲鼋鹑谛袠I(yè)很多年，我們?cè)跀?shù)據(jù)行業(yè)積累了很多的經(jīng)驗(yàn)。所以首先在數(shù)據(jù)倉(cāng)庫(kù)層面形成了四個(gè)方面的理論創(chuàng)新，海盒平臺(tái)實(shí)現(xiàn)了倉(cāng)庫(kù)式的數(shù)據(jù)存儲(chǔ)，我們構(gòu)建了數(shù)據(jù)倉(cāng)庫(kù)的多層數(shù)據(jù)模型，我們有數(shù)據(jù)層等等各種數(shù)據(jù)倉(cāng)庫(kù)的層次。我們實(shí)現(xiàn)了基于大數(shù)據(jù)的一個(gè)主題模型和數(shù)據(jù)管控，因?yàn)榻鹑谥黝}模型和數(shù)據(jù)管控是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的核心，怎么建立總框架圖，通過(guò)這些模型的管控，實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的核心價(jià)值。在展現(xiàn)方面，我們有多種圖形的展示方式，能夠滿(mǎn)足各種業(yè)務(wù)的需求。我們創(chuàng)新大數(shù)據(jù)與云的結(jié)合，我們SeaBox大數(shù)據(jù)的平臺(tái)可以跑到多可用，我們把各種封裝跑在Docker里，Docker可以跑在IaaS服務(wù)器上，通過(guò)多種平臺(tái)實(shí)現(xiàn)大數(shù)據(jù)的結(jié)合。

創(chuàng)新點(diǎn)的應(yīng)用實(shí)踐。大家看左邊這幅圖是傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)，可以看到是T+1的數(shù)據(jù)平臺(tái)，數(shù)據(jù)基本上來(lái)源于前端的業(yè)務(wù)系統(tǒng)，通過(guò)定制化的時(shí)間，通過(guò)ETL跑批的方式進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)，無(wú)法做到實(shí)時(shí)性。右邊這幅圖是中間我們?cè)黾恿艘粋€(gè)大數(shù)據(jù)實(shí)時(shí)的同步產(chǎn)品。我們通過(guò)海盒的同步產(chǎn)品，能夠?qū)崿F(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的計(jì)算，將一些關(guān)注的指標(biāo)和數(shù)據(jù)做到實(shí)時(shí)推送加工。

我們?cè)诮鹑谛袠I(yè)基于SeaBox大數(shù)據(jù)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用。大家可以看到，這只是一個(gè)事例，我們?cè)谠到y(tǒng)，就是我們數(shù)據(jù)倉(cāng)庫(kù)的多種多樣的數(shù)據(jù)源導(dǎo)入，從數(shù)據(jù)源可以進(jìn)入我們的數(shù)據(jù)交換層，數(shù)據(jù)交換層有一部分?jǐn)?shù)據(jù)可以進(jìn)入數(shù)據(jù)緩沖層，在數(shù)據(jù)緩沖層有一部分可以進(jìn)入數(shù)據(jù)整合層，然后再進(jìn)入展現(xiàn)應(yīng)用層。其他有些途徑會(huì)進(jìn)入歷史鏡像層，這是我們?cè)跀?shù)據(jù)倉(cāng)庫(kù)層面對(duì)大數(shù)據(jù)平臺(tái)做了很多的改造。

海盒大數(shù)據(jù)平臺(tái)的一個(gè)數(shù)據(jù)集中管理與虛擬分發(fā)的應(yīng)用。我們針對(duì)不同的用戶(hù)群建立不同的數(shù)據(jù)池，數(shù)據(jù)池比如說(shuō)使得總行的數(shù)據(jù)實(shí)現(xiàn)管理、分發(fā)以及用戶(hù)權(quán)限的管理，使得分行的機(jī)構(gòu)使用和數(shù)據(jù)能夠快速啟動(dòng)，在我們的Docker鏡像里面能夠快速啟動(dòng)每個(gè)應(yīng)用。

這是我們大數(shù)據(jù)平臺(tái)資源按需分配機(jī)制的一個(gè)應(yīng)用，這是我們Docker的一個(gè)應(yīng)用。這是傳統(tǒng)的大數(shù)據(jù)平臺(tái)會(huì)跑在固定的集群上面，當(dāng)然有些業(yè)務(wù)量是一個(gè)波動(dòng)的過(guò)程，就是有些時(shí)候訪(fǎng)問(wèn)量會(huì)特別大，有些時(shí)候訪(fǎng)問(wèn)量會(huì)比較小，那就是你集群的數(shù)量設(shè)置是固定的，但是你如何去適應(yīng)這種波動(dòng)性的訪(fǎng)問(wèn)情況？比如這就是一個(gè)例子，當(dāng)你的訪(fǎng)問(wèn)量上漲的時(shí)候，你的反應(yīng)時(shí)間會(huì)變長(zhǎng)。這樣的話(huà)，我們的Docker會(huì)自動(dòng)擴(kuò)展，甚至可以擴(kuò)展到其他的服務(wù)器群上面，這樣你的訪(fǎng)問(wèn)時(shí)間就會(huì)馬上下降。當(dāng)你的訪(fǎng)問(wèn)時(shí)間下降之后，你不需要這么多臺(tái)服務(wù)器的時(shí)候，可以自動(dòng)實(shí)現(xiàn)收縮。

大數(shù)據(jù)行業(yè)趨勢(shì)。大數(shù)據(jù)系統(tǒng)整個(gè)平臺(tái)分為兩塊，主要是兩個(gè)趨勢(shì)，一塊是做存儲(chǔ)，一塊是做分析應(yīng)用。其實(shí)做存儲(chǔ)這一塊目前還是一個(gè)主要的趨勢(shì)，隨著我們的數(shù)據(jù)存儲(chǔ)量越來(lái)越大以及數(shù)據(jù)倉(cāng)儲(chǔ)越來(lái)越完備，數(shù)據(jù)分析就會(huì)顯得越來(lái)越重要。在數(shù)據(jù)存儲(chǔ)這個(gè)層面來(lái)說(shuō)，現(xiàn)在我們主要像銀行業(yè)務(wù)是支持?jǐn)?shù)據(jù)支持業(yè)務(wù)，比如ATM機(jī)取款是業(yè)務(wù)操作，會(huì)有一些實(shí)時(shí)數(shù)據(jù)或者是其他數(shù)據(jù)對(duì)接到我們大數(shù)據(jù)存儲(chǔ)。像柜面、電話(huà)銀行都是多種多樣的數(shù)據(jù)源，會(huì)做一個(gè)很重要的存儲(chǔ)平臺(tái)。

在另外一個(gè)層次來(lái)說(shuō)就是大數(shù)據(jù)分析，因?yàn)槲覀兊臄?shù)據(jù)量越來(lái)越大的時(shí)候，我們就需要做很多很復(fù)雜的分析，這個(gè)就會(huì)影響到?jīng)Q策層。其實(shí)決策層需要的不僅僅是數(shù)據(jù)，更需要的是很多算法的加工。我這里是舉了一些銀行的案例，就是我們?cè)趺醋龃髷?shù)據(jù)分析的。

我可以重點(diǎn)談一下反洗錢(qián)這個(gè)案例，為什么要說(shuō)這個(gè)案例？反洗錢(qián)的算法是非常復(fù)雜的，之前在美國(guó)銀行做反洗錢(qián)的時(shí)候我們是和美國(guó)的貨幣管理委員會(huì)有一些針對(duì)各個(gè)銀行數(shù)據(jù)搜集進(jìn)行算法的分析。其實(shí)在這種情況下，隨著我們反洗錢(qián)規(guī)則的制定，有很多的犯罪分子會(huì)不斷的修改自己的犯罪手段適應(yīng)你的規(guī)則，你的規(guī)則越來(lái)越復(fù)雜的情況下，怎么做到從不同的數(shù)據(jù)源，從海量的數(shù)據(jù)當(dāng)中把這些犯罪的行為抓出來(lái)。其實(shí)我們做了很多的修正，做到最后包括整個(gè)外匯交易一旦進(jìn)來(lái)之后，我們能做到最終像中國(guó)成語(yǔ)說(shuō)的天網(wǎng)恢恢，疏而不漏，這就是大數(shù)據(jù)將來(lái)的一個(gè)趨勢(shì)。

我的分享就到這里，謝謝大家！

本文標(biāo)題：東方金信石棋玲：SeaBox?海盒大數(shù)據(jù)技術(shù)與產(chǎn)品創(chuàng)新
文章路徑：http://www.rwnh.cn/article40/socceo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、商城網(wǎng)站、微信小程序、域名注冊(cè)、App開(kāi)發(fā)、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)