在線爬蟲是大快大數(shù)據(jù)一體化開發(fā)框架的重要組成部分，本篇重點(diǎn)分享在線爬蟲的安裝。

在常山等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、外貿(mào)營銷網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作按需網(wǎng)站設(shè)計(jì),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),全網(wǎng)營銷推廣,成都外貿(mào)網(wǎng)站制作,常山網(wǎng)站建設(shè)費(fèi)用合理。

爬蟲安裝前準(zhǔn)備工作：大快大數(shù)據(jù)平臺(tái)安裝完成、zookeeper、redis、elasticsearch、mysql等組件安裝啟動(dòng)成功。

1、修改爬蟲安裝配置文件(最好在線下修改好后再上傳平臺(tái))

2、修改crawler\dkcrw\jdbc.properties配置文件(只修改圖片里的內(nèi)容其他內(nèi)容默認(rèn)即可)

Hbase.zookeeper.quorum所填地址應(yīng)在DKM監(jiān)控平臺(tái)查看：

Redis相關(guān)配置看如下界面：

3、把已修改的crawler\dkcrw\下的jdbc.properties配置文件替換到\crawler\dkcrw-tomcat-7.0.56\webapps\ROOT\WEB-INF\classes下(這下面有一個(gè)沒有改好的直接替換)

修改好后把修改好的爬蟲文件打壓成壓縮文件

4、上傳平臺(tái)主節(jié)點(diǎn)并解壓(這里就不介紹怎么上傳了的了,本次例子是上傳到root目錄下,安裝包上傳到任何目錄下都可以推選root目錄)

unzip 解壓命令,解壓唱功后會(huì)多了一個(gè)  cuawler  的文件夾

使用cd  crawler  命令進(jìn)入  crawler 文件夾下

使用mysql -uroot -p123456 < numysql.sql 命令添加numysql.sql數(shù)據(jù)庫

5、分發(fā)爬蟲文件

每個(gè)節(jié)點(diǎn)都需要有dkcrw文件, dkcrw-tomcat-7.0.56文件只能放在一個(gè)節(jié)點(diǎn)上,不能放在主節(jié)點(diǎn)上(推選放在從節(jié)點(diǎn))

命令:

scp -r  {要分發(fā)的文件名可填寫多個(gè),如果不在要分發(fā)文件的目錄下請(qǐng)?zhí)砑勇窂絵  {分發(fā)到的服務(wù)器ip或名稱:分發(fā)到的路徑}

例如:

cd /opt/dkh

scp -r dkcrw dk2:/opt/dkh/

scp -r dkcrw dkcrw-tomcat-7.0.56/ dk2:/opt/dkh/

6、在分發(fā)了dkcrw-tomcat-7.0.56文件的節(jié)點(diǎn)上給文件添加權(quán)限

命令:

chmod -R 755 {需要給權(quán)限的文件等}

例如:

cd /opt/dkh

chmod -R 755 dkcrw dkcrw-tomcat-7.0.56/

7、啟動(dòng)爬蟲界面

命令:

cd /opt/dkh/dkcrw-tomcat-7.0.56/bin/

./startup.sh

啟動(dòng)界面之后再瀏覽器中輸入啟動(dòng)界面節(jié)點(diǎn)的IP,來打開爬蟲界面看是否啟動(dòng)成功(賬號(hào)密碼是默認(rèn)的)

8、啟動(dòng)每個(gè)節(jié)點(diǎn)的dkcrw.jar

命令:

主節(jié)點(diǎn)運(yùn)行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar master > dkcrw.log 2>&1 &

從節(jié)點(diǎn)運(yùn)行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar slave > dkcrw.log 2>&1 &

注意：可以先使用前臺(tái)啟動(dòng)爬蟲，確定爬蟲沒錯(cuò)誤。

前臺(tái)啟動(dòng)命令java -jar dkcrw.jar master/slave

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)頁題目：數(shù)據(jù)爬蟲技術(shù)實(shí)例：大快在線爬蟲安裝教程-創(chuàng)新互聯(lián)
鏈接地址：http://www.rwnh.cn/article8/jdsip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、面包屑導(dǎo)航、網(wǎng)站導(dǎo)航、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)