創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商,新人活動(dòng)買多久送多久,劃算不套路!
小編給大家分享一下爬蟲數(shù)據(jù)保存到mongoDB的方法,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討方法吧!
爬蟲數(shù)據(jù)保存到mongoDB的方法:
import pymongo # 首先需要注意,mongodb數(shù)據(jù)庫存儲(chǔ)的類型是以鍵值對(duì)類型進(jìn)行存儲(chǔ),所以在存儲(chǔ)以前一定要進(jìn)行數(shù)據(jù)篩選 def save_mongo(傳入的數(shù)據(jù)): # 創(chuàng)建連接 因?yàn)槭褂玫臑楸緳C(jī)數(shù)據(jù)庫,所以IP寫localhost即可,端口號(hào)為27017 client = pymongo.MongoClient('localhost',27017) # 連接數(shù)據(jù)庫(這里注意一點(diǎn),mongo數(shù)據(jù)庫有一個(gè)優(yōu)點(diǎn),就是當(dāng)自己連接的數(shù)據(jù)庫和表都沒有的時(shí)候,會(huì)自動(dòng)創(chuàng)建,所以不用擔(dān)心寫錯(cuò)或者沒有表) db = client['自己創(chuàng)建數(shù)據(jù)庫名'] # 連接表 collection = db['自己的表名(mongo中叫做集合)'] # 插入到數(shù)據(jù)庫中(這里使用dict進(jìn)行強(qiáng)制轉(zhuǎn)換,是為了保證數(shù)據(jù)為字典格式) collection.insert(dict(傳入的數(shù)據(jù)))
mongoDB介紹:
它的特點(diǎn)是高性能、易部署、易使用,存儲(chǔ)數(shù)據(jù)非常方便。主要功能特性有:
*面向集合存儲(chǔ),易存儲(chǔ)對(duì)象類型的數(shù)據(jù)。
*模式自由。
*支持動(dòng)態(tài)查詢。
*支持完全索引,包含內(nèi)部對(duì)象。
*支持查詢。
*支持復(fù)制和故障恢復(fù)。
*使用高效的二進(jìn)制數(shù)據(jù)存儲(chǔ),包括大型對(duì)象(如視頻等)。
*自動(dòng)處理碎片,以支持云計(jì)算層次的擴(kuò)展性。
*支持 Golang,RUBY,PYTHON,JAVA,C++,PHP,C#等多種語言。
*文件存儲(chǔ)格式為BSON(一種JSON的擴(kuò)展)。
*可通過網(wǎng)絡(luò)訪問。
看完了這篇文章,相信你對(duì)爬蟲數(shù)據(jù)保存到mongoDB的方法有了一定的了解,想了解更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道,感謝各位的閱讀!
當(dāng)前文章:爬蟲數(shù)據(jù)保存到mongoDB的方法-創(chuàng)新互聯(lián)
分享網(wǎng)址:http://www.rwnh.cn/article38/dcoipp.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供用戶體驗(yàn)、品牌網(wǎng)站設(shè)計(jì)、ChatGPT、網(wǎng)站建設(shè)、外貿(mào)建站、云服務(wù)器
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容