python3 [爬蟲入門實戰]爬蟲之mongoDB數據庫的安裝配置與可視化

從安裝過程到可視化工具可查看數據信息，歷時兩天，昨天坐了一天的火車，今天早上纔到的青島–> 來放鬆心情。

前天說是要學習如何使用mongoDB的鏈接與安裝。

到今天過去了將一天， 不過還是在函兮的嘮叨下慢慢的安裝好了，確實來之不易，一臉懵逼

安裝環境： wind10 還是盜版的 磁盤分析：只有一個C盤，

---

步驟：
1 . 下載
http://www.mongodb.org/downloads

這裏下載了對應的msi文件，貌似.zip文件沒有了

2 我默認把mongoDB安裝到c盤下的目錄：C:\Program Files\MongoDB\Server\3.4\bin

3 一開始是沒有進行mongdb dbpath 和dblog的配置項，所以會出現 ：

由於目標計算機積極拒絕，無法連接

上述問題主要是mongdb沒有配置好的原因

4 mongodb 目錄文件的配置
cd : C:\Program Files\MongoDB\Server\3.4\bin
到該bin下
輸入：mongod.exe –dbpath=C:\data\db

這裏的路徑可以自由設置

5 再進行dblog的配置，
也是在bin目錄下：mongod.exe –dbpath=C:\data\log\mongodb.log

---

6 檢查一下配置是否正常
當然也是在bin下進行：mongo

配置成功的標誌：

---

7最後再把mongoDB添加到Windows Service裏面
同樣也是cd到bin下：
輸入：cd D:\mongodb\bin目錄下，執行
mongod.exe –dbpath=C:\data\db –logpath=c:data\log\log.txt –install –serviceName “MongoDB”

進行查看：

啓動，關閉服務：

關閉服務：net stop mongodb

這裏用的可視化工具：對比了下：

MongoChef

覺着這個應該挺不錯的，雖然現階段我只會一個查看數據的操作：

以上就是mongodb的簡單配置，在python3中代碼可見的部分：

基礎存儲部分：

#encoding=utf8
import requests
import re
# 導入mongo 數據庫
import pymongo

import json

# 打開數據庫連接，mongodb默認端口爲27017
conn = pymongo.MongoClient(host='localhost',port=27017)
# 選擇或創建數據庫
toutiao = conn['toutiao']
# 選擇或者創建數據集合
newsdata = toutiao['news']

toutiaoUrl = 'http://www.toutiao.com/api/pc/focus/'
reqData = requests.get(toutiaoUrl).text
print(reqData)

jsonData = json.loads(reqData)
newsData = jsonData['data']['pc_feed_focus']

# 存儲到數據庫
for new in newsData:
    title = new['title']
    img_url = new['image_url']
    url = new['media_url']
    data = {
        'title':title,
        'img_url':img_url,
        'url':url
    }
    # 插入一行數據
    newsdata.insert_one(data)

for i in newsdata.find():
    # 從數據庫中讀取出來
    print('i'+str(i))

以上的註釋都清楚，以後用的mongodb更多功能再進行擴展。

這就是基本的mongodb數據存儲，接下來要學習selenium 和 scraper進行數據爬取操作，加快腳步。

新博客地址：http://blog.csdn.net/xudailong_blog