原创 mongoDB數據庫簡易總結及思考
1、mongo授權 詳細授權請參見如下文本 授權完畢之後請修改mongodb.conf中auth = true，退出重新進入，則創建的用戶必須使用密碼纔可以登錄了 其中mongodb.conf可以配置日誌生成的路徑，是否外部主機可以訪問等
2019-03-01 00:50:25
原创 python 閉包
閉包 定義：在一個外函數中定義了一個內函數，內函數裏運用了外函數的臨時變量，並且外函數的返回值是內函數的引用，這樣就構成了一個閉包 優勢： 內外函數共享變量，節省內存 外函數在調用結束時，會把被內函數調用的變量綁定到內函數上，不會直接釋放
2019-02-16 19:53:16
原创 python 迭代器與生成器
一、迭代器 簡介： 迭代是Python最強大的功能之一，是訪問集合元素的一種方式。 迭代器是一個可以記住遍歷的位置的對象。 迭代器對象從集合的第一個元素開始訪問，直到所有的元素被訪問完結束。迭代器只能往前不會後退。 迭代器有兩個基本的方法
2019-02-16 19:53:16
原创 tornado+elasticsearch web API
1、簡介 最近使用tornado實現了一個對接ES庫的API接口，tornado的優勢在此不做講解 下面分享一下核心代碼，方便後面使用 tornado講解推薦博客 2、code import time import tornado i
2019-02-01 14:40:59
9
原创 requests proxy使用
最近在通過代理連接ES數據庫時，一直報錯 requests.packages.urllib3.exceptions.ProxySchemeUnknown: Not supported proxy scheme socks5 from e
2019-02-01 14:40:59
16
原创 python實現發送郵件功能
簡介：需要調用smtplib庫，登錄QQ郵箱，進入 設置 頁面，選擇賬戶選項，將下圖設置成這樣，需要發送短信，將短信驗證成功的；如果想使用163作爲發送郵箱，設置方式同QQ郵箱 序列碼記錄下載，設置發送郵箱密碼的時候要
2019-01-25 15:52:36
原创 Django配置uwsgi
1、安裝uwsgi # pip install uwsgi 2、創建uwsgi.ini，當然此處只看後綴，文件名可以隨便起 ite_uwsgi.ini file [uwsgi] # Django-related settin
2018-12-29 03:23:10
原创 Flask實現異步非阻塞
1、簡介 給大家先說明一下，什麼是異步非阻塞。 異步非阻塞：說白了就是server端開啓進程，client端同時向server發起多個請求，server端在處理請求的時候，不用等一個請求處理完了，再處理另外
2018-12-26 18:24:20
6
原创 ES單條數據錄入操作
錄入數據時先在庫裏進行查詢，如果數據存在的話，進行更新數據；如果庫裏面此條數據不存在的話，進行插入數據 以下是封裝的完整代碼可以參考 from elasticsearch import Elasticsearch url = 'htt
2018-12-25 16:57:14
原创 request爬蟲文件方式
import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, l
2018-12-23 15:37:22
原创 python鏈家爬蟲
1、爬蟲code # coding=utf-8 import requests import re import pymysql def get_info(url): response = requests.get(url)
2018-12-19 02:13:59
6
原创 12306自動搶票軟件
一、說明 12306目前反爬蟲手段做的越來越牛逼了，一旦檢測到，直接就封號了或者很容易導致登錄失敗，必須更換代理服務器才能登錄，所以做測試的時候一定要小心，要先把代理IP池搞好，再做測試。 二、代理IP池 1、獲取代理IP途徑，獲取代理I
2018-12-19 02:13:59
原创 python爬蟲新浪微博
一、新浪微博全棧爬蟲 先不扯皮，直接上獲取數據效果圖 爬蟲策略：遞歸獲取每個用戶的粉絲用戶id，想要獲取多少用戶id，則可以獲取多少；利用獲取的用戶id再獲取每個用戶的所有數據 例如爬黑貓警長GIAO的一條微博所有評論 爬蟲策略：
2018-12-19 02:13:59
9