原创 Elasticsearch-基本操作

elasticsearch概念(集合了數據保存和數據分析的一個搜索引擎) 1.集羣:一個或者多個節點組織在一起 2.節點:一個節點是集羣中的一個服務器,默認是隨機的一個漫畫角色 3.分片:將索引劃分爲多分的能力,允許水平分割和

原创 selenium 配合使用

selenium 爬蟲 1.加載cookies,加載headers,進行模擬登錄 @加載headers的方法 from selenium.webdriver.common.desired_capabilities import

原创 scrapy簡單的反爬蟲方法總結

scrapy簡單的反爬蟲方法總結 1.設置user_agent @簡單設置方法-在setting中設備ua_list,並在 在setting中設置user_agent, ua_list = [ ‘Mozilla/5.

原创 正則表達式re模塊學習!

記錄正則表達式,re模塊。 1.re.findall(匹配模式,字符串,匹配模式補充) 匹配成功list;匹配失敗返回[]。 2.re.search(匹配模式,字符串,匹配模式補充) 匹配成功match

原创 scrapy爬蟲學習

配置虛擬環境: 1.安裝虛擬環境: 1.1.下載virtualenv 1.2.安裝:pip install virtualenv 1.3.創建virtualenv(cmd中): cd 進入virtu

原创 初識Django

安裝Django: pip install Django==version 創建Django項目 方法一: 1.將Django的(bin)路徑加入環境變量中 2.在cd進入bin或某個文件夾中,執行 django-admin

原创 pymysql語法記錄

導入模塊: import pymysql 鏈接數據庫: conn=pymysql.connect(host=”localhost”,port=3306,user=”root”,passwd=’*‘,db=”db_name”,c

原创 Elasticsearch-rtf/head/npm/cnpm

@環境安裝:elasticsearch依賴JAVA8環境 下載地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.h

原创 MongoDB

Mongo中的一些概念: 1.創建連接數據庫: from pymongodb import MongoClient 1.client=MongoClient('localhost',27017) #比較常用 2.client

原创 Elasticsearch+python學習

爬蟲中建立moudle文件夾用於存放elasticsearch基本數據操作命令(建表) from datetime import datetime from elasticsearch_dsl import DocType, Da

原创 scrapy 簡單爬取知乎

1.首先先模擬登錄,主要目的是獲取cookies,重要的是cookies裏面的’name’和’value’ 方法1:常規利用request方法進行模擬登錄,獲取cookieJar,利用requests.utils.dict_fro

原创 python selenium學習

import time from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait #加入隱性等待模塊

原创 scrapy拓展

信號器(signals)的使用 @導入信號器和分發器 from scrapy.xlib.pydispatch import dispatcher from scrapy import signals @定義信號出發函數

原创 Django網站建設-富文本插件,課程總結

UEditor富文本插件 UEditor中文開發文檔 Xadmin插件製作文檔 Django-UEditor的github

原创 Django網站建設-頭像修改,郵箱及密碼修改(form,js文件,模板配置)

1.選擇好模板,並分析頁面 2.修改並自定義基礎模板 3.修改各個頁面,修改title,麪包屑等 4.定義好用戶信息的View 5. 數據綁定,數據回填 6. 配置路徑利用include 7. 模板顯示,在模板中顯示默認值:{