原创 scrapy爬蟲的暫停與重啓

首先要有一個scrapy項目 這裏用我的爬取知乎用戶信息的項目來做例子:https://github.com/oldbig-carry/zhihu_user 在cmd上cd 進入項目 然後在項目目錄下創建 記錄文件:remain/0

原创 使用python3的Selenium啓動chromedriver

1 Selenium 1.1 簡介     Selenium 是什麼?一句話,自動化測試工具。它支持各種瀏覽器,包括 Chrome,Safari,Firefox 等主流界面式瀏覽器,如果你在這些瀏覽器裏面安裝一個 Selenium

原创 python的學習路線

1Python基礎(第1周) 課程目標 1.掌握Python基礎相關的知識; 2.爲後續的學習打下堅實的基礎。 作業/案例 2048小遊戲。包含知識

原创 python3模擬登錄知乎

1,前言   在爬蟲的世界裏,模擬登錄是一項必備的技能,很多網站登錄纔能有瀏覽信息的權限,今天就在python來模擬登錄知乎 2,獲取登錄時post的參數    在網頁上輸入知乎的url:https://www.zhihu.com/#s

原创 Ubuntu 16.04設置環境變量

打開終端並輸入: sudo gedit /etc/environment  (注意gedit後有空格,下同)   輸入用戶密碼。這時輸入的密碼是不可見的。 在PATH="...."的末尾處添加: :/opt/Embed

原创 第一個python爬蟲(python3爬取百度百科1000個頁面)

以下內容參考自:http://www.imooc.com/learn/563 一、爬蟲簡介 爬蟲:一段自動抓取互聯網信息的程序 爬蟲可以從一個url出發,訪問其所關聯的所有的url。並從每個url指向的網頁中,獲取我們所需要的

原创 在github的readme添加圖片

我們知道github上的readme式不能直接複製黏貼圖片的,那麼怎麼將圖片顯示在readme上呢? 首先將圖片放在倉庫裏面,在文件裏鏈接它,最後 push 到 github 上。 然後在readme裏面添加: github 圖片鏈接

原创 Intellij IDEA導入Python插件並創建工程

最近假期有空想學習一下python爬蟲,百度一下發現Eclipse可以集成python插件,無奈十分麻煩,IDEA就不同了,引入python 插件十分簡單,適合我這個小白 Intellij IDEA15中Python安裝: Int

原创 Mongo數據庫安裝與入門

一,什麼是MongoDB ? MongoDB 是由C++語言編寫的,是一個基於分佈式文件存儲的開源數據庫系統。 在高負載的情況下,添加更多的節點,可以保證服務器性能。 MongoDB 旨在爲WEB應用提供可擴展的高性能數據存儲解決

原创 數據庫連接錯誤集錦A ResourcePool could not acquire a resource from its primary factory or source

在github上fork別人的項目到本地,測試時首先要創建數據庫,然後修改數據庫配置的信息(密碼等) 今天在測試一個項目時出現A ResourcePool could not acquire a resource from its pri

原创 Django學習筆記(三)--Django超鏈接

Django中的超鏈接 超鏈接的目標地址 href後面是目標地址 template中可以用 {% url  ‘app_name : url_name’   param %} app_name:應用命名空間的名稱 url

原创 Python模擬登陸萬能法-微博|知乎

Python模擬登陸讓不少人傷透腦筋,今天奉上一種萬能登陸方法。你無須精通HTML,甚至也無須精通Python,但卻能讓你成功的進行模擬登陸。本文講的是登陸所有網站的一種方法,並不侷限於微博與知乎,僅用其作爲例子來講解。 用到的庫有“

原创 Linux常用指令

常見指令 系統管理命令 打包壓縮相關命令 關機/重啓機器 常用指令 ls          顯示文件或目錄      -l           列出文件詳細信息l(list)      -a          列

原创 Maven總結

一,Maven基本命令 -v:查詢Maven版本  本命令用於檢查maven是否安裝成功。  Maven安裝完成之後,在命令行輸入mvn -v,若出現maven信息,則說明安裝成功。 compile:編譯  將Java源文件編譯

原创 Django學習筆記(二)--通過model自動生成數據表

首先要編寫好自己的model from django.db import models # Create your models here. class Article(models.Model): title = mode