原创 Python3.7+Django2.2.4+Xadmin

1.創建數據庫 create database db_name default charset utf8 collate utf8_unicode_ci; 2.安裝pymysql 項目的__init__.py下: import pym

原创 關於scrapy框架使用的筆記

1.parse.urljoin(base,url)的使用from urllib import parse Request(url=parse.urljoin(response.url, url), callback=self.parse_

原创 EasyBCD2.2將ubuntu添加到Windows啓動菜單

PC安裝ubuntu和 Windows雙系統,將ubuntu添加windows到啓動菜單;流程:EasyBCD -> Add New Entry - Linux/BSD->Type:GRUB 2->Add Entry,重新啓動,看是否生效

原创 python3.6使用pymysql

1.pymysql安裝pip install pymysql(測試連接:import pymysql,如編譯未出錯,即表示pymysql安裝成功)2.插入操作import pymysql db=pymysql.connect(host

原创 [ubuntu]squid3代理配置

http_access訪問控制列表: #http_access deny deny_url http_access deny all #  TAG: http_access # Allowing or Denying access bas

原创 [ubuntu]本地版本庫code上傳到github

1.在github上創建項目,步驟如下: 2.配置遠程倉庫 自行註冊GitHub賬號。由於你的本地Git倉庫和GitHub倉庫之間的傳輸是通過SSH加密的,所以,需要一點設置. 第1步:創建SSH Key。在用戶主目錄下,看看有沒有

原创 scrapy同步與異步儲存數據

1.同步class MysqlPipeline(object): """ 採用同步的機制寫入mysql """ def __init__(self): self.conn = pymysq

原创 CrawlSpider 爬取拉勾網重定向302問題解決方案

custom_settings = { "COOKIES_ENABLED": False, "DOWNLOAD_DELAY": 1, 'DEFAULT_REQUEST_HEADERS': {

原创 [ubuntu]mysqlclient安裝及相關錯誤解決方法

安裝mysqlclient具體步驟如下:apt-get install libmysql-devapt-get install libmysqlclient-devapt-get install python3.6-devpip inst

原创 [ubuntu]安裝virtualenv,virtualenvwrapper出錯

在ubuntu 14.04上安裝virtualenv,virtualenvwrapper時,出現: "no module named upload" "virtualenvwrapper ERROR:root:Error parsing"

原创 elasticsearch搜索引擎及elasticsearch-head/kibana插件的安裝

ElasticSearch是一個基於Lucene(java開發)的搜索服務器。它提供了一個分佈式多用戶能力的全文搜索引擎,基於RESTful web接口。作爲Apache許可條款下的開放源碼發佈,是當前流行的企業級搜索引擎。設計用於雲計算

原创 selenium動態網頁請求

1.安裝pip install selenium2.訪問動態網頁from selenium.webdriver import Chrome from scrapy.selector import Selector #加載驅動 brows

原创 conda install報PackagesNotFoundError

PackagesNotFoundError: The following packages are not available from current channels: 當使用conda install package_name安裝包

原创 AdminLte學習記錄一_結構

此文章版本爲:AdminLTE-2.3.11 一.基本介紹 adminLTE是基於bootstrap3的前端框架,並且將bootstrap3進行修改來適應自身的樣式。 adminLTE除了可以使用bootstrap3的大多數樣式之

原创 AdminLte學習記錄二_box

adminLTE的box是它樣式中的主要組成部分, 下面基本上列舉出來所有的樣式和插件,另外我們可以直接在F12的調試窗口(在adminLTE官網上),選中我們想要的樣式,直接複製粘貼。 以下是我用過的幾個例子,這是adminLTE