原创 IDEA創建Web項目以及熱部署問題

File–>New Project–>Java EE --> Web Application 這樣你的web項目就建好了,接下來是配置tomcat 選擇本地local Tomcat出現亂碼問題,請訪問:https://

原创 一般scrapy的安裝

首先進入網頁:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 進入後不要慌,找到你python對應的文件類型,這裏我的是 所以我找的是: 下載好以後把兩個文件放到一個

原创 Java 刪除字符串指定字符(包含刪除多個字符)

比如原始字符串是:“this is my pen”, 刪除掉其中的字符: ‘i’和’y’, 得到:“ths s m pen”。 注:這裏先刪除一個字符,之後再修改一下代碼即可完成需求 public class DeleteCh

原创 刷 超星學習通,智慧樹,知乎,,,等等大學生網課,親測 !!!!!!

首先你需要的東西有: 谷歌瀏覽器,安裝油猴插件,下載超星學習通腳以及你想刷網課的腳本 下載地址爲:https://www.crx4chrome.com/crx/1429/ 我這用的油猴是64位的:鏈接:https://p

原创 scrapy京東翻頁爬取

獲取下一頁的鏈接 如果下一頁有值,就發送下一頁的請求,沒有就什麼都不做 # 只爬取 前5頁 self.page += 1 if self.page > 4:

原创 scrapy 數據存儲,實則是python和mysql的交互,使用pipeline將爬取的數據入庫

在pipeline.py管道處 import pymysql from BOOK import settings """ MYSQL_HOST = 'localhost' MYSQL_DB_NAME = 'book' MYSQ

原创 scrapy爬取數據爲什麼價格爲空,爲什麼在xpath解析有顯示價格,該怎麼解決,京東存在ajax反爬蟲

- 圖書價格爬取分析 點擊一個頁面檢查一下 在json.cn頁面進行分析檢查,因爲有很多價格,市場價,會員價,因此我們只需要選擇一種即可 - 圖書價格ajax獲取: 價格 url ----ajax請求 —發送單獨

原创 yield關鍵字,什麼鬼東西

- yield: 好處: 不會將所有數據取出來存入內存中;而是返回了一個對象;可以通過對象獲取數據;用多少取多少,可以節省內容空間。 除了能返回一個值,還不會終止循環的運行

原创 scrapy爬蟲如何解決圖書大分類與小分類之間的匹配問題

follwing-sibling following-sibling 選取當前節點之後的所有同級節點,跟preceding-sibling一樣都是選取同級同父的節點,只不過following是取對應節點之後的節點,precedi

原创 scrapy基本使用--爬取圖書首頁

務必安裝 pip install scrapy -i + 鏡像源 使用scrpay創建爬蟲項目(終端創建): 1.創建項目:scrapy startproject BOOK 2.進入項目:cd BOOK 3.創建爬蟲:scra

原创 django——Admin後臺管理站點

1. 創建用戶: 終端創建:`python manage.py createsuperuser` 用戶名: 密碼: 最少8位 數字和字母混合使用 郵箱: 隨便寫一個符合郵箱格式 創建成功後,你可

原创 pycharm——djiango之數據遷移,終端操作

首先在pycharm中找到terminal(終端),輸入指令:python manage.py makemigrations之後你會看到如下圖:這表示創建成功。接着輸入指令:python manage.py migrate 就能

原创 用pycharm來運行你創建的django項目

找到你的manage.py文件點擊run,如果你出現下面的圖不要慌 這是因爲你少配個東西,點擊manage找到edit–>scrapy parameters :添加runserver 點擊確定,然後在run一次,出現以下

原创 python添加django.pycharm的方法

輸入cmd進入終端:pip install 庫 -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com 舉個例子:例如添加scrapy,djan

原创 python-scrapy的安裝

快速安裝:cmd指令: pip install scrapy -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com 安裝成功界面: 出現黃色字