原创 多線程爬蟲實戰

普通爬蟲 from urllib import request, error import re headers = ('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x6

原创 讀取和訊博客數據可視化分析

import pandas as pd import numpy from matplotlib import pylab df = pd.read_csv('./data/hexun.csv') # 查看多少行、多少列 # p

原创 第三節.開發第一個基於PyQt5的桌面應用

必須使用兩個類:QApplication和QWidget。都在PyQt5.QtWidgets。 import sys from PyQt5.QtWidgets import QApplication, QWidget if __

原创 數據分析與挖掘相關模塊簡介

numpy可以高效處理數據、提供數組支持、很多模塊都依賴它,比如pandas、scipy、matplotlib都依賴它,所以這個模塊是基礎。 pandas我們課程後續用的最多的一個模塊,主要用於進行數據探索和數據分析。 matp

原创 第一個flask程序

from flask import Flask app = Flask(__name__) # 定義一個蘆浦 @app.route('/') def hello_world(): return 'Hello Worl

原创 05.安裝和配置QtDesigner

配置 啓動

原创 主窗口類型

主窗口類型 有三種窗口 QMainWindow QWidget QDialog QMainWindow:可以包含菜單欄、工具欄、狀態欄和標題欄,是最常見的窗口形式。 QDialog:是對話窗口的基類。沒有菜單欄、工具欄、狀態欄。

原创 fillder抓取https

fillder: tools > options > https 2. actions > Export Root Certificate Manager 將CA證書導出到桌面 3. 打開火狐瀏覽器:選項 > 隱私與安全 >

原创 數據探索與數據清洗概述

數據探索的目的是及早發現數據的一些簡單規律或特徵,數據清洗的目的是留下可靠的數據,避免髒數據的干擾。這兩者沒有嚴格的先後順序,經常在一個階段進行。 數據探索的核心 數據探索的核心是: 數據質量分析(跟數據清洗密切聯繫) 數據特徵

原创 padans導入數據

文章目錄導入csv數據導入excel數據導入MySQL數據庫裏的數據導入html數據導入文本數據 導入csv數據 csv是一種常見的數據存儲格式,基本上我們遇到的數據都可以轉爲這種存儲格式。在Python數據分析中,我們可以使用

原创 Redux基礎知識

Redux是什麼 Redux專注於狀態管理,和react解耦 單 一狀態,單向數據流 核心概念:store,state,action,reducer import { createStore } from 'redux' c

原创 設置控件之間的夥伴關係(關聯)

編輯>>編輯夥伴 選中控件摁住鼠標,往需要添加夥伴關係的控件上拖動 編輯>>編輯窗口控件回到正常編輯狀態

原创 抓包分析實戰爬取騰訊視頻評論

from urllib import request, error import re import json # 使用代理服務器 def use_proxy(url, proxy_addr): # https://w

原创 Scrapy框架常見命令

全局命令 fetch 爬一個網頁,並顯示爬取過程 scrapy fetch http://www.baidu.com runspider 不創建爬蟲項目,也可以運行一個爬蟲文件 scrapy runspider .\hello.

原创 07.將UI文件生成py文件

首先將designer中的視圖保存爲ui文件。 將UI文件生成py文件 方法一使用命令行: python -m PyQt5.uic.pyuic demo.ui -o demo.py 方法二: pyuic5 demo.ui -o