原创 15天學會爬蟲 第三天

爬蟲 第三天 1.三元運算符 a = b if b else c # 如果b爲真,a=b,否則a=c if b: a = b else: a = c 2.requests處理cookies 將cookie字符串

原创 爬蟲知識點day01

1. 爬蟲的用途 1.爬取數據用做網站展示 2.爬取數據用來爲大數據或者人工智能服務 2. 什麼是爬蟲? 模擬瀏覽器發送請求,獲取相應的數據 3. 爬蟲的分類 3.1 通用爬蟲 搜索引擎的爬蟲,爬取整個互聯網的數據 3.2 聚焦爬蟲

原创 live-server的安裝與使用

前端文件開發中經常需要預覽效果 這裏給大家推薦一個微型服務器 live-server 安裝live-server之前需要安裝node.js的版本控制工具nvm 在終端中執行 curl -o- https://raw.githubuse

原创 關於virtualenv的創建(以Ubuntu和Mac爲例)

針對於不同項目有時候我們需要配置不同的環境,而我們並沒有必要去配置多臺設備,這時,虛擬環境能夠幫助我們在一臺設備裏搭建不同項目所需要的環境 首先需要安裝virtualenv sudo pip install virtualenv su

原创 js中雙等和三等區別

js中雙等和三等區別 簡單來說: == 代表相同, ===代表嚴格相同, 爲啥這麼說呢, 這麼理解: 當進行雙等號比較時候: 先檢查兩個操作數數據類型,如果相同, 則進行三等比較, 如果不同, 則願意爲你進行一次類型轉換, 轉換成相同

原创 mysql-installer-community-5.7.22.1在win下安裝流程

mysql-installer-community-5.7.22.1 資源鏈接:https://pan.baidu.com/s/1QFIWAN7TbKRRv0pZNd-oAw 密碼:ek4f 選擇自己適合的版本,我一般安裝軟件都選

原创 【轉】高併發和大流量解決方案

#高併發架構相關概念# 併發: 在操作系統中,是指一個時間段中有幾個程序都處於已啓動運行到運行完畢之間,且這幾個程序都是在同一個處理機上運行,但任意一個時刻上只有一個程序在處理機上運行。 我們說的高併發是什麼? 上面的定義明顯不是我們

原创 [轉載]Python使用進程池解決線程中遇到的GIL鎖問題

由於Python中線程封鎖機制(GIL鎖),導致Python中的多線程並不是正真意義上的多線程。當我們有並行處理需求的時候,可以採用多進程迂迴地解決。 如果要在主進程中啓動大量的子進程,可以用進程池的方式批量創建子進程。 首先,創建一

原创 [轉載]多繼承(鑽石繼承)的問題和解決

大家都知道繼承的目的是爲了讓子類可以使用父類的成員,實現代碼的複用,但是在多繼承中會出現各種問題: class Father(object): def __init__(self, name): self.na

原创 [轉載]三次握手和四次揮手

三次握手 在 TCP/IP 協議中,TCP 協議提供可靠的連接服務,採用三次握手建立一個連接。                                         第一次握手:建立連接時,客戶端發送 syn 包

原创 一部分可能會用到的正則,後期繼續維護

郵箱正則 ^[a-zA-Z0-9_.-]+@[a-zA-Z0-9-]+(\.[a-zA-Z0-9-]+)*\.[a-zA-Z0-9]{2,6}$ url正則 ^(?:([A-Za-z]+):)?(\/{0,3})([0-9.\-A

原创 遞歸函數的基本概念

遞歸函數說白了就是一個自己調用自己的函數 比方說 def print_num(num): if num > 10: # 這是跳出的條件 return # 這是跳出的位置 else:

原创 python魔法方法詳解

python魔法方法詳解 據說,Python 的對象天生擁有一些神奇的方法,它們總被雙下劃線所包圍,他們是面向對象的 Python 的一切。 他們是可以給你的類增加魔力的特殊方法,如果你的對象實現(重載)了這些方法中的某一個,那麼這個

原创 關於Python中的全局變量和局部變量及其作用域

嗯,怎麼說呢 如果把程序比作一個學校 那麼全局變量就是校職員工,局部變量是學生(請不要討論離職等操作拒絕槓精) 當你畢業之後你就跟學校沒什麼關係了(方法結束) 但是你的校長會一直呆到學校開不下去(程序結束) 這個說的是全局變量和局部變

原创 Linux常用命令,以及vim編譯器的命令,初學者試用

我正式接觸的第一門語言應該算是C,那會接觸的一個開發工具就是Linux裏的vim,那會就單純的覺得Linux裏的命令很神奇,其實是因爲可以裝x 好了閒話不多說,下面爲大家列幾個Linux中常用的命令或者說剛剛接觸這個系統並打算做開發時老