原创 redis學習記錄(5)redis緩存

緩存的使用與設計 加入緩存的流程 一、緩存的收益與成本 1、收益 加速讀寫         因爲緩存通常都是全內存的(例如Redis、 Memcache) , 而存儲層通常讀寫性能不夠強悍(例如MySQL) , 通過緩存的使用可以有

原创 redis學習記錄(6)高效使用內存

內存回收策略 一、刪除到達過期時間的鍵對象 1、刪除過期鍵對象         Redis所有的鍵都可以設置過期屬性, 內部保存在過期字典中。 由於進程內保存大量的鍵, 維護每個鍵精準的過期刪除機制會導致消耗大量的CPU, 對於單線程的R

原创 使用scrapyd部署爬蟲

一、scrapyd pip install scrapyd 需要兩個東西: scrapyd是一個服務器,還需要一個client 二、scrapyd-client: pip install scrapyd-client 打包本地爬蟲,

原创 搜索引擎實驗報告

一、實訓內容 搜索引擎是指根據一定的策略、運用特定的計算機程序從互聯網上採集信息,在對信息進行組織和處理後,爲用戶提供檢索服務,將檢索的相關信息展示給用戶的系統。 網絡中用於各種功能的搜索引擎非常多,在求職,找工作方面,智聯招聘、拉勾網等

原创 Python實現深度和廣度搜索

class list_node(object): def __init__(self, val): self.val = val self.next = None # 建立鄰接表 def cr

原创 老鼠走迷宮問題

 問題描述: 給定一個二維數組,數組中1表示牆壁,0表示通路,由此數組可展示爲一個迷宮圖。給定入口位置和出口位置,判斷之間是否存在通路並顯示出走出迷宮的道路。 class Node(object): def __init__(s

原创 redis學習記錄(1)

一、redis特性 1、速度快 10w QPS 數據存放在內存,C語言實現,單線程 2、持久化 Redis所有數據保存在內存中,但是對數據的更新將異步地保存在磁盤上。 3、多種數據結構 列表 哈希 集合 有序集合 字符串 位圖 :BitM

原创 HTTP協議系統學習

目錄 一、瞭解HTTP 1、瀏覽器背後的故事 2、HTTP的起源 3、通過TCP/IP看HTTP 3.1、TCP/IP協議族 3.2、TCP/分層管理 3.3、TCP/IP通信傳輸  4、各種協議與HTTP協議的關係  二、熟悉HTTP

原创 使用selenium爬取拉勾網

__author__ = '田明博' __date__ = '2019/10/20 8:39' from selenium import webdriver from selenium.webdriver.support.ui imp

原创 selenium報錯

selenium定位時報錯: selenium.common.exceptions.ElementClickInterceptedException: Message: Element <span class="pager_next ">

原创 MySQL(七)事務控制與鎖

目錄 一、事務概述 二、事務隔離級別 1、讀未提交 2、讀已提交 3、可重複讀 4、可串行化 三、事務控制語句 四、InnoDB的鎖 1、鎖的粒度 2、鎖的種類 一、事務概述 事務是一組SQL語句的集合,這個集合是一個不可分割的整體。對於

原创 MySQL(九)SQL優化

目錄 一、索引對DML語句效率的影響 1、實驗準備 ①創建數據庫  ②創建用於向表中插入數據的存儲過程proc1()  ③調用存儲過程proc1,設置插入1000000條測試記錄  ④查看錶t中的記錄數和前5條數據 2、explain語句

原创 Python對象引用、可變性和垃圾回收

目錄 一、Python中的變量是什麼  二、==和is的區別 三、del語句和垃圾回收 四、函數的參數作爲引用時 2、不要使用可變類型作爲參數的默認值 一、Python中的變量是什麼 Python和java中的變量本質不一樣。java中的

原创 可迭代的對象、迭代器和生成器

目錄 可迭代的對象、迭代器和生成器  一、Sentence類第一版:單詞序列 ①實現一個Sentence,以此開始探索可迭代對象。第一版要實現序列協議。 ②測試Sentence是否可以迭代 ③Sentence實例可以迭代的原因: 二、可迭

原创 Flask項目中實現短信驗證碼和郵箱驗證碼

一、發送郵箱驗證碼 1、使用QQ郵箱發送驗證碼 ①配置 開啓pop3/smtp服務 2、應用 ①前端頁面 ②config.py # 郵箱配置 # MAIL_USE_TLS:端口號587 # MAIL_USE_SSL:端口號465 #