原创 Python爬蟲:查國家安全信息庫

本博客僅用於技術討論,若有侵權,聯繫作者刪除。 這次筆者想對國家信息安全漏洞庫進行爬蟲,獲取漏洞信息。並將每一個漏洞信息存爲一個json文件。 一、獲取當前總頁數 先獲取總頁數,以便進行for循環爬所有的漏洞數據: #獲取當前總頁數 d

原创 Python爬蟲實例:爬取國內所以醫院信息

本博客僅用於技術討論,若有侵權,聯繫筆者刪除。 此次的目的是爬取國內醫院的基本信息,並按省份存儲。爬取的黃頁是醫院列表。以下是結果圖: 一、初始化數據 初始化基本的數據,包括global變量,省份名稱等等。 import reque

原创 Python+IP代理爬蟲實例:爬取常見知名網站信息

本博客僅用於技術討論,若有侵權,聯繫筆者刪除。 此次的目的是爬取國內常見網站的基本信息。爬取的黃頁是網站列表,爬取了三萬多條數據。以下是結果圖: 一、代理IP 由於一個IP重複請求多次後服務器會不響應,所以此處筆者採用代理IP的方式。代

原创 Python爬蟲:爬取國內所有高校名稱、類型、官網

本博客僅用於技術討論,若有侵權,聯繫筆者刪除。 此次的目的是爬取國內高校的基本信息,並按省份存儲。爬取的黃頁是http://www.gx211.com/gxmd/gx-bj.html。以下是結果圖: 一、初始化數據 初始化基本的數據,

原创 Python爬蟲實例:爬取“查IPIP”查詢結果,查詢IP地址歸屬地

該文章僅用於技術討論,若有侵權,聯繫作者刪除。 目標是輸入一個IP地址後,獲取查IP網(http://chaipip.com/ip.php)的查詢結果。正常使用我們發現——流程是輸入IP地址——進行滑動驗證碼驗證後查詢——跳轉一個新的窗口

原创 Python爬蟲:驗證碼認證(輸入時驗證碼、滑動式驗證碼、點擊式驗證碼、宮格驗證碼)

筆者在本科階段想學卻一致沒有學的Python爬蟲,沒有想到研究僧階段剛進實驗室的第一週就被安排學習了。這周筆者主要學習的有:UA黑名單饒過、JS混淆和驗證碼認證。其中,驗證碼認證是花費時間最長的,問題及代碼如下: 一、輸入式驗證碼 用戶根

原创 Bootstrap,左側二級菜單,div高度隨內容變化,設置border寬度無效

筆者用Bootstrap寫網站自適應已經接近尾聲了,這是第二篇也是最後一篇博客記錄我寫自適應遇到的坑。這次筆者主要討論三個問題:如何用Bootstrap寫側邊欄二級目錄、div高度隨內容變化、設置border寬度無效的問題。 一、Boot

原创 Bootstrap、CSS寫自適應,如何解決高度、字體自適應問題

筆者這段時間在做一個企業官網的自適應,沒有用Bootstrap模板,而是引入Bootstrap自己寫自適應。開發過程中高度自適應、字體自適應問題對於筆者這種入門級的新手來說是個難點。比如有個div盒子在電腦端我希望他的margin-top

原创 考研經歷,從河工大到川大(網絡空間安全)

自從六月份決定考研到考研結束,半年多沒碰過博客了。昨天考研結束,所以想趁熱把經歷和感想都記錄下來,希望可以對讀者有所幫助,也是對自己一段寶貴經歷的封存。 先嘮叨嘮叨爲什麼選擇讀研吧。就個人原因的話:我想讀研,在本科接觸的這麼多項目中拓展了

原创 Unity 3D,小地圖,製作教程

    筆者的Unity 3D課程已經結束,這裏記錄下幾個比較常用的功能教程並分享給大家(適用的版本是Unity 3D 5.6.5)。    接下來我們說一說小地圖的製作,具體思路爲:在角色頭頂創建一個攝像機,並選擇二維顯示跟蹤角色運動然

原创 分治法,動態規劃法,貪心法,回溯法,分支限界法的區別和聯繫以及適用情況

    筆者這學期的《算法設計與分析》課程已經進入尾聲,在這裏對學過的算法進行總結歸納。筆者先對各個算法的思想進行簡單的陳述,然後再進行對比。一、算法思想    (一)分治法(divide and conquer method)    是

原创 分治法求最值問題,典型的錯誤示範及正確的代碼

    筆者在進行分治法學習和跟同學討論時發現一個比較有意思的錯誤,在此分享給大家。    我們知道,分治法的核心思想時將待處理對象先分後治,而且當待處理對象基本有序時分治法將退化爲冒泡算法。    下面我們看一個有意思的錯誤示範(僞代碼

原创 人生中的算法抉擇

     貪心法在決策問題上目光短淺,只根據當前已有的信息就做出選擇,而且一旦做出了選擇,不管將來有什麼結果,這個選擇都不會改變。換言之,其並不考慮整體最優,它所做的抉擇只是在某種意義上的局部最優解……第一次看到貪心算法的設計思想的時候我

原创 Linux編程,一個服務器對應多個客戶端,客戶端之前實現羣聊,私聊

    筆者這學期在進行Linux系統的學習,做了一些有意思的程序分享給大家,並通過這種方式把它記錄下來。    實現的思路是服務器端每當接受一個socket連接請求後,就將該連接的套接字描述符存入一個數組中,以此識別每個socket連接

原创 循環賽日程表,分治法(n爲任意數,n=2^k),多邊形輪轉法(n爲任意數),遞歸和指針,共五種解決方案。

    筆者對循壞賽日程表的問題進行了一定深究,以下是該問題的五種解決方案(討論原理時,筆者默認讀者對分治法解決循壞賽日程表問題有理論基礎)。    一、分治法,n=2^k,初始化爲2*2的矩陣。    該方法的思想是利用遞歸對數組進行拆