原创 爬蟲學習——Scrapy框架學習(二)
接上一篇 三、requests庫和Scrapy庫的比較 相同點: 1、兩者都可以進行頁面請求和爬取,python爬蟲的兩個重要技術路線 2、兩者可用性都好,文檔豐富,入門簡單 3、兩者都沒有處理js、提交表單、應對驗證碼等功能(可擴展)
原创 爬蟲學習——Scrapy框架學習(三)
接前面博客 Scrapy爬蟲的第一個實例 演示HTML頁面地址:http://python123.io/ws/demo.html 文件名稱:demo.html 產生步驟: 1、建立一個Scrapy爬蟲工程 選取一個目錄,D:\pyth
原创 上手快應用(一)
最近要參加比賽,所以上手了快應用 快應用不做過多解釋 主要是配置自己的第一個項目 快應用官網:https://www.quickapp.cn/ 一、建造第一個項目TheFirstQuickApp 1、安裝node.js 官網:https:
原创 LeetCode刷題之路(二)(11~20)
繼續我們的刷題之旅 十一 盛最多水的容器 十二 整數轉羅馬數字 十三 羅馬數字轉整數 十五 三數之和 十六 最接近的三數之和 十七 電話號碼的字母組合 十八 四數之和 十九 刪除鏈表的倒數第
原创 ubuntu之C++使用openssl
老師佈置了一項任務,openssl中的密碼算法的使用 然後我找到了我的虛擬機中的ubuntu16,發現裏面有openssl,很好! 那我如何寫一個C++程序來用到openssl呢?肯定得include,然後我寫了一發測試: #inclu
原创 創新實訓——005
本篇文章介紹Vue.js(以下簡稱vue)的組件化特性,非常好用 組件化 爲什麼當時我選擇了vue,因爲在我接觸爲數不多的前端框架中,vue的組件化特性驚豔到了我,組件化的意思就是指頁面是可以由一個個組件拼接起來的。 比如所有頁面
原创 爬蟲學習——Scrapy框架學習(四)
接之前的博客內容 Scrapy爬蟲的基本使用 步驟: 1、創建一個工程和Spider模板; 2、編寫Spider; 3、編寫Item Pipeline; 4、優化配置策略 Scrapy爬蟲的數據類型: 1、Reqeust類(向網絡中提交請
原创 創新實訓——002
上篇文章中基本環境已配置好,下面開始具體的系統搭建了。 首先我要先去了解redis,以便後續的實時數據處理。 redis redis是鍵值對存儲的代表,支持的數據類型包括string、list、set和zset等,把數據加載到內存
原创 爬蟲學習——Scrapy框架學習(五)(股票數據Scrapy爬蟲實例及其爬取速度優化)
“股票數據Scrapy爬蟲”實例介紹 功能描述: 技術路線:scrapy 目標:獲取上交所和深交所所有股票的名稱和交易信息 輸出:保存到文件中 數據網站的確定: 獲取股票列表: 東方財富網:http://quote.eastmon
原创 創新實訓——003
之前後端本來想用spring boot的,但是之前並未與redis一起使用過,所以後端換到flask,發現flask上手比較簡單。 本篇博客來學習下flask 參考文檔:flask參考文檔 flask安裝 pycharm下新建工程
原创 創新實訓——001
前言 報名了學校的創新實訓,小組的主題是“WEB訪問日誌分析與入侵檢測可視化系統”,我負責可視化模塊。 項目地址 github:項目倉庫 項目博客:項目博客 技術路線 前端 前端框架我選用Vue.js,官方網址:Vue.js
原创 LeetCode刷題之路(一)(1~10)
突然想起有一個做題的網站(LeetCode)地址:https://leetcode-cn.com/,心血來潮,於是註冊做了第一題“兩數之和” 感覺非常有意思,因爲它是給定你初始格式,讓你來完成裏面的函數,和之前完全由自己寫又不一樣,上來第
原创 Java(eclipse)通過jdbc連接mysql(navicat)
今天我將介紹一下如何讓Java連接到MySQL數據庫 工具:eclipse+mysql+navicat 首先我們先下載MySQL與navicat mysql的下載網址:https://dev.mysql.com/downloads/win
原创 新冠疫情歷史數據(COVID-19-Data)
希望蒐集的數據可以幫助一些人吧! 項目地址:COVID-19-Data 項目說明: 本倉庫不定期提供新型冠狀病毒(COVID-19)疫情歷史數據,數據來自全球新冠病毒最新實時疫情地圖_丁香園,非常感謝! 提供csv格式的數據,有:
原创 LeetCode刷題之路(三)
繼續刷題! 二十一 合併兩個有序鏈表 二十二 括號生成 二十六 刪除排序數組中的重複項 二十七 移除元素 二十八 實現strStr() 二十一 合併兩個有序鏈表 我是把第二條鏈往第一條鏈上加的,然後我