原创 docker+scrapy+scrapy_splash爬取大麥網

文章目錄背景開始起初思考動手下載並配置docker拉取鏡像並啓動爬取網頁爬取結果總結 背景 今天拿到個代碼需要改改,他是用scrapy爬取大麥網,然後我改了將近一個小時還是得不到內容,第一是太久沒用scrapy寫爬蟲,其次也是因爲

原创 Go來合併兩個csv

文章目錄背景代碼部分優化 背景 通常我們處理文件都是用python+pandas,確實很香。但是今天突然有人找我用go寫一個合併兩個csv文件的,需要將兩個csv按id進行合併,大致如下圖 思路很簡單,先讀入兩個csv文件,然後

原创 tensorflow-gpu以及jupyter kernel添加新創建虛擬環境的安裝配置

文章目錄前言安裝tensorflow1.X-gpu新建虛擬環境以及安裝tensorflow2.0-gpu最後 前言 很久沒用jupyter寫代碼,然後昨天寫時候發現無法輸入代碼了,不論是code還是markdown都不能輸入,弄了

原创 程序猿的長壽指南?

文章目錄前言今天,我想聊點不一樣的1.狹義相對論2.關於引力的問題3.廣義相對論4.廣義相對論和狹義相對論與我們的生活程序猿與相對論 前言 在csdn發科普文,我估計是第一個,可能會有人說不務正業。但是重點其實是我想通過科普重新激

原创 前端基礎 一些關於html基本的介紹

文章目錄前言正文1.html基本框架2.html的標籤3.常用的html標籤和例子1.基礎標籤2.格式標籤,圖像標籤和鏈接標籤3.列表和表單4.表格、樣式結尾 前言 本來是最近在學flask想寫點關於flask框架的博客,但是隨着

原创 這篇博客與技術無關,純粹個人想法

文章目錄前言:今天本來是搜索什麼內容來着,不知道怎麼就進了知乎,然後看到了這篇文章,於是有了下面我寫的這些。事先申明:我想說的1.首先,我對知乎的看法2.對這個話題的一些總結3.慢慢分析一下這些問題總結最後 前言:今天本來是搜索什

原创 聚類問題---航空公司客戶價值挖掘與分析研究

文章目錄前言開始動手1.導庫,導數據2.數據清洗及預處理3.簡單的探索性分析(一小部分)4.開始選擇需要的特徵,重新構建數據集5.使用kmeans對構建的數據集聚類6.對數據使用層次聚類看看效果7.使用DBSCAN進行聚類8.GA

原创 憤怒過後的我如何恢復

文章目錄前言變開心結果 前言 昨天又是一場家庭大戰,我實在想不明白爲什麼我和家長會有這麼大的矛盾,然後想想未來的我又會怎麼樣呢?瀏覽了一下幾個大廠心儀職位的招聘情況,大概知道了需要掌握什麼知識,學習什麼技術,但是首先今年還是要先準

原创 分享一些簡單的內容

文章目錄1.使用java簡單爬取CSDN2.python的字符動態輸出 1.使用java簡單爬取CSDN 最近在看爬蟲相關的知識,其實還是那句話,萬變不離其宗。得到網頁,然後解析就可以得到我們想要的內容了,但是現在很少用java寫

原创 吐血填坑---關於從github下載(克隆)文件的快速辦法

文章目錄問題:過程:1.開始2.不甘心3.天助我也最後: 問題: 很好,又是熬到了三點,趕快總結完這個填坑我就滾去睡覺,撐不住了。 今天因爲一些事,需要找點pdf。然後首先是csdn下載、鳩摩搜書一番操作,結果都找不到滿意的pdf

原创 用python代碼製作視頻

文章目錄前言安裝一個小例子最後 前言 之前製作視頻一般都是pr或者是在線製作視頻,然後昨天偶然看到了一個python的庫—moviepy,現在我們可以寫代碼來製作視頻了。 安裝 這個庫安裝起來很簡單,還是老樣子pip instal

原创 寫個Go爬蟲

文章目錄前言正文1.python版本代碼2.go基礎版本3.go進階版本最後 前言 很久沒寫什麼代碼,除了應付學校的期末大作業,一直都渾渾噩噩的,然後今天看到了Go語言的爬蟲,好像還挺有趣的手癢癢。不過好久沒寫go了,還是花了一點

原创 webstorm 2019.3.3版本

起因 之前寫js或者html什麼的都是用vs code或者pycharm,IDEA裏面的,但是由於課程需要還是要下一個webstorm。我下的是2019.3.3版本,網上搜了半天,也用了之前 jetbrains2019.2的jar

原创 想見你的彈幕爬取和對彈幕信息簡單可視化

之前朋友圈無意刷到比較關注的人發了一條什麼找人幫忙追女孩子也不能找李子維,作爲程序猿(舔狗)看了一臉懵逼,從來不怎麼看劇的我然後就去百度了一下,原來是想見你。然後就去騰訊視頻看了一下,額不是我喜歡看的類型,不過還是想做點什麼,那就

原创 python數據結構---2.線性數據結構(棧)

文章目錄前言:今天的主角:棧1.棧的python實現思考2.棧的應用總結 前言: 在這個系列的第一篇博客中,我主要強調了編程思維的重要性以及如何高效準確的編寫出能解決問題的代碼,這一篇博客開始就正式開始python數據結構相關的知