原创 PySide2/PyQt5 實現設置QDockWidget初始大小

嘗試了QDockWidget自帶的很多方法,發現無法在保證其可調整大小的情況下,設置其初始大小。 當QDockWidget不需要支持調整大小時,可按照如下方法進行設置: # 非完整代碼,僅供參考 from PySide2.QtWi

原创 ubuntu提示錯誤stop: Job failed while stopping

系統:ubuntu14.04 電腦在跑程序,喫完飯回來發現電腦死機了,停留在登陸界面,鼠標基本上無法移動。 不想重啓,不然又要重新處理程序,太麻煩,就百度了下不重啓進入系統的方法。 同時按ctrl+alt+F1進入tty界面

原创 python下解壓縮zip文件並刪除文件

利用python下載數據,下載下來的數據爲zip格式,因爲有上千個這樣的文件,因此便直接在爬蟲程序里加入瞭解壓縮zip文件的內容,並且因爲數據量較大,爲了節省空間,便在解壓縮後立即刪除該zip文件。 先來介紹解壓縮的方法: imp

原创 python爬蟲——多進程multiprocessing

其實多進程相對來說不是特別適合用來做爬蟲,因爲多進程比較適用於計算密集型,而爬蟲是IO密集型,因此多進程爬蟲對速度的提升不是特別明顯,但是將爬蟲改爲多進程比較簡單,只需簡單的幾行代碼即可搞定,所以在修改我的爬蟲提升效率時,我最先實

原创 openlayer在方位座標系下顯示北極地區地圖

使用openlaye時默認的座標系爲EPSG:3587,如果要使用其他座標系可自定義使用。 效果圖: 極點位置有一個大圓,暫時未能消除,如果有人搞定了還望說明一下。 代碼: 更改座標系需要用到proj4.js文件,可百度免費下

原创 python下幾種打開文件的方式(你習慣的不一定是最好的)

昨天看完了這本python進階,感覺這本書對我啓發很大,做了三張紙的筆記,方便我在遇到問題的時候翻閱,然後尋找可能的解決方案。作爲一個使用python一年的小白,雖然說不是小白,但是這一年來基本上是用什麼學什麼,對python沒

原创 谷歌GDELT數據下載代碼

在上一篇博客中,我對GDELT數據進行了說明,在這篇文檔中直接上代碼,有需要的可以直接使用並下載數據,有問題歡迎留言。 GDELT提供了好幾種數據,包括gkg、event、mentions等數據,我在代碼中下載的是event數據,

原创 谷歌GDELT數據說明

發現有一篇文章寫的比較清晰,比我的說明要準確一點,[數據] GDELT項目介紹。最近比較忙,就先不對照兩篇文章對我的內容進行優化了,後續有機會再進行修改。 CAMEO Con ict and Mediation Event Obs

原创 echarts加載世界地圖並展示個人數據

需求 之前基於GDELT抓取過部分一帶一路沿線國家的新聞數據,對各個國家的新聞數據量進行了統計,打算做一張圖進行直觀的顯示。 解決方案 懶得用ArcGIS來做了,想要磨練下代碼水平,因此選擇Javascript,調用Echarts

原创 python下上傳/下載各種格式文件到MongoDB數據庫中

python中,支持通過GridFS使用MongoDB數據庫提供的大文件存儲功能,本文中通過這種方法將各種格式文件以二進制格式(測試了.pdf、.py格式文件)存入GridFS集合中。 #-*-coding:utf-8-*- im

原创 Python下XML與JSON字符串互相轉換

#-*-coding:utf-8-*- import xmltodict import json import os import sys def jsonToXML(json_str): '''傳入字典字符串或字典,返

原创 ubuntu下mongodb操作部分整理

在ubuntu終端下輸入mongo,可以看到自己電腦上安裝的mongodb的版本。 $mongo 192.168.x.x即可進入數據庫(不需要用戶名和密碼就能訪問的數據庫) $ssh [email protected]回車就會提示輸入密碼,

原创 根據關鍵詞批量下載百度圖片

代碼如下,python2或python3應該皆可運行。 #-*-coding:utf-8-*- # @meta: download photos from baidu by input keyword, to label photos

原创 python根據詞頻字典或字符串繪製詞雲圖

由於工作需要,要根據現有的新聞數據統計詞頻,繪製詞雲圖,比較擅長python,因此沒有用可以生成雲圖的網頁工具。由於我的數據量比較大,因此根據字符串自動進行統計並繪製雲圖的方式並不適合我。我需要手動從文件中讀取數據並進行統計,然後將詞

原创 python調用百度翻譯、谷歌翻譯

谷歌翻譯不提供接口,想要使用谷歌的翻譯結果,需要借用爬蟲技術,將待翻譯的文本傳入,抓取頁面,解析出翻譯結果,經測試,這種方法的翻譯效果較差,不建議使用。 百度翻譯提供接口,可在百度翻譯註冊開發者後獲取appid與secretKey直接