原创 Windows下Scrapy-redis環境配置
1.軟件安裝 鏈接：https://pan.baidu.com/s/1hosBgY1273qIl77RIMa3Ug 提取碼：jlfc MongoDB、redis、redisdesktopmanager、anaconda 安裝redis
2020-07-02 03:00:38
原创 pymongo連接mongodb的三種認證方式
1、URI參數 import pymongo #user：賬號 【可選項】 #password：密碼 【可選項】 #example.com：若無賬號密碼，前方@可去掉，示例：localhost:27017/ #database：指定應
2020-07-02 03:00:38
1
原创 python之正則表達式手冊(re)
正則表達式是描述文本序列的標準表達方式，在文本處理中用正則表達式來描述文本中的字符串。它的設計思想是用一種描述性的語言來給字符串定義一個規則，凡是符合規則的字符串，我們就認爲它“匹配”了，否則，該字符串就是不合法的。匹配時不會重複匹配其子
2020-07-02 03:00:38
原创 讀《Java從入門到精通》——聯想筆記
正式接觸Java的第一本書——因爲書本內容講的很簡單也很淺顯，所以內容就不歸納了，這裏拓展一些閱讀時引發的聯想。 目錄 1、static用法 2、boolean存儲空間大小 3、構造方法的魔改 4、類繼承的本質 5、向上、向下轉型深究 6
2020-07-02 03:00:27
原创 python EVE 外網訪問設置
1.後臺開啓mongodb服務 sudo service mongod start 2.在setting.py中設置 SERVER_NAME = None 2.啓動的地方設置 app.run(host='0.0.0.0', port
2020-07-02 03:00:26
原创 進程池VS進程（python）
本文測試的是在生產者與消費者模式下，多個進程與用進程池管理的多個進程誰跟快 依賴庫： from multiprocessing import Process,Queue,Pool import time,os 生產者： def pro
2020-07-02 03:00:26
原创 公開的數據來源
這些數據源均無需寫爬蟲爬取，可以直接下載使用 綜合數據門戶網站 大數據導航 歐洲數據門戶 聯合國數據 數據門戶網站 經合組織統計 聯合國水資源 世界銀行 數據搜索引擎 谷歌數據搜索引擎 數據競賽平臺 阿里天池 Kaggl
2020-03-20 05:57:23
原创 數學建模—從起點到終點
主要流程 【該圖源自科學研究流程】 主要參考資料 學位論文 搜索引擎 會議論文、期刊、專利 評分細則 摘要——精煉簡潔【最爲重要】【針對什麼問題、使用什麼方法、得到什麼結論】 思路創新、標題創新【其次重要】 完整的解題思路與建模過程
2020-03-12 02:21:57
1
原创 2019美賽A題—學習記錄
2019美賽a題 論文來源：https://github.com/MATHmodels Abstract【廢話乾貨1：9開】 一句話引入 概述問題-概述方法-概述結果【三個模型，模型分析因素，解決的問題】 靈敏度分析【修改參數看影響】 一
2020-03-02 04:31:05
原创 2017美賽D題—學習記錄
原題及其翻譯：https://blog.csdn.net/zhangtengyuan23/article/details/5464641 問題類型：排隊論 任務： 建立至少一個模型來預估瓶頸、分析當前的檢查程序存在的問題。 提出至少兩個修
2020-03-02 04:31:05
原创 一圖看懂MongoDB的mapReduce函數
其實map與reduce之間存在一個shuffle，他會對map輸出的key value進行分區，排序，合併與歸併操作，合併操作需要自己主動去定義纔會執行，而歸併操作是自動的，他能將map輸出的key-value歸併爲key-value
2019-10-25 19:32:24
原创 HanLP的安裝與調試
1.Python 接口 得益於 Python 簡潔的設計，使用這門動態語言調用 HanLP 會省下不少時間，因此較爲推薦這樣安裝。 HanLP 的 Python 接口由 pyhanlp 包提供，其安裝只需一句命令： pip instal
2019-10-25 19:32:24
原创 阿里雲配置hadoop遠程連接Web頁面（如50070端口）
先決條件：本文默認hadoop安裝成功。若未安裝可參考： http://dblab.xmu.edu.cn/blog/install-hadoop/ https://hadoop.apache.org/docs/current/hadoop
2019-09-15 18:52:09
1
原创 EVE：ModuleNotFoundError: No module named 'config'
官方教程：https://docs.python-eve.org/en/stable/quickstart.html#database-interlude 根據官網教程運行eve時【python run.py】，出現了 ModuleNo
2019-09-02 18:40:59
61
原创 EVE：[globbing] unmatched close brace/bracket in column 6
根據官方教程，在命令行中使用curl執行下面命令： curl -d '[{"firstname": "barack", "lastname": "obama"}, {"firstname": "mitt", "lastname": "r
2019-09-02 18:40:58
33