原创 大規模數據採集流程和思路

爬蟲是一個比較容易上手的技術,也許花5分鐘看一篇文檔就能爬取單個網頁上的數據。但對於大規模爬蟲,完全就是另一回事,並不是1*n這麼簡單,還會衍生出許多別的問題。 系統的大規模爬蟲流程如圖所示。 先檢查是否有API API是網站

原创 基於SIR模型的武漢新型冠狀病毒動力學建模與參數辨識(附Python代碼)

前言最近看了幾篇關於傳染病模型的科普文章覺得很有趣,於是自己動手擼了一遍。雖然貌似傳染病模型和運籌學和控制論好像沒有關係,實際上傳染病模型很多都是動力學模型(常微分方程),這些模型我們在Control theory裏邊並不陌生哈。

原创 最全知乎專欄合集:編程、python、爬蟲、數據分析、挖掘、ML、NLP、DL...

上一篇文章《爬取11088個知乎專欄,打破發現壁壘》裏提到,知乎官方沒有搜素專欄的功能,於是我通過爬取幾十萬用戶個人主頁所關注的專欄從而獲取到11088個知乎專欄。本回篩選出其中涉及:編程、python、爬蟲、數據分析、挖掘、ML

原创 漫畫:什麼是中臺?

​沒有中臺的時代在傳統IT企業,項目的物理結構是什麼樣的呢?無論項目內部的如何複雜,都可分爲“前臺”和“後臺”這兩部分。什麼是前臺?首先,這裏所說的“前臺”和“前端”並不是一回事。所謂前臺即包括各種和用戶直接交互的界面,比如web

原创 UDF開發入門(python udf、hive udf)

開發前的聲明         udf開發是在數據分析的時候如果內置的函數解析不了的情況下去做的開發,比方說你只想拆分一個字段,拼接一個字段之類的,就不要去搞udf了,這種基本的需求自帶函數完全支持,具體參數可參考文檔:    

原创 史上最強攻略!手把手教你建「數據中臺」!

文章轉自「首席數字官」 ID:ChiefDigitalOfficer 作者:李國歡 4 月 24 日晚,由數瀾科技聯合錦囊專家共同打造的《數據中臺硬核匯》系列線上微課第一講火熱開啓。1000 位 CXO 同時收聽,羣友累計提問 3

原创 gunicorn 安裝部署詳解

原文鏈接:https://www.jianshu.com/p/69e75fc3e08e Gunicorn是一個unix上被廣泛使用的高性能的Python WSGI UNIX HTTP S

原创 前端與後端數據交互 jQuery Ajax+Python Flask (附詳細代碼)

原文鏈接:https://www.jianshu.com/p/4350065bdffe 回憶一下遇到的坑: 1.<form>標籤下的<input>、<textarea>等標籤必須帶有n

原创 vue-element-admin(基礎篇)

原文鏈接:https://juejin.im/post/59097cd7a22b9d0065fb61d2 關注手摸手,帶你用vue擼後臺 系列一(基礎篇)完整項目地址:vue-eleme

原创 開源監控利器 grafana

原文鏈接:https://www.cnblogs.com/txwsqk/p/3974915.html 開源監控利器grafana 前言: 做運維的很重要的基礎工作就是監控,之前都是

原创 Java 從入門到精通(附學習線路圖譜)

原文鏈接:https://mp.csdn.net/mdeditor/100643211     java詳細路線:   原文出自點擊打開鏈接 本文將告訴你學習Java需要達到的30

原创 PHP從入門到精通

原文鏈接:https://www.cnblogs.com/1906859953Lucas/p/9656386.html 【原】PHP從入門到精通2小時【圖文並茂】 主要內容: 搭

原创 Python 實現八皇后問題

原文鏈接:https://blog.csdn.net/qianggezhishen/article/details/46536605 八皇后問題是一個以國際象棋爲背景的問題:如何能夠在

原创 人臉表情識別系統介紹——上篇(python實現,含UI界面及完整代碼)

原文鏈接:https://blog.csdn.net/qq_32892383/article/details/91347164 摘要:這篇博文介紹基於深度卷積神經網絡實現的人臉表情識

原创 MySQL 新建用戶和權限操作

新建用戶和權限操作 連接數據庫,新建用戶 set global validate_password_policy=0; set global validate_password_length=1; create use