原创 關於中臺，關於開放api
之前看到一篇文章介紹的是阿里內部使用中臺策略，來整體操控前端和後臺，以及各個部門，各項服務，能夠防止重複開發。 感覺不錯，然後上星期看了亞馬遜的那邊的模式，又感到自己侷限了。 Amazon EventBridge介紹：AWS 風味
2020-06-19 14:58:09
原创 windows下docker安裝mysql後，無法通過localhost連接
對於docker 和虛擬機不是很熟，想在主機win10下安裝python的開發環境。 但是使用docker安裝mysql後，主機無法連接。 不知道什麼原因。 後來查到，docker是在win10下虛擬機下工作，因此需要連接虛擬機的
2020-06-19 14:58:09
3
原创 Python處理大文件，大數據
使用Python讀取大文件的方法 其實就是採用化整爲零的思想，既然大數據那麼多，那麼我們就一點一點的來處理。 還有 Python多進程分塊讀取超大文件的方法 一個人不行，那麼我就多個人去做麼，衆人拾柴火焰高。
2020-06-19 14:58:09
2
原创 python執行太慢？？
python執行太慢？？兩個優化的方式： pypy和numba 在公司處理數據的時候，有時候感覺python執行太慢，有的時候是保存，例如：使用openpyxl保存幾的文件的時候，需要保存好長時間。 如果使用pypy，換一個pyt
2020-06-19 14:58:09
原创 研究了一下微信公衆號的自動回覆
朋友的哥哥做了一個公衆號，需要實現一個功能：輸入打印機的型號，回饋給用戶曬鼓的型號。 先研究了一下，微信如何做自動回覆。 發現有兩種方式：一種是使用第三方平臺提供的服務，一種是使用自己的服務器。 開始使用的是一個叫做表單大師的
2020-06-19 13:51:03
原创 如何將複製一個瀏覽器的請求到postman
最近在研究爬蟲，最開始想使用scrapy，在對目標網站的結構分析的過程中， 發現目標網站使用的是graphql，便想研究一下，看看可不可以直接使用請求拿到數據，而不是使用爬蟲。 如題
2020-06-19 13:51:02
原创 記錄一個Mysql查詢的問題, select的字段影響結果條數
– 今天運營方在使用報表的過程中，發現導出的數據不對。而之前發現過這個問題，這邊做了修改，今天再次出現很是不解。 上次問題是導出來的數據某個字段都是一個值，這顯然是不對的，然後經研究發現，是sql語句中order by對結果的影響
2020-06-19 13:51:02
原创 記錄安裝superset的過程
·後臺需要使用瀏覽器查看mysql數據庫中的數據，經過查找發現了幾個開源軟件 sqlpad superset HUE sqlpad使用node.js開發，在安裝完node之後，npm install sqlpad 即可，然後打
2020-06-03 15:31:56
原创 python的for循環耗時太長引發思考
big_list = list('big data') for one in all_data: time_a = time.time() if one not in set(big_list) : pr
2020-06-03 15:31:56
原创 windows下使用docker配置python開發環境
使用docker 安裝ubuntu之後，發現不能編輯操作，可以更新下載又很慢。怎麼辦？ 我的ubuntu連vi都沒有？？那在命令行怎麼編輯文件？？ cd /etc/apt/ #### cd /etc/apt/sources.lis
2020-03-03 20:23:53
原创 爲什麼要做系統運行日誌
今天運營說有一個需要生成郵件的地方，沒有生成郵件。因此需要查一下原因，並解決。 在查看代碼的過程中，發現找不到可以查看運行日誌的地方。 沒有打印。 沒有專門的文件記錄。 發現代碼只是運行了邏輯，操作了數據庫，而功能是嵌入到
2020-02-22 04:47:57
原创 django_websocket實踐和一些相關知識
工作上需要製作一個實時大屏，需要使用websocket實時傳遞信息。但是之前對websockety一直不熟悉。 主要使用的是channels，參考官方教程寫的代碼。教程已經寫的很全了。解釋很好. 所以需要新建python環境，新建
2020-02-22 04:47:57
原创 爲什麼研究數據可視化，以及研究到的東西
因爲要做一個數據大屏，即時展示公司的業績以及其他的一下信息，方便查看和分析。 鄙人一直對數據分析情有獨鍾 如何做好數據分析，必要的數據可視化是很有幫助的 如何做好數據可視化，一個要有數據，一個要有工具，工慾善其事必先利其器。
2020-02-22 04:47:57
原创 通過Code Review來進步
之前很多不懂的時候，有時候通過看同事之前寫的代碼，結合公司的業務邏輯，來進行技術的學習。後來，工作比較忙，很多東西也會了，看同時的代碼相對來說，少了很多。當然，通過看python包的源碼，更能學習很多東西。 今天又再次看了看同
2020-02-22 04:47:57
原创 使用Excel將數據進行可視化
我們每天接觸到的信息，90%是有眼睛接收到的。（舉例子） 就是說我們每天接觸到大量的信息，其中來源於眼睛的爲大部分。 如果將數據進行可視化，能夠方便我們進行數據的分析和理解 Excel對數據進行分析的功能主要有數據透視表，數據
2020-02-22 04:47:57