原创 異常監測②——lstm時間序列預測&lstm簡易原理
Table of Contents 利用LSTM進行時間序列預測流程 lstm滯後性 理解lstm原理 原理示例 lstm參數 各參數的定義解釋： batch_size 如何選擇batch_size的大小： epoch 預測滯後問題
2020-06-20 14:56:17
33
原创 異常監測①——統計學方法判斷
異常監測①——統計學方法（正態分佈3σ原則、箱型圖四分位距法、經驗閾值、累積法） 異常監測②——時間序列預測（lstm模型） Table of Contents 需求 方案 實現 問題記錄 需求 需要建立一個自動監測機制，主要監測 數據處
2020-06-20 13:47:20
4
原创 mongodb日常操作&bug記錄
190806更新：今天跑mongo用count()時報了一個錯 error: { “$err” : “not master and slaveOk=false”, “code” : 13435 } stackoverflow一下：ht
2020-06-20 13:47:20
原创 數據分析-面試問題整理
返利網 1）Excel、SQL熟悉程度 Excel考幾個實例，分別應該用什麼圖展示 SQL：表連接、函數、子查詢（hive中的自連接） 2）BI上一個版塊，最終做出的成果、篩選器等；業務方使用反饋； BI負責人： 1）怎麼界定哪些數據
2020-06-02 11:28:08
原创 SQL not exists(select 1...
SQL篩選每個訂單（orderId）的時間（createTime）最早的那條記錄 select a.* from orders a where not exists --將orders表命名爲a，下面一句又將orders表命名爲b;可
2020-06-02 11:28:08
62
原创 異常監測②——時間序列預測（lstm模型）
在用統計學方法（3σ原則、四分位距法）等對異常數據進行監測後 異常監測①——統計學方法判斷 ，由於業務特點，導致時序數據的規律趨勢會變化。下方爲舉例： 時間點 原來的count 現在的count 2020-01-01 13:00:00 2
2020-02-25 22:49:48
6
原创 smtplib發郵件
dataframe轉html（且dataframe中含圖片） ，smtplib利用qq郵箱授權代發郵件 # smtplib_mail.py # -*- coding:utf-8 -*- import smtplib import
2020-02-25 22:49:48
原创 flask接口實現(返回csv、json)
Flask官方文檔：https://dormousehole.readthedocs.io/en/latest/index.html 本flask接口實現功能 1）入參無‘json’時，返回csv文件 2）入參json有任意值（如：j
2019-10-26 12:10:12
92
原创 異常監測——Python實現
需求——目的——分階段實現——各個功能（bug和需要注意點） 需求 需要建立一個自動監測機制，主要監測 數據處理 這個環節是否發生了異常。 異常：缺、多、數值不對 可能發生的異常有： ①在某段時間內數據未及時處理，堆積到
2019-09-09 09:50:43
8
原创 利用python進行數據分析——筆記
第4章 Numpy基礎 數組運算：大小相等的數組間、數組和標量間的算術運算都會將運算應用到各個元素。 數組的比較運算會產生bool型數組。示例： arr[5:8]是從下標5 到下標7 將一個標量值賦給一個切片時，該值會自動傳播到整
2019-08-09 10:33:26
1
原创 python報錯合集
人活着，就是要一直寫bug。 ——魯迅 導入的json串中有字段值爲false，報錯：NameError:name 'false' is not
2019-08-07 10:12:57
原创 mongodb日常操作
日期查詢 '$gte' ——大於等於 '$gt' ——大於 '$lte'——小於等於 '$lt'——小於 db.getCollection("表名").find( { "userId" : 666.0,
2019-08-03 10:10:26
原创 異常偵測anomaly detection
2019spring李宏毅老師的機器學習課程 http://speech.ee.ntu.edu.tw/~tlkagk/courses.html 學習進度： 2019.3.29 ：1、anomaly detection（異常偵測系統）的
2019-03-30 10:22:19
29