原创 樣本不均時，如何處理(PU learning/OneClassSvm/AutoEncoder)
文章目錄1-背景2-異常檢測OneClassSvm3-PU Learning3.0 PU learning的一些技巧3.1 直接利用標準分類方法3.2 PU bagging3.3 兩步法4-AutoEncoder5-參考文獻 1-
2020-06-21 06:06:57
5
原创 pycharm利用pyspark遠程連接spark集羣
文章目錄0 背景1 方法2 測試3 參考 0 背景 由於工作需要，利用spark完成機器學習。因此需要對spark集羣進行操作。所以利用pycharm和pyspark遠程連接spark集羣。這裏記錄下遇到的問題及方法。 主要是參照
2020-06-21 05:06:46
1
原创 時間序列(time serie)分析系列之LSTM（多步）預測5
文章目錄LSTM原理數據集代碼結果參考文獻 LSTM原理 LSTM的原理，這裏不做多餘描述，具體可以參照這幾個博客，介紹的很好。 blog1:Understanding LSTM Networks blog2:Long Shor
2020-06-01 12:02:05
1
原创 時間序列(time serie)分析系列之線性迴歸or隨機森林4
文章目錄1.簡述2.數據集3.特徵介紹（精髓）4.預測模型5.預測結果6.參考 1.簡述 時間序列數據是一種典型的數據，時間序列預測方法比較多。比如ARIMA模型、Prophet模型、指數平均法、滑動平均法等等。 本文采用機器學習
2020-06-01 12:02:05
8
原创 IDEA中scala實現word_count，sbt打jar包，併發送linux中spark運行(sbt打包詳細)
文章目錄0-背景1-spark安裝2-IDEA開發3-參考 0-背景 最近因爲業務需求，開始鼓搗下kafka和spark。因爲也是第一次做這方面的內容，而且沒玩過java和scala。所以這個word count的例子，鼓搗了近兩
2020-06-01 12:02:05
原创 人臉識別系列---opencv01
剛剛根據別人的博客，嘗試了下opencv，效果不是很理想。一張圖片中，如果有側臉、斜臉，都識別不出來。 參考鏈接：python&opencv人臉識別、haarcascade_frontalface_alt2.xml文件下載（密碼：
2020-06-01 12:02:05
原创 一個簡單的Spark ML的例子
文章目錄1-配置2-流程3-注意4-project 1-配置 首先，我在虛擬上，搭建了一個單機spark2.4.1(無hadoop)。然後在本地的IDEA中遠程運行spark，操作一個svm的小例子。 sbt文件： name :=
2020-06-01 12:02:05
原创 keras中關於輸入尺寸LSTM的stateful,return_sequence的問題
補充：return_sequence,return_state都是針對一個時間切片（步長）內的h和c狀態，而stateful是針對不同的batch之間的。多層LSTM需要設置return_sequence = True,後面再設置
2019-08-17 13:39:30
37
原创 spark中RDD與DataFrame的轉換
文章目錄轉換 轉換 rdd > dataframe: rdd.toDF() spark.createDataFrame() dataframe > rdd: df.rdd
2019-05-09 15:39:30
原创 目標檢測之Harris角點
文章目錄1-角點2-檢測原理3-參考資料 1-角點 在傳統的目標檢測中，有很多描述圖像的特徵，比如Harris角點。在opencv中有實現。 檢測效果： 角點具有以下特徵： 輪廓之間的交點； 同一場景下，即使視角變化，通常具備穩定性
2019-04-19 05:44:38
原创 目標檢測之交併比IOU與非極大值抑制NMS
文章目錄1-交併比2-非極大值抑制 1-交併比 在目標檢測中，如何評價目標檢測結果的質量，可以採用交併比的大小進行衡量。 圖中： 紫色表示實際邊界框； 紅色表示算法檢測出的邊界框； 綠色表示兩者的並集； 黃色表示兩者的交集； 交併
2019-04-15 06:36:10
2
原创 關於kafka的搭建及問題
文章目錄0-背景1-kafka搭建2-總結3-參考文獻 0-背景 最近業務需要搭建一套實時故障診斷系統。數據從傳感器來，然後通過http流或者websocket等協議推送，然後生產到kafka，最後使用機器學習模型，進行消費。 整個流
2019-04-13 06:03:47
原创 利用python對kafka進行消息生產和消息消費
文章目錄0-背景1-kafka-python2-流程3-總結 0-背景 上一篇文章中，我們介紹了如何安裝kafka。這篇文章，我們講下，如何用python操作kafka。 1-kafka-python 首先，我們在上篇文章的環境中，安
2019-04-13 06:03:47