原创 spark之MLlib機器學習-Kmeans
1、構建SBT項目環境 mkdir -p ~/kmeans/src/main/scala 2、編寫kmeans.sbt name := "Kmeans Project" version := "1.0" scalaV
2020-07-03 07:42:46
原创 關於caffe的筆記
1、利用caffe訓練期間，內存需要多少，內存中都保存了學什麼？ 內存需要保存一個訓練週期中的所有 feature map 數據+網絡參數數據 受bach_size 及網絡模型大小關係較大。 2、利用訓練好的模型文件.caffe
2020-07-03 07:42:46
原创 faster rcnn配置 cuda8.0
參考博客： http://blog.csdn.net/sinat_30071459/article/details/50546891 1、編譯caffe-faster rcnn庫 Caffe for Faster R-CNN
2020-07-03 07:42:46
原创 hadoop數據上傳hdfs出錯
在hdfs上傳數據時，出現錯誤： could only be replicated to 0 nodes, instead of 1 錯誤 出現此問題，首先用 jps 命令查看，datanode沒有正常工作。 解決方法：
2020-07-03 07:42:36
原创 matcaffe 使用中，matlab直接錯誤退出問題
1、首先需要配置matlab接口環境，並定義是否開啓GPU加速 caffe.set_mode_gpu(); %GPU加速模式 caffe.set_mode_cpu(); %CPU加速模式 如果沒有配置成功，則會報錯：無法
2020-02-24 22:37:53
1
原创 caffe深度學習-windows下繪製學習曲線
在windows下繪製學習曲線。 1、獲取訓練日誌文件 1）設置好solver.prototxt ,train_test.prototxt等配置文件 2）建立批處理文件(.bat)，將輸出至屏幕的訓練信息，重定性至文件。
2020-02-24 22:37:53
原创 Spark之訓練分類模型練習（1）
（）本博文爲 spark機器學習 第5章學習筆記。 所用數據下載地址爲：實驗數據集train.tsv 各列的數據意義爲： “url” “urlid” “boilerplate” “alchemy_category”
2020-02-24 22:37:53
原创 spark之MLlib機器學習-線性迴歸
此篇博文根據《Spark MLlib機器學習》實例程序編寫，可作爲熟悉scala和mllib編寫機器學習算法的一種實踐。 1、準備測試數據 可從作者博客自行下載。代碼及數據下載地址 2、編寫scala源碼
2020-02-24 22:37:53
原创 SSD windows版本配置
1、參考博文中windows版本的配置流程 http://blog.csdn.net/Chen_yingpeng/article/details/59056245 http://m.blog.csdn.net/qq_14845
2020-02-24 22:37:53
原创 Spark之python版機器學習算法--ipython notebook配置及測試
先說明一下我的環境配置： 操作系統：ubuntu14.04 64bit spark2.0.0 hadoop 2.7.1 scala-2.11.8 python 2.7.6 java1.7.0 1.
2020-02-24 22:37:53
原创 spark上使用scala及python編程練習
官網Quick Start介紹瞭如何使用spark進行分佈式計算.本博文以此爲藍本，利用scala和python兩種語言簡單實踐了一下實驗內容，有利於增進認識。實現的功能爲統計README.md文件下字符a和字符b分別有多少個。
2020-02-24 22:37:53
原创 Spark之訓練分類模型練習（2）
上接博文。 1 改進模型及參數調優 1.1 數值特徵標準化 使用RowMatrix類計算列的統計量。每一行爲某一樣本的特徵向量 import org.apache.spark.mllib.linalg.distributed.Ro
2020-02-24 22:37:53
1
原创 spark2.0+hadoop2.7.1簡單部署
保證hadoop已經正常部署，以下爲spark部署做個小筆記： 1、安裝scala-2.11.8.tgz 1)tar -xvzf scala-2.11.8 mv scala-2.11.8 /usr
2020-02-24 22:37:53
原创 python 學習筆記（1）
python 的 argparse模塊 具體學習參數使用可參考博客： http://blog.csdn.net/u012005313/article/details/50111455 基本使用方法： Positional a
2020-02-24 22:37:53