原创 vgg16 finetune tensorflow實現
vgg vggnet version1 github: https://github.com/chenlongzhen 代碼 環境：python3 keras2(tensorflow backend) 結構 name us
2020-06-04 10:48:17
1
原创 sbt 安裝以及編譯spark程序
安裝sbt 及配置 0.注意 sbt 我用的是自己用戶, 編譯好後,切換root提交spark,注意權限問題 1. 下載 wget https://dl.bintray.com/sbt/native-packages/sbt/
2020-06-04 10:48:17
原创 訓練CNN你需要知道的tricks/tips
Introduction 本文假設閱讀者有基本的NN基礎，涉及的tips有一下幾點： - data augmentation - pre-process on images - initializations of N
2020-06-04 10:48:17
4
原创 tensorflow 動態分配內存以及設置使用那塊gpu的方法
動態內存 config = tf.ConfigProto() config.gpu_options.allow_growth=True sess = tf.Session(config=config) 如何控制GPU資源率
2020-06-04 10:48:17
原创 tensorflow 基礎
計算模型 首先構造好整個計算鏈路(圖) 可以對鏈路進行優化 分佈式調度 基於層模型 每個層的計算,固定實現 forward/backward 必須手動指定目標GPU卡 概念 使用張量表示數據 使用圖來表示計算任務 在繪畫
2020-06-04 10:48:17
4
原创 mapreduce入門 cookbook note 1 【wordcount|hdfs|yarn簡介】
wordCount /** * Following sample is adopted from original wordcount sample from * http://wiki.apache.org/hadoop/
2020-06-04 10:48:17
原创 mapreduce入門 note2 【mapreduce標準流程|】
mapreduce標準流程 InputFormat讀取HDFS得到數據，並解析爲key-value格式以供map函數使用 InputFormat同時perform（不知道怎麼翻譯，不是很理解）數據邏輯分區爲Map task提
2020-06-04 10:48:17
原创 LFM推薦的例子和代碼
參考自鄒博的博客！ LFM：將評分矩陣分解爲 item-feature 和 user-feature矩陣，feature數量事先人工確定，但是這兩個矩陣參數未知，首先隨機選取參數，再以此梯度下降迭代即可得到。 import
2020-06-04 10:48:17
原创 alexnet tensorflow finetune實現和簡介
alex alexnet version 1 參考git上的大神代碼，自己學着一個cnn finetune的代碼。 代碼 代碼結構 name usage image_process.py 將圖片做索引： path
2020-06-04 10:48:17
原创 tensorflow tfrecord save and read demo
import tensorflow as tf def _int64_feature(value): if type(value) != list: value = [value] return
2020-06-04 10:48:17
原创 ctr_xgboost_blue
ctr項目簡介 Click through rate 廣告點擊率，是指瀏覽網頁的用戶點擊某個特定的鏈接（創意）的比例（ratio）。本ctr項目主要針對手機用戶預測ctr，主要使用的方法爲xgboost，模型好壞的離線衡量指標爲AUC，並
2018-08-28 23:12:58
1
原创 tensorflow import 沒找到cudnn庫問題解決
ImportError: libcudnn.so.5: cannot open shared object file: No such file or directory 將cuda下lib64中的libcudnn.so，libcudnn
2018-08-28 23:12:58
3
原创 wide and deep tensorflow 實現
github: https://github.com/chenlongzhen/wide-and-deep wide and deep wide and deep 代碼結構： part 功能 代碼位置 reader 讀取數據
2018-08-28 23:12:58
23
原创 ipythonnotebook + spark
已經過時 PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pyspark 即可 參考:http://blog.jobbole.com/8
2018-08-28 23:12:58
原创 tensorflow 缺庫升級gcc解決【升級gcc 5.3.0|`GLIBC_2.14'】
按照以下方法升級gcc 5.3.0 gcc下載ftp地址 升級gcc步驟 1.5 `GLIBC_2.14’ ImportError: /lib64/libc.so.6: version `GLIBC_2.14' not found
2018-08-28 23:12:54