原创 利用hadoop streaming對tensorflow模型進行分佈式預測

0. python打包並上傳到hdfs # 安裝Python mkdir Python export PYTHON_ROOT=~/Python tar -xvf Python-3.6.8.tgz pushd Python-3.6.8 .

原创 如何查看TFRecod數據詳情

使用以下代碼直接查看TFRecord裏面的數據情況,無需解析。 import sys import tensorflow as tf def main(): filepath = './train.tfrecord'

原创 利用小trick加速tensorflow的訓練

tensorflow ==1.13.1 1. tf.data並行讀取tfrecord數據 def parse_exp(example): features = {} """ tfrecord解析代碼 """ re

原创 利用tensorflow estimator API實現雙塔推薦算法

本文完整代碼見: https://github.com/cdj0311/two_tower_recommendation_system Tensorflow estimator實現分佈式訓練很簡單,只需要將數據進行相應的切分丟給模型就可以

原创 機器學習(六):疊加樹模型

疊加樹模型(Additive tree models, ATMs)是一種建立在多個決策樹或者回歸樹之上的集成模型。許多經典的模型可以看做是特殊的疊加樹模型,例如random forest, adaboost with trees, gra

原创 keras基於theano和tensorflow訓練的模型相互轉換

</pre><pre code_snippet_id="1947416" snippet_file_name="blog_20161025_1_3331239" name="code" class="python"> # coding:

原创 深度學習theano/tensorflow多顯卡多人使用問題集

深度學習theano/tensorflow多顯卡多人使用問題集 轉載自:https://zhuanlan.zhihu.com/p/23250782 其實一直想寫這篇東西,今天還是抽空系統整理一下吧。 深度學習在實驗環境通常會再一臺主機

原创 tensorflow讀取hdfs上的文件

1. 確保服務器能訪問hdfs 2. 在~/.bashrc中加入以下腳本: export JAVA_HOME=/usr/local/jdk1.8.0_131 export HADOOP_HDFS_HOME=/usr/local/hado

原创 python代理ip抓取大衆點評

抓大衆點評才抓了幾頁就被屏蔽,找到如下方法解決。 第一步:獲取代理ip 在http://www.xicidaili.com/nn獲取代理,命名爲proxy_ip.py,代碼如下: # coding:utf-8 import request

原创 jieba並行分詞

jieba並行分詞每次都要重新寫,這次記下來。 # coding:utf-8 import codecs from multiprocessing import Pool import jieba fin = "news.txt"

原创 利用predictor預測tensorflow導出的pb模型

導出的pb模型可使用tf.contrib.predictor很方便的進行預測,僅限於tensorflow 1.x,代碼如下: import numpy as np import tensorflow as tf from tensorf

原创 利用hadoop streaming分佈式生成TFRecord文件

原理:在集羣上每個機器生成TFRecord文件然後推送到指定的HDFS位置,並刪除源TFRecord(這步可以不用,會自動刪除)。 1. map階段 import sys, random sys.path.append("./") #

原创 利用tf.saved_model導出keras模型

keras一般保存爲h5py格式的模型,當然也可以直接使用tf.saved_model保存爲pb模型,那如果想將保存的h5py模型導出爲pb模型該怎麼辦呢?以下代碼就可以完成該項功能。 假設我們保存了keras的模型爲model.json

原创 利用tensorflow estimator API實現分佈式推薦算法

Tensorflow estimator實現分佈式訓練很簡單,只需要將數據進行相應的切分丟給模型就可以很方便的完成分佈式訓練了。以下代碼是一個完整的推薦算法模板,可根據自己的需要修改數據讀取和模型結構部分,tensorflow==1.13

原创 利用tensorboard查看pb模型圖

1. 模型圖和參數全保存在一個pb文件裏(即freeze出來的模型),查看模型圖代碼如下: import tensorflow as tf with tf.Session() as sess: model_filename ='