原创 一個進程跑多個深度學習tensorflow 和keras混合模型，多實例。
一、背景： 我們建立了10個CNN模型，然後我們又寫了一個預測類Predict，這個類會從已經保存好的模型restore恢復相應的圖結構以及模型參數。然後我們會創建10個Predict的對象Instance，每個Instanc
2020-07-04 12:41:13
2
原创 幾個例子後，就可以和tensorflow 愉快的玩耍
一、背景 Keras的易用，pytorch的直觀，但是總避不開tensorflow畢竟谷狗大佬的，範圍很廣，從阿爾法狗由谷狗帶火，AI熱起來，但是tensorflow大部分人還是有點抗拒的，分析原因 1.不符合程序員直覺（程序員的直覺是代
2020-07-04 12:41:13
原创 最近鄰搜索和近似最近鄰搜索（NN和ANN）和庫
Ann, Approximate Nearest Neighbor的縮寫，就是近似最近鄰搜索。 在機器學習領域，語義檢索，圖像識別，推薦系統等方向常涉及到的一個問題是：給定一個向量X=[x1,x2,x3...xn]，需要從海量的向量庫中找
2020-06-29 16:49:32
原创 windows上傳文件到linux,sh執行腳本文件會提示有非常字符
從windows上傳文件到linux,sh執行腳本文件會提示有非常字符 查是否含有\r等換行符，也可以使用命令檢查： vim test.sh :set ff? 如果出現fileforma＝dos那麼就基本可以確定是這個問題了。 :se
2020-06-29 16:49:32
原创 重複數字的排序
問題 例如 a = [1,7,7,4,4,5,6] 經過排序後是a=[1,7,4,5,6,7,4] 也就是說重複的元素在隊列後面插入，不改變原理的順序。最直觀的思路就是用一個列表記錄元素，如果有重複用另一個列表保存。 def get_r
2020-06-29 16:49:31
原创 一次Elasticsearch使用並同步數據之路
一、背景 ES是一個分佈式的搜索框架。能快速查數據，主要他包含Elasticsearch,Kibana(一個網頁接口用來查ES的數據) 數據哪裏來呢，當然是要麼從數據庫來，要麼一條條插入到ES裏。那麼這次的需求就是從mysql數據庫導入
2020-06-29 16:49:30
原创 常見的讀寫文件錯誤，判斷文件是否存在(python)
常見的讀寫文件錯誤，判斷文件是否存在(python) python判斷文件是否存在的三種方法 1.使用os模塊 os.path.isfile 方法 和os.path.exits方法 2.使用Try語句 try catch語句來報錯
2020-06-29 16:49:30
原创 pickle.load文件時候EOFError: Ran out of input
原因：load的文件爲空，就會出現這種錯誤。 解決方案： 1.如果是讀取單個文件的話，查看文件是否爲空。 有可能之前不是空文件，但由於用pickle.load文件時需要打開文件操作，可能在這個過程中把文件內容清空了也未可知。 import
2020-06-29 16:49:30
原创 NLP處理小結
1.句子分好詞作爲數據庫的一個字段存入數據庫。 不然如果十幾萬或者上白萬的數據再處理，那麼會非常慢。 2.有循環的時候千萬注意檢查循環裏的操作的句子 。 能夠不在循環裏操作的，儘量不要在循環裏操作 。 最後就是用庫來優化了。 用 Cy
2020-06-29 16:49:30
原创 numpy. ndarray 與 list 互轉方法
ndarray.tolist()轉換爲 list array(list)轉換爲ndarray a = ['qa_id:1', 'qa_id:2',3,4,5] import numpy as np res = np.array(a) t
2020-06-29 16:49:30
原创 刪除句子開頭的匹配的子字符串
1、Strip()方法用於刪除開始或結尾的字符。 lstrip()|rstirp()分別從左右執行刪除操作。默認情況下會刪除空白或者換行符，也可以指定其他字符。 例如：s= '主題 今天的主題是旅遊' 只要刪除句子開頭的匹配的子字符串。
2020-06-29 16:49:30
原创 tensoflow 使用CPU和GPU的準確代碼，重點準確！
tensorflow 使用CPU和GPU,某度，某google一搜一大堆，排名靠前的都不一定對。如果你搜到我這篇，那麼你肯定準確了。 前提：你安裝了cuda等GPU環境沒有問題 1 、使用CPU 很多人會說，cpu啥都不用配置，直接用就是
2020-06-29 16:49:30
原创 tensorflow保存文件格式總結
一、背景 tensorflow還是非常靈活的，但是有門檻的，門檻有兩點api比較多，理解tensorflow的思維（先建立圖，然後建立session,然後運算，pytorch是不用這樣），這篇文章說說保存tensorflow保存的模型 T
2020-06-29 16:49:27
原创 最小可用的NLP服務框架
from flask import Flask,jsonify from flask import request from flask_restful import Api app = Flask(__name__) api = A
2020-06-29 16:49:27