原创 【pytorch】gpu訓練的模型無法在cpu下使用問題解決
最近遇到一個問題,發下gpu訓練的模型在cpu下不能跑,很難受。 結果發現原來是自己使用了DataParallel的問題,我保存的是整個模型。 model=DataParalle(model) torch.save(‘xx.pkl’,m
原创 【NLP】hanlp依存句法分析使用說明
主函數名爲: HanLP.parseDependency("以色列20日對加沙地帶實施轟炸,造成3名巴勒斯坦武裝人員死亡") 運行結果如下: image.png 函數返回值數據結構和背景知識: CONLL標註格式包含10列,分別爲: —
原创 【python】dataframe調換字段順序
df=pd.read_excel(filepath) #原來的字段順序爲:a, c, b df=df[['a','b','c']] #經過這步之後,就將dataframe的字段順序換爲:a, b, c
原创 【linux】清空緩存
清除緩存: su - root echo 1 > /proc/sys/vm/drop_caches
原创 【python】批量插入mysql
# 關於插入程序的說明 - 前期準備: - 表結構:`****.sql` - 建表後,字段`id` 爲 **自增** - 完成建表後在本地生成`model.py` 使用peewee包(`pip install pe
原创 【NLP】gensim lda使用方法
Optimized Latent Dirichlet Allocation (LDA) <https://en.wikipedia.org/wiki/Latent_Dirichlet_allocation> in Python. For
原创 【面試概率題】策略使用
概率題:某人去多個城市旅遊(數量未知),每到一個城市可以買一個禮物,但手中必須且只能有一個禮物,問用什麼策略可以做到,旅遊結束後,手中這個禮物來自每個城市的概率都相同。
原创 【面試】今日頭條面試算法題——全排列
題目描述:給定一個數字,按照原有數字中的各個位上面的數字進行組合,求出比原有數字大的數中最小的數。例如:1234 -> 1243 ,1243 ->1324 ,1324 -> 1342。 解題思路: 1.先將原有數字中的個,十,百,千…位上
原创 【面試】鏈表反轉
(遞歸實現) 初始鏈表: 求鏈表 A->B->C->D 的反轉鏈表, 可以先求 B->C->D 的反轉鏈表 D->C->B,然後將 A 連在B後面就完成了。 這就將原問題轉變爲求更小的子問題:求 B->C->D 的反轉鏈表 ......
原创 【git】局域網內使用git
1. 創建遠程倉庫 mkdir -p /home/remote_test cd /home/remote_test git init --bare 2. 克隆remote倉庫至本地 git clone s
原创 【檢索】groupwise scoring functions (GSF)分組評分函數
輸入:一組文本 輸出:兩兩文本間的相對相關性。 參考文獻: Ai Q, Wang X, Golbandi N, et al. Learning groupwise scoring functions using deep neural n
原创 【tensorflow】batch_gather使用方法
import tensorflow as tf tensor_a = tf.Variable([[1,2,3],[4,5,6],[7,8,9]]) tensor_b = tf.Variable([[0],[1],[2]],dtype=t
原创 【python】python判斷句子是否含有中文 utf-8
#coding=utf-8 def is_chinese(text): for c in text: """判斷一個unicode是否是漢字""" if c >= u'\u4e00' an
原创 【keras】keras Lambda層
Lambda層 keras.layers.core.Lambda(function, output_shape=None, mask=None, arguments=None) 本函數用以對上一層的輸出施以任何Theano/Tensor
原创 【NLP】ACL2019-多輪對話
論文:Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables Lei Shen,Yang Feng,H