原创 【pytorch】gpu訓練的模型無法在cpu下使用問題解決

最近遇到一個問題,發下gpu訓練的模型在cpu下不能跑,很難受。 結果發現原來是自己使用了DataParallel的問題,我保存的是整個模型。 model=DataParalle(model) torch.save(‘xx.pkl’,m

原创 【NLP】hanlp依存句法分析使用說明

主函數名爲: HanLP.parseDependency("以色列20日對加沙地帶實施轟炸,造成3名巴勒斯坦武裝人員死亡") 運行結果如下: image.png 函數返回值數據結構和背景知識: CONLL標註格式包含10列,分別爲: —

原创 【python】dataframe調換字段順序

df=pd.read_excel(filepath) #原來的字段順序爲:a, c, b df=df[['a','b','c']] #經過這步之後,就將dataframe的字段順序換爲:a, b, c

原创 【linux】清空緩存

清除緩存:     su - root     echo 1 > /proc/sys/vm/drop_caches  

原创 【python】批量插入mysql

# 關於插入程序的說明 - 前期準備:     - 表結構:`****.sql`     - 建表後,字段`id` 爲 **自增**     - 完成建表後在本地生成`model.py` 使用peewee包(`pip install pe

原创 【NLP】gensim lda使用方法

Optimized Latent Dirichlet Allocation (LDA) <https://en.wikipedia.org/wiki/Latent_Dirichlet_allocation> in Python. For

原创 【面試概率題】策略使用

概率題:某人去多個城市旅遊(數量未知),每到一個城市可以買一個禮物,但手中必須且只能有一個禮物,問用什麼策略可以做到,旅遊結束後,手中這個禮物來自每個城市的概率都相同。

原创 【面試】今日頭條面試算法題——全排列

題目描述:給定一個數字,按照原有數字中的各個位上面的數字進行組合,求出比原有數字大的數中最小的數。例如:1234 -> 1243 ,1243 ->1324 ,1324 -> 1342。 解題思路: 1.先將原有數字中的個,十,百,千…位上

原创 【面試】鏈表反轉

(遞歸實現) 初始鏈表: 求鏈表 A->B->C->D 的反轉鏈表, 可以先求 B->C->D 的反轉鏈表 D->C->B,然後將 A 連在B後面就完成了。 這就將原問題轉變爲求更小的子問題:求 B->C->D 的反轉鏈表 ......

原创 【git】局域網內使用git

1. 創建遠程倉庫     mkdir -p /home/remote_test     cd /home/remote_test     git init --bare   2. 克隆remote倉庫至本地    git clone s

原创 【檢索】groupwise scoring functions (GSF)分組評分函數

輸入:一組文本 輸出:兩兩文本間的相對相關性。 參考文獻: Ai Q, Wang X, Golbandi N, et al. Learning groupwise scoring functions using deep neural n

原创 【tensorflow】batch_gather使用方法

import tensorflow as tf tensor_a = tf.Variable([[1,2,3],[4,5,6],[7,8,9]]) tensor_b = tf.Variable([[0],[1],[2]],dtype=t

原创 【python】python判斷句子是否含有中文 utf-8

  #coding=utf-8 def is_chinese(text): for c in text: """判斷一個unicode是否是漢字""" if c >= u'\u4e00' an

原创 【keras】keras Lambda層

Lambda層 keras.layers.core.Lambda(function, output_shape=None, mask=None, arguments=None) 本函數用以對上一層的輸出施以任何Theano/Tensor

原创 【NLP】ACL2019-多輪對話

論文:Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables   Lei Shen,Yang Feng,H