原创 把一個變量字符串化，用來保存該對象的名字
思路： 1.字典化 2.提取key名 list(dict(tokenizer=tokenizer).keys())[0] 思路2： 但是如果是形參就不一樣了 import inspect def retrieve_name(var):
2020-06-29 16:49:26
原创 非常方便的Python3.6格式化字符串f-string
f-string，亦稱爲格式化字符串常量（formatted string literals），是Python3.6新引入的一種字符串格式化 舉例： name = 'Eric' s = f'Hello, my name is {name
2020-06-29 16:49:26
原创 python對象調用函數和函數調用對象的區別，sort舉例
類函數和通用函數區別 a=[2,4,1,3] sorted(a) print(a) """ 輸出 [2,4,1,3] """ a=[2,4,1,3] a.sort() print(a) """ 輸出 [1, 2, 3, 4]
2020-06-02 15:33:45
原创 優秀包和模塊的組織方式總結
一、背景 包就是一個文件夾，下有__init__.py文件 模塊就是一個py文件 二、幾個總結要點 1.package文件夾的__init__.py裏 .modulA import A(A是modulA裏的類） .modulB
2020-06-02 15:33:45
原创 python裝飾器，懂了這篇夠用
1.裝飾器本質是一個函數，該函數的參數是另一個函數。目的增加函數的功能。 2.@語法只是將函數傳入裝飾器函數，並無神奇之處。 一、帶參數的裝飾器（函數） 特點兩層函數 import functools def log(func):
2020-06-02 15:33:45
原创 Elasticsearch6.2.4版本使用結巴分詞插件之路
一、背景 Elasticsearch需要使用jieba自定義插件。 版本結論： java se 1.8 # orcal網址需要註冊下載 java se u8251,安裝後加入系統環境變量 gradle 6.4.1 # 官網
2020-06-02 15:33:45
9
原创 NLP分詞和在線分詞大總結
一、在線分詞 1、哈工大主幹分析，有詞性標記 https://ltp.ai/demo.html 2、百度在線詞法分析，也就包含分詞 https://ai.baidu.com/tech/nlp_basic/lexical 3、hanlp
2020-05-26 14:46:12
6
原创 調試python代碼神奇ipdb
1、背景 一個大的開源工程要看懂代碼怎麼辦？調試吧。 自己寫了一個package要調試吧，怎麼吧 下載了一個開源包源碼怎麼學習代碼？ 一句話：調試代碼 2、神器與安裝 pip install ipdb #安裝 pip show i
2020-05-24 16:15:01
原创 gensim 訓練Word2vec終極使用
首先要分詞成詞組成的句子。 1、訓練 模型代碼 ： word2vec.Word2Vec(sens_list, min_count=5, iter=20, sg=1,workers=int(mp.cpu_count()*0.7)) 也可以
2020-05-24 16:15:01
3
原创 撤銷git reset HEAD .
1、如何丟棄工作區的修改 $ git checkout -- readme.txt 2、git reset命令既可以回退版本，也可以把暫存區的修改回退到工作區。當我們用HEAD時，表示最新的版本 不會刪除修改的內容 git rese
2020-05-16 11:14:32
原创 實際NLP工程師用的NLP庫
1.背景 智能客服，檢索式 2.用到的庫 1.分詞： pkuseg，原因北大的論文號稱分詞效果很好，比jieba，哈工大的都好，效果還行，但是也沒那麼神奇 PaddleNLP的lac模型，用起來效果可以
2020-05-12 15:00:42
2
原创 怎麼增加第三方庫的方法，實現自己的需要呢，比如修復內存泄漏。
思路 通過動態增加類的方法去實現自己的功能。 首先：動態增加類方法。 class MyObj(object): def __init__(self, val): self.val = val def new_
2020-04-28 21:59:20
原创 記錄一次內存泄漏的修復過程
1、現象 通過Flask API請求調用一個實例的方法，加載pysparnn的索引，每次調用都增加800M，懷疑內存泄漏。 2 、工具： memory_profiler, pympler momery_profiler 使用： 這樣
2020-04-28 21:59:20
原创 numpy. ndarray 與 list 互相轉換
ndarray.tolist()轉換爲 list array(list)轉換爲ndarray a = ['qa_id:1', 'qa_id:2',3,4,5] import numpy as np res = np.array(a) ty
2020-04-23 10:42:55
原创 數據庫中有josn格式的數據。
表id uid info 1 1001 {"name":"週年慶","status":0,"addtime":"2017-10-10"} 2
2020-04-21 16:58:24