原创 python 中正則表達式的學習

在做文本處理的時候,經常會使用正則表達式,每次使用的時候,都要使用搜索引擎,怎麼樣才能熟練掌握,提高自己開發的效率,故決定 把正則表達式梳理一下,方便自己掌握  1.split 如果是單個分隔符,可以直接使用字符串的 s = "hel

原创 bert 中文使用(2)

曾寫過bert  cs服務方式的調用方法:https://blog.csdn.net/renyuanfang/article/details/86701148 ,這種方式優點是操作簡單,但也有很大的缺陷,不能 fine-tune,操作繁瑣

原创 conda\pip 安裝pytorch

最近GPU 上重新安裝pytorch 出現了一些問題,整理一下正確安裝pytorch 1.打開pytorch 官網 https://pytorch.org/ 如圖生成自己安裝環境對應的命令 ,如果找不到對應版本,可以直接替換版本號即可,

原创 bert 使用(3)

之前 分享瞭如何原生的使用 bert 和 albert ,但 在預測的時候 只能預測單條,無法進行批量預測。bert模型 現在已經出現兩年,各種使用bert 的方式越來越方便,今天介紹一下 如何使用 bert-for-tf2 調用 ber

原创 win10 系統 anacoda3 pip 報錯解決方案

win10新環境安裝anaconda3,配置好環境後,pip 無法使用 報  C:\ProgramData\Anaconda3\Scripts>pip install dotmap Traceback (most recent call

原创 albert 中文使用

最近Google 設計了一個【精簡版的BERT】ALBERT,預測性能和bert相比大大提高,自己嘗試直接調用其開源代碼:https://github.com/google-research/ALBERT 未能直接跑通,自己調試成功的代碼

原创 BeautifulSoup 網絡爬蟲的簡單使用

在文本處理過程中,經常需要業餘的抓取一些訓練語料,因此漸漸學會了如何使用BeautifulSoup 解析網頁: 首先,登錄beautifulSoup 官網,查看 該package 的基本安裝,入門,以及基本組成。https://beaut

原创 tensorboard 啓動報錯 Tensorboard could not bind to unsupported address family

在 rensorboard 啓動時出現 錯誤“Tensorboard could not bind to unsupported address family ” 解決辦法 啓動時 添加 主機名字 和端口號 tensorboard -

原创 python 活用命令行參數之argparse

python 開發,特別是文本處理方面,有沒有經常vim 打開文件去修改參數,例如文件名稱等,爲了能避免 這種情況,可以使用argparse 直接在命令行修改自己可變的參數,具體使用方式看代碼 import argparse pars

原创 keras 使用 self-attention

self-attention 原理  keras 使用self-attention  安裝  pip install keras-self-attention   使用demo import keras from keras_

原创 linux 進程 前臺執行,轉後臺

linux 終端上跑程序,如果僅僅在前端跑進程,窗口連接中斷,進程也會隨之被kill,可以是用法 如下操作 ,實現 前臺運行到後臺的轉換(黑體未輸入的命令):  ctrl +z ,暫停進程 bp 把進程切換的後臺繼續執行

原创 python 使用 xml.etree.ElementTree 解析 xml

使用 xml.etree.ElementTree  (簡稱ET) 來解析 xml  非常好用推薦給大家。按照我自己的理解,使用ET 解析xml 就像 遍歷 字典一樣 ,以如下數據爲例 <?xml version="1.0" encodi

原创 python install causes ModuleNotFoundError: No module named '_swigfaiss'

faiss 是facebook 開源的一個相似度檢索工具,支持微秒級 相似度的檢索。在安裝過程中出現了一些坑 ,分享一下安裝過程 主要問題:  提示 install causes ModuleNotFoundError: No modul

原创 python 中正則表達式利用

在做文本處理的時候,經常會使用正則表達式,每次使用的時候,都要使用搜索引擎,怎麼樣才能熟練掌握,提高自己開發的效率,故決定 把正則表達式梳理一下,方便自己掌握

原创 python 生成 uuid

uuid 作爲通用識別碼 ,在開發中經常被使用,本文主要介紹如何在python中生成 uuid,本文以https://blog.csdn.net/renyuanfang/article/details/86701148 爲主要示例將其轉化