原创 python 中正則表達式的學習
在做文本處理的時候,經常會使用正則表達式,每次使用的時候,都要使用搜索引擎,怎麼樣才能熟練掌握,提高自己開發的效率,故決定 把正則表達式梳理一下,方便自己掌握 1.split 如果是單個分隔符,可以直接使用字符串的 s = "hel
原创 bert 中文使用(2)
曾寫過bert cs服務方式的調用方法:https://blog.csdn.net/renyuanfang/article/details/86701148 ,這種方式優點是操作簡單,但也有很大的缺陷,不能 fine-tune,操作繁瑣
原创 conda\pip 安裝pytorch
最近GPU 上重新安裝pytorch 出現了一些問題,整理一下正確安裝pytorch 1.打開pytorch 官網 https://pytorch.org/ 如圖生成自己安裝環境對應的命令 ,如果找不到對應版本,可以直接替換版本號即可,
原创 bert 使用(3)
之前 分享瞭如何原生的使用 bert 和 albert ,但 在預測的時候 只能預測單條,無法進行批量預測。bert模型 現在已經出現兩年,各種使用bert 的方式越來越方便,今天介紹一下 如何使用 bert-for-tf2 調用 ber
原创 win10 系統 anacoda3 pip 報錯解決方案
win10新環境安裝anaconda3,配置好環境後,pip 無法使用 報 C:\ProgramData\Anaconda3\Scripts>pip install dotmap Traceback (most recent call
原创 albert 中文使用
最近Google 設計了一個【精簡版的BERT】ALBERT,預測性能和bert相比大大提高,自己嘗試直接調用其開源代碼:https://github.com/google-research/ALBERT 未能直接跑通,自己調試成功的代碼
原创 BeautifulSoup 網絡爬蟲的簡單使用
在文本處理過程中,經常需要業餘的抓取一些訓練語料,因此漸漸學會了如何使用BeautifulSoup 解析網頁: 首先,登錄beautifulSoup 官網,查看 該package 的基本安裝,入門,以及基本組成。https://beaut
原创 tensorboard 啓動報錯 Tensorboard could not bind to unsupported address family
在 rensorboard 啓動時出現 錯誤“Tensorboard could not bind to unsupported address family ” 解決辦法 啓動時 添加 主機名字 和端口號 tensorboard -
原创 python 活用命令行參數之argparse
python 開發,特別是文本處理方面,有沒有經常vim 打開文件去修改參數,例如文件名稱等,爲了能避免 這種情況,可以使用argparse 直接在命令行修改自己可變的參數,具體使用方式看代碼 import argparse pars
原创 keras 使用 self-attention
self-attention 原理 keras 使用self-attention 安裝 pip install keras-self-attention 使用demo import keras from keras_
原创 linux 進程 前臺執行,轉後臺
linux 終端上跑程序,如果僅僅在前端跑進程,窗口連接中斷,進程也會隨之被kill,可以是用法 如下操作 ,實現 前臺運行到後臺的轉換(黑體未輸入的命令): ctrl +z ,暫停進程 bp 把進程切換的後臺繼續執行
原创 python 使用 xml.etree.ElementTree 解析 xml
使用 xml.etree.ElementTree (簡稱ET) 來解析 xml 非常好用推薦給大家。按照我自己的理解,使用ET 解析xml 就像 遍歷 字典一樣 ,以如下數據爲例 <?xml version="1.0" encodi
原创 python install causes ModuleNotFoundError: No module named '_swigfaiss'
faiss 是facebook 開源的一個相似度檢索工具,支持微秒級 相似度的檢索。在安裝過程中出現了一些坑 ,分享一下安裝過程 主要問題: 提示 install causes ModuleNotFoundError: No modul
原创 python 中正則表達式利用
在做文本處理的時候,經常會使用正則表達式,每次使用的時候,都要使用搜索引擎,怎麼樣才能熟練掌握,提高自己開發的效率,故決定 把正則表達式梳理一下,方便自己掌握
原创 python 生成 uuid
uuid 作爲通用識別碼 ,在開發中經常被使用,本文主要介紹如何在python中生成 uuid,本文以https://blog.csdn.net/renyuanfang/article/details/86701148 爲主要示例將其轉化