原创 [數據處理] Pandas利用groupby拆分csv
關鍵步驟： 1、利用pandas的pd.read_csv讀取csv內容到pandas dataframe結構裏； 2、利用groupby按共同元素聚合； 3、提取groupby後的dataframe對象信息並輸出。 df=pd.read
2020-07-04 16:28:46
3
原创 [深度學習] 自然語言處理 --- 文本分類模型總結
文本分類 包括基於word2vec預訓練的文本分類，與及基於最新的預訓練模型（ELMO，BERT等）的文本分類 fastText 模型 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attentio
2020-06-20 17:44:45
4
原创 [kubernetes] 證書詳細總結
目錄 一 證書簡介 二 證書類型分類 三 證書說明 四 TLS bootstrapping 簡化kubelet證書製作 五 證書製作步驟 1 創建CA證書 2 創建K8S證書 2.1. 創建kubernetes證書 2.2 創建k
2020-06-20 17:44:45
1
原创 [深度學習]自然語言處理 --- ELMo
原文鏈接：Deep contextualized word representations ELMO，是Embedding from Language Model的縮寫( Peters等人，2018年)，通過無監督預訓練多層雙向LSTM模
2020-06-20 17:44:45
原创 [Linux]Centos 6.3 下源代碼安裝gcc 4.8.2/4.9.2
CentOS6.3 自帶的gcc版本爲4.4.7 1.首先把舊的gcc相關的編譯工具安裝好 yum install gcc gcc-c++ glibc-static -y 2.下載gcc 4.8.2 源代碼 wget https:
2020-06-20 17:44:45
原创 [深度學習] 自然語言處理 --- Attention (下) [Self-Attention]
一 Self Attention Self Attention也經常被稱爲intra Attention（內部Attention），最近一年也獲得了比較廣泛的使用，比如Google最新的機器翻譯模型內部大量採用了Self Attentio
2020-06-20 17:44:45
原创 [機器學習] 部署訓練模型的方法介紹
The applications of machine learning are seemingly endless (as Juan De Dios Santos demonstrates, building a pikachu det
2020-06-20 17:44:45
2
原创 [kubernetes] 常用命令總結
1.1 Common Commands Name Command Run curl test temporarily kubectl run --rm mytest --image=yauritux/busybox-curl -it Ru
2020-06-20 10:36:19
5
原创 [深度學習] 自然語言處理 --- Attention (上)
目錄 Attention簡介 Encoder-Decoder框架 Attention模型 Attention 的優點 Attention 不同類型 1. 計算區域 2. 所用信息 3. 結構層次 4. 模型方面 5. 相似度計算方式 At
2020-06-20 09:35:57
23
原创 [機器學習] PMML實現模型上線
機器學習在用於產品的時候，經常會遇到跨平臺的問題。 比如用Python基於一系列的機器學習庫訓練了一個模型，但是有時候其他的產品和項目想把這個模型集成進去，但是這些產品很多隻支持某些特定的生產環境比如Java，爲了上一個機器學習模型去大動
2020-06-20 09:35:57
原创 理解熵，交叉熵和交叉熵的應用
一 信息量 信息論當中的熵指的是信息量的混亂程度，也可以理解成信息量的大小。 舉個簡單的例子，以下兩個句子，哪一個句子的信息量更大呢？ 我今天沒中彩票 我今天中彩票了 從文本上來看，這兩句話的字數一致，描述的事件也基本一致，但是顯然第二句
2020-06-20 09:35:57
原创 [深度學習] 自然語言處理---Transformer原理和實現
目錄 Encoder-Decoder框架 一 整體架構 動態流程圖 二 Encoder 2.1 Encoder Layer和殘差網絡 Residual Connection 2.2 Attention Self Attention Mul
2020-06-20 09:35:57
原创 [深度學習] 自然語言處理 --- ALBERT 介紹
一、簡介 隨着Transfomer結構的普及，一時間大語料、大參數量的預訓練模型成爲主流。當在實際部署BERT等模型時，往往需要使用蒸餾、壓縮或其他優化技術對模型進行處理。 ALBERT模型來自論文 Google 最近公佈的論文 《ALB
2020-06-20 09:35:57
96
原创 [深度學習] 自然語言處理 --- 基於Attention機制的Bi-LSTM文本分類
Peng Zhou等發表在ACL2016的一篇論文《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》。 論
2020-06-20 09:35:57
8
原创 [HIVE] shell調用hive客戶端導致nohup後臺進程stopped
nohup啓動java進程調用shell執行hive客戶端命令導致nohup進程stopped，java進程消失了。 環境變量增加如下之後解決。 export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS
2020-06-16 15:49:26
1