原创 Shell重定向區別

shell上: 0表示標準輸入 1表示標準輸出 2表示標準錯誤輸出 > 默認爲標準輸出重定向,與 1> 相同 2>&1 意思是把 標準錯誤輸出 重定向到 標準輸出. &>file 意思是把 標準輸出 和 標準錯誤輸出 都重定向到文件fil

原创 文本分類實戰—— Bi-LSTM模型

1 大綱概述   文本分類這個系列將會有十篇左右,包括基於word2vec預訓練的文本分類,與及基於最新的預訓練模型(ELMo,BERT等)的文本分類。總共有以下系列:   word2vec預訓練詞向量   textCNN 模型   ch

原创 hive: size與spilt連用

select size(split(brand_id_rate_str,",")), count(1) from alg.qz_click_keyword_brandrate_model group b

原创 詳解BiLSTM及代碼實現

一、介紹 1.1 文章組織 本文簡要介紹了BiLSTM的基本原理,並以句子級情感分類任務爲例介紹爲什麼需要使用LSTM或BiLSTM進行建模。在文章的最後,我們給出在PyTorch下BiLSTM的實現代碼,供讀者參考。 1.2 情感分類任

原创 文本分類實戰—— Bi-LSTM + Attention模型

1 大綱概述   文本分類這個系列將會有十篇左右,包括基於word2vec預訓練的文本分類,與及基於最新的預訓練模型(ELMo,BERT等)的文本分類。總共有以下系列:   word2vec預訓練詞向量   textCNN 模型   ch

原创 Python:ModuleNotFoundError: No module named 模塊名 錯誤及解決方案

背景描述: 當在idea編寫python文件導入上級其它同級目錄下文件時,編碼檢查及行行正常,但在linux遠程使用命令執行報“ModuleNotFoundError: No module named 模塊名”錯誤。 項目目錄結構及執行腳

原创 python詞典按值value排序

def dictionairy(): # 聲明字典 key_value ={} # 初始化 key_value[2] = 56 key_value[1] = 2

原创 linux awk 使用-F指定分割符號切分

待分割數據:base.txt 格式:以"\005"字符分割,列數據假設爲coupon_id,query,count 目的:只要第一列coupon_id數據 常規操作: cat base.txt | awk '{print $1}' >

原创 HIVE中get_json_object與json_tuple使用及區別

場景:獲取hive表字段格式爲json的內部key信息 如下一條表記錄,表名:test,表字段:id,event_name,info,time.其中event_name爲string類型的json串 1588914335352 co

原创 搜索中的 Query 理解及應用

文章作者:Joelchen 騰訊 研究員 編輯整理:Hoh 內容來源:騰訊技術工程 出品平臺:DataFunTalk 注:轉載請聯繫原作者。   導讀:Query 理解 ( QU,Query Understanding ),簡單來說就是從

原创 Linux vi/vim 的區別和用法

Linux vi/vim 所有的 Unix Like 系統都會內建 vi 文書編輯器,其他的文書編輯器則不一定會存在。 但是目前我們使用比較多的是 vim 編輯器。 vim 具有程序編輯的能力,可以主動的以字體顏色辨別語法的正確性,方便程

原创 JAVA 二分查找法-遞歸與非遞歸兩種方式

public int binarySearchV1 (int[] array, int low, int high, int key) { if(low > high) return -1;

原创 Python安裝Levenshtein

1. 參考文檔 https://blog.csdn.net/hanfeixue11/article/details/76850910/ 2. 安裝 → apt-get install -y gcc g++ → pip install p

原创 f.readlines()和f.read().splitlines()的區別

f.readlines()和f.read().splitlines()的區別: f.readlines()和f.read().splitlines()都是返回一個list,f.readlines()後面有加\n,f.read().spli

原创 list 與 numpy.ndarray互轉

一. python中 list 與數組的互相轉換 (1)list轉array     np.array(a) (2)array 轉list     a.tolist() 二.區別 python中的二維數組,主要有 list(列表) 和