原创 谷歌BERT 學習
最近谷歌放了個大招，開源了他們最新的自然語言模型BERT，正好手頭有個文本分類的任務，打算拿來用用，特此記錄一下學習過程，如果錯誤，還望指正。 論文地址：https://arxiv.org/abs/1810.04805 開源git
2020-06-03 18:15:41
原创 句子向量表示模型概述
背景 在很多自然語言處理人物中，例如文本匹配，智能問答等都都需要衡量兩個句子的相似度，一般情況我們採用將句子編碼爲向量表示，然後利用兩個向量之間的相似度來表示句子的相似度，從而將自然語言環境下的問題轉爲來可以機器處理的問題。本文對
2020-04-18 23:59:18
7
原创 GELU 激活函數
Gaussian Error Linerar Units(GELUS) 論文鏈接：https://arxiv.org/abs/1606.08415 最近在看bert源碼，發現裏邊的激活函數不是Relu等常見的函數，是一個新的激活函數G
2019-01-17 02:49:53
74
原创 BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding) 學習
最近谷歌放了個大招，開源了他們最新的自然語言模型BERT，正好手頭有個文本分類的任務，打算拿來用用，特此記錄一下學習過程，如果錯誤，還望指正。 論文地址：https://arxiv.org/abs/1810.04805 開源githu
2018-11-14 07:01:49
1
原创 python中調用c++
編譯一個要引用的動態鏈接庫:XXX.so gcc/g++ -fPIC xxx.cpp -o xxx.so -shared -I/usr/include/python2.7 -I/usr/lib/python2.7/config
2018-08-23 14:44:34
3
原创 排序學習概述
排序學習 排序學習簡單說就是在排序任務中使用機器學習的方法，在信息檢索、自然語言處理與數據挖掘等許多領域中有重要的應用。 用文檔檢索來舉例，如下圖： 排序學習的核心就是要學習到一個排序模型f(q,d) ， q 表示查詢，d 表示文
2018-08-23 14:44:34
3
原创 Spark RDD介紹
概念 Spark是一個集羣計算系統，主要抽象爲一個彈性分佈式數據集（resilient distributed data set,RDD）。 RDD創建 Hadoop InputForm(如HDFS) 其他RDD轉換 通過轉換集合類數據
2018-08-23 14:44:34
原创 FM（因子分解機系列）
FM(Factorization Machine) 引子 機器學習的通常模式爲學習輸入到輸出的變換，比如最常見的線性迴歸模型，輸入爲X，輸出爲Y，通常輸入爲高維數據，X是一個向量,形式如下： y=w1x1+w2x2+...+wnxn 線
2018-08-23 14:44:34
5
原创 動態規劃系列
基本思想 將一個問題分爲子問題遞歸求解，且將中間結果保存以避免重複計算。通常可以求得子問題的最優解，且最優解的局部也是最優的。求解過程產生多個決策序列，下一步總是依賴上一步的結果，自底向上的求解。 1.揹包問題 0-1揹包問題 有n件物品
2018-08-23 14:44:34
原创 回溯、遞歸系列
數字組合1 給出一組候選數字(C)和目標數字(T),找到C中所有的組合，使找出的數字和爲T。C中的數字可以無限制重複被選取。 例如,給出候選數組[2,3,6,7]和目標數字7，所求的解爲： [7]， [2,2,3] 注意事項 所有的數字
2018-08-23 14:44:33
原创 How to Generate a Good Word Embedding（學習筆記）
word embedding（詞嵌入）：一種分佈式此表示（distributed word representation),可以同時捕獲詞的語義以及語法信息。 本文主要比較已有的各種詞嵌入模型與方法，並通過實驗的視角詳細分析在訓練詞嵌入模
2018-08-23 14:44:33
原创 面試排序算法總結
直接插入排序 從第二個元素開始，每次選擇一個元素插入到之前已經排好序的部分。 選擇插入位置的時候從後往前，將帶插入元素取出，依次後移大於帶插入元素的數。 算法複雜度： 最好是正序有序，需要n次比較。 最差逆序有序，複雜度O(n2)
2018-08-23 14:44:33
原创 Restricted Boltzman Machines for Collaborative Filtering
能量模型 Energy-based probabilistic models define a probability distribution through an energy function: p(x)=e−E(x)Z Z i
2018-08-23 14:44:33
2
原创 PRML 讀書筆記-Chapter1
reinforcement learning Finding suitable actions to take in a given situation in order to maximize a reward. A general
2018-08-23 14:44:33
2
原创 產生均勻隨機排列數組
假設給定一個數組A，它包含元素1到n，我們的目標是構造這個數組的一個隨機排列 方法一 Permute-by-sorting(A) 1 n<-length[A] 2 for i<- 1 to n 3 do P[i]=RAN
2018-08-23 14:44:32
2