原创 xlnet中傳統transform失效的原因分析

xlnet中爲了看到上下文信息，引入了PLM(排列組合的語言模型)，即原始的x1,x2, x3, x4序列，通過排列組合可以分解出16種方式，可以認爲預料變爲了：                      x1，x3， x2，x4    

2019-10-26 03:02:57

原创 hive join on的條件

如果是left join 在on上寫主表a的條件不會生效，全表掃描。 如果是left join 在on上寫副表b的條件會生效，但是語義與寫到where 條件不同 如果是inner join 在on上寫主表a、副表b的條件都會生效 建議這麼

2019-04-18 01:42:51

原创 tensorflow微調模型，如何中斷梯度

import tensorflow as tf # Load the VGG-16 model in the default graph vgg_saver = tf.train.import_meta_graph(dir + '/vgg

2019-02-08 20:23:58 1

原创 tensorflow一個進程中分析加載多個模型的方法

分別創建多個會話，多個圖，每個會話中運行不同的圖，最後關閉會話。 graph1 = tf.Graph() graph2 = tf.Graph() sess1 = tf.Session(graph=graph1)  sess2 = tf.S

2019-02-08 20:23:58 1

原创 bert使用總結

1、bert的開源代碼： https://github.com/google-research/bert 2、bert的service接口： 將bert封裝成了clinet和service框架，通過客戶端向服務器發起請求的方式使用 htt

2019-01-10 20:02:25 6

原创 tensorflow各優化器總結

1、RMSprop 算法是一種自適應學習率的優化算法，其核心思想是通過統計相似梯度的平均值的方式來自動地調整學習率。一般來講，我們會在梯度算法中引入一個衰減係數，使每一次衰減都有一定的比例。在TensorFlow 中，一般使用tf.tra

2018-11-28 13:09:21

原创 tensorflow相關函數學習

1、tf.argmax( , )中有兩個參數，第一個參數是矩陣，第二個參數是0或者1。0表示的是按列比較返回最大值的索引，1表示按行比較返回最大值的索引; 2、tf.equal(A, B)是對比這兩個矩陣或者向量的相等的元素，如果是相等的

2018-11-26 05:05:30

原创 hive的rownumber和group by區別

1、row_number() over()排序功能： （1） row_number() over()分組排序功能：      在使用 row_number() over()函數時候，over()裏頭的分組以及排序的執行晚於 where g

2018-09-26 04:42:29 1

原创 tensorflow學習筆記

一、BatchNormalization的作用批標準化（batch normalization，BN）一般用在激活函數之前，使結果x=Wx+bx=Wx+b 各個維度均值爲0，方差爲1。通過規範化讓激活函數分佈在線性區間，讓每一層的輸入有一

2018-09-03 06:10:29

原创 正則表達式的?用法總結

有無量詞問號可以表示重複前面內容的0次或一次，也就是要麼不出現，要麼出現一次。不加問號表示貪婪匹配在滿足匹配時，匹配儘可能長的字符串，默認情況下，採用貪婪匹配?123string pattern1 = @"a.*c";  // greed

2018-09-03 06:10:29

原创 動態規劃之最長公共子序列&最長公共子串

題目　　如果字符串1的所有字符按其在字符串中的順序出現在另外一個字符串2中，則字符串1稱之爲字符串2的子序列。　　注意，並不要求子子序列（字符串1）的字符必須連續出現在字符串2中。　　請編寫一個函數，輸入兩個字符串，求它們的最長公共子串，

2018-09-03 06:10:29

原创 機器學習之特徵編碼總結

已知三個feature，三個feature分別取值如下： feature1=[“male”, “female”] feature2=[“from Europe”, “from US”, “from Asia”] feature3

2018-09-03 06:10:29

原创 /etc/profile配置的環境變量，關閉終端後失效解決方法

source /etc/profile生效，但是關閉終端後，環境變量失效，可以將環境變量配置放在/etc/bash.bashrc中，然後source  /etc/bash.bashrc,關閉終端後生效

2018-09-03 06:10:29

原创 tensorflow學習

1、對於minist的數據集上搭建dnn網絡，並不是層數越多越好，2個隱層的結果要壞於一個隱層的結果，      激活函數選用relu效果要好 2、關於softmax層輸出理應是0~1的小數， 一旦只輸出0或1， 那表明模型對自己的判斷相

2018-09-03 06:10:29

原创 maven學習總結

1、mavaen打包碰到 LOC HEAD問題： find .m2_old/repository/ -name "*jar" | xargs -L 1 zip -T | grep error | grep invalid  找到下載壞的包

2018-09-03 06:10:28