原创 transformer語言模型原理解讀
文章目錄一、簡介二、注意力機制2.1 NLP中的注意力2.2 自注意力2.2.1 點積（Dot-Product）2.2.2 具體計算過程：2.3 多頭注意力三、位置編碼（Positional Encoding）四、殘差和前饋(Fe
2019-05-21 13:40:36
原创 Anaconda離線模式(倉庫)搭建深度學習環境 cuda&驅動 pytorch pip
文章目錄簡介anaconda安裝channel/倉庫配置CUDA&驅動虛擬環境安裝/卸載軟件相關pytorchtensorflow 簡介 anaconda是一個python管理工具，可以安裝和管理依賴包，自帶很多基礎科學計算常用包
2019-05-21 13:40:36
77
原创 Dataloader重要參數與內部機制
文章目錄一、pytorch數據輸入1. Dataset2. DataLoader二、Dataloader參數彙總2.1 sampler:分佈式訓練需DistributedSampler2.2 collate_fn:將batch的數
2019-05-21 13:40:36
1
原创 google-research/bert官方代碼中的坑_run_classifier_效果很差原因
文章目錄簡介一、學習率相關1.1 warmup1.2 lr decay1.3 二次訓練二、shuffle-訓練時的數據打亂三、流程相關-Estimator後記 簡介 bert官方代碼google-research/bert中有很多很強
2019-04-23 13:57:45
113
原创 【verify that the CA cert is OK】git clone出現SSL錯誤
使用git clone從github.com下載，報了個ssl錯誤。 Cloning into cancan... error: SSL certificate problem, verify that the CA cer
2018-08-22 05:17:54
5
原创 【Maven】【gradle】java.io.IOException: No locks available常見解決方案
Java.io.IOException: No locks available at sun.nio.ch.FileChannelImpl.lock0(Native Method) at sun.nio.
2018-08-22 05:17:54
21
原创 HDFS列式存儲Parquet與行式存儲（Avro）性能測試-Benchmark(hadoop, Spark, Scala)
關於Parquet Parquet是面向分析型業務的列式存儲格式，由Twitter和Cloudera合作開發，2015年5月從Apache的孵化器裏畢業成爲Apache頂級項目，細節請參考http://parquet.apache.
2018-08-22 05:17:54
8
原创 Java 泛型參數 向上轉型
根據現在的瞭解，java泛型默認是不支持向上轉型的，但是可以通過泛型參數實現向上轉型 List<List<Integer>> re = new ArrayList<ArrayList<Integer>>(); //這樣編譯通過 類型不匹
2018-08-22 05:17:54
1
原创 Java, 基礎（面試題）總結（分享-交流）
Finally，final，finalize Finally： 釋放資源（內存之外的，打開的文件、連接、屏幕上的圖形，，） ①總會執行②非後臺線程結束，後臺線程被強關，不會執行finally
2018-08-22 05:17:54
1
原创 svn常用概念總結
原理是這樣的 svn服務器一般放在公共的服務器上，大家連這個服務器，在MyEclipse上使用svn控件 可以下載svn上的項目至本地，所以很多公司將開發要用到的軟件都放在svn上，有同事來只要連上svn 就可以把需要的東西下下來了
2018-08-22 05:17:54
原创 Linux(CentOS) Wget安裝配置用戶Oracle JDK
背景： 開發機上的系統JDK是1.6的，由於項目需要1.7，故決定下載一個jdk7，並配置到用戶環境變量中； 嘗試直接用wget從官網上下，結果下來都是一個幾k的文件，應該是oracle上的防盜鏈，也就是用圖形界面要先點accept；
2018-08-22 05:17:53
46
原创 【算法】求全排列 回溯 交換 DFS JAVA
思路簡述： 一個全排列其實就是一條把數組無重複遍歷一遍的DFS過程 思路一：簡單回溯， 1. 一個List存遍歷路徑，從第N個“結點”到第N+1個“結點”是只需要找一個未遍歷的結點就行 2. 一個關鍵點在於查找 下一個可遍歷“結點”， 可
2018-08-22 05:17:43
2