原创 自定義op 編譯到tensorflow
本教程是使用Bazel把自定義op編譯進入TensorFlow並用C++和Python調用，使之在全局生效；不是像之前的加載.so文件的方式調用局部生效。 克隆最新版Tensorflow，包括依賴： git clone --recurse
2019-05-21 14:25:53
原创 tensorflow 添加自定義op
在tensorflow中實現自定義op，在引用時有兩種方式： （1）將自定義實現的op編譯成.so文件，在python測試代碼中直接引用即可 （2）在python的user_ops中定義，這樣不用再python測試代碼中引入，調用起來更加
2019-05-21 14:25:53
原创 Rstudio安裝使用xgboost
安裝xgboost 如果以上安裝不能成功，則修改Rstudio的鏡像路徑，詳見：http://baijiahao.baidu.com/s?id=1571342845267983&wfr=spider&for=pc 2.加載xgbo
2018-09-03 02:49:13
原创 HBase添加協處理器導致集羣異常解決方式
在做HBase二級索引實驗時，使用了HBase的協處理器，在插入數據的時候，由於協處理器拋出了異常，導致HRegionServer掛了，重啓之後，使用jps查看，馬上又消失了，查詢HMaster和HRegionServer的日誌如下：ja
2018-09-03 02:49:10
原创 FastDFS異地備份
關於FastDFS備份：網上有關於FastDFS異地備份的資料少之又少，筆者正好在做這一方面的項目，並且經過實踐是能成功的，所以想寫出來跟大家一起交流，筆者主要想到的是兩種方法，兩種方法都可行，各有缺點和優點，如果各位有更好的想法或者意見
2018-09-03 02:49:09
1
原创 Spark集羣運行junit測試類
首先：我們的項目是多模塊構建的，所以打包的時候會遇到各種模塊之間依賴的問題，我們項目用到的是junit測試類，沒有用main方法做測試，所以在打包運行的時候可能跟main函數運行方式有很大區別。1. 測試類需要繼承TestCase
2018-09-03 02:49:09
原创 Apache Beam訪問HDFS文件
Apache Beam發佈的第一個穩定版本2.0.0，想比較於之前的版本來說，API改變了很多，比如讀取HDFS文件的API，以前的讀取文件的類已經不適用了，改爲使用普通的Text.IO就能讀取HDFS文件，前提是建立了HDF
2018-09-03 02:49:09
原创 TFS和FastDFS使用
分佈式系統的選型： 最近一個項目需要存儲很多小文件，文件大小大約在200KB左右， 剛開始考慮是FastDFS和TFS，但是項目中需要用到異地備份的功能，FastDFS讀寫性能還是不錯的，至少比TFS要好，可惜沒有異地備份這塊
2018-09-03 02:49:09
原创 java性能優化總結
1.判斷元素是否在集合中，可以使用HashSet、HashMap代替List 因爲List比較集合中的所有元素，才能查找到具體的值，HashMap、HashSet分桶存儲，通過查找key的hash值可以快速找到其所在的桶，接近線性的時間複
2018-09-03 02:49:09
原创 docker基本使用
在項目中使用docker部署環境，docker常見的命令如下： docker命令使用： （1）查看docker信息 docker version docker info （2）查看容器日誌 docker logs –f 容器id （
2018-09-03 02:49:09
原创 通過SecureCRT安裝JDK
第一步 首先在官網上下載JDK的Linux版本。 第二步 打開SecureCRT連接遠程的Linux主機 第三步 在usr下新建目錄Java，然後通過winSCP軟件將下載下來的JDK拷貝到Java的目錄下 第四步 解壓jdk
2018-09-03 02:49:09
原创 完全備份、差異備份以及增量備份的區別
數據備份的方式有完全備份、差異備份以及增量備份，那麼這三種備份方式有什麼區別，在具體應用中又該如何選擇呢？本文就這些問題作以介紹。 一、備份方式簡介 1、完全備份（Full Backup） 備份全部選中的文件夾，並不依賴文件的存檔
2018-09-03 02:49:08
原创 CentOS7+Rsync3.09 實現兩個主機之間的備份
Rsync是在兩臺虛擬機之間實現文件複製，CentOS7本身自帶了Rsync工具，可以直接使用，備份的示例圖如下：備份的執行步驟如下：在源主機（172.17.169.246）上 （1）用root用戶執行：vi /etc/rsyncd
2018-09-03 02:49:08
原创 Linux常用Shell命
切割文件命令：split -l 300 large_file.txt new_file_prefix查看CPU、內存使用率、網絡帶寬、磁盤讀寫速率top #實時查詢sudo nethogs #查看網絡帶寬利用率iostat -d -
2018-09-03 02:49:08