原创 Hbase配置項簡介
Hbase配置項簡介 轉自網絡 Hbase配置項（1） hbase.tmp.dir：本地文件系統的臨時目錄，默認是java.io.tmpdir/hbase?{user.name}； hbase.rootdir：hbase持久化的目錄，被
2020-06-16 02:18:56
4
原创 HBase性能優化方法總結（2）：表的設計
本文主要是從HBase應用程序設計與開發的角度，總結幾種常用的性能優化方法。有關HBase系統配置級別的優化，可參考：淘寶Ken Wu同學的博客。 下面是本文總結的第一部分內容：表的設計相關的優化方法。 1. 表的設計 1.1 Pr
2020-06-16 02:18:56
原创 shell 讀mysql內數據
SQL="select id,val from test1 order by id desc limit 1" RESULT=$(mysql -ur
2020-06-16 02:18:56
1
原创 Hadoop參數彙總
Hadoop參數彙總 @(hadoop)[配置] linux參數 以下參數最好優化一下： 文件描述符ulimit -n用戶最大進程 nproc （hbase需要 hbse book）關閉swap分區設置合理的預讀取緩衝區
2020-02-23 12:39:14
原创 如何使用Hadoop的JobControl
轉自：http://qindongliang.iteye.com/blog/2064281 如果MapReduce中需要用到多個job，而且多個job之間需要設置一些依賴關係，比如Job3需要依賴於Job1和Job2，這就要用到Job
2020-02-23 12:39:14
4
原创 Java中的移位操作以及基本數據類型轉換成字節數組【收集】
AVA中位運算符包括: & | ~ ^ << >> >>> 一、 首先要搞清楚參與運算的數的位數： ( 聯想：java的8種基本類型：byte,short, char, int, long,float,double,boolean.
2020-02-23 12:39:14
原创 UNICODE,GBK,UTF-8區別
簡單來說，unicode，gbk和大五碼就是編碼的值，而utf-8,uft-16之類就是這個值的表現形式．而前面那三種編碼是一兼容的，同一個漢字，那三個碼值是完全不一樣的．如＂漢＂的uncode值與gbk就是不一樣的，假設uncode爲
2020-02-23 12:39:14
原创 IBM---Java 多線程與併發編程專題
http://www.ibm.com/developerworks/cn/java/j-concurrent/ 有線程安全也有線程池的實現~
2020-02-23 12:39:14
原创 HBase性能優化方法總結（3）：寫表操作
本文主要是從HBase應用程序設計與開發的角度，總結幾種常用的性能優化方法。有關HBase系統配置級別的優化，可參考：淘寶Ken Wu同學的博客。 下面是本文總結的第二部分內容：寫表操作相關的優化方法。 2. 寫表操作 2.1
2020-02-23 12:39:14
原创 SynchronizedMap和ConcurrentHashMap的深入分析
轉自：http://blog.sina.com.cn/s/blog_5157093c0100hm3y.html 在開始之前，先介紹下Map是什麼？ javadoc中對Map的解釋如下： An object that m
2020-02-23 12:39:14
原创 HBase性能優化方法總結（4）：讀表操作
來自：http://www.cnblogs.com/panfeng412/archive/2012/03/08/hbase-performance-tuning-section3.html 本文主要是從HBase應用程序設計與開發的角度
2020-02-23 12:39:14
原创 關於幾種壓縮算法以及hadoop和hbase中的壓縮配置說明
Hadoop中常用的壓縮算法有bzip2、gzip、lzo、snappy，其中lzo、snappy需要操作系統安裝native庫纔可以支持 下面這張表，是比較官方一點的統計，不同的場合用不同的壓縮算法。bzip2和GZIP是比較消
2020-02-23 12:39:14
原创 83款 網絡爬蟲開源軟件
網絡爬蟲介紹及其比較 http://www.docin.com/p-321349858.html 1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=v
2020-02-23 12:39:14
原创 Hive常用的SQL命令操作
轉自 http://blog.csdn.net/wisgood/article/details/17186599 創建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 創建表並創
2020-02-23 12:39:14
原创 Apache HBase快照介紹
轉自 http://www.importnew.com/4966.html CDH是Cloudera的完全開源分佈式Apache Hadoop及相關項目（包括Apache HBase）。CDH的當前版本（4.2）引入的一個HBase
2020-02-23 12:39:14