原创 hadoop的java.opts設置有誤導致job setup失敗

由於各臺機器配置不同,想單獨設置每個節點的mapred.child.java.opts參數,開始設置爲<property><name>mapred.c

原创 MySQL的Communications link failure

最近要從數據庫讀取信息,但連接其他庫都沒問題,只有其中一個庫老報錯:Communications link failureThe last packe

原创 enable和disable表時出現表未disable/enable異常處理

轉載請標明出處:http://blackwing.iteye.com/blog/1914841今天在爲表增加LZO壓縮,在enable表時,發現耗時很

原创 ROOT不在線的另外一種原因及解決辦法

轉載請聲明出處:http://blackwing.iteye.com/blog/1914898近來hbase總是不穩定,運行一兩天後,就會發現-ROO

原创 Centos下yum安裝wine

linux下安裝wine可以從源碼編譯安裝,但一般都覺得麻煩,所以儘量利用yum進行安裝,解決很多包的依賴關係。首先安裝一個epelrpm -ivh

原创 solr的replication設置

配置solr的主從replication,slave機器一定要設置masterUrl這個參數,但項目是做好索引後,發送命令給從機到master上拉索引

原创 Hadoop使用lzo壓縮輸出

Hadoop處理大量的數據,如果期間的輸出數據、中間數據能壓縮存儲,對系統的I/O性能會有提升。參考了網上不少資料,發現綜合考慮壓縮、解壓速度、是否支

原创 Linux下too many open files問題

在solr相關程序運行一段時間後,很容易出現too many open files錯誤,以前因爲找不到有效的解決辦法(solr本身已經優化),所以只能

原创 桌面版Centos 一個窗口打開文件夾

默認情況下,centos是沒打開一個文件夾,都新開窗口,挺煩的,可以設置爲在同一窗口打開所有文件夾,像windows一樣,先打開一個文件夾:編輯-->

原创 導出導入HBase數據庫

系統上已經安裝來Hadoop,並且hbase通過hadoop存儲數據。1.把hbase中某個表第數據導出到hadoop中:>hbase org.apa

原创 Hadoop的data.dir配置導致balancer無法平衡各節點

hdfs的data.dir配置如下:<property> <name>dfs.data.dir</name> <value>/diska/data

原创 HBase的start key和end key疑惑

轉載請標明來源:http://blackwing.iteye.com/blog/1791848之前把一個region人工拆分成多個region,每個r

原创 HBase的coprocessor分拆HRegion

[quote]轉載請註明出處,文章鏈接:http://blackwing.iteye.com/blog/1788647[/quote]之前通過修改Ta

原创 hadoop的 IncompatibleClassChangeError

開發環境中,使用的是官方版的hadoop 1.0.1版,而集羣上的hadoop則是cloudera的hadoop 2.0版,之前兼容性還不錯,直到使用

原创 ant build時“找不到符號”問題解決

升級了項目依賴的jar包後,build時總是報錯,說“找不到符號”,代碼測試過是正常的。網上說是存在多個版本的jar包導致。後來在build.xml中