原创 hbase 使用LZO筆記
之前我們發現數據錄入到hbase中，數據佔用的空間變大，所以我們考慮使用壓縮來降低，下面是安裝使用lzo的過程，在這記錄一下備忘。 一、hbase添加LZO 注意：root用戶安裝，否則安裝會出現錯誤 1、首先要讓系統支持lzo動態庫，安
2020-07-02 22:07:34
原创 bulk load關於分隔符的問題
在查看bulk load的源碼瞭解到，其默認的分隔符爲\t，也就是說如果數據是tab鍵分割的，就不需要指定分隔符了，如果需要換成其它分割符，在執行時加上-Dimporttsv.separator=","，則變成了以","分割。 前兩天，無
2020-07-02 22:07:32
原创 基於HDFS的FTP
原文地址：http://blog.sina.com.cn/s/blog_3dbab2840100w2be.html 一家公司使用apache的ftpserver開發框架開發了針對hadoop的hdfs文件系統的ftp服務器,當然是開源的
2020-07-02 22:07:31
1
原创 telnet的配置和啓動
修改配置：/etc/xinetd./krb5_telent service telnet { flags = REUSE socket_type = stream
2020-07-02 22:07:31
1
原创 windows搭建cygwin、hadoop以及和eclipse集成
整個過程參考了以下文章： 1、http://cw550284.iteye.com/blog/1064844 2、http://lirenjuan.iteye.com/blog/1280729 大家也知道map reduce程序調試是一個很
2020-07-02 22:07:31
原创 hadoop的內存heap大小的配置參數
1、tasktracker的heapsize的大小設置 <property> <name>mapred.child.java.opts</nam
2020-07-02 22:07:31
1
原创 tomcat出現java.lang.OutOfMemoryError: PermGen space問題解決
穩定了很久的tomcat今天拋出了一個異常，java.lang.OutOfMemoryError: PermGen space。 在網上找了一下Pe
2020-02-20 21:39:10
原创 HBase bulkload的一個bug定位
在HBase bulkload過程中，如果rowkey和version都一致，無法取得最新導入的數據。 問題定位： 在HBase裏，如果兩個HFil
2020-02-20 21:39:09
原创 HBase 壓縮算法設置及修改
Compression就是在用CPU換IO吞吐量/磁盤空間，如果沒有什麼特殊原因推薦針對Column Family設置compression，下面主要有三種算法: GZIP, LZO, Snappy，作者推薦使用Snappy，因爲它有較好
2020-02-20 21:39:09
原创 java: cannot execute binary file問題的解決
這兩天在虛擬機中搭建環境，從另一臺虛擬機中拷貝的jdk，在我這臺虛擬機中不能執行，系統報出了java: cannot execute binary file的異常信息。 很是費解啊！找了半天終於明白原因了，我裝的這個虛擬機的系統是32位，
2020-02-20 21:39:09
原创 隨筆
昨天很有幸參加了淘寶的技術沙龍，在交流會上，認識了很多技術牛人，所見所聞都讓人熱血沸騰…… 首先聽到的是AdMaster公司的@愛的馬斯特的有關流式計算的分享，之前對流式計算也稍稍瞭解了一些，但是瞭解不多，在這裏我瞭解到他們使用storm
2020-02-20 21:39:09
原创 Cannot open channel to 1 at election address（待續）
這段時間搭了一個7臺機器的hbase集羣，啓動hbase的時候，出現了以下異常： 2011-05-16 15:07:21,171 - WARN [WorkerSender Thread:QuorumCnxManager@384] -
2020-02-20 21:39:09
原创 NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.問題解決總結
今天寫了一個map reduce程序，在map端輸出是ArrayWritable類型的，可是到了reduce裏報出了NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.<in
2020-02-20 21:39:09
原创 hadoop集羣崩潰恢復記錄
轉載：http://www.blogjava.net/badqiu/archive/2011/12/14/366178.html 一.崩潰原因 搭建的是一個hadoop測試集羣，所以將數據備份參數設置爲dfs.replication=
2020-02-20 21:39:09
原创 hbase0.90.4安裝總結
前段時間安裝了hbase，這裏總結一下備忘。 安裝前的準備工作： 1、保證將納入集羣中各個機器能夠ssh無密碼訪問； 2、將各個機器的時間統一，一面集羣啓動後出現不可預料的問題 1、通過命令tar xvf hbase-0.90.4.tar
2020-02-20 21:39:08