原创 hadoop再次配置lzo
最近又重新進行了一次配置lzo壓縮，步驟如下： 安裝前，必須的工具： lib* glibc* gcc* ant mvn 注意：確定gcc版本，之前網上有人說不能使用超過4.4版本的gcc，我在安裝過程中使用的gcc4.1.2的版本，也是
2020-06-28 03:45:54
原创 關於如何用Zookeeper實現分佈式鎖機制
之前對zk的應用場景比較好奇，後來發現hive當中已經有使用zk來實現分佈式鎖的實現。 爲了更好的理解分佈式鎖的實現，所以對hive這塊的代碼進行閱讀，提升了對技術實現的理解。 hive使用的是ZooKeeperHiveLockManag
2020-06-28 03:45:54
原创 hadoop集羣上壓縮後運行總結
我們數據組通過三週的努力，整個集羣都變成了可壓縮各種模式。 具體操作： hbase的數據遷移，hive的數據遷移 首先說說hbase的數據遷移，數據採用了Gz的壓縮模式並且rowkey進行了調整後，整個hbase集羣region的分佈更加
2020-02-22 18:34:55
原创 關於hive升級到0.11的版本問題2
通過網友的幫助，打印加載路徑地址，發現果然有個類在其他地方里存在，如下： [hadoop@master ~]$ hive file:/home/hadoop/hadoop-1.0.3/conf/ file:/home/hadoop/jro
2020-02-22 18:34:55
原创 ant學習教程連接
http://i-proving.com/2005/10/31/Ant-Tutorial/ 點贊 收藏 分享 文章舉報 fish_cool 發佈了290 篇原創文章 · 獲
2020-02-22 18:34:55
原创 hadoop節點出現了一個異常問題
最近集羣有個節點出現一個奇怪的問題，就是jps命令可以看到Child進程，但通過top命令卻顯示不存在。而且在/proc目錄下也沒有對應的進程目錄，如下圖： 在ganglia上面的監控畫面如下： 問題原因： 系統盤（一般我將安裝有
2020-02-22 18:34:55
原创 hbase測試壓縮效果報告
測試環境： Linux master 2.6.18-348.12.1.el5 #1 SMP Wed Jul 10 05:28:41 EDT 2013 x86_64 x86_64 x86_64 GNU/Linux hadoop-1.0.3
2020-02-22 18:34:55
原创 hive升級到0.11的問題
最近發現hive的0.11版本修改很大，其中解決了之前我碰到到一個使CPU100%的BUG(0.9版本是我自己改過的) 那麼在使用0.11的時候，啓動hive命令，出現了下面的錯誤： 13/07/31 10:31:15 WARN conf
2020-02-22 18:34:55
原创 發現一個淘寶API中的BUG
最近發現一個淘寶分銷API中的一個bug，主要問題是返回xml格式時，獲取商品名稱錯誤；返回是json格式時，獲取商品名稱正常。 目前採用xml格式獲取返回值，主要是因爲某些店鋪返回json格式時，一直報錯，無法正常給用戶提供產品相關信息
2020-02-22 18:34:55
原创 關於時間格式化後出現的問題
最近有個同事問我一個問題，關於時間格式化的。 代碼如下： public static void main(String[] args) throws ParseException { SimpleDateFormat fo
2020-02-22 18:34:55
原创 hive各種文件格式與壓縮方式的結合測試
最近在給整個集羣做一個整體各種壓縮方式的測試，稍候帶來測試的結果報告。 測試環境： Linux master 2.6.18-348.12.1.el5 #1 SMP Wed Jul 10 05:28:41 EDT 2013 x86_64 x
2020-02-22 18:34:55
原创 隨記
最近很久沒寫博客了，主要是在更加深入的掌握hadoop的核心，目前在整理相關的資料，後續會發一系列的文章。 點贊 收藏 分享 文章舉報 fish_cool 發佈了290 篇原創
2020-02-22 18:34:55
原创 補充hive升級常規操作
1、首先是安裝包部署（這個不用介紹了，就是環境變量等設置） 2、就是shema的升級，運行的sql文件在scripts/metastore/upgrade/mysql/，升級到什麼版本就運行對應的sql，這裏以0.9升級到0.10爲例
2020-02-22 18:34:55
原创 jBPM4.4 eclipse插件安裝
一、工具下載 jBPM 圖形化流程設計器採用eclipse做爲平臺，我們可以先到jBPM官方網站下jBPM4.4，地址：http://sourceforge.net/projects/jbpm/files/，下載後的文件爲jbpm
2020-02-22 18:34:55
原创 hive開發環境中問題隨記
javax.jdo.JDOFatalUserException: There is no available StoreManager of type "rdbms". Please make sure you have specifi
2020-02-22 18:34:55