原创 hadoop計數器（二）
Counter有"組group"的概念，用於表示邏輯上相同範圍的所有數值。MapReduce job提供的默認Counter分爲五個組，下面逐一介紹。這裏也拿我的一份測試數據來做詳細比對，它們會以表格的形式出現在各組描述中。 具體
2020-07-01 21:58:23
原创 presto初探【0.52版本】
presto http://www.dw4e.com/?p=141 http://blog.csdn.net/u012417026/article/details/14516631 conf hadoop@yard02:~/bigda
2020-07-01 21:58:23
原创 hadoop2.6.0壓縮方式lzo部署安裝
Hadoop經常用於處理大量的數據，如果期間的輸出數據、中間數據能壓縮存儲，對系統的I/O性能會有提升。綜合考慮壓縮、解壓速度、是否支持split，目前lzo是最好的選擇。LZO（LZO是Lempel-Ziv-Oberhumer的縮
2020-07-01 21:58:23
原创 WARN util.NativeCodeLoader: Unable to load native-hadoop library解決方案
在運行hadoop的時候，出現警告： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-
2020-07-01 21:58:23
原创 hive異常處理
一、異常描述 FAILED: Error in metadata: MetaException(message:javax.jdo.JDODataStoreException: You have an error in your SQL
2020-07-01 21:58:23
1
原创 hadoop公平調度配置詳解（二）fair-scheduler.xml篇
配額文件爲每一個資源池配置最小共享資源、運行作業限制、權重和搶佔超時時間。HADOOP_HOME/conf/fair-scheduler.xml.template提供了一個示例例子。配額文件可以包含下列類型的元素： pool元素，配置各
2020-07-01 21:58:23
原创 libc.so.6誤刪除，補救措施
libc.so 丟失後，很多命令無法執行，可以用如下命令重建 LD_PRELOAD=/lib64/libc-2.12.so ln -s /opt/glibc-2.14/lib/libc-2.14.so /lib64/libc.so.6
2020-07-01 21:58:23
原创 libc2.14安裝
glibc的下載地址：http://ftp.gnu.org/gnu/glibc/ 或者：http://www.gnu.org/software/libc/download.html ----------------------------
2020-07-01 21:58:12
原创 常用HTTP Content-type頭信息及文件類型對照
ai application/postscript aif audio/x-aiff aifc audio
2020-02-25 05:27:40
原创 unable to load native-hadoop library問題細談
根據大家常用的方式，重新編譯了hadoop源碼，並替換lib/native下的文件，發現還是報waring，決定細看一下 首先打開debug日誌，查看問題的根源，hadoop-env.sh 添加export HADOOP_ROOT_LO
2020-02-25 05:27:40
原创 hive小文件合併
轉自：http://blog.csdn.net/yfkiss/article/details/8590486 當Hive輸入由很多個小文件組成，由於每個小文件都會啓動一個map任務，如果文件過小，以至於map任務啓動和初始化的時間大於
2020-02-25 05:27:40
原创 Hadoop-0.20.2公平調度器算法解析
1. 目的 本文描述了hadoop中的公平調度的實現算法，公平調度器是由facebook貢獻的，適合於多用戶共享集羣的環境的調度器，其吞吐率高於FIFO，論文參見參考資料[1]。本文分析的Hadoop版本是0.20.2，在新版本（0
2020-02-25 05:27:40
原创 http請求之GET、POST對比分析
轉自：http://my.oschina.net/leejun2005/blog/136820 剛看到羣裏又有同學在說 HTTP 協議下的 Get 請求參數長度是有大小限制的，最大不能超過 XX，而 Post 是無限制的，看到
2020-02-25 05:27:40
原创 hadoop2.6.0版本集羣環境搭建
一、環境說明 1、機器：一臺物理機 和一臺虛擬機 2、linux版本：[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Ti
2020-02-25 05:27:40
原创 HDFS超租約異常總結（org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException）
異常信息： 13/09/11 12:12:06 INFO hdfs.DFSClient: SMALL_BUFFER_SIZE is 512 org.apache.hadoop.ipc.RemoteException: org.apach
2020-02-25 05:27:40