原创 Hive集成Mysql作爲元數據時，提示錯誤：Specified key was too long; max key length is 767 bytes
在進行Hive集成Mysql作爲元數據過程中，做完所有安裝配置工作後，進入到hive模式，執行show databases；執行正常，接着執行show tables；時卻報錯。 關鍵錯誤信息如下： com.mysql.jdbc.excep
2020-07-01 10:35:31
原创 hadoop1.2.1集羣增加datanode節點
案例操作：給hadoop（hadoop1.2.1版本）分佈式集羣增加一個datanode節點 操作步驟說明： 1、在新節點上傳hadoop，解壓安裝； 2、把namenode的有關配置文件複製到該節點； 3、在namenode節點上，修改
2020-07-01 10:35:31
原创 win7使用eclipse連接hadoop集羣，運行mapreduce報錯之Failed to set permissions of path
在win7上使用eclipse連接hadoop集羣運行mapreduce任務（Java編寫）時出現如下錯誤提示，導致運行mapreduce作業失敗 15/09/05 20:42:58 WARN util.NativeCodeLoader:
2020-05-31 10:28:36
原创 linux awk命令詳解
簡介 awk是一個強大的文本分析工具，相對於grep的查找，sed的編輯，awk在對數據分析並生成報告時，顯得尤爲強大。簡單來說awk就是把文件逐行的讀入，以空格作爲默認分隔符將每行切分爲各個域，對切分的部分再進行各種分析處理。 a
2020-02-22 07:40:50
原创 reduce裏的一個坑
hadoop版本1.2.1 reduce方法裏的關鍵內容如下： protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws
2020-02-22 07:40:50
原创 Hive學習筆記
環境描述： Hadoop集羣版本：hadoop-1.2.1 Hive版本：hive-0.10.0 Hive在使用時只在一個節點上安裝即可。 一、Hive安裝配置 1.上傳hive壓縮包（hive-0.10.0-bin.tar.gz）ha
2020-02-22 07:40:50
原创 hadoop 設置了reduce但是無法執行的bug
今天做mapreduce開發的時候，遇到個詭異的問題，設置了reduce方法，但是就是沒有執行。 爲了進一步驗證reduce是否執行，特地在reduce方法裏添加了一些提示信息的輸出，查看後臺task日誌文件裏面確實沒有對應的打印內容，說
2020-02-22 07:40:50
原创 Eclipse遠程連接hadoop的hdfs時, 報 Permission denied錯誤
錯誤現象： 用Eclipse遠程連接hadoop集羣時報org.apache.hadoop.security.AccessControlException: Permission denied: user=lenvol, access=W
2020-02-22 07:40:50
原创 hadoop集羣搭建之NFS服務
Linux操作系統：Ubuntu 12 NFS環境規劃 NFS服務器：192.168.1.201 NFS客戶端：192.168.1.202、192.168.1.203 1. NFS服務器安裝及配置（使用root賬號）1.1 首先查看下本機
2020-02-22 07:40:50
原创 Hadoop日誌存放目錄
初學者運行MapReduce作業時，經常會遇到各種錯誤，由於缺乏經驗，往往不知所云，一般直接將終端打印的錯誤貼到搜索引擎上查找，以借鑑前人的經驗。然而，對於hadoop而言，當遇到錯誤時，第一時間應是查看日誌，日誌裏通產會有詳細的錯誤原因
2020-02-22 07:40:50
原创 Hadoop1.2.1 完全分佈式集羣搭建實操筆記
前期準備工作： 1.修改Linux主機名：/etc/hostname ubuntu系統：vi /etc/hostname 將ubuntu默認的
2020-02-22 07:40:50
原创 Hadoop集羣搭建之搭建DNS
Linux操作系統：Ubuntu 12 DNS環境規劃 DNS服務器：suh01.hadoop.com（192.168.1.201） DNS客戶端：suh02.hadoop.com（192.168.1.202）、suh03.hadoop
2020-02-22 07:40:49
原创 message from server: "Host '192.168.1.10' is not allowed to connect to this MySQL server
在連接本機的mysql 數據庫時，配置連接信息，連接發生錯誤，提示：message from server: "Host '192.168.1.10' is not allowed to connect to this MySQL ser
2020-02-22 07:40:49
原创 Hive啓動報錯無法找到class— java.lang.NoClassDefFoundError
Hive啓動時，報錯無法找到class，如java.lang.NoClassDefFoundError Exception in thread "main" java.lang.NoClassDefFoundError: org/apac
2020-02-22 07:40:49
原创 使用sqoop實現hive與mysql數據庫間數據遷移的時，發現如下錯誤提示
執行 ./sqoop create-hive-table --connect jdbc:mysql://192.168.1.10:3306/ekp_11 --table job_log --username root --password
2020-02-22 07:40:49