原创 Hadoop MapRduce 重寫DBOutputFormat更新mysql數據庫
在http://blog.csdn.net/sunflower_cao/article/details/28266939 寫過可以通過繼承 Writable, DBWritable實現在reduce過程中講結果寫入到mysql數據庫
2020-06-22 18:15:18
原创 HBase和Hive整合後，在Hive shell中執行建表語句時錯誤信息如下 HiveException:Not a host:port pair: PBUF
HBase和Hive整合後，在Hive shell中執行建表語句時錯誤信息如下： 14/03/28 16:41:59 ERROR exec.DDLTask: org.apache.hadoop.hive.ql.metadata.HiveE
2020-06-22 18:15:16
原创 hadoop 2.2.0僞分佈式安裝
一：系統準備篇 1.修改hostname 在FC or redhat下面，要修改機器名（hostname），需要同時修改兩處 分別是/etc/sysconfig/network的HOSTNAME 和/etc/hosts裏邊 修改hosts
2020-06-22 18:15:16
原创 Maven 創建java web project 添加struts支持 jqwidgets生成折線圖
首先通過maven創建java web project 第一種方式：通過eclipse的maven插件 1.new project 選擇Maven Project-->Next 保持默認 Next-> 選擇maven-archety
2020-02-21 03:17:45
原创 maven hadoop2.2.0 java.io.IOException: Cannot initialize Cluster
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for map
2020-02-21 03:17:44
1
原创 新版api mapreduce reduce結果寫入mysql
import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.sql.PreparedStatement; imp
2020-02-21 03:17:44
原创 Maven java通過jdbc連接Hive 執行HQL語句
HADOOP HIVE 版本 lrwxrwxrwx. 1 hadoop hadoop 12 May 14 09:53 hadoop -> hadoop-2.2.0 drwxr-xr-x. 10 hadoop hadoop
2020-02-21 03:17:33
原创 關於Apache的日誌
本文分五個部分：訪問日誌、錯誤日誌、定製日誌、日誌分析、其他用法。摘自永遠的Linux，做了一些修整。 Apche日誌系列(1)：訪問日誌 想要知道什麼人在什麼時候瀏覽了網站的哪些內容嗎？查看Apache的訪問日誌就可以知道。
2020-02-21 03:17:33
原创 linux安裝rpm時提示：can't create transaction lock on /var/lib/rpm/.rpm.lock 錯誤
在linux下面用非root用戶安裝rpm包，提示can't create transaction lock on /var/lib/rpm/.rpm.lock錯誤。 [hadoop@hadoop186 rpm]$ rpm -ivh
2020-02-21 03:17:33
原创 hdfs文件校驗 hdfs fsck
HDFS支持fsck命令用以檢查各種不一致。fsck用以報告各種文件問題，如block丟失或缺少block等。fack命令用法如下： bin/hadoop fsck [-move | -delete | -openforwrite] [
2020-02-21 03:17:33
原创 sparkPi在yarn模式下運行
編寫運行腳本 [hadoop@localhost bin]$ cat ./run_sparkPi_on_yarn.sh export YARN_CONF_DIR=/home/hadoop/hadoop/etc/hadoop expo
2020-02-21 03:17:33
原创 spark啓動master時提示端口8080被佔用[email protected]:8080: java.net.BindException
使用spark-shell時提示： 14/07/10 15:48:14 WARN AbstractLifeCycle: FAILED [email protected]:8080: java.net.BindEx
2020-02-21 03:17:33
原创 如果兔子拼命奔跑 烏龜怎麼辦
最近看到友人分享的一篇好文章，看了不下三遍，想開了很多的事情…… 文 / 餘亦多，唐僧同志 我想每個人成長的經歷中，都會或多或少曾被“自卑”的情緒
2020-02-21 03:17:33
原创 spark java api通過run as java application運行的方法
先上代碼： /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See th
2020-02-21 03:17:33
原创 spark 1.0 在hadoop-2.0.0-cdh4.2.0上面安裝成功
因爲我的hadoop版本是cdh發行的4.2.0所以我直接在spark官網上下載了spark1.0 for hadoop cdh 4.2.0 下載地址如下：http://spark.apache.org/downloads.html
2020-02-21 03:17:33