原创 pig 部署

Linux ISO:CentOS-6.0-i386-bin-DVD.iso 32位 JDK version:"1.6.0_25-ea" Hadoop software version:hadoop-0.20.205.0.tar.g

原创 hadoop 大數據開發5 --僞分佈式hbase配置異常

異常1:2011-08-03 17:52:26,244 INFO org.apache.hadoop.ipc.Server: IPC Server handler 6 on 9800, call getListing(/home/fi

原创 Hadoop MapReduce技巧

MAR 19TH, 2013 | COMMENTS 我在使用Hadoop編寫MapReduce程序時,遇到了一些問題,通過在Google上查詢資料,並結合自己對Hadoop的理解,逐一解決了這些問題。 自定義Writab

原创 hive基礎學習文檔和入門教程

原文:HIVE學習筆記 原文地址:HTTP://BLOG.CSDN.NET/HAOJUN186/ARTICLE/DETAILS/7977565 目錄(?)[-] HIVE結構 HIVE架構 Hive 和Hadoop

原创 hbase shell基礎和常用命令詳解

HBase是一個分佈式的、面向列的開源數據庫,源於google的一篇論文《bigtable:一個結構化數據的分佈式存儲系統》。HBase是Google Bigtable的開源實現,它利用Hadoop HDFS作爲其文件存儲系統,利用Ha

原创 hadoop 大數據開發2---Zookeeper 安裝步驟

Zookeeper安裝步驟 zookeeper安裝和使用 zookeeper的安裝基本上可以按照http://hadoop.apache.org/zookeeper/docs/current/ zookeeperStarted.html

原创 pig 調試

<1>. Pig簡介   pig是hadoop項目的一個拓展項目, 用以簡化hadoop編程(簡化的程度超乎想象啊),並且提供一個更高層次抽象的數據處理能力,同時能夠保持hadoop的簡單和可靠性。 <2>. 安裝pig  2.1

原创 google research

http://research.google.com/pubs/papers.html

原创 hadoop 大數據開發4---hadoop 配置文件(轉載)

1       獲取默認配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件,默認下來,這些配置文件都是空的,所以很難知道這些配置文件有哪些配置可以生效,

原创 給力的工具

Shadow Security Scanner v 網絡入侵機_V2.0 波爾遠程控制V6.32 VIP破解版 superscan4.0掃描器 HttpsMimTools nohackasp木馬生成器 拿站和思路 Oracle_專用

原创 hadoop 版本問題

最近在研究hadoop時,發現hadoop的版本很混亂。原來的版本都說0.X.X開始,後來發現有1.X.X和2.X.X 這樣就不太清楚了。 0.20.2版本以前(不含該版本)的配置文件都在default.xml中。 0.20.x以後

原创 hadoop 大數據開發1---配置hadoop分佈式

1. 增加用戶 adduser hadoop   單獨的用戶來管理hadoop,增加了hadoop用戶   2. /etc/hosts修改 要把集羣裏的機器hostname和ip要加入到/etc/hosts中 如   127.0.0.1

原创 mysql 性能1

1. 單數據庫連接瓶頸,可以看到很多連接都sleep mysql> show processlist; +-----+-------------+--------------------+-------+---------+--

原创 解決Linux下大量FIN_WAIT2 &TIME_WAIT 處理辦法

解決Linux下大量FIN_WAIT2 &TIME_WAIT 處理辦法  Hi everyone, like the topic says, my server has tons of connections in FIN_W

原创 HBase 官方文檔中文版

http://abloz.com/hbase/book.html#data_model_operations