原创 hadoop安裝筆記

環境準備: ESXi下的三臺虛機 ip:172.16.80.15/16/17 os:centos 6.3 1cpu/2g內存/200G虛擬硬盤   配置hosts文件 主機名及hosts設置 172.16.80.15 設置主機名:h

原创 hive指南(一)

Hive指南     概念         什麼是Hive         Hive是一個基於Hadoop的數據倉庫基礎架構。Hadoop爲在普通的硬件環境上數據的存儲和處理提供了巨大的水平擴展能力和容錯能力。         Hive

原创 hive指南(二)

內置的操作符和功能    內置操作符          關係操作符 - 下列操作通過比較操作數並生成一個TRUE或FALSE值。  A=B  A!=B  A<B  A<=B  A>B  A>=B  A IS NULL  A IS N

原创 hadoop 1.0.4源代碼在cygwin編譯錯誤解決

環境:cygwin+hadoop1.0.4+ant1.9+jdk1.6+win7       其它過程我不再說明,google下都有了,只是在使用ant eclipse過程中,出現如下錯誤:       我在cygwin裏使用ant e

原创 centos 6.3命令行網絡設置

centos 6版本操作系統默認是沒有設置網絡配置,需要在啓動後自行配置網絡: 動態地址模式(DHCP)   1.檢查網絡ip a       ip a         2.修改/etc/sysconfig/networking-scr

原创 更改centos時區

First, make a backup of the existing localtime file. It’s always good practice to make backups of original config file

原创 Unsupported IClasspathEntry kind=4

Unsupported IClasspathEntry kind=4 這個異常會導致項目無法使用eclipse4.2的maven功能,我升級了maven的版本還是不行     英文解釋如下: Please see https://bu

原创 安裝和配置centos時鐘同步服務

Procedure Login as the root user Type the following command to install ntp# yum install ntpTurn on service# chkconfig

原创 爲Maven指定tools.jar ,解決Missing artifact com.sun:tools:jar:1.5.0錯誤

使用安裝了m2eclipse插件的eclipse導入maven工程後,pom.xml開始位置報:Missing artifact com.sun:tools:jar:1.5.0錯誤,不算是個大問題,但是這個錯誤會block eclips

原创 hive配置mysql數據源作爲元數據庫

1.install mysql        yum install mysql yum install mysql-server yum install mysql-devel chgrp -R mysql /var/lib/mysq

原创 [轉]CentOS 6.3 + nginx-1.2.5 + php-5.4.9 + MySQL-5.5.28

Home | Mirror | Search 0   CentOS 6.3 + nginx-1.2.5 + php-5.4.9 + MySQL-5.5.28   摘要 在工作中,需要經常爲新系統安裝軟件,重複

原创 hive基本命令

創建表:hive> CREATE TABLE pokes (foo INT, bar STRING);         Creates a table called pokes with two columns, the first b

原创 [轉]一致性 hash 算法(consistent hashing)

  consistent hashing 算法早在 1997 年就在論文 Consistent hashing and random trees 中被提出,目前在 cache 系統中應用越來越廣泛; 1 基本場景 比如你有 N 個 ca

原创 [轉]Ruby連接MongoDB

Ruby連接MongoDB 想要在Ruby中連接MongoDB,需要使用mongo模塊,該模塊可以通過ruby自帶的gems程序進行安裝。 $ gem update --system $ gem install mongo $ gem

原创 Mongodb學習筆記(三)

   sharding(分片功能)     手動分片:所有數據庫都支持,但是需要應用程序自行維護連接、存儲和查詢,難以維護和處理。     自動分片:集羣自動分切數據存儲、查詢,自行負載均衡,對所有應用都是透明。mongodb支持自動分