原创 hadoop-2.4.0的Federation搭建
hadoop-2.4.0 Federation的搭建 註明：前提是自己已經編譯好的hadoop版本或者cloudrea公司的cdh版本！ 大數據討論羣：288396468ns1的namenode：itr-master
2020-06-29 03:41:35
原创 hadoop-2.5.0-cdh5.2.0僞分佈模式搭建
hadoop-2.5.0-cdh5.2.0僞分佈模式搭建 註明：前提是自己已經編譯好的hadoop版本或者cloudrea公司的cdh版本！ 大數據討論羣：288396468 1、 core-site.xml<con
2020-06-29 03:41:35
原创 zk集羣搭建搭建
zk集羣搭建http://apache.fayea.com/apache-mirror/zookeeper/1、解壓tar -zxvf zookeeper-3.4.6.tar.gz 2、複製示例文件cp /usr/local/zookee
2020-06-29 03:41:35
原创 Impala Parquet 表 分區表
1、Impala Parquet 表 分區表#parquet表[hadoop02:21000] > create table parquet_ex_sms_event LIKE i_bil_hb_d.ex_sms_event stored
2020-02-23 21:33:57
2
原创 hbase完全分佈模式的安裝
1、hbase的分佈模式 1.1 在itr-mastertest01上解壓縮[root@itr-mastertest01 installpackage]# tar -zxvf hbase-0.98.6.1-hadoop2-bin.tar.
2020-02-23 21:33:57
原创 zookeeper介紹
1、ZooKeeper 1.1 它可以用來保證數據在zk集羣之間數據的事務性一致 1.2 默認數據大小應該限制在2M以下,這樣才能保證數據一致性 2、如何搭建ZooKeeper服務器集羣 2.1 zk服務器集羣規
2020-02-23 21:33:57
原创 hive的安裝+msyql遠程元數據庫+hive的進階優化
1、安裝mysql-5.5(1)、rpm包安裝mysql[root@itr-mastertest01 installpackage]# scp MySQL-client-5.5.40-1.linux2.6.x86_64.rpm MySQL
2020-02-23 21:33:57
原创 spark1.1的部署、sparksql CLI、sparksql-jdbc運用
SparkSql實際運用：在spark0.9.x中不支持jdbc操作，spark1.1會加入jdbc支持 版本說明：spark-1.1.0+scala-2.10.4+hive-0.12.0 注意：版本不匹配可能出現各種不同的問題，可能出
2020-02-23 21:33:57
原创 hive基礎入門
1.Hive 在hadoop屬於數據倉庫的角色，能夠管理hadoop中的角色，同時可以查詢hadoop中的數據. Hive本質上講他是一個sql解析引擎，hive可以把sql查詢轉換爲MapReduce中的job來運行.
2020-02-23 21:33:57
原创 docker的使用
QQ羣討論：288396468(hadoop,spark,docker,hive,hbase,zk,java，scala等等) 說明：這樣的資源會在羣共享中，以及hadoop實戰調優等等，spark的基礎到實戰，hive等等，docke
2020-02-23 21:33:57
原创 編譯spark：[thriftServer.sh屬於測試階段 hive-0.13.1]
編譯spark：[thriftServer.sh屬於測試階段 hive-0.13.1] 說明： 目前已經發布了1.2版本此文至合適安裝參考，不用自己編譯了 vi sql/hive/pom.xml 支持讀取parquet<dependen
2020-02-23 21:33:57
原创 hbaes實戰
1、HBase 的數據模型(NoSQL系列數據庫) 1.1 表(table)，是存儲管理數據的 1.2 行鍵(row key),類似於mysql中的主鍵 行鍵是HBase天然自帶的。 1.3 列族(column family)，
2020-02-23 21:33:57
原创 Cloudera-manager-installaction
1、基本環境準備[hadoop@hadoop html]$ sudo chkconfig iptables off 禁用防火牆[hadoop@hadoop html]$ vi /etc/selinux
2018-09-04 16:49:29
原创 安裝linux系統後的基礎優化
1、安裝系統後的基礎優化[hadoop@hadoop ~]$ cat /etc/centos-release 查看系統版本CentOS release 6.6 (Final)[hadoop@hadoop
2018-09-04 16:49:29
原创 Centos安裝Ganglia
Centos安裝Ganglia1、安裝ganglia[root@itr-mastertest01 local]# rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-
2018-09-04 16:49:29