原创 搭建SQOOP環境
1.${SQOOP_HOME}/conf/ $ cp sqoop-env-template.sh sqoop-env.sh //拷貝模板生成配置環境目錄 =============修改sqoop-env.sh 配置文
2020-06-10 03:26:35
原创 修改HDFS上文件的權限
例：$HIVE_HOME/bin/hadoop fs -chmod 777 /user/hive/warehouse/db_hive.db
2018-08-27 16:27:02
原创 hadoop僞分佈模式環境安裝
一：本地模式配置 1.安裝jdk，解壓jdk到/opt/modules下 2.配置環境變量,修改/etc/profile export JAVA_HOME=/opt/modules/jdk1.7.0_67 export PATH=$PAT
2018-08-27 16:26:51
1
原创 Sqoop使用和簡介
Sqoop 工具是Hadoop環境下連接關係數據庫，和hadoop存儲系統的橋樑，支持多種關係數據源和hive,hdfs,hbase的相互導入。一般情況下，關係數據表存在於線上環境的備份環境，需要每天進行數據導入，根據每天的數據量而言，
2018-08-27 16:26:51
3
原创 hadoop僞分佈式環境apache版本切換爲CDH
1.在/opt/modules下創建一個cdh空目錄 $ mkdir cdh //cdh版本的hadoop， hive，sqoop安裝在此目錄下 2.解壓cdh版本的hadoop，hive，sqoop $ tar -zxf h
2018-08-27 16:26:50
2
原创 Hive 自定義函數函數
使用內置的函數無法完成分析任務，那麼需要寫自定義函數 show functions; //查看自帶的所有的內置函數 desc function upper; //查看具體的某個函數的用法 desc function exten
2018-08-27 16:26:49
2
原创 Hadoop啓動namenode和datanode
格式化文件系統 $ bin/hdfs namenode -format 啓動namenode 和datanode 服務 $ sbin/hadoop-daemon.sh start namenode 啓動namenode $ sbin/ha
2018-08-27 16:26:49
2
原创 Sqoop導出數據
1).從HDFS、Hive表導出到Mysql 由於hive表的數據庫和表其實就是HDFS上的目錄和文件，所以從Hive表導出數據就是從HDFS對應的目錄導出數據 先在mysql中創建表接收導出數據 create table
2018-08-27 16:26:49
2
原创 Linux下連接msyql
mysql --user=user_name --password=your_password db_name 例: mysql --user=root --password=hadoop mysql
2018-08-27 16:26:49
原创 Windows下Eclispe遠程開發Mapreduce程序
1.將hadoop-eclipse-plugin-2.6.0.jar 拷貝到${MyEclispe_HOME} /plugins 2.Windows安裝hadoop 1)解壓hadoop-2.5.0.tar.gz到D:/根目錄
2018-08-27 16:26:49
原创 linux關閉防火牆
今天連接遠程linux時出現 Call From slaver1/127.0.0.1 to master:9000 failed on connection exception: java.net.ConnectException: Co
2018-08-27 16:26:48
原创 Sqoop導入數據
1）導入 MySQL -> HDFS (1) 全表導入 bin/sqoop import \ --connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \ --username ro
2018-08-27 16:26:48
原创 Hive環境配置
進入$HIVE_HOME/conf/修改文件 cp hive-env.sh.template hive-env.sh cp hive-def
2018-08-27 16:26:48
3
原创 linux基本配置
1.重啓網絡 service network restart 2.永久修改hostname vi /etc/sysconfig/network 3.修改映射 vi /etc/hosts
2018-08-27 16:26:46
原创 MapReduceOnYarn(iMapReduce在Yarn執行的流程分享)
1.客戶端(client)向集羣管理者(ResourceManager)發出命令請求 2.集羣管理者(ResourceManager)接收到請求後，集羣的應用管理者(ApplicationsMagager)會告訴節點管理者(NodeM
2018-08-27 16:26:46
1