原创 CDH-Flume-1.6.0 日誌數據到hdfs
# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1
2020-06-23 13:38:13
原创 Flume 1.6.0 cdh 環境搭建
localhost:software hadoop$ wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gz localhost:softwa
2020-06-22 01:39:17
原创 Hive DDL 語法
創建數據庫 hive (default)> create database hive; 查看數據庫位置 hive (default)> desc database hive; OK hive hdfs://hadoop:
2020-06-20 02:21:32
原创 laravel 3 No input file specified.
laravel 3 No input file specified. 解決辦法. public/.htaccess <IfModule mod_rewrite.c> RewriteEngine on Rewri
2020-06-20 02:21:32
原创 Spark RDD 數據到 MySQL
數據 www.xzdream.cn 1 2 江西 www.xzdream.cn 3 4 廣東 www.xzdream.cn 1 2 西藏 www.xzdream.cn 3
2020-06-16 01:46:21
原创 SparkCore 流量統計
package com.xzdream.spark import org.apache.spark.{SparkConf, SparkContext} /** * Log App */ object SparkContext
2020-06-15 01:13:25
原创 【大數據入門實踐】Hive DML 創建表,導入倒出數據
1:倒入數據到hive hive> show databases; OK default zhdc Time taken: 0.833 seconds, Fetched: 2 row(s) hive> use zhdc; OK Tim
2020-06-09 18:02:05
原创 【linux命令】用戶用戶組權限,用戶新增,組新增,用戶分組
1：用戶命令所在 [root@iZj6cb0bqrmf9ozehj62l6Z ~]# ll /usr/sbin/user* -rwxr-x---. 1 root root 111320 May 11 2016 /usr/sbin/us
2020-06-09 18:01:55
1
原创 CDH5.16.1 安裝 Spark2
https://docs.cloudera.com/documentation/index.html http://archive.cloudera.com/spark2/parcels/2.4.0.cloudera2/ 下載包裹 [
2020-06-09 18:01:55
2
原创 Hive 基於 Hadoop 進行數據清洗及數據統計
收集數據到Hadoop hdfs 使用ETL(MapReduce)進行數據清洗 (更新元數據 target) Hive 關聯外部表 創建工程 添加MapReduce 依賴 pom.xml <?xml version="1.0
2020-06-09 18:01:55
原创 CDH 5.16.1 離線部署
1:MySQL離線部署 元數據 2:CM離線部署 3:Parcel文件離線源部署 hfs yarn hive base zk 節點初始化 配置hosts 內網ip 172.31.232.209 hadoop001 172.31.
2020-05-26 14:28:14
原创 MySQL 5.7.11 源碼安裝
離線部署mysql [root@hadoop001 cdh5.16.1]# tar -zxvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz -C /usr/local/ [root@hadoop0
2020-05-24 05:51:47
原创 shell一鍵安裝Hadoop Scala Spark 僞分佈式環境方便測試
#!/bin/bash #判斷並創建環境目錄 if [ ! -d "/root/app" ];then mkdir /root/app fi if [ ! -d "/root/software" ];then mkdir /roo
2020-05-22 06:41:30
原创 Spark2.4.5編譯
下載spark源碼 [root@hadoop001 source]# wget https://downloads.apache.org/spark/spark-2.4.5/spark-2.4.5.tgz 解壓 [root@hadoo
2020-05-18 09:35:35
原创 Jquery PHP跨域問題自動注入cookie
客戶端代碼 domain:h5.html.com <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title>
2019-08-02 00:32:28