原创 Spark讀取Hive數據插入MongoDB
Hive emp表數據 hive (soul)> select * from emp; OK emp.empno emp.ename emp.job emp.age emp.deptno 7369 SMITH CLERK 24 10
2018-12-23 14:12:17
6
原创 Flink清洗Kafka數據存入MySQL測試
版本信息： Flink Version:1.6.2 Kafka Version:0.9.0.0 MySQL Version:5.6.21 Kafka 消息樣例及格式：[IP TIME URL STATU_CODE REFERER]
2018-12-23 14:12:17
原创 MongoDB的安裝及簡單使用
本文講述的是在Mac上如何安裝,如果與本文環境不同可以百度自行安裝（MongoDB支持Windows、Linux、OS）。 一、安裝&啓動 進入 /usr/local cd /usr/local 下載 sudo curl -O ht
2018-12-23 14:12:17
1
原创 Mac 安裝Hadoop-2.6.0-cdh5.7.0僞分佈式
下載Hadoop-2.6.0-cdh5.7.0 單機下載自己需要的版本，我下載的是hadoop-2.6.0-cdh5.7.0 一. 解壓 tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C xxxx
2018-09-26 02:22:31
2
原创 從輸入的SQL參數中獲取表名及字段名
工具類 package com.isoft.mongo;/* * @Author: Create by Achun *@Time: 2018/6/3 23:20 * */ import java.util.ArrayList;
2018-08-22 09:21:51
原创 DN日誌--Flume--Kafka
一、Flume收集的DN日誌作爲Kafka的生產數據,exec-memory-kafka.conf如下 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type
2018-08-22 09:21:49
2
原创 Spark讀取mongoDB數據寫入Hive普通表和分區表
版本： spark 2.2.0 hive 1.1.0 scala 2.11.8 hadoop-2.6.0-cdh5.7.0 jdk 1.8 MongoDB 3.6.4 一 原始數據及Hive表 MongoDB數據格式 {
2018-08-22 09:21:43
原创 Elasticsearch配置及head插件安裝
ElasticSearch是一個基於Lucene的搜索服務器。它提供了一個分佈式多用戶能力的全文搜索引擎，基於RESTful web接口。Elasticsearch是用Java開發的，並作爲Apache許可條款下的開放源碼發佈，是當前流行
2018-08-22 09:21:31
原创 Nginx部署
一、Nginx部署依賴幾個包，我們首先把依賴包安裝好 1、安裝PCRE庫 cd /usr/local/ wget http://exim.mirror.fr/pcre/pcre-8.36.tar.gz tar -zxvf pcre-
2018-08-22 09:21:31
原创 start-dfs.sh啓動HDFS發現datanode沒有啓動
我們做實驗時一般都會搭建一個單節點的集羣，有時啓動HDFS後發現一直處於Safemode is on，等待很長時間還是沒有off後沒有耐心就直接重新hdfs namenode -format了，重新啓動了發現HDFS的Security i
2018-08-22 09:21:31
原创 Azkaban編譯及WebServer模式部署
一、下載編譯(JAVA需1.8版本) 下載：git clone https://github.com/azkaban/azkaban.git 進入：cd azkaban/gradle/wrapper/目錄下 下載：wget htt
2018-08-22 09:21:30
原创 RDDs轉DF
一、方式1：反射的方法，但是生產上不建議使用。因爲case class只能定義22個字段，有所限制。 二、方式2：編程的方式，一般三步走。 1、從原始RDD創建一個RDD[Row]; 2、在步驟1中創建的RDD[Row]中，創建一個與
2018-08-22 09:21:30
原创 Scala更改文件目錄結構
原文件目錄結構 hdfs://192.168.187.111:8020/spark/emp/temp/201711112025/d=20171111/h=20/part-r-00000-6ba69620-ba52-4cb1-9ea0-66
2018-08-22 09:21:29
3
原创 Hive配置顯示當前數據庫及表字段
hive-site.xml添加以下參數： <property> <name>hive.cli.print.current.db</name> <value>true</value> </property> <proper
2018-08-22 09:21:11