原创 Spark-StructuredStream讀取 confluent -kafka-avro數據
一 、數據準備 通過kafka-rest 寫入kafka-avro數據 public class Test { public static void main(String args[]){ String
2020-07-06 17:20:02
4
原创 ubuntu系統下postgres安裝python語言、postgres安裝圖數據AgensGraph
一、首先安裝python，ubuntu默認有python2.7，python3.5，我採用的是python3.6.5版本。 1.在https://www.python.org/downloads/ 下載python （p
2018-10-02 07:28:49
7
原创 ubuntu下安裝postgres
PostgreSQL 是一款強大的，開源的，對象關係型數據庫系統。它支持所有的主流操作系統，包括 Linux、Unix（AIX、BSD、HP-UX，SGI IRIX、Mac OS、Solaris、Tru64） 以及 Windows 操作系
2018-09-26 07:25:45
3
原创 Spark實現全排序、二次排序
###############################################數據如下：年份：氣溫2005 192005 402006 302008 502007 352007 321，spark實現全排序，即按照年份對數
2018-09-04 13:55:10
3
原创 Sqoop導入hbase
1.全表導入 mysql表名必須大寫，（可以指定列名，也可以不指定 –columns中 逗號分隔，不加空格），可以添加條件過濾 --where sqoop import -Dorg.apache.sqoop.splitter.al
2018-09-04 13:55:06
原创 Hbase查詢工具類，根據時間查詢數據
1，需求：已知空氣監測數據在hbase中存儲，要求按照時間，查詢citycode爲110000（北京）一個月的數據，數據爲每日的監測數據ID ,CITYCODE,SO2 ,CO,NO2 ,O3, PM10,PM2_5,AQI,MEASUR
2018-09-04 13:55:01
1
原创 Spark讀寫mysql數據庫
import org.apache.spark.SparkConf; import org.apache.spark.sql.*; import java.util.Properties; public class SparkSqlJ
2018-09-04 13:55:01
原创 Linux之sed,和awk
使用sed命令編輯文件 //刪除第一行 $>sed '1d' 1.log //刪除最後一行 $>sed '$d' 1.log //刪除區間行 $>sed '1,3d' 1.log //刪除所有行 $>sed
2018-09-04 13:55:00
原创 Flume從Kafka讀取數據，並寫入到Hdfs上
需求：kafka有五個主題 topic topic-app-startuptopic topic-app-errortopic topic-app-eventtopic topic-app-usagetopic topic-app-pa
2018-09-04 13:55:00
17
原创 Kafka常用操作
1，集羣配置： [kafka/config/server.properties] ... broker.id=202 ... listeners=PLAINTEXT://:9092 ... log.dirs=/home/centos/ka
2018-09-04 13:54:59
1
原创 Spark機器學習之空氣質量預測和評價
根據空氣測得的數據，對空氣質量評價以下是部分空氣數據：ID,DAYTIME,CITYCODE,SO2 ,CO,NO2 ,O3, PM10,PM2_5,AQI,MEASURE, TIMEPOINT 0:110000:2014
2018-09-04 13:54:58
2
原创 SparkStream讀取Kafka消息
import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.streaming.{Seconds, StreamingCo
2018-09-04 13:54:58
2
原创 Hive常用的建表語句
1，創建表,external 外部表 $hive>CREATE external TABLE IF NOT EXISTS customer(id int,name strin
2018-09-04 13:54:58
2
原创 Hive自定義UDF函數--常用的工具類
註冊函數：將自定義函數打成jar包，上傳hdfs$hive>create function formattime as 'com.air.udf.FormatTimeUDF' using jar 'hdfs://mycluster/use
2018-09-04 13:54:57
1
原创 Spark實現二次排序的第二種方式
###############################################數據如下：年份：氣溫2005 192005 402006 302008 502007 352007 32實現效果：(2005,40)(2006,
2018-09-04 13:54:57