原创 kettle連接Hive報錯:Unknown (expected A.B.* format)
kettle連接Hive報錯:Unknown (expected A.B.* format) 解決: 一. 到hive路徑下下載hadoop對應版本的hadoop-common.jar sz /export/servers/ha
2020-05-09 05:30:43
原创 kafka 知識點點總結
Kafka知識點總結 1、Kafka生態系統四大角色，生產者(Producer)、kafka集羣(Broker)、消費者(Consumer)、zookeeper 2、每個消費者都必須屬於一個消費組，一個組內的消費者可以多個。 3
2020-04-22 12:47:57
原创 Structured Streaming實戰 讀取json數據
一 . 準備數據 {“name”:“json”,“age”:23,“hobby”:“running”} {“name”:“charles”,“age”:32,“hobby”:“basketball”} {“name”:“tom”
2020-04-20 23:33:21
原创 Structured Streaming實戰 讀取Socket數據
讀取Socket數據 import org.apache.spark.SparkContext import org.apache.spark.sql.streaming.Trigger import org.apache.s
2020-04-20 23:33:21
原创 da數據HIve寫入映射流程
數據入庫命令【命令】 2.1 create database video; create table video_ori( videoId string, uploader string, age string, category
2020-02-22 03:35:30