原创 Spark讀寫HBase數據
1.使用Spark創建Hbase表，以及定義表屬性 object HBaseCreateTable { def main(args: Array[String]) { val TABLE_NAME = "test_yu
2020-07-07 00:11:09
2
原创 github invalid authentication data can't create token:scopes - [repo,gist] - note Intellif Plugin_1
github invalid authentication data can’t create token:scopes - [repo,gist] - note Intellif Plugin_1 422 Unprocessa
2020-07-07 00:10:59
原创 使用python、impala連接hive
from impala.dbapi import connect from impala.util import as_pandas conn = connect(host=‘10.10.14.18’, port=10000, a
2020-07-07 00:10:58
原创 spark ML 機器學習包的使用
val spark = SparkSession.builder().config(new SparkConf().setMaster("local[*]")).getOrCreate() val training =
2020-07-07 00:10:58
2
原创 linux 安裝python3.7
下載安裝python3.7： wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz tar zxvf Python-3.7.0.tgz yum install
2020-07-07 00:10:58
原创 有關數據倉庫基本概念
1.什麼是數據倉庫： 是一個面向主題的、集成的、相對穩定的、反映歷史變化的數據集合，用於支持管理決策。 是一個將源系統抽取、清洗、規格化、提交到維度數據存儲的系統，爲決策的制定提供查詢和分析功能的支撐與實現。 2.相關數據
2020-07-07 00:10:58
原创 spark讀寫kudu
def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .master("local[*]") .ap
2020-07-07 00:10:58
1
原创 flink Window分類
1.GlobalWindow和KeyedWindow 在運用窗口計算時，Flink根據上游數據集是否爲KeyedStream類型，對應的Windows也會有所不同。 KeyedWindow：上游數據集如果是KeyedStr
2020-07-07 00:10:58
原创 flink自定義函數數據處理
1.自定義普通函數 def main(args: Array[String]): Unit = { //初始化Flink的Streaming（流計算）上下文執行環境 val streamEnv: StreamEx
2020-07-07 00:10:58
原创 java集合安全性
public static void main(String[] args) { // 第一代， Vector Hashtable 線程安全（同步方法）效率低下 Vector v;
2020-07-07 00:10:58
原创 java代碼塊相關問題
1.什麼是代碼塊 使用{}括起來的代碼被稱爲代碼塊，根據其位置和聲明的不同可以分爲下面4種： 1.局部代碼塊，在方法中出現，限定變量生命週期，及早釋放，提高內存利用率 2.構造代碼塊，在類中方法外出現；定義在類
2020-07-07 00:10:58
原创 mysql8.0創建用戶並授予權限
create database scm default character set utf8 default collate utf8_general_ci; CREATE USER ‘scm’@’%’ IDENTIFIED BY
2020-07-07 00:10:58
原创 flink窗口聚合函數
flink的WindowFucntion按照計算原理的不同可以分爲兩大類： 一類是增量聚合函數：對應有ReduceFunction、AggregateFunction； 另一類是全量窗口函數，對應有ProcessWindowFun
2020-03-31 10:23:43
原创 wget: 無法解析主機地址 “www.python.org”
vim /etc/resolv.conf # Generated by NetworkManager nameserver 8.8.8.8 nameserver 4.4.4.4 nameserver 8.8.4.4
2020-03-31 10:23:43
3