原创 【Java基礎】-- list、set 和map 的查詢速度
1 背景知識 list、set和map的基本介紹如下圖： 2、猜想 在數據量級比較小的情況下（十萬以內），查詢速度快慢對比： map 、 set 、 list的速度相差不大。 在數據量比較大的情況下(百萬以內)，查詢速度： m
2020-06-15 13:31:47
原创 [Linux基礎]-- shell 遍歷數組的幾種方法
背景 某天遇到一個問題，現象如下：第一種遍歷正常打印元素，然而第二種遍歷只會打印一個元素！ #!/bin/bash # $1 代表文件目錄 # 執行 eg： # sh your_shell.sh /user/lib/ e
2020-06-09 11:12:16
原创 【Linux 進階】-- 定時任務工具(crontab & gocron & tmux)
一、簡單介紹 crontab：linux 自帶、無監控、單節點、無告警 gocron：go 語言開發、有可視化監控界面、多節點、可郵件告警 tmux：yum 安裝、無監控、單節點、無告警 二、安裝 本文推薦使用 gocron，故以安裝
2020-06-09 11:12:16
10
原创 【Python 基礎】-- 使用註釋
1、註釋分類 單行註釋：以 # 開頭，間隔一個空格後開始寫說明 示例 # 這是一個 python 打印字符串的示例 print("hello world") 多行註釋：python 2.7 以前使用 3 個英文單引號，python 2.
2020-06-09 11:12:16
原创 [Kafka 基礎]-- Producer 參數(Kafka -0.10.2.1)
參數如下： acks = all batch.size = 16384 block.on.buffer.full = false bootstrap.servers = [localhost:9092] buffer.m
2020-06-09 11:12:16
原创 【Spark SQL】-- 集成 ElasticSearch 的相關配置
1.版本 Spark： 2.4.0 ES ：5.6.12 2.配置說明 https://www.elastic.co/guide/en/elasticsearch/hadoop/5.6/configuration.html https:/
2020-05-11 00:15:54
原创 【Structured Streaming】-- 輸出模式
1、環境 spark 2.4.0 scala 2.11.8 jdk 1.8 maven <dependency> <groupId>org.apache.spark</groupId>
2020-04-25 00:00:44
原创 【Flink基礎】-- 寫入 Kafka 的兩種方式
方式一：用 Robin 的方式寫入 Kafka 1、實現 exactly-once 語義的 kafka sink，用 Robin 的方式寫入 Kafka 2、randomRobin: 創建 FlinkKafkaProducer 時，指定空
2020-04-21 08:24:59
原创 [Flink 學習] -- 編譯 CDH-6.3.0 版本的 Flink 1.9.0
前言 由於 Apache Flink 的開源二進制包未提供 HDP、MapR和 CDH 的下載，所以，如果要兼容基於這些廠商的庫編譯 Apache Flink。本文主要介紹使用 CDH 的庫進行編譯 Apache Flink
2019-10-26 04:15:48
7
原创 [Spark 學習]--1.3 Spark practice
下載鏈接:https://pan.baidu.com/s/1MOrXupl__rFe_uj6pT-82Q 密碼:f1po 參考：https://blog.csdn.net/high2011/article/details/
2019-10-26 04:15:48
原创 [Spark 學習]-- 初級規劃
1 Spark 框架介紹 1.1 Spark 介紹 1.1.1 Spark 是什麼？ 1.1.2 爲什麼使用 Spark？ 1.1.3 應用場景有哪些？ 1.1.4 參考 1.1.5 小結 1.2 Spark core 1.2.1 spa
2019-09-16 02:54:14
原创 [Java 進階]-- import 和 import static 區別
1、Oracle 官方說明 https://docs.oracle.com/javase/8/docs/technotes/guides/language/static-import.html 2、Stackoverflow 討論 h
2019-09-16 02:54:14
1
原创 [大數據面試]-- 4.Hive 題目
========= 基礎 ========= 1、Hive sql to MR https://cwiki.apache.org/confluence/display/Hive/Design 2、外部表和內部表 3、Hive shuf
2019-08-06 02:15:07
1
原创 [大數據面試]-- 5.Flink 題目
========= 基礎 ========= 1、Flink 的 抽象層次有幾種 Stateful stream processing Core API Table SQL 2、Window 類型 (1)TimeWindow Tumb
2019-08-06 02:15:07
1
原创 [大數據面試]-- 3.Spark 題目
========= 基礎 ========= 1、RDD 的 基礎 https://www.jianshu.com/p/fca10efd2315 https://www.jianshu.com/p/6319d6239f03 https:/
2019-08-06 02:15:07