原创 Apache Flink 學習之開發環境準備 （3）
1.開發工具 官方推薦使用 IntelliJ IDEA 2.idea插件安裝 Plugins -> 搜索 Scala 並安裝 3.Maven依賴 根據實際生產環境選擇Flink版本 Java <dependency> <grou
2020-04-21 01:29:16
原创 Apache Flink 學習之 Flink 集羣安裝部署（6）
目錄 Flink支持三大部署模式： 1. Local 本地部署 1.1 Windows 本地部署 2. Standalone Cluster集羣部署 3. Flink ON YARN Flink支持三大部署模式： 1. Local 本地部
2020-04-21 01:29:16
原创 十大經典排序算法之選擇排序（2）
1.基本思想 首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置。 再從剩餘未排序元素中繼續尋找最小（大）元素，然後放到已排序序列的末尾。 重複第二步，直到所有元素均排序完畢。 2.動圖演示 3.代碼實現 JAVA p
2020-04-21 01:29:16
原创 Apache Flink 學習之 Flink strom SparkStreaming 對比及如何選擇（2）
一.基本介紹 實時計算引擎相對於批處理計算引擎領域選擇技術方案有很多，主流的方案包含有Flink、Spark streamming、strom、Kafka、Pulsar、Beam、Gearpump、Edgent、Samza、阿里MaxCo
2020-04-21 01:29:16
原创 大數據之 HIVE 面試題 (不定時更新)
### Hive是什麼 Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射成爲一張數據庫表，並提供類SQL的查詢功能。可以將sql語句轉化爲MapReduce任務進行運行。Hive提供了一系列的工具，可以用來進行數
2020-04-21 01:29:16
原创 一分鐘瞭解悲觀鎖和樂觀鎖
何謂悲觀鎖與樂觀鎖悲觀鎖樂觀鎖應用場景版本號機制CAS 算法樂觀鎖的缺點1. ABA 問題2. 循環時間長開銷大3.只能保證一個共享變量的原子操作CAS與synchronized的使用情景 樂觀鎖對應於生活中樂觀的人總是想着事情
2020-04-21 01:29:16
原创 十大經典排序算法之冒泡排序（1）
冒泡排序（Bubble Sort）也是一種簡單直觀的排序算法。它重複地走訪過要排序的數列，一次比較兩個元素，如果他們的順序錯誤就把他們交換過來。走訪數列的工作是重複地進行直到沒有再需要交換，也就是說該數列已經排序完成。這個算法的名字由來是
2020-04-21 01:29:16
原创 Apache Flink 學習之滑動窗口單詞計數（4）
一.需求分析 手工通過socket實時產生一些單詞，使用flink實時接收數據，對指定時間窗口內(例如：2秒)的數據進行聚合統計，並且把時間窗口內計算的結果打印出來 代碼開發 添加對應的java依賴或者scala依賴 執行 1：在hado
2020-04-21 01:29:16
原创 大數據之Spark面試題（不定時更新，歡迎補充）
### Spark有哪些組件 1）master：管理集羣和節點，不參與計算。 2）worker：計算節點，進程本身不參與計算，和master彙報。 3）Driver：運行程序的main方法，創建spark context對象。
2020-04-21 01:29:16
原创 Apache Flink 學習之 DataStream (7)
官方文檔 https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/stream/operators/ https://cloud.tencent.com/de
2020-04-21 01:29:16
原创 kafka 集羣安裝部署（最詳細 zookeeper+kafka+生產者消費者驗證）
目錄 Kafka 集羣規劃 一.Zookeeper集羣準備 1.下載 2.解壓並修改目錄名稱 3. 創建data和dataLog目錄 4. 創建myid文件 5. 修改配置文件zoo.cfg 6.賦權 7.把修改的zookeeper目錄複
2020-04-21 01:29:16
原创 Apache Flink 學習之 batch處理 Demo（5）
Java import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet; import or
2020-04-21 01:29:16
原创 Apache Flink 學習之 Flink基本原理和應用場景分析（1）
目錄 一.Flink簡介 二.Flink 生態 三.Flink 基本組件 四.基本架構圖 五.處理數據 處理無界和有界數據 一.Flink簡介 Apache Flink 是一個開源的分佈式，高性能，高可用，準確的流處理框架。 主要由 J
2020-04-21 01:29:16
原创 集合切分：List集合按照數量切分成若干個集合
根據數值對集合切分 /** * 將集合按指定數量分組 * * @param list 數據集合 * @param quantity 分組數量 * @return 分組結果
2020-02-21 12:03:32
1
原创 Java 解壓 zip 文件
1.maven <dependency> <groupId>net.lingala.zip4j</groupId> <artifactId>zip4j</artifactId>
2020-02-21 12:03:32