原创 Flink開發五步之第一步：執行環境設定
文章目錄一、設定ExecutionEnvironment：批量數據處理環境的三種方式二、StreamExecutionEnvironment：流式數據處理環境 一、設定ExecutionEnvironment：批量數據處理環境的三
2020-07-03 08:41:27
原创 IntelliJ Idea快捷鍵，存一份，方便找
IntelliJ Idea 常用快捷鍵列表 Ctrl+Shift + Enter，語句完成 “！”，否定完成，輸入表達式時按 “！”鍵 Ctrl+E，最近的文件 Ctrl+Shift+E，最近更改的文件 Shift+Click，可
2020-07-03 08:41:27
原创 Flink核心概念——State、StateBackend
文章目錄用於測試的CustomSourceFunctionStateOperatorState 算子狀態的作用範圍限定爲算子任務KeyedState 根據輸入數據流中定義的鍵（key）來維護和訪問ValueStateListSta
2020-07-03 08:41:27
原创 Flink開發五步之第二步：Source
文章目錄一、Collection/Elements Source 示例二、Text Source 示例三、Socket Source 示例四、Kafka Source 示例五、自定義 Source 示例 一、Collection/
2020-07-03 08:41:27
原创 Java的List與Scala的List相互裝換
Java的List轉Scala的List val javaList1: util.ArrayList[String] = new util.ArrayList[String]() val scalaList: List[Stri
2020-07-03 08:41:16
原创 Flink集羣之Flink Session On Yarn容錯配置
文章目錄yarn.reallocate-failedyarn.maximun-failed-containersyarn.application-attempts yarn.reallocate-failed 集羣中TaskMan
2020-07-03 08:41:16
原创 Flink集羣之flink集羣的啓動問題：start-cluster.sh
flink的啓動問題： 使用./start-cluster.sh啓動，千萬不能使用sh start-cluster.sh 爲什麼？ 因爲在start-cluster.sh中指定的解析器是/usr/bin/env bash，而不是
2020-07-03 08:41:16
原创 Flink集羣之Flink Yarn Cluster部署
文章目錄前言準備環境Yarn Session模式啓動Flink Yarn Session集羣提交任務到Session關閉Session集羣 前言 flink應用提交到Yarn上目前支持兩種模式： （1）Yarn Session M
2020-07-03 08:41:16
原创 Hadoop啓動datanode/namenode失敗或者無法啓動
文章目錄問題描述問題產生原因解決方法注：看有沒有重要數據吧，但是一般頻發格式化namenode時，應該也知道自己沒啥重要數據，採取簡單粗暴的方法吧 問題描述 當我使用./hdfs namenode -format 多次對文件系統進
2020-07-03 08:41:16
原创 Flink集羣之Flink集羣配置優化項
文章目錄Flink中Jobmanager、TaskManager組件常用優化配置項jobmanager.rpc.addressjobmanager.heap.mbtaskmanager.heap.mbtaskmanager.num
2020-07-03 08:41:16
原创 Yarn-Session集羣啓動失敗：Unauthorized request to start container
文章目錄問題報錯出錯點：Unauthorized request to start container解決方法： 問題報錯 2020-03-31 18:29:28,992 ERROR org.apache.flink.yarn.c
2020-07-03 08:41:16
2
原创 大數據組件資源包（百度雲盤分享，永久有效）
文章目錄目前打包資源：資源鏈接：hadoop分佈式集羣安裝詳見： 目前打包資源： CentOS-6.5-x86_64-minimal.iso flink-1.7.2-bin-hadoop26-scala_2.11.tgz fli
2020-07-03 08:41:16
原创 Flink集羣之Flink Standalone集羣搭建
文章目錄準備資源準備環境解壓配置/flink-1.7.2/conf/flink-conf.yaml修改masters修改slaves記住，使用./start-cluster.sh啓動，千萬不能使用sh start-cluster.
2020-07-03 08:41:16
原创 Centos虛擬機網絡配置（爲安裝大數據組件做準備）
文章目錄修改網絡當前ip信息：ifconfig -a查看虛擬機的網關：修改ifcfg-eth0：vi /etc/sysconfig/network-scripts/ifcfg-eth0重啓網絡服務： service network
2020-07-03 08:41:16
原创 Flink集羣之Current usage: 106.2 MB of 1 GB physical memory used; 2.1 GB of 2.1 GB virtual memory used
文章目錄出錯問題報告出錯點 出錯問題報告 org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn session cl
2020-07-03 08:41:16