原创 flink wordcount示例

pom 完整pom <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmln

原创 flink on yarn兩種提交模式

在yarn上運行一個任務,必須要啓動HDFS!!! Flink On Yarn的兩種提交模式 提交一個flink任務給yarn:指定yid 一般是使用第一種提交模式。 取消一個flink任務 flink list flin

原创 flink scala shell命令行使用示例

scala shell命令行 用於測試flink集羣健康程度。 start-scala-shell.sh remote node01 8081 啓動flink-scala-shell: 批計算和流計算: 啓動一個流計算:

原创 flink HA高可用Standalone集羣搭建

flink 1.9.2版本搭建的HA JM存在bug: 明明在node01, node02兩個節點上都有JM,但是孰是activing,孰是standby狀態無法區分。Spark是有明確的狀態顯示的。 單獨啓動JM或TM 分別單獨

原创 flink on yarn HA高可用集羣搭建

無論以什麼樣的模式提交Application到Yarn中運行,都會啓動一個yarn-session(Flink 集羣),依然是由JobManager和TaskManager組成,那麼JobManager節點如果宕機,那麼整個Fli

原创 flink搭建集羣(一主三從)

配置 配置flink-conf.yaml vim flink-conf.yaml 配置從節點 vim slaves 配置高可用時還需配置masters配置文件。 分發到其他節點: scp -r flink-1

原创 sqlplus遠程連接k8s集羣部署的oracle

sqlplus system/oracle@//192.168.101.119:32333/EE.oracle.docker

原创 jenkins pipeline、用戶權限管理、插件下載地址更改、憑證管理、自由風格項目構建、maven項目構建、常用的構建觸發器、郵件發送、SonarQube代碼審查

CI持續集成流程 pipeline jenkins安裝pipeline插件: 簡單使用: 查看流水線語法: 片段生成器: 2.0以後推薦使用聲明式語法:右側下拉框是一些步驟,都可以自動生成 Declarative

原创 bind9 安裝:部署自建dns系統

#aliyun yum源 curl -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/CentOS-7.repo 或 wget -O /etc

原创 harbor 2.0.1安裝部署

harbor下載地址 解壓到/opt目錄: 做軟鏈接,便於軟件的升級: harbor依賴docker-compose: 安裝nginx對harbor進行反向代理: 兩者是等價的:不帶v

原创 k8s 服務發現:通過CoreDNS域名訪問service服務

直接用kubectl的方式暴露端口: 在k8s集羣外面可以通過紅框的內容來訪問到svc: 在k8s集羣內部訪問svc也可以使用域名的簡寫(使用上述的當然也可以):