原创 shell編程 (Jenkins)自動化部署腳本
代替人工部署的步驟： 編譯打包 通過ftp發送到服務器 安裝部署 a、先找到久的進程 b、殺死進程 c、安裝啓動 使用shell腳本實現自動化部署： (附shell語法使用詳細備註) #!/bin/bash # 系統打包 PR
2020-07-06 13:16:18
2
原创 Flink編程報錯集錦
1、 Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSourceFactory' in the classpath.
2020-07-02 17:19:13
23
原创 【轉ThinkWon系列】面試題（2020最新版）
序號 內容 鏈接地址 1 Java基礎知識面試題（2020最新版） https://thinkwon.blog.csdn.net/article/details/104390612 2 Java集合容器面試題（2020最新版） https
2020-07-02 17:19:11
原创 Spark 本地提交、WebUI全攻略
本地提交： Local提交方式主要用於快速入門，開發階段測試。用該模式提交，開箱即用，不用啓動Spark的Master、Worker守護進程( 只有集羣的Standalone方式時，才需要這兩個角色)，也不用啓動Hadoop的各服
2020-05-21 06:14:06
原创 SpringBoot+Druid啓動報錯Failed to configure a DataSource: 'url' attribute is not specified
報錯信息： Description: Failed to configure a DataSource: 'url' attribute is not specified and no embedded datasource c
2020-05-15 13:25:11
原创 spark提交方式總結
參考傳送門：https://blog.csdn.net/zpf336/article/details/82152286 spark入門之提交任務方式篇，spark的部署方式如下圖： 當用/bin/spark-submit 提交任務
2020-05-13 09:07:30
原创 基於ELK的日誌收集分析系統(Elasticsearch+Filebeat+Kibana)
基於ELK的日誌收集分析系統(Elasticsearch+Filebeat+Kibana) 痛點： 傳統意義上，查找日誌都是通過shell等工具登陸服務器後臺去相應的日誌目錄下查看log文件，特別是 聯調、測試時，我們需要通過ta
2020-05-06 15:23:57
原创 Flink實戰—基於時間窗口定時輸出sink
Flink時間窗口運用 上一篇介紹了Flink定時讀取外部數據Flink 定時加載外部文件數據並廣播 這一篇將介紹Flink定時輸出到外部存儲介質，有兩種辦法實現，一種是同上一篇一樣，在RichXXXFunction中實現SinkFunc
2020-04-20 02:32:15
原创 Flink 定時加載外部文件數據並廣播
場景：來自kafka的流數據，需要和外部文件數據進行對比，外部文件每天更新，所以需要在flink流處理中定時讀取外部流，並廣播到下游。本文介紹怎麼在flink流處理中執行定時任務。 廣播作用： 廣播狀態（Broadcast State）的
2020-04-14 09:14:24
原创 Java8 Lambda表達式運用集錦
項目中運用到的Lambda表達式，簡化了Java8以前的寫法，包含了循環、判斷、求和、分組等。邊學邊做，記錄如下: 1、計算JSON字符串中value的sum值(map) public static void main(String[
2020-04-14 09:14:24
原创 Flink按統計Kafka中每小時的數量並輸出到MySQL
基於Flink1.9，統計某個日誌中每小時的數據量，並輸出到MySQL。 主函數 public static void main(String[] args) throws Exception { StreamExecu
2020-03-18 19:02:36
原创 記錄一次遞歸查詢
這是一個自關聯父id的表結構 最近工作中遇到一個需求，查詢每一層的父路徑， 這個需求非常常見，但是一直沒有寫過，今天記錄一下 實現方式是：遞歸。把數據全部加載到內存中，放入map（不要放list遍歷），然後去map裏對比id Map
2019-04-04 06:28:21
原创 SpringBoot啓動失敗：Unable to start embedded Tomcat
10:02:26.349 logback [main] INFO o.a.catalina.core.StandardEngine - Starting Servlet Engine: Apache Tomcat/8.5.23 10:
2018-10-27 02:28:06
原创 關於TCC分佈式事務
今日，阿里電話面試，問了TCC，直接當場懵了，必須惡補分佈式相關知識，記錄一下。 在當前如火如荼的互聯網浪潮下，如何應對海量數據、高併發成爲大家面臨的普遍難題。廣大IT公司從以往的集中式網站架構，紛紛轉向分佈式的網站架構，隨之而來的就是進
2018-09-30 02:23:18
2
原创 XML格式數據與模型對象互轉
記錄一下工作中遇到的問題： webservice請求返回的不是對象而是XML，調研了一下，這種算是比較前沿的技術，非常簡單，將XML文件中的每層標籤做成模型對象dojo，切記必須序列化，然後加入相應的註解完成轉換。 J
2018-08-26 01:52:45
1