原创 Kafka+Logstash+ElasticSearch+Kibana實現日誌收集與監控、查詢
Kafka高吞吐量的分佈式消息隊列，有生產者消費者功能，可處理動作流數據，收集業務日誌(打點或者error日誌) 官網：http://kafka.apache.org/ Logstash數據收集並根據需求過濾特定數據，發送到對應的存儲庫
2020-06-13 11:18:06
3
原创 單鏈表反轉-面試題之一
單鏈表反轉 單鏈表定義：鏈式存取的數據結構，用一組地址任意的存儲單元存放線性表中的數據，數據以節點來表示，節點由數據和指針(指示後繼元素存儲位置)組成。如下圖。 現在要反轉這個鏈表。 輸入: 1->2->3->4->5->NULL
2020-06-13 11:17:56
原创 啓動spring-boot報錯：Application failed to start with classpath: unknown
啓動spring-boot經常會報錯：Application failed to start with classpath: unknown 很多原因是yml配置文件的語法問題，參考了stackoverflow https://stack
2020-06-13 11:17:56
48
原创 Spark 之 Structure Streaming
Part V. Streaming 版本以2.2的Structure Streaming爲主，部分也有後續新版本的說明。 Stream Processing Fundamentals 1.概念 流處理就是不斷地整合新數據計算新結果。批
2020-06-13 11:17:56
7
原创 二分查找-面試題之二
二分查找過程：通過將有序的數組(注意是有序)折半，首先將目標元素與數組中間的數字做比較，如果目標元素值小於中間元素,則將數組前半部分進行折半查找，將前半部分的mid元素與目標元素做比較，如果目標元素小於mid元素，同理將數組再折半在前半
2020-06-13 11:17:56
原创 Canal工作原理
canal的工作原理類似mysql主從同步原理 先看下mysql主從同步的原理： 分成三步： 1、master將變更同步到二進制日誌(binary log)文件中（這些記錄叫做二進制日誌事件，binary log events，
2020-06-13 11:17:55
原创 DML和DDL含義和區別
一、DML與DDL的含義： 1、DML（Data Manipulation Language）數據操作語言-數據庫的基本操作，SQL中處理數據等操作統稱爲數據操縱語言,簡而言之就是實現了基本的“增刪改查”操作。包括的關鍵字有：selec
2020-06-13 11:17:55
原创 401與403的區別
401未授權有一個問題，HTTP狀態碼驗證錯誤。就是這樣:它用於身份驗證，而不是授權。收到401響應時，服務器會告訴您，“您沒有經過身份驗證——要麼根本沒有經過身份驗證，要麼驗證不正確——但是請重新驗證並重試。”爲了幫助您，它將始終包含
2020-03-01 21:36:36
原创 spring-boot創建項目出現spring-boot-starter-parent版本報紅問題
花了一下午折騰了環境問題，填坑… 創建新springboot項目，搭建好了環境，pom.xml文件就報這個問題：version報紅 百度了很多方法，根據其中一個解決辦法： 勾選上圖所示，仍然報錯：沒有找到setting.
2020-02-28 20:24:23
原创 自動化框架設計
自動化框架設計的分層(類似於開發框架mvc的設計)： 顯示層(testNG+report)：測試報告，測試中間過程的結果呈現。哪些case執行成功，哪些case執行失敗，報錯等，測試報告都會體現。 控制層(httpclient)：
2020-02-20 15:49:30
原创 查看yarn隊列使用的資源隊列
新建離線任務後需要消耗資源，此時分配yarn資源隊列，怎麼知道該任務使用的是哪個資源隊列，下面命令行： yarn application -status application_XXX application_XXX 是資源的ap
2020-02-20 15:49:29
原创 HDFS 離線數據同步
1、身份認證 2、查看/user/g8bd6a3461f924456fdxe91p0 目錄下文件 drwxrwx--x - backend g8bd6a3461f924456fdxe91p0 0 2020-01
2020-02-20 15:49:29
原创 testNG參數化
testNG-xml文件參數化 1、首先創建一個類ParameterTest ，方法ParamTest，然後通過註解@Parameters將形參傳遞到方法裏，但是，真正的參數需要從xml文件裏傳遞。 2、新建一個xml文件
2020-02-20 15:49:28
原创 API網關
關於API網關，介紹的很詳細： https://cloud.tencent.com/developer/article/1149103 點贊 收藏 分享 文章舉報 AMEI_
2020-02-20 15:49:28