原创 logstash 多管道

官方文檔 配置文件pipelines.yml #管道1 - pipeline.id: my-pipeline_1 path.config: "/etc/path/to/p1.config" pipeline.workers

原创 java五行代碼爬到文章列表

是門語言就能做爬蟲,早期寫爬蟲的時候就用最簡單的腳本語言TC,直接使用系統底層組件,速度上快,但是大部分普通爬蟲可能對快沒有什麼概念。所以無所謂快不快,但是系統底層組件來抓數據,就需要自己用正則去解析document。 1、關於文

原创 idea 多行操作

多行選中,可以使用 1、Alt+鼠標拖動 2、Alt+shift+insert、shift+上下鍵 3、多行相同內容選中,選中內容之後使用Alt+j 選中內容可以使用ctrl+w 以word爲單位,也可以使用ctrl+shift+

原创 端口掃描器(masscan)

s.exe號稱史上最快(3分鐘掃完全網)掃描器小巧而精緻,大小僅僅8k,但是使用上有諸多限制,例如僅支持再winserver2003 上無條件使用,放到其它系統上就要對系統做一些配置,不然無法支持syn方式掃描,這顯然不夠友好。

原创 spring到底什麼時候進行bean實例化

這個問題看似簡單實則坑多。 1、很早以前有人告訴我說,spring是在你使用該bean的時候,通過動態代理給你實例化出來的。 2、後來又有人告訴我說,spring是在容器啓動的時候就將bean都給你實例化好了。 那麼究竟哪個正

原创 java類加載的幾種方式

回顧下java基礎、很多人可能不知道java中類加載的過程,記得很久以前面試被問過一道面試題如下: Q:類的加載有幾種方式? new Class.forName() ClassLoader.loadClass() Q:調用Cl

原创 從args講到springboot全套配置體系架構(五)

目錄五、springboot中第三方組件如何實現自動配置spring-boot-autoconfigure-2.1.9.RELEASE.jarRedisProperties@EnableConfigurationPropertie

原创 使用logstash同步mysql數據到Elasticsearch

未安裝es的可以參考這篇文章elasticsearch安裝 logstash介紹 logstash是一個開源的數據收集引擎,具有準實時數據收集能力。 logstash能夠將不同的數據規範的輸出到你的目標倉儲,比如elasticse

原创 從args講到springboot全套配置體系架構(四)

目錄四、springboot 多配置文件爲什麼需要分配置文件?@PropertySource註解@PropertySources註解@Value註解與@ConfigurationProperties(prefix = "redis

原创 elasticsearch 學習的正確姿勢

學習當然是看官方文檔最系統化,相信大家都是帶着應用場景來的。 elasticsearch 下載地址 版本文檔 https://www.elastic.co/guide/en/elasticsearch/reference http

原创 Elasticsearch單機安裝

Elasticsearch 與 數據庫類比 數據庫 Elasticsearch 數據庫database 索引index 表Table 類型Type(注意:es6之後,一個index僅能對應一個type) 數據

原创 Elasticsearch 開發模式和生產模式

講這兩個模式之前需要先了解一些系統配置 系統配置 禁用堆內存與硬盤的交換,Disable Swapping 有三種方案可以禁用交換 Ⅰ、系統級別禁用所有虛擬內存交換 sudo swapoff -a 僅在linux系統中使用,無需

原创 linux系統文件描述符

瞭解個東西叫fd 文件描述符,也就是window系統下的hwnd句柄。 fd 是用一個數字表示的。 系統中維護了每個用戶,進程,系統級別的用戶文件描述符數量權限限制,即一個進程可以開啓多少個文件描述符,一個用戶可以可以開啓多少個文

原创 微服務整合鏈路追蹤skywalking後異常處理策略

項目中整合了skywalking 鏈路監控,skywalking 提供了異常監測功能,那麼這個時候我們可以很直觀的通過鏈路立馬追蹤到出問題的服務以及服務出了什麼問題,可以直接在鏈路上可以查看,假如服務拋異常異常信息會在skywalking

原创 ElasticSearch 啓動引導檢查

引導檢查可以確保es能夠更好的提供服務,以及提前發現一些問題。 單點模式下可以通過設置es.enforce.bootstrap.checks = true或者配置在JVM配置中ES_JAVA_OPTS添加-Des.enforce.