原创 Springboot快速教程---Docker搭建與整合Kafka

最近在搭建一個簡易的基於Flink的實時推薦系統中用到了kafka,就快速的整合了下並記錄在此 簡介 什麼是Kafka Apache Kafka是一個分佈式發佈 - 訂閱消息系統和一個強大的隊列,可以處理大量的數據,並使您能夠將消

原创 Springboot快速教程---Docker搭建與整合Hbase

Hbase簡介 HBase是Hadoop的生態系統,是建立在Hadoop文件系統(HDFS)之上的分佈式、面向列的數據庫,通過利用Hadoop的文件系統提供容錯能力。如果你需要進行實時讀寫或者隨機訪問大規模的數據集的時候,請考慮使

原创 Logstash 簡易教程

建議在使用logstash之前先想清楚自己的需求是什麼,從哪種數據源同步到哪裏,需要經過怎麼樣的處理。因爲logstash版本迭代較快,每個版本的插件都有點區別,比如filter中的http插件在6.6版本以後纔有;output到

原创 《深入理解JVM虛擬機》垃圾回收部分 讀書筆記

自動內存管理機制 Java內存區域與內存溢出異常 運行時數據區域 程序計數器 “程序計數器(Program Counter Register)是一塊較小的內存空間,它可以看作是當前線程所執行的字節碼的行號指示器” “如果線程正在執

原创 《Maven實戰》 閱讀筆記

無Maven不項目,這是我的口號,但是一直沒有系統的去看書,前段時間把《Maven實戰》過了一遍做了些筆記,方便後面查閱 每個項目都有自己的座標 groupId artifactId version packaging cla

原创 使用Docker Swarm快速搭建與部署你的服務集羣

初始化集羣 準備了對應的機器(兩個虛擬機),基本信息如下 IP 主機名 備註 192.168.1.8 ubuntu-1 主 192.168.1.5 ubuntu-1 從 注意:最好保持每個節點的docker版本

原创 激動的2018,充滿期待的2019

現在是2019年01月02日22:48:12,是時候該做一個年度總結了,回憶下2018年的過去,放眼2019年的未來! 工作 真的沒有想到自己仍然在這家公司任職,中間遇到過同事的離職大潮,自己的糾結時分,但仍然咬了咬牙堅持了下來,原因

原创 使用docker“一鍵”啓動jd(職位信息)的搜索(es)與統計(Kibana)

jd-search-4-docker 三鍵啓動所有服務 MySQL+ELK+JD-Search-Api 本來是想build成是三個個image,然後使用docker-compose一鍵啓動的,但是做到後來遇到compose容器啓動順

原创 通過shell腳本和企業微信實現報警功能(完整版)

最終效果如圖(GIF太大了 就截了兩張圖) #!/bin/sh expireTime=7200 dbFile="db.json" corpid=xxx corpsecret=xxx touser="xxx" toparty=

原创 搭建spark on yarn 集羣

兩臺用的都是ubuntu IP 主機名 192.168.22.137 spark-master 192.168.22.150 spark-slave1 更改主機名 確定每個節點的主機名與它在集羣中所處的位置相同 如果

原创 一套簡單的java爬蟲框架VW-Crawler發佈啦!!!

VW-Crawler 背景 自己一直對爬蟲比較感興趣,大學的畢業論文也是一個爬蟲項目(爬教務處信息,然後做了個Android版教務管理系統,還獲得了優秀畢業設計的稱號),自那以後遇到自己感興趣的網站就會去抓一下。前段時間工作上需要一些J

原创 最近和未來要做的事

spring-boot-quick 前言   自己很早就想搞一個總的倉庫就是將自己平時遇到的和學習到的東西整合在一起,方便後面用的時候快速的查找與使用,之前是通過branch 的方式去整理,感覺不直觀,一咬牙就花了點時間將所

原创 一次排查Java項目內存泄漏的過程

發現問題 公司自己維護的服務三四個,有的服務還分多個節點,自己也有幾個私人服務器,所以爲了能實時知道各個服務器的情況,就使用ServerStatus做了個雲探針,功能很簡單,能實時的監控每個服務器的內存、cpu、硬盤、流量的使用情況,如下

原创 發佈自己的jar到Maven Repository公服上

前段時間自己寫了一個簡易的Java版爬蟲框架。如果想把這個框架完善還是需要大家的力量,如果每次使用都要從Gihub上下載源碼豈不是很麻煩?因爲自己的項目用的是maven來管理jar包,那麼就試試把這個爬蟲框架放到公服倉庫上去吧! 註冊So

原创 用springboot+vw-crawler輕鬆抓取CSDN的文章

使用springboot+vw-crawler輕鬆抓取CSDN的文章 有關VW-Cralwer的介紹可以看這裏,簡單輕便開源的一款Java爬蟲框架。 下面結合比較流行的框架SpringBoot抓取CSDN的數據(有關的Spingboot的