原创 SparkStreaming消費kafka中的數據保存到HBase中簡單demo
概述 數據處理流程:kafka–>spark streaming -->hbase 最近在做數據處理,但是通過java api進行處理的,目前想通過spark去做處理,這裏記下了一個簡單的實現,但是生產上肯定不是那麼簡單的.後面會
2020-06-25 02:39:05
1
原创 kafka java api對比springboot整合kafka以及常用命令
概述 最近在使用kafka,需要往kafka中發送消息以及消費,這裏就複習下kafka api的基本使用情況 環境 <parent> <groupId>org.springframework.boot</g
2020-06-25 02:39:05
原创 Hive中擴展GIS函數
參考博客：https://www.jianshu.com/p/bb956bb4f996 應用場景 目前，Hive表中存在需要把經緯度轉化爲距離，和一些其他相關的計算函數，但是在hive中並沒有集成這些函數。當然我們可以自定義UDF
2020-06-02 13:13:17
1
原创 Elasticsearch基本的Java Api 增刪查改操作
1概述 最近在學習ES做了如下整理,這裏安裝就不說了,百度都有.這篇文章先介紹創建maven項目使用java api操作ES,後面會使用SpringBoot去集成ES,簡單說下ES到底是什麼? Elasticsearc是基於luc
2020-06-02 13:13:17
原创 Kudu與Spark 集成
1.環境 <properties> <scala.version>2.11.8</scala.version> <spark.version>2.2.0</spark.version> <kudu.ver
2020-06-02 13:13:17
原创 Shell腳本基本操作
1 概述 Shell還是一個功能相當強大的編程語言，易編寫、易調試、靈活性強。Shell是解釋執行的腳本語言，在Shell中可以調用Linux系統命令。 2 shell腳本執行方式 echo命令，是一個輸出命令。假如我們現在輸出h
2020-06-02 13:13:17
原创 虛擬機上安裝docker以及常用命令
1 簡介 Docker是一個開源的應用容器引擎；是一個輕量級容器技術； Docker支持將軟件編譯成一個鏡像；然後在鏡像中各種軟件做好配置，將鏡像發佈出去，其他使用者可以直接使用這個鏡像； 運行中的這個鏡像稱爲容器，容器啓動是非常
2020-06-02 13:13:17
3
原创 查看 Centos 7的IP並設置爲靜態IP
環境 [root@localhost ~]# uname -r 3.10.0-862.el7.x86_64 net模式 查看ip 首先我們登錄操作系統 用戶名root 密碼 123456 然後我們輸入ip查詢命名 ip
2020-06-02 13:13:17
原创 使用@async 註解，導致訪問RequestContextHolder獲取request爲空
解決方案 callable包裝 public class ContextAwareCallable<T> implements Callable<T> { private Callable<T> task; p
2020-05-25 01:31:47
原创 Spring boot 集成Redis客戶端Lettuce，導致服務線程數不斷增加
概述 最近在部署web 項目時突然發現項目服務停止，經過排查得知服務啓動後線程數在不斷增加，從而導致集羣資源不夠，服務停止。 環境 Spring boot:2.1.6 Redis:4.0.8 jdk:1.8 <groupId>o
2020-02-21 04:13:17
原创 Nginx從入門到實戰
0 概述 最近在進行項目開發，用到了Nginx做代理，訪問前端靜態資源，以前也只是聽過，沒有系統的學習，最近有時間進行了學習，做了一些簡單的總結，以及學習案例。 1 Nginx 簡介 1 什麼是Nignx Nginx是一個高性能的
2019-10-25 17:15:42
原创 spring boot 項目在啓動時調用接口
1.環境 目前開發的項目使用的spring boot(2.1.4.RELEASE)+ssm 2. 需求 現在有一個數據處理任務的接口,在spring boot項目啓動後,可以手動的去啓動任務,但是這樣比較麻煩,每次項目重新運行都要
2019-09-26 20:49:13
原创 shell 腳本常用命令
1 概述 最近在部署項目,需要寫自動安裝部署腳本,對shell腳本並不是熟悉,這裏記錄下一些常用的命名,主要是對於配置文件的修改. 注意: 對於一些可變參數我們可以單獨寫在一個文件中,達到可配置的效果. (將配置文件信息和初始化腳
2019-09-07 16:44:36
原创 ES常用語法
概述 最近在使用es進行存儲數據，可以說對es有了一個簡單的瞭解，但是也遇到了很多問題。es mapping字段選擇的問題，查詢語法如何使用等等。。這裏就先介紹下es的一些簡單常用的查詢語法，方便平時複習和查詢。 ES常用語法 1
2019-08-28 17:14:44
原创 Linux服務器上同時部署多個Tomcat
1 概述 最近在部署項目，要求在Linux服務器上同時部署多個Tomcat，一個項目對應一個tomcat，由於以前沒有部署經驗，剛開始工作嗎，在部署的時候以爲直接ootb就可以的，所有在部署的時候遇到了一點問題，以前只部署過一個T
2019-08-28 17:14:44