原创 Hbase Shell命令介紹
HBase shell是HBase的一套命令行工具，類似傳統數據中的sql概念，可以使用shell命令來查詢HBase中數據的詳細情況。安裝完HBase之後，如果配置了HBase的環境變量，只要在shell中執行hbase shell就可
2020-06-23 23:09:01
原创 在jenkins上添加AWS EC2實例從節點
踩了好多坑終於在AWS EC2上添加上了jenkins從節點，不知道爲何通過原來的SSH方式添加，一直出現未授權的問題，換一種方式添加發現從節點添加上了，於是先簡單介紹下這種操作方式。 1、首要條件 帶有jenkins安裝的AWS EC2
2020-06-23 16:07:20
原创 在AWS EC2上搭建jenkins並且整合git+maven+docker自動化部署環境(一)
日以繼日這套環境終於搭建好了，並且能夠一鍵打包部署服務，這個環境我打算分成幾個章節來說明，本章節介紹如何在AWS配置搭建EC2服務 AWS上部署搭建EC2實例 aws是一個雲平臺，裏面有很多組件，比如各種網關服務、負載均衡服務、數據存儲服
2020-06-23 16:07:20
2
原创 AWS EC2 上安裝 Docker
在 AWS EC2 安裝 Docker 參見：Amazon ECS 的 Docker 基本知識 我們在主機 18.222.176.214 和 52.14.52.46 都安裝 Docker。 安裝最新的 Docker Community E
2020-06-23 16:07:20
2
原创 Spark + MongoDB數據解決方案架構
Spark介紹 按照官方的定義，Spark 是一個通用，快速，適用於大規模數據的處理引擎。 通用性：我們可以使用Spark SQL來執行常規分析， Spark Streaming 來流數據處理， 以及用Mlib來執行機器學習等。Java，
2020-06-23 16:07:08
原创 AWS EMR 搭建數據處理集羣
最近boss讓去研究aws,未來公司業務可能要通過aws的一套生態進行數據處理和分析，在網上看了不少資料和文檔，也順利運行了aws的大數據集羣組件，下面自己總結了一下在部署步驟以及自己所遇到的一些問題。 AWS介紹 官方：Amazon
2020-06-23 16:07:07
原创 AWS EC2可用區理解
區域的概念(Region) 近期經常實施部署AWS的多個實施項目，經常與項目人員探討各種AWS的部署場景，但是在實際情況中發現，我們經常對AWS 兩個非常重要的概念不太好理解，區域（Region）和可用區（Availa
2020-06-23 16:07:06
原创 Java Spark Rdd詳解
說明：掌握spark的一個關鍵，就是要深刻理解掌握RDD各個函數的使用場景，這樣我們在寫業務邏輯的時候就知道在什麼時候用什麼樣的函數去實現，得心應手，本文將逐步收集整理各種函數原理及示例代碼，持續更新，方便大家學習掌握。 函數列表： 1、
2020-06-23 16:07:06
原创 在AWS EC2上搭建jenkins並且整合git+maven+docker自動化部署環境(二)
這篇介紹如何在EC2上搭建jenkins構建化工具,安裝工具其實就是跟普通我們用到的linux上安裝方式差不多，這裏我簡單介紹下自動化構建和jenkins的一些概念 CI/CD介紹 CI/CD的全稱爲Continuous Integra
2020-06-23 16:07:06
原创 在AWS EC2上搭建jenkins並且整合git+maven+docker自動化部署環境(三)
前面幾小節我們成功在AWS EC2上部署安裝好了jenkins,這小節就來說下jenkins的一些基本配置以及如何與我們的git,maven還有docker一塊串聯起來構建我們的一鍵部署自動化構建的環境。 jenkins初始化
2020-06-23 16:07:04
3
原创 springboot定時任務介紹
一：@Scheduled介紹 @Scheduled爲設置定時任務週期的註解，參數常用的爲兩種： 第一種就是fixedRate，他表示以一種固定頻率去執行，單位爲毫秒，例如@Scheduled(fixedRate = 5000) 表示爲每
2020-06-23 16:07:04
原创 Exception和Error區別
典型回答 Exception和Error都是繼承了Throwable類，在Java中只有Throwable類型的實例纔可以被拋出（throw）或者捕獲（catch），它是異常處理機制的基本組成類型。 Exception和Error體現了J
2019-10-25 18:28:35
原创 Spark on Yarn作業運行架構原理解析
原文鏈接：https://blog.51cto.com/xpleaf/2294303 1 、Client模式 說明如下： Spark Yarn Client向YARN的ResourceMana
2019-08-28 18:26:32
原创 mysql 行列相互轉換
原文鏈接：https://www.cnblogs.com/xiaoxi/p/7151433.html 一、行轉列 即將原本同一列下多行的不同內容作爲多個字段，輸出對應內容。 建表語句 DROP
2019-08-23 02:54:18
原创 ES性能優化
公司數據存儲用的最多的就是ES了，大概每天會產生1T的數據，這個數據量還是挺大的，公司用的ES集羣有12個節點，後期可能還要擴展，於是便看些博客再結合自己工作，總結了一些ES的調優 第一部分：調優索引速度 1、使用批量請求批量請求將產生比
2019-08-23 02:54:18