原创 僞分佈式Hadoop單機環境搭建

CentOS-6.5-x86_64-minimal.iso 提取碼:yuu9 jdk-8u191-linux-x64.rpm 提取碼:rrki hadoop-2.9.2.tar.gz 提取碼:1wr3 基本環境準備 關閉防

原创 SpringCloud五大神獸快速入門

Spring Cloud 單一應用架構 :主要解決ORM 數據庫訪問層。 垂直應用架構 : 解決分層問題,實現應用的分層開發,提升開發效率。 分佈式應用架構:解決系統間調用問題,引發了SOA(面向服務開發)架構新潮。 SOA治理

原创 centos7.7離線安裝DockerCE最新版

Backgroud 有時客戶給的服務器在內網,不能上網,爲了方便程序的安裝部署,可以藉助docker,而docker可以使用離線安裝,這裏我們安裝最新版的,具體步驟如下: 一、第一部分(在能連網的服務器上) 1.1 配置安裝源

原创 CentOS7 防火牆快速開放端口/刪除端口的方法

CentOS6使用iptables控制Linuxs的端口,這裏不做介紹,自行百度。CentOS7使用firewalld代替了原來的iptables。下面記錄如何使用firewalld開放Linux端口:(這裏以端口9090爲例)

原创 Java導出MySQL數據成csv文件並壓縮成zip

Background 業務需求:提供數據導出功能。數據爲傳感器監測數據,存儲在MySQL。需要用戶傳入傳感器的IDs,起始時間和結束時間,由於數據量較大,所以這裏通過定時任務實現,然後把每個傳感器數據寫一個csv文件,最終把所有

原创 swagger2帶全局token配置

Background swagger2輔助後臺開發非常方便。但正常使用時,我們的接口需要登陸後才能訪問的。即訪問接口時,要傳一個登陸後的token。那這個怎麼設置,纔可以讓所有接口都允許登陸後訪問呢。通常有兩個方法,加在接口上,

原创 springboot自定義緩存加載數據庫中的基本信息

Background 在開發中可能會有這樣的情景。需要在容器啓動的時候執行一些內容。比如讀取配置文件,數據庫連接之類的。SpringBoot給我們提供了兩個接口來幫助我們實現這種需求。這兩個接口分別爲CommandLineRun

原创 Idea集成docker遠程部署

Background 爲了方便對dokcer鏡像的管理,我們這個安裝了portainer,如上圖所示,各個項目、各個組件的使用管理非常方便,具體安裝配置如下 首先安裝 docker 基於 Centos 7,配置阿里雲鏡像(

原创 SpringBoot集成mqtt配置

Background springboot 集成mqtt實現發佈、訂閱消息的功能 application.yml配置 # Mqtt配置 mqtt: serverURIs: tcp://localhost:1883

原创 HBase集羣配置SNAPPY壓縮

1 介紹 大數據時代,海量數據的存儲和分析是一個巨大的挑戰,給hadoop或者hbase集羣添加數據壓縮的能力,是必不可少的,通過壓縮不但能節約磁盤空間,而且也能節省集羣間網絡帶寬的損耗,從而間接提高了集羣任務的整體執行效率,

原创 Centos7.5+Ambari2.7.3+HDP3.1.0.0離線安裝

Centos7.5+Ambari2.7.3+HDP3.1.0.0離線安裝 1 簡介 Ambari 跟 Hadoop 等開源軟件一樣,也是 Apache Software Foundation 中的一個項目,並且是頂級項目。就 A

原创 Centos7.5+CDH 6.2搭建大數據平臺

Centos7.5+CDH 6.2搭建大數據平臺1.CDH介紹2.Cloudera Manager 介紹3.環境準備3.1.節點準備(四個節點)3.2.配置主機名和hosts解析(所有節點)3.3.關閉防火牆3.4.關閉SELin

原创 C/C++工程編譯常見錯誤及解決方法

C/C++工程編譯常見錯誤及解決方法背景簡介先上張最終編譯成功的圖編譯環境問題1:boost/thread/mutex.hpp: No such file or directory問題2:error: 'cout' is not

原创 python3訪問HBase數據庫

python3訪問HBase數據庫1 介紹2 啓動thrift-server3 安裝thrift-client3.1 安裝依賴3.2 安裝boost3.3 安裝thrift客戶端4 使用python3連接Hbase(hbase-t

原创 SpringCloud快速入門

Spring Cloud 單一應用架構 :主要解決ORM 數據庫訪問層。 垂直應用架構 : 解決分層問題,實現應用的分層開發,提升開發效率。 分佈式應用架構:解決系統間調用問題,引發了SOA(面向服務開發)架構新潮。 SOA治理