原创 Centos7 Hadoop Hdfs Hbase 分佈式安裝（超詳細建議收藏）
1.虛擬機配置 192.168.10.1 hbase-01 192.168.10.2 hbase-02 192.168.10.3 hbase-03 2.基本環境 JDK 1.8+ Maven 3.5+ （可選） Git（可選）
2020-07-03 11:27:51
原创 Linux Centos7 安裝 JDK1.8
1.下載地址 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2.選擇Linux 64 tar.gz 安裝包下載，或
2020-07-03 11:27:51
原创 Centos 7 安裝 Docker (阿里雲)
卸載舊版本 sudo yum remove docker \ docker-client \ docker-client-latest \
2020-07-03 11:27:51
1
原创 Docker 安裝 kafka
1.下載鏡像 a) 下載 zookeeper docker pull wurstmeister/zookeeper b) 下載 kafka docker pull wurstmeister/kafka:2.11-0.11.0.3
2020-07-03 11:27:51
原创 Windows 安裝Spark 環境
1.下載地址 使用國內鏡像源，下載速度大大提升 https://mirrors.tuna.tsinghua.edu.cn/apache/spark/ 2.配置環境 解壓到指定目錄 添加環境變量 SPARK_HOME 內容爲解壓的目
2020-07-03 11:27:51
原创 Linux 服務器 之間 無密碼(免密)登陸
1.192.168.10.1 免密登陸 192.168.10.2 10.1 操作 生成祕鑰 ssh-keygen -t rsa 傳輸給10.2 # scp ~/.ssh/id_rsa.pub [email protected]:~/
2020-07-03 11:27:51
原创 JAVA 子父遍歷排序
如圖所示，每一個id 都有父子關係，通過父子關係將所有點排序。 // 遍歷先獲取起點,即沒有父id的點 String first; boolean flag = true; String tem
2020-07-03 11:27:51
原创 GDAL ogr2ogr 轉換mif 爲sqlite
1.下載gdal環境工具 windows編譯好的gdal下載地址：http://www.gisinternals.com/release.php 2.解壓進入該目錄 以管理員身份運行SDKShell.bat 進入到mid mi
2020-07-03 11:27:51
原创 Myeclipse 導入Java web Servlet 項目
1.選擇打開已存在的項目 2.選擇項目 3.導入後，右鍵選擇Run as 4.選擇配置好的tomcat 5.Finish 後項目啓動 6.啓動項目前 配置好自己的數據庫，就可以正常登陸了 admin/111 7.登陸畫面
2020-07-03 11:27:51
原创 PostGrepSql 線程池多線程數據插入
需求 數據庫表複製，數據量大時，用單純的客戶端工具只能單線程導入，時間耗時長。本文主要採用 JDBC 和 線程池 解決這個問題。 JDBC 我用的 PostGrepSql 數據庫，根據自己的數據庫 添加pom.xml <depe
2020-07-03 11:27:51
原创 windwos 單機 kafka 部署（方便於本地測試）
下載地址 https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.11-2.4.0.tgz 1.解壓到本地目錄 我的路徑是 C:\Mysoftware\02
2020-07-03 11:27:51
原创 Linux Centos7.2 搭建 redis 集羣及常見問題(阿里雲主機)
一、環境 1.Centos7.2 x3 2.Redis集羣要求至少要有三個節點，我這裏配置3臺，每臺一主一備。 3.端口號 6379-6384 需要在阿里雲 安全策略中開通端口，同時要開通16379-16384(集羣總線端口爲redis
2020-07-03 11:27:51
原创 GeoMesa時空基礎及應⽤場景
推薦視頻講解 1h https://yq.aliyun.com/live/793 基礎概念 數據庫時空引擎 OGC 空間要素對象表達 SimpleFeature :時空要素的抽象表達，默認還有Geometry字段 Simple
2020-05-18 13:06:39
4
原创 Spark Shuffle 分析
1.Shuffle 原理 1.1 概述 1.1.1 Map task端操作 1.1.2 Reduce task 端操作 1.1.3 Spark Shuffle 2.Spark Shuffle 的實現 2.1 Shuffle 的寫操作 2.
2020-04-28 03:44:50
1
原创 2020 Flink 面試題（不定時更新，歡迎補充）
### 簡單介紹一下Flink Flink 是一個框架和分佈式處理引擎，用於對無界和有界數據流進行有狀態計算。 並且 Flink 提供了數據分佈、容錯機制以及資源管理等核心功能。 Flink提供了諸多高抽象層的API以便用戶編寫分佈式任務
2020-04-24 23:24:49