原创 SpringBoot數據庫讀寫分離
背景 一個項目中數據庫最基礎同時也是最主流的是單機數據庫，讀寫都在一個庫中。當用戶逐漸增多，單機數據庫無法滿足性能要求時，就會進行讀寫分離改造（適用於讀多寫少），寫操作一個庫，讀操作多個庫，通常會做一個數據庫集羣，開啓主從備份，一
2020-06-21 08:57:58
原创 #Spark流計算-章節1
概述 一般流式計算會與批量計算相比較。在流式計算模型中，輸入是持續的，可以認爲在時間上是無界的，也就意味着，永遠拿不到全量數據去做計算。同時，計算結果是持續輸出的，也即計算結果在時間上也是無界的。流式計算一般對實時性要求較高，同時
2020-06-21 08:57:58
原创 Apache Flink 狀態管理教案
State & Fault Tolerance Flink是一個基於狀態計算的流計算服務。Flink將所有的狀態分爲兩大類:keyed state與operator state.所謂的keyed state指的是Flink底層會給
2020-06-21 08:57:58
原创 Apache Sqoop （最新版本）
概述 Apache Sqoop（TM）是一種旨在在Apache Hadoop和結構化數據存儲（例如關係數據庫）之間高效傳輸批量數據的工具。通過內嵌的MapReduce程序實現關係型數據庫和HDFS、Hbase、Hive等數據的倒入
2020-06-21 08:57:58
原创 Apache Spark-[概述和安裝]
概述 Spark是一個快如閃電的統一分析引擎（計算框架）用於大規模數據集的處理。Spark在做數據的批處理計算，計算性能大約是Hadoop MapReduce的10~100倍，因爲Spark使用比較先進的基於DAG任務調度，可以將
2020-06-21 08:57:58
原创 Spark對接Hive
修改hive-site.xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://CentOS:3306/hive?c
2020-06-21 08:57:58
原创 Apache Flink之架構概述和環境(章節一)
作者：jiangzz 電話：15652034180 微信：jiangzz_wx 微信公衆賬號：jiangzz_wy 背景介紹 繼Spark之後第三代內存計算框架Flink應運而生，Flink作爲第三代計算框架Flink吸取了二代大
2020-06-21 08:57:48
1
原创 Apache Hive編程指南-蔣中洲
Apache Hive 概述 Hive是建立在 Hadoop 上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL），這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。 Hive
2020-06-21 08:57:48
原创 Apache Flink DataStream教案
概述 Flink是構建在數據流之上的有狀態計算的流計算框架，通常被人們理解爲是第三代大數據分析方案。 第一代 - Hadoop的MapReduce計算（靜態）、Storm流計算（2014.9） ；兩套獨立計算引擎，使用難度大 第二
2020-06-21 08:57:47
原创 Phoenix SQL語法
數據庫 CREATE SCHEMA CREATE SCHEMA [IF NOT EXISTS] 數據庫名字 0: jdbc:phoenix:CentOS> create schema if not exists jiangzz;
2020-06-21 08:57:47
1
原创 Hibernate編程指南-概述、快速構建、HQL初步
Hibernate 概述 Hibernate ORM使開發人員可以更輕鬆地編寫其數據超出應用程序進程壽命的應用程序。作爲對象/關係映射（ORM）框架，Hibernate關注數據持久性，因爲它適用於關係數據庫（通過JDBC）。 Hi
2020-06-21 08:57:47
原创 Spark Catalyst初識
Spark Catalyst 最近想來，大數據相關技術與傳統型數據庫技術很多都是相互融合、互相借鑑的。傳統型數據庫強勢在於其久經考驗的SQL優化器經驗，弱勢在於分佈式領域的高可用性、容錯性、擴展性等，假以時日，讓其經過一定的改造，
2020-06-21 08:57:47
原创 Scala 算子詳解-章節7
Java集合和Scala集合相互轉換 import scala.collection.JavaConverters._ object TestJavaScalaCollection { def main(args: Arra
2020-06-21 08:57:47
原创 Spring Framework 學習指南手冊
目錄結構 https://docs.spring.io/spring/docs/current/spring-framework-reference/index.html Spring Framework Documentat
2020-06-21 08:57:47
原创 MySQL Master Slave搭建
Master配置 ①修改/etc/my.cnf [mysqld] datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock user=mysql # Disabling sym
2020-06-21 08:57:47