大數據技術整理

 

目錄

 

一. Hadoop

Hadoop

Yarn

MapReduce

Hdfs

CDH|Cloudera Manager

二. 數據分析

Hive

Impala

三. 離線和實時數據處理

Flink

Spark

Storm

Kafka

四. OLAP分析平臺

Kylin

五. 日誌數據採集工具

Flume

ELK(Elasticsearch、Logstash、Kibana)

六. ETL工具

Sqoop

七. Nosql數據庫

Hbase

Redis

Mongo

Cassandra

InfluxDB

OpenTSDB

八. 調度平臺

Azkaban

九. RDBMS數據庫

Mysql

---

一. Hadoop

Hadoop

 

Yarn

MapReduce

Hdfs

CDH|Cloudera Manager

二. 數據分析

Hive

hive數據傾斜優化策略

Hive的性能優化以及數據傾斜

Impala

 

三. 離線和實時數據處理

Flink

flink流處理訪問mysql

Flink自定義DataSource之MysqlSource

批處理和流處理

Spark

批處理和流處理

Storm

批處理和流處理

Kafka

Kafka實踐

 

四. OLAP分析平臺

Kylin

大數據分析界的“神獸”Apache Kylin有多牛？

五. 日誌數據採集工具

Flume

Flume學習之路系列

ELK(Elasticsearch、Logstash、Kibana)

 

六. ETL工具

Sqoop

七. Nosql數據庫

Hbase

Hbase的應用場景、原理及架構分析

Hbase原理、基本概念、基本架構

HBase的RowKey設計

HBase學習之六: hbase的預分區設計

Rowkey設計

HBase RowKey散列和預分區

hbase建表時region預分區的方法

Hbase實踐

Hbase實踐之結合Spring

Redis

Mongo

Cassandra

InfluxDB

OpenTSDB

 

八. 調度平臺

 

Azkaban

 

九. RDBMS數據庫

Mysql