大数据入门学习路线分享,请大家收下

大数据的学习技术点
Hadoop核心(1) 分布式存储基石:HDFSHDFS简介 入门演示 构成及工作原理解析:数据块,NameNode, DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、 HDFS常用设置 Java API代码演示(2) 分布式计算基础:MapReduceMapReduce简介、编程模型、Java API 介绍、编程案例介绍、MapReduce调优(3) Hadoop集群资源管家:YARNYARN基本架构 资源调度过程 调度算法 YARN上的计算框架离线计算(1) 离线日志收集利器:FlumeFlume简介 核心组件介绍 Flume实例:日志收集、适宜场景、常见问题(2) 离线批处理必备工具:HiveHive在大数据平台里的定位、总体架构、使用场景之Access Log分析 Hive DDL&DML介绍 视图 函数(内置,窗口,自定义函数) 表的分区、分桶和抽样 优化(3) 速度更快的Hive:ImpalaImpala在大数据架构中的角色 架构 数据处理过程 一般使用步骤:创建表,分区表,查询等 常用查询演示:统计,连接等、Impala与Hive的比较 常用配置与最佳使用建议(查错,调优等)(4) 更快更强更好用的MR:SparkScala&Spark简介 基础 Spark编程(计算模型RDD、算子Transformation和Actions的使用、使用Spark制作倒排索引)Spark SQL和DataFrame 实例:使用Spark SQL统计页面PV和UV实时计算(1) 流数据集成神器:KafkaKafka简介 构成及工作原理解析 4组核心API 生态圈 代码演示:生产并消费行为日志(2) 实时计算引擎:Spark StreamingSpark Streaming简介 工作原理解剖 编写Streaming程序的一般过程 如何部署Streaming程序? 如何监控Streaming程序? 性能调优(3) 海量数据高速存取数据库:HBaseHBase简介 架构及基本组件 HBase Table设计 HBase基本操作 访问HBase的几种方式大数据ETL(1) ETL神器:Sqoop,Kettle数据同步ETL介绍 Kettle常用组件介绍 、抽取Mysql数据到Hive实战 Sqoop介绍、抽取Hive数据到Mysql实战(2) 任务调度双星:Oozie,AzkabanETL与计算任务的统一管理和调度简介 Crontab调度的方案 自研调度系统的方案 开源系统Oozie和Azkaban 方案总结与经验分享大数据应用与数据挖掘(1) 大数据全文检索引擎:Elasticsearch全文检索基础知识,ES安装及初级介绍,ES深入理解,使用经验介绍(2) 数据仓库搭建为什么要构建大数据平台 大数据平台的的经典架构 深入剖析“五横一纵”的架构实践 知名互联网公司大数据平台架构简介(3) 数据可视化什么是数据可视化,数据可视化常用工具与必备技能介,Tableau和ECharts实操讲解 ECharts介绍,知名互金公司可视化经验介绍(4) 算法介绍介绍数据挖掘,机器学习,深度学习的区别,R语言和python的介绍,逻辑回归算法的介绍与应用,以及主要的推荐算法介绍

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章