《spark编程基础scala版读书笔记》第一章书后问题
1、请阐述大数据处理的基本流程
大数据处理的基本流程主要包括：数据采集、存储管理、处理分析、结果呈现等环节。因此从数据分析全流程的角度来看，大数据技术主要包括数据采集与预处理，数据存储和管理，数据处理与分析，数据可视化，数据安全和隐私保护等几个层面等内容。
2、请阐述大数据的计算模式及其代表产品
| 大数据计算模式 | 解决问题 | 代表产品 |
|---|---|---|
| 批处理计算 | 针对大规模数据的批量处理 | MapReduce 、Spark等 |
| 流计算 | 针对流数据的实时计算 | Storm,Flume,Flink、DStream、银河流数据处理平台等 |
| 图计算 | 针对大规模图结构数据的处理 | Pregel、GraphX、Giraph、PowerGraph等 |
| 查询分析计算 | 大规模数据的存储管理和查询分析 | Hive、Presto、Impala等 |
3、请列举Hadoop生态系统的各个组件及其功能
4、 分布式文件系统HDFS的名称节点和数据节点的功能分别是什么？
名称节点：
作为中心服务器，负责管理文件系统的命名空间以及客户端对文件的访问。
数据节点：
负责处理文件系统客户端的读写请求，在名称节点的统一调度下进行数据块的创建、删除和复制等操作。