原创 大數據 Hadoop序列化
文章目錄序列化概述序列化定義序列化的應用Hadoop序列化Hadoop序列化的特點Hadoop對應Java序列化類Hadoop 自定義對象序列化 序列化概述 序列化定義 序列化就是把內存中的對象轉換成字節序列 (或者其他數據傳輸
2020-06-17 09:51:37
原创 大數據 MapReduce概述
文章目錄MapReduce 定義MapReduce 優缺點優點缺點MapReduce 核心思想官方單詞統計案例分析Map 階段Reduce 階段總結 MapReduce 定義 MapReduce是一個分佈式運行程序的編程框架，是用
2020-06-17 09:51:37
2
原创 大數據 Hadoop HDFS概述
文章目錄HDFS 概述HDFS 產生背景HDFS 定義HDFS 使用場景HDFS 架構組成NameNodeSecondary NameNodeDataNodeClientHDFS 優缺點優點缺點 HDFS 概述 HDFS 產生背景
2020-06-17 09:51:36
原创 Hadoop InputFormat 數據處理機制
文章目錄InputFormat 概述InputFormat 實現詳解InputFormat 實現類FileInputFormatTextInputFormatCombineTextInputFormatKeyValueTextIn
2020-03-31 07:15:57
原创 大數據 數據切片與MapTask並行機制
文章目錄問題引出MapTask並行度決定機制數據塊與數據分片概念數據切片大小探討MapTask並行度決定機制總結 問題引出 MapTask的並行度決定Map階段的任務處理併發度，進而影響到整個Job的處理速度。 思考：1G的數據
2020-03-30 03:47:49
原创 大數據 NameNode SecondaryNameNode 工作原理
文章目錄NameNode SecondaryNameNode 工作機制NameNode元數據儲存問題引入Fsimage Edits 概念NameNode SecondaryNameNode 工作流程詳述NodeName 工作流程
2020-03-27 18:21:15
原创 大數據 Hadoop讀寫數據流程解析
文章目錄概述寫入(上傳)數據流程讀取(下載)數據流程 概述 HDFS能正常工作，對外提供數據儲存服務，與Hadoop體系中各種組件的協作配合是分不開的。其中組件有 NameNode， DataNode， Client等，下述部分描
2020-03-26 14:02:28
原创 jquery 9大選擇器詳解
JQuery 9大選擇器 1.基本選擇器 1、#id 用法: $("#myDiv"); 返回值 單個元素的組成的集合 說明: 這個就是直接選擇html中的id="myDiv" 2、Element 用法: $("d
2019-01-22 01:19:53