原创 HDFS源碼解析（三）
本人博客針對的是hadoop2版本，比1版本略爲複雜（採用了很多當下流行的設計模式，加入了新的序列化框架，ha配置，聯邦特性，yarn框架，以及採用maven的工程劃分結構等）。網上的源碼分析大多針對的是1版本，由於是針對源碼寫出自己的理
2020-02-25 09:37:30
原创 HDFS源碼解析（二）
上一篇講到了namenode的格式化，格式化方法中有 FSImage fsImage = new FSImage(conf, nameDirsToFormat, editDirsToFormat); try { FS
2020-02-25 09:37:30
原创 HDFS源碼解析（一）
廢話不多說，直接進入org.apache.hadoop.hdfs.server.namenode包下NameNode類的main方法 public static void main(String argv[]) throws Exce
2020-02-25 09:37:30
原创 Hadoop-2.5.1安裝文檔
第1章 前言 本文檔針對hadoop2.5.1生態圈的安裝,版本選擇如下： Jdk_1.7.0_45 Zookeeper 3.4.6 Hadoop 2.5.1 安裝順序： 1. 系統環境搭建 2. Hadoop集羣安裝的軟件準備 3. H
2018-08-27 10:39:51
1
原创 以前Flume遇到的坑
flume配置 master agent.channels = memoryChannel agent.channels.memoryChannel.type = memory agent.channels.memoryChanne
2018-08-27 10:39:50
原创 spark入門之wordcount
曾經哥也學過scala，spark。下面爲helloworld案例： 1. wordcount 只需兩行代碼，其實還可壓縮成一行。就完成了詞頻統計，確實編碼效率高啊 2. sparksql 創建sql的上下文，導包，讀文件，生成RDD
2018-08-27 10:39:49
原创 Hadoop RPC（續）
接着上一篇來看server端 在看之前，我們想象一下，服務器端肯定要啓動服務，在端口上監聽，讀取客戶端的連接請求和請求數據並處理，最後返回。依次涉及的類：Listener，Connection，Call，Handler，Responser
2018-08-27 10:39:49
原创 Hadoop RPC
終於進入RPC模塊了，網上有很多基於早期hadoop的RPC機制分析，分析都很到位，今天我就帶着大家走走源碼（使用版本2.4.0）。本文采用深度遍歷的方法分析源碼，不知道你們習不習慣 前奏: RPC是開發中抽出來的組件，如果不使用RPC
2018-08-27 10:39:49
1
原创 spark雜記(一)
1.使用sparksql需要將hive的依賴包加入SPARK_CLASSPATH2.spark編譯時如果需要支持cli，thrift-server則要求protobuf的版本和編譯hadoop的protobuf版本一致3.當以yarn-c
2018-08-27 10:39:49
9
原创 Hadoop RPC熱身之Java 反射
首先感謝各位同事，同學給我提了很多寶貴的意見。我的想象中文章思路是將概念的來龍去脈，原理以及用法讓大家記住。現在還有點不夠，繼續努力吧。 今天就來談談反射（reflection）機制，首先反射的概念是八十年代提出來的，意思就是我能不能動態
2018-08-27 10:39:49
原创 hbase-0.98安裝文檔
去官網下載hbase-0.98.8-hadoop2-bin.tar.gz壓縮包 前提是按照上一篇安裝好hadoop，zookeeper 1. 將壓縮包解壓到主節點（一般採用namenode）的路徑下 2. 配置hbase-s
2018-08-27 10:39:49
原创 Hadoop RPC熱身之Java NIO
在講NIO之前先來談談阻塞與非阻塞IO，同步與異步IO。 我們知道IO讀請求操作包含兩步 1）查看數據是否就緒； 2）進行數據拷貝（內核將數據拷貝到用戶線程）。 爲什麼會存在數據拷貝？因爲用戶空間是非特權區域，不能直接訪問硬件設備。 阻塞
2018-08-27 10:39:49
3
原创 spark雜(二)
主要是操作HBase spark集成hbase 缺少類 可在spark-env.sh中設置SPARK——CLASSPASTH SPARK_CLASSPATH=/opt/hbase/lib/* 如果報java.lang.NoSuchMeth
2018-08-27 10:39:48
原创 PrintWriter與ServletOutputStream的區別之文件下載
先看代碼 第一種： out = response.getWriter(); response.reset(); response.addHeader("Content-Disposition", "attachment;filename
2018-08-27 10:39:48
2