台部落潇山远

1.hadoop命令 $ hadoop fs run a generic filesystem user client #訪問文件系統，相當於hdfs dfs version

2020-06-25 03:00:44

HDFS讀流程讀取HDFS文件命令 $ hdfs dfs -cat /examples/output1/XXX $ hdfs dfs -text /examples/output1/XXX 讀流程 Client調用Fil

2019-07-11 05:30:18

轉載自https://mp.weixin.qq.com/s/85GCQS5cumPyu6dSOOvIpA 一.文件ruozedata.md 上傳: -bash-4.2$ hdfs dfs -mkdir /blockrecover -

2019-07-10 05:26:45

1. HDFS架構 HDFS是主從架構，一個NameNode作爲主節點，維護管理文件系統的元數據信息，N個DataNode作爲從節點，存儲實際的數據塊。【圖片後續補】 1.1 NameNode（簡稱NN）維護管理文件系統的元數

2019-07-10 05:26:45

HDFS的塊大小 HDFS是以塊（Block）作爲基本的存儲單元，默認塊大小是128M。在生產上也有根據集羣情況，把HDFS的塊大小設置爲256M的。比如一個150M的文件要存儲到HDFS中，將會拆分成2個塊，大小分別是128M

2019-07-08 04:36:13

前言在之前的章節中，我們有介紹到僞分佈式的hdfs、yarn和mapreduce、歷史服務與日誌聚集、SecondaryNameNode的部署。接下來我們一起探討下hadoop的ssh免密鑰登陸。我們的hadoop環境如下操作系統

2018-08-28 04:00:14

前言 mapreduce是hadoop的分佈式計算框架，它依賴於hadoop的分佈式文件系統hdfs，關於hdfs的部署大家可以參考Hadoop僞分佈式部署之hdfs。 mapreduce作爲計算引擎，需要依賴於hadoop的分佈式資源

2018-08-28 04:00:14

前言在之前的章節中，我們有介紹到僞分佈式的hdfs、yarn和mapreduce、歷史服務與日誌聚集的部署。接下來我們一起探討下hadoop的SecondaryNameNode，內容可能較爲粗糙，待博主以後水平提升後再來深入細化。我們

2018-08-28 04:00:14

讀書時遇到喜歡的內容，記下筆記，以加深自己的印象，將來亦可以回味。以下內容摘自Tom White的《Hadoop權威指南》。數據本地化特性是MapReduce的核心特徵，並因此而獲得良好的性能。意識到網絡帶寬是數據中心環境最珍

2018-08-28 04:00:14

前言（30秒等待） namenode的啓動過程中，主要做了兩件事情： 1、加載fsimage元數據和edits日誌文件更加詳細的介紹可以參考我之前的博文Hadoop僞分佈式部署之SecondaryNameNode。 2、等待datano

2018-08-28 04:00:14

前言在做完 Hadoop僞分佈式部署之hdfs和Hadoop僞分佈式部署之yarn和mapreduce之後，我們來做一下歷史服務和日誌聚集的部署。相關環境如下：操作系統：CentOS6.4 Java版本：Oracle jd

2018-08-28 04:00:13

前言在正式部署hadoop之前，我們需要先對linux系統的網絡和java做一些準備工作，確保能夠順利部署和使用hadoop。今天我們就以centOS6.4爲例做一個環境配置。 1、主機名及映射配置考慮到後面要搭建集羣，節點之間的訪問

2018-08-28 04:00:13

前言上一節我們介紹了用於部署Hadoop的Linux環境準備，感興趣的同學可以去看一下Hadoop僞分佈式部署之linux環境準備。這一節我們主要講僞分佈式部署hdfs，相關環境如下操作系統：CentOS6.4 Java版本：

2018-08-28 04:00:13

Scala之HelloWorld HelloWorld雖然只是一個最簡單的入門程序，但是也能反應一門語言最基礎的語法結構，Scala的練習就從HelloWorld開始吧！ object是Scala中的對象，main方法作爲程序的入口，輸入

2018-08-28 04:00:13

Oracle/Hive/Impala SQL比較 http://blog.csdn.net/mayp1/article/details/51415854

2018-08-28 04:00:13