原创 Hadoop配置項(core-site.xml)
Hadoop配置項(core-site.xml) : name value Description fs.default.name hdfs://hadoopmaster:9000 定義HadoopMast
2020-06-27 00:06:49
原创 Hadoop備戰：RPC機制
第一部分：什麼是RPC RPC (Remote Procedure Call Protocol) – 遠程過程協議調用 。通過 RPC 我們可以從網絡上的計算機請求服務，而不需要了 解底層網絡協議。 Hadoop
2020-06-27 00:06:49
原创 hadoop應用（雲計算大會）
第六屆中國雲計算大會於2014年5月20-23日在北京國家會議中心拉開帷幕： 在Hadoop應用實戰技術培訓專場：ChinaHadoop小象社區專研人對HBase和Hive做了專題演講： 衆所周知Hadoop不是萬能鑰匙，同樣有很多不
2020-06-27 00:06:49
原创 ZooKeeper的分佈模式安裝
ZooKeeper的分佈模式安裝 ZooKeeper(以下簡稱ZK)是一個分佈式協調服務框架，可以做到各節點之間的數據強一致性。簡單的理解就是在一個節點修改某個變量的值後，在其他節點可以最新的變化，這種變化是事務性的。通過在Z
2020-02-22 16:34:07
原创 hadoop備戰：yarn框架的簡介（mapreduce2）
新 Hadoop Yarn 框架原理及運作機制 重構根本的思想是將 JobTracker 兩個主要的功能分離成單獨的組件，這兩個功能是資源管理和任務調度 / 監控。新的資源管理器全局管理所有應用程序計算資源的分配，每一個應用的 Appl
2020-02-22 16:34:07
原创 Hadoop：Hbase&Hive
Hbase數據管理 Hbase就是Hadoop database。與傳統的mysql、oracle究竟有什麼差別。即列式數據與行式數據由什麼區別。NoSql數據庫與傳統關係型數據由什麼區別： Hbase VS Ora
2020-02-22 16:34:07
原创 hadoop集羣默認配置和常用的配置
獲取默認配置 配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件，默認下來，這些配置文件都是空的，所以很難知道這些配置文件有哪些配置可以生效，上網找的配置可能因
2020-02-22 16:34:07
原创 hadoop下運行多個SecondaryNameNode的配置
光從字面上來理解，很容易讓一些初學者先入爲主的認爲：SecondaryNameNode（snn）就是NameNode（nn）的熱備進程。其實不是。snn是HDFS架構中的一個組成部分，但是經常由於名字而被人誤解它真正的用途，其實它真正的用
2020-02-22 16:34:07
原创 hadoop備戰：一臺x86計算機搭建hadoop的全分佈式集羣
基本的軟硬件配置： x86臺式機，window7 64位系統 vb虛擬機(x86的臺式機至少是4G內存，才能開3臺虛機) centos6.4操作系統 hadoop-1.1.2.tar.gz jdk-6u24-linux-i586.b
2020-02-22 16:34:07
原创 hadoop備戰：yarn框架的搭建（mapreduce2）
昨天沒有寫好了沒有更新，今天一起更新，yarn框架也是剛搭建好的。我這裏把hadoop放在了我的個人用戶hadoop下了，你也可以嘗試把它放在/usr/local,考慮的問題就相對多點。 基本的軟硬件配置： x86臺式機，windo
2020-02-22 16:34:07
原创 開源的Spark（最新技術）與hadoop
最近在看hadoop，看到了Spark，對於程序員，亞歷山大啊！ Spark是一個高效的分佈式計算系統，相比Hadoop，它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上層的API，同樣的算法在Spark中實現
2020-02-22 16:34:07
原创 Hadoop備戰：hdfs常用命令（可能有你不知道的）
除介紹的命令外，還有許多bin/hadoop.dfs命令，以上介紹的只是幫助你開始使用HDFS，運行bin/hadoop dfs不帶任何參數會列出所有FsShell系統提供的命令，當你遇到問題時執行bin/hadoop dfs
2020-02-22 16:34:06
原创 Hive的安裝與使用
Hive的安裝與使用 hive是一個SQL解析引擎，可以在hive中創建表，執行sql語句。創建的表是存儲在hdfs中，執行的sql語句是通過MapReduce執行的。可以通過執行sql語句來代替編寫MapReduce作業，太
2020-02-22 16:34:06
原创 虛擬化實踐：雲桌面安裝
測試環境的介紹 VMware View 的體系結構由最基本的四部分構成，分別是 View connect server，連接客戶端，進行用戶身份驗證，並定向請求桌面資源，同時提供一些管理功能。 Active Dictionary服務器
2020-02-22 16:34:06