hive學習（0）---學習計劃

原創 glgl2424 2020-02-24 02:01

第一階段：熟悉hive，嘗試調優

~6.2：熟練掌握hive sql的基本操作，同時尋找適合學習的日誌數據格式（可以從hi3ms找一下）

6.3~6.6：收集調優經驗

6.7~6.20：嘗試各種調優經驗

6.21~6.30：重新學習hdfs架構


第二階段：尋找機會，正式參與hadoop項目




發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

hive學習（5）--- Partitions分區的使用（包括動態分區）

下面這個文章很好的講解了Partitions的使用方法 http://www.aahyhaa.com/archives/316 其他參考文章： http://p-x1984.iteye.com/blog/1156408 http://ww

glgl2424 2020-07-05 08:43:35

hadoop小象

http://bbs.chinahadoop.cn/portal.php http://www.chinahadoop.cn/  

glgl2424 2020-07-05 08:43:35

hadoop、hive、hbase的區別和應用場景

最近開始自學大數據，肯定免不了hadoop、hive、hbase這些東西。 此處把自己對這3個的理解記錄一下：1、hadoop：它是一個分佈式計算+

glgl2424 2020-07-05 08:43:35

hive學習（4）--- hql語句生成job（包括mapper和reducer）的規則探索

在hive學習（3）--- 較大數據下的hql執行速度中提到了不同hql會導致不同的執行速度，和不同的job數，同時也會存在不同job中，不同slaver的負載不一致，也就是所謂的數據傾斜，所以在這裏專門探索下hive根據hql生成job

glgl2424 2020-07-05 08:43:35

hive學習（1）---導入外部數據到hive的表中，爲學習hql做準備

在學習hive前，首先需要準備一份樣例數據，然後把這個數據加載進hive的對應表中， 這裏我用java寫file的方式創建了3個關於城市天氣情況的數據，每個字段以空格隔開，\r\n換行，例子如下： 2014-05-23|07:33:58

glgl2424 2020-07-05 08:43:35

Apache Hadoop YARN – 背景及概述

http://hongweiyi.com/2012/09/apache-hadoop-yarn-background-and-an-overview/ http://blog.csdn.net/yangbutao/article/deta

glgl2424 2020-07-05 08:43:35

hadoop2.2.0的基礎上配置hive0.12.0（支持mysql）

前提：已經安裝好了hadoop2.2.0，當然也可以是其他版本的hadoop，作者使用的是這個版本，並在vmware上配了一個master和3個slaver。配置方式參考： http://blog.csdn.net/glgl2424/ar

glgl2424 2020-07-05 08:43:35

Kafka架構總結以及常見的面試題總結

kafka名詞說明 分佈式 高吞吐量 消息系統 producer：生產者 consumer：消費者 broker：機器，節點 controller：kafka服務器的主節點 負責管理元數據（zk存儲一份） follower：kafka服務

SuperBoy_Liang 2020-07-01 13:25:22

kafka架構與原理

1、簡介 它可以讓你發佈和訂閱記錄流。在這方面，它類似於一個消息隊列或企業消息系統。 它可以讓你持久化收到的記錄流，從而具有容錯能力。 首先，明確幾個概念： • Kafka運行在一個或多個服務器上。 • Kafka集羣分類存儲的記

SuperBoy_Liang 2020-07-01 13:25:22

MapReduce程序出現：org.apache.hadoop.security.AccessControlException: Permission denied

如題，百度找到的解決方法爲：  在master節點上修改hdfs-sit.xml加上以下內容       <name>dfs.permissions</name> <value>false</value> </prop

西电小楠 2020-06-28 11:33:19

Hadoop相關面試題（一）

常見的一些基礎面試題： 1、hadoop運轉的原理? 2、mapreduce的原理?3、HDFS存儲的機制?4、舉一個簡略的比方闡明mapreduce是怎麼來運轉的 ?5、面試的人給你出一些疑問,讓你用mapreduce來完成？    

_Bob908 2020-06-24 08:40:26

編譯hadoop 中eclipse-plugin的jar包

原博客地址：http://www.cnblogs.com/njuduyu/archive/2013/03/31/2991657.html eclipse的安裝就不必累贅，我下載的是這一個：eclipse-SDK-4.2.2-linux-g

NJUTONY 2020-06-22 09:08:57

hive Invalid path xxxx: No files matching path file: xxxx

背景：在本地執行代碼遠程連接hiveserver2，操作hive中的數據 問題1：從本地load文件到hive遇到一個問題，代碼中執行load語句報錯：Invalid path xxxx: No files matching pa

shengruxiahua2571 2020-06-16 02:06:44

Hbase在PowerLinux平臺異常:libjffi-1.0.so包不存在的解決方法

在PowerLinux平臺使用Hbase的時候，經常碰到如下問題： Hbase編譯完成後，在X86平臺能夠正常使用，但是PowerLinux平臺會出現如下的錯誤: root@rhel1-> hbase shell 2014-09-28 0

FrankieCheng 2020-06-10 20:57:40

解決kibanna字段前帶有問號，無法進行篩選過濾

杨先森的博客 2020-04-22 12:27:55