原创 sqoop之從oracle導入hbase的問題與sqoop hbase 需要注意的一個問題
sqoop從oracle導入， 需要有ojdbc6.jar,放在$SQOOP_HOME/lib裏，不用添加到classpath裏，因爲sqoop會自己遍歷lib文件夾並添加里面的所有jar包 --connect與mysql的不一樣，如下（
2020-06-28 16:45:11
1
原创 JAVA-編譯-包-將源文件和類文件分開
最近開始學習java 1 DOS下，進入.java文件所在目錄，比如，我的是F:\TestJava\source 2 在環境變量CLASSPATH 添加F:\TestJava 3 新建一個list.txt文件，裏面列出所有的要編譯的.ja
2020-06-28 16:45:11
原创 Hive學習筆記1--------Hive入門
（轉自淘寶數據平臺團隊） Hive 是什麼 在接觸一個新的事物首先要回到的問題是：這是什麼？ 這裏引用 Hive wiki 上的介紹： Hive is a data warehouse infrastructure built
2020-02-25 18:26:58
原创 hive2:HIVE的結構
Hive 體系結構 Hive 的結構如圖所示， 主要分爲以下幾個部分： 用戶接口，包括 CLI，Client，WUI。元數據存儲，通常是存儲
2020-02-25 18:26:58
原创 hive3:hive和關係型數據庫RDBMS的異同
摘要：由於 Hive 採用了 SQL 的查詢語言 HQL，因此很容易將 Hive 理解爲數據庫。其實 從結構上來看，Hive 和數據庫除了擁有類
2020-02-25 18:26:58
1
原创 實現HBase二級索引的配置與使用--ITHBase
遇到自己眼中亂如麻、大如山的問題，保持平常心，不要急躁，冷靜的分析思考尋找突破點，解決之後，發現原來那些如山如麻般的問題其實只是小土丘子、小線團子 一 ITHbase的安裝配置 ITHbase的全稱是 Indexed Transactio
2020-02-25 18:26:58
1
原创 hive4：Hive QL
Hive QL Hive 的官方文檔中對查詢語言有了很詳細的描述，請參考：http://wiki.apache.org/hadoop/Hive/
2020-02-25 18:26:58
原创 placement new, operator new and new operator
筆者覺得這3個new有點意思，有時候我也被搞懵了，這些創造者難不成覺得C++過於簡單，所以搞一點含糊的術語出來。這次總結一下，以便再懵的時候有個參考。有錯的地方請不吝賜教，多謝先！ 簡單點吧: 1. new operator，即熟悉的n
2020-02-25 18:26:58
原创 在mysql/oracle新建列將現有幾列連接起來作爲其值以用sqoop導入到hbase時作爲rowkey
在上一篇文章： sqoop之從oracle導入hbase的問題與sqoop hbase 需要注意的一個問題 的最後我提出了一個待研究的問題： 對r
2020-02-25 18:26:58
原创 MR中Partition的使用 源碼示例
一、環境 1、hadoop 0.20.2 2、操作系統Linux 二、背景 1、爲何使用Partitioner，主要是想reduce的結果能夠根據key再次分類輸出到不同的文件夾中。 2、結果能夠直觀，同時做到對數據結果的簡單的統計分析。
2020-02-25 18:26:57
原创 java.lang.Comparable
org.apache.hadoop.io.WritableComparable<T> extends Writable, Comparable<T> 自寫Key時便用到了WritableComparable,於是追到這裏。下面的是轉載的
2020-02-25 18:26:57
原创 Sqoop安裝配置與從mysql中導入數據到hbase
1.下載以下三個包： sqoop-1.2.0-CDH3B4.tar hadoop-0.20.2-CDH3B4.tar mysql-connector-java-5.1.18.tar 2.解壓sqoop包，配置/etc/profile
2020-02-25 18:26:57
1
原创 ScannerTimeoutException 問題分析與解決方法
遇到一些hadoop，hbase相關的異常，有時會有不知怎麼解決的感覺，首先要確定問題，然後找出引起此問題的原因，再然後制定解決方案，最後選擇一種實行。 hbase源碼如巨人般站在我們的心中，讓心強大起來，巨人就變小了 言歸正傳： 1.
2020-02-25 18:26:57
原创 HBase addColumn addColumns 兩個函數的deprecated解決方法
HBase addColumn addColumns 兩個函數的deprecated解決方法 用HBase0.90.4版本，又用ITHBase，I
2020-02-25 18:26:57
原创 直擊Hadoop中國雲計算大會:HBase安全性
一年一度的Hadoop中國2011雲計算大會，作爲Hadoop in China社區的一次年度技術盛會，於12月2日至3日在北京成功舉行。大會的亮點之一就是邀請了多位Apache軟件基金會的專家，例如Apache軟件基金會主席兼Apach
2020-02-25 18:26:57