原创 Sqoop詳細介紹包括：sqoop命令，原理，流程
一簡介 Sqoop是一個用來將Hadoop和關係型數據庫中的數據相互轉移的工具，可以將一個關係型數據庫（例如： MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關係型數據
2019-02-22 23:23:18
原创 hive serde 序列化與反序列化 - 一行數據寫入hive表
Hive-0.5中SerDe概述一、背景1、當進程在進行遠程通信時，彼此可以發送各種類型的數據，無論是什麼類型的數據都會以二進制序列的形式在網絡上傳送。發送方需要把對象轉化爲字節序列纔可在網絡上傳輸，稱爲對象序列化；接收方則需要把字節序列恢
2019-02-22 23:23:17
1
原创 java 常用匯總
1、commons.lang3.StringUtilspublic class T_StringUtils { public static void main(String []args ){ t_join(); } /**
2018-09-11 09:35:15
2
原创 百度百科 - hive
hive（數據倉庫工具） hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張數據庫表，並提供簡單的sql查詢功能，可以將sql語句轉換爲MapReduce任務進行運行。其優點是學習成本低，可以通過類SQL語句快速
2018-09-11 09:35:15
原创 【網絡資料URL】—— hive
RCFile高效存儲結構（以及其他hive存儲格式） —— 先看！http://my.oschina.net/u/270950/blog/167400 Hive:ORC File Format存儲格式詳解http://www.iteblog
2018-09-11 09:35:15
2
原创 hive 更多資料urls
http://sishuok.com/forum/blogPost/list/6220.html 初始Hive —— 深入淺出學Hive http://www.cnblogs.com/sharpxiajun/p/3151395.html h
2018-09-11 09:35:15
原创 eclipse 搜索使用。
http://www.ibm.com/developerworks/cn/opensource/os-cn-ecl-search/ http://wenku.baidu.com/link?url=mNMskTqBxYoxnIWkzmCzzv
2018-09-11 09:35:15
原创 Hadoop數據傳輸工具sqoop - 樣例
Hadoop數據傳輸工具sqoop分類： 開源學習分享 Architecture hadoop 數據倉庫 傳輸2013-03-24 19:22 8875人閱讀 評論(2) 收藏 舉報Sqoop Hadoop 數據傳輸目錄(?)[+]概述sq
2018-09-11 09:35:15
原创 hdfs筆記
HDFS 分佈式文件系統概念一臺計算機的存儲計算能力有限；當一個數據集的大小超過了一臺計算機的存儲能力時，需要對其進行分區（patition），並存儲到多個計算機上。—— 跨網絡管理多個計算機儲存的文件系統 —— 分佈式文件系統 存儲方式：
2018-09-11 09:35:15
1
原创 Sqoop詳細介紹包括：sqoop命令，原理，流程
一簡介 Sqoop是一個用來將Hadoop和關係型數據庫中的數據相互轉移的工具，可以將一個關係型數據庫（例如： MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關係型數據
2018-09-11 09:35:15
原创 hive ：text to ORC
http://c.360webcache.com/c?m=edfc672e16b7d63631a7133a0bd6c571&q=java+-+How+to+convert+.txt+%2F+.csv+file+to+ORC+format+-
2018-09-11 09:34:52
1
原创 sqoop 安裝與使用
sqoop的安裝與使用Sqoop是一個轉換工具，用於在關係型數據庫與HDFS之間進行數據轉換。強大功能見下圖以下操作就是使用sqoop在mysql和hdfs之間轉換數據。1.安裝我們使用的版本是sqoop-1.4.3.bin__hadoop
2018-09-11 09:34:51