原创 SQOOP入門
SQOOP入門 ★ SQOOP入門 Sqoop提供的命令可以把RDMS管理的數據庫中的數據導入到HDFS中或者Hive倉庫中。 也提供了命令可以把HDFS中的數據導入到Mysql等REMS數據庫中。 ★ SQOOP安裝 Sqo
2020-06-16 15:34:16
原创 Spring與Hibernate Struts2等框架的整合
本文介紹Spring與Hibernate 、Struts2等框架的整合 一、Spring整合Hibernate 爲什麼要整合Hibernate？ 1.使用Spring的IOC功能管理Hibernate的SessionFactory對象 對
2018-08-26 22:23:26
原创 Hive體系介紹
Hive體系介紹 ★ Hive簡介 Hive是架構在Hadoop上的數據倉庫架構。它提供了一系列的工具，可以用這些工具來進行ETL，即數據的提取轉化加載。這是一種可以存儲、查詢和分析存儲在Hadoop中HDFS中的大規模數據的機制。 Hi
2018-08-26 22:23:23
原创 HDFS體系結構
HDFS體系結構 ★ 分佈式文件系統 一種可以管理分佈在不同機器上的文件的操作系統。因爲，單一的一臺機器上的存儲已經不能滿足需要。不同主機上的文件可以通過網絡進行分享。也叫網絡操作系統，即NFS。通過網絡訪問的文件，對用戶和程序來說，如同
2018-08-26 22:23:23
原创 zookeeper介紹
zookeeper介紹 ★ 什麼是zookeeper zookeeper 是 Google 的 Chubby一個開源的實現，是Hadoop 的分佈式協調服務。 zookeeper包含有一個簡單的原語集，分佈式應用程序可以基於它實現同步服務
2018-08-26 22:23:23
4
原创 Hadoop2.2源代碼編譯
1.安裝虛擬機Centos環境 安裝鏡像下載地址：http://vault.centos.org/6.4/isos/x86_64/ 下載上圖標出的兩個。安裝時選第一個就可以了。 安裝過程略。可以參見如下文檔安裝。 http://pan.
2018-08-26 22:23:23
3
原创 Hadoop集羣
Hadoop集羣 ★ Hadoop集羣搭建過程 集羣環境：集羣環境是指局域網中的機器，多臺機器爲了完成同一件事情而協作工作的一種工作模式。每臺機器被稱爲一個節點。 把Hadoop進程安裝到多臺機器上，實現Hadoop的分佈式安裝。
2018-08-26 22:23:21
原创 Eclipse、MyEclipse常用快捷鍵
快捷鍵的配置，常用快捷鍵： 內容提示(Content Assist)：Alt + / 快速修復(Quick Fix)：Ctrl + 1 導包：ctrl + shift + O 格式化代碼塊：ctrl + shift +
2018-08-26 22:23:20
原创 MapReduce體系結構
MapReduce體系結構 ★ MapReduce的原理 MapReduce是一種分佈式的計算模型，用於解決大數據的計算問題。 MapReduce由兩階段組成，即Map階段和Reduce階段，用戶只需要實現map()與reduce()兩個
2018-08-26 22:23:20
原创 Hadoop體系結構
Hadoop體系結構 ★ Hadoop版本 Apache官方版本 Cloudera Yahoo內部版本 ★ 兩大核心 HDFS 和 MapReduce HDFS是Hadoop File System Hadoop文件系統 它是一個
2018-08-26 22:23:20
原创 添加圖片測試--關於我
前幾篇文章中插入圖片時是直接把圖片粘貼到編輯區的，文章發佈後，不能顯示圖片。比較鬱悶。今天終於找到了，如何把圖片粘出去。 上傳圖片的方法是：在要添加圖片的地方，選擇文件，然後上傳。即可。 這張圖片還不錯吧！ 這張還是比較萌的吧！ 這
2018-08-26 22:23:20
原创 PIG入門
PIG入門 ★ PIG簡介 1：Pig是基於Hadoop的一個數據處理框架。 MapReduce是使用Java進行開發，Pig有一套自己的數據處理語言，Pig的數據處理過程要轉化爲MR來運行。 2：Pig的數據處理語言是數據流方式的
2018-08-26 22:23:18
原创 數據庫索引
什麼是索引？ 簡單來說，索引就是一個指針，指向表裏的數據。打個比喻：數據庫裏的索引與圖書中的索引非常相似。 索引的工作原理、分類及應用： 1.工作原理： 在索引創建之後，它記錄與被索引字段相關聯的位置值。當表裏添加新的數據時，索引裏也會
2018-08-26 22:23:13