原创 (第3篇)HDFS是什麼?HDFS適合做什麼?我們應該怎樣操作HDFS系統?

    HDFS文件系統Hadoop 附帶了一個名爲 HDFS(Hadoop分佈式文件系統)的分佈式文件系統,專門存儲超大數據文件,爲整個Hadoop生態圈提供了基礎的存儲服務。本章內容:1) HDFS文件系統的特點,以及不適用的場景2) 

原创 (第2篇)一篇文章教你輕鬆安裝hadoop

   如果你看了我的上一篇文章,那此時你對hadoop已經有了一個大概的瞭解,那接下來這篇文章就教大家怎麼安裝hadoop環境,只要你用心,仔細的跟着文章中講到的做,肯定能正確安裝。      安裝hadoop環境由於大家在學習hadoop

原创 (第6.1篇)大數據發展背後的強力推手——HBase分佈式存儲系統

前面的文章我們介紹了HDFS文件系統、Mapreduce計算框架、Zookeeper協作服務今天我們介紹可在廉價PC Server上搭建起大規模結構化存儲集羣的分佈式存儲系統——HBase。 HBaseHBase – Hadoop Data

原创 (第8篇)實時可靠的開源分佈式實時計算系統——Storm

流式計算解決方案-Storm在Hadoop生態圈中,針對大數據進行批量計算時,通常需要一個或者多個MapReduce作業來完成,但這種批量計算方式是滿足不了對實時性要求高的場景。Storm是一個開源分佈式實時計算系統,它可以實時可靠地處理流

原创 (第7篇)靈活易用易維護的hadoop數據倉庫工具——Hive

   Hivehive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射爲一張數據庫表,並提供完整的sql查詢功能,Hive 定義了簡單的類 SQL 查詢語言,稱爲 HQL,它允許熟悉 SQL 的用戶查詢數據可以將 sql語句

原创 (第4篇)hadoop之魂--mapreduce計算框架,讓收集的數據產生價值

通過前面的學習,大家已經瞭解了HDFS文件系統。有了數據,下一步就要分析計算這些數據,產生價值。接下來我們介紹Mapreduce計算框架,學習數據是怎樣被利用的。Mapreduce計算框架如果將Hadoop比做一頭大象,那麼MapReduc

原创 (第1篇)什麼是hadoop大數據?我又爲什麼要寫這篇文章?

前言這些天,有很多人諮詢我大數據相關的一些信息,覺得大數據再未來會是一個朝陽行業,希望能儘早學會、入行,借這個機會,我決定寫一下關於大數據的知識和我這些年的感悟。點擊鏈接  http://ijiajia.blog.51cto.com 訪問我

原创 (第9篇)大數據的的超級應用——數據挖掘-推薦系統

數據挖掘——推薦系統      大數據可以認爲是許多數據的聚合,數據挖掘是把這些數據的價值發掘出來,比如有過去10年的氣象數據,通過數據挖掘,幾乎可以預測明天的天氣是怎麼樣的,有較大概率是正確的。機器學習是人工智能的核心,對大數據進行發掘,

原创 我的友情鏈接

hadoop視頻課程

原创 (第5篇)避免協作衝突--簡單易接入的Zookeeper

 上一篇文章我們詳細介紹了mapreduce計算框架,此時你已經瞭解hadoop集羣的數據處理方式,接下來我們講解分佈式的,開源的,應用於分佈式應用的協作服務的--Zookeeper。      衆所周知,分佈式的系統協作服務很難有讓人滿意

原创 (第9篇)大數據的的超級應用——數據挖掘-推薦系統

數據挖掘——推薦系統      大數據可以認爲是許多數據的聚合,數據挖掘是把這些數據的價值發掘出來,比如有過去10年的氣象數據,通過數據挖掘,幾乎可以預測明天的天氣是怎麼樣的,有較大概率是正確的。機器學習是人工智能的核心,對大數據進行發掘,

原创 按照這個路線,讓你4個月學會Hadoop開發

學習hadoop,首先我們要知道hadoop是什麼?說到底Hadoop只是一項分佈式系統的工具,我們在學習的時候要理解分佈式系統設計中的原則以及方法,只有這樣才能以不變應萬變。再一個就是一定要動手,有什麼案例,有什麼項目一定要親自動手去敲。

原创 【最全】42本Hadoop、大數據、人工智能學習必讀書籍

一、簡單科普類 1、《人工智能:李開復談AI如何重塑個人、商業與社會的未來圖譜2》作者:李開復,王詠剛推薦理由:文章寫得一般,但李開復和王永剛老師總結的還可以,算國內比較簡單的一本AI科普作品圖書簡介:人工智能被寫入2017年政府工作報告,

原创 一張圖片看懂hadoop生態圈

好多朋友覺得,通過扁平的文章瞭解hadoop生態圈不是很直觀。所以我抽時間,把hadoop生態圈中的各部分通過架構圖的形式,直觀的整理了出來,方便對hadoop不瞭解的朋友更直觀的瞭解hadoop。大家可以在 雲盤下載原文件(內附思維導圖)

原创 我的友情鏈接

hadoop視頻課程