大數據初學者怎樣學習 或Java工程師怎麼轉大數據? 原

大數據怎麼學,java怎麼轉大數據,今天就給大家分享一下。

大數據初學者怎樣學習 或Java工程師怎麼轉大數據

大數據初學者怎樣學習 或Java工程師怎麼轉大數據?

大數據現在很火很熱,但是怎麼學習呢?下面我給大家分享一下:

首先給大家普及一下大數據相關知識大數據的4大特徵:

1.數據在體量方面很大,比如說文字,有各種各樣的來源,有電子書|實體書|雜誌|報刊等,它們的數據大吧。

2.數據的類型多種多樣,有些是結構化的數據,像存在Oracle,MySQL這些傳統的數據庫裏的數據,一般都是結構化,可以是還有非結構化,比如HTML,WORD,execl等格式。

3.它們的價值密度低,這樣說吧,你比如說觀看一條數據好像價值也不大,但是分析所有的數據之後呢?總會挖掘出一些 重要的東西。

4.處理這些數據的速度要快。比如像Hadoop技術的MapReduce計算框架,相比傳統的數據庫處理速度要快,它的吞吐量 特別的大,再比如Spark,Spark在內存方面計算比Hadoop快100倍,在磁盤方面計算快10倍。

大數據的方向的工作有 大數據運維工程師、大數據開發工程師、數據分析、數據挖掘、架構師等。

 

 

 

基礎路線:

 

在這裏相信有許多想要學習大數據的同學,大家可以+下大數據學習裙:716加上【五8一】最後014,即可免費領取一整套系統的大數據學習教程
 

  • Hadoop HDFS文件系統 MR計算模型

  • Hive數據倉庫

  • HBase數據庫

  • Flume日誌收集

  • Kafka消息系統

  • Storm流式計算

  • Spark生態圈:Spark Core、Spark SQL、Spark Streaming、MLLib和GraphX

  • Zookeeper協調系統

  • NOSQL數據庫:Redis、MongoDB

  • 機器學習:Mahout

看到這麼多技術是不是有點暈呢?該怎麼學習呢?

大數據初學者怎樣學習 或Java工程師怎麼轉大數據?

  1. 先學Hadoop Hadoop框架中由兩大模塊組成,一個HDFS(Hadoop Distributed File System),是用來存儲需要處理的數據,另外一個是MapReduce,是Hadoop的處理數據的計算模型。

  2. 學習一門數據庫,像MySQL學點SQL吧

  3. Hive 只要你會SQL,你就會使用它。hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射爲一張數據庫表,並提供簡單的sql查詢功能,可以將sql語句轉換爲MapReduce任務進行運行。

  4. HBase HBase即Hadoop DataBase,Hadoop的數據庫,HBase是一種 "NoSQL" 數據庫,即不是RDBMS ,不支持SQL作爲主要訪問手段。

  5. Sqoop Sqoop是遷移數據工具,可以在很多數據庫之間來遷移,

  6. Flume Flume是一個分佈式的海量日誌採集和傳輸框架,一個高可用的,高可靠的,分佈式的海量日誌採集、聚合和傳輸的系統,Flume支持在日誌系統中定製各類數據發送方,用於收集數據;同時,Flume提供對數據進行簡單處理,並寫到各種數據接受方(可定製)的能力。

  7. Kafka 使用Kafka完成數據的一次收集,多次消費。它是一個分佈式、支持分區的(partition)、多副本的(replica),基於zookeeper協調的分佈式消息系統。

  8. Spark基於內存計算的框架 Spark Core最爲重要再學SparkSQL、Spark Streaming、圖計算、機器學習

  9. Storm實時的流計算框架。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章