原创 oozie初學習
oozie：工作流調度工具 Oozie是一個基於工作流引擎的服務器，可以在上面運行Hadoop的Map Reduce和Pig任務。它其實就是一個運行在Java Servlet容器（比如Tomcat）中的Javas Web應用。 對於
2020-07-02 03:26:36
原创 sqoop初學習
Sqoop(發音：skup)是一款開源的工具，主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞，可以將一個關係型數據庫（例如 ： MySQL ,Oracle ,Postgres等
2020-07-02 03:26:36
原创 Flume初學習
Flume（日誌收集系統）是Cloudera提供的一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統，Flume支持在日誌系統中定製各類數據發送方，用於收集數據；同時，Flume提供對數據進行簡單處理，並寫到各種數據接受方（
2020-07-02 03:26:35
原创 HIVE實戰：簡單處理web日誌
測試文件下載 需求：簡單處理一個web日誌，該日誌共有11個字段，5794條，現要進行簡單處理 展示日誌中的一條數據： "27.38.5.159" "-" "31/Aug/2015:00:04:37 +0800" "GET /course
2020-07-02 03:26:35
原创 Redis實現發佈訂閱模式 簡述 Jedis實現
簡述 Redis可作爲消息隊列中間件使用，屬於發佈訂閱模式 消息隊列可以實現【系統解耦】、【異步處理】、【流量削峯】 訂閱者先訂閱某個頻道，Linux命令爲 【SUBSCRIBE 頻道名】 發佈者在該頻道發佈消息，Linux命令爲 【PU
2020-06-16 19:57:35
原创 子類複寫父類方法原則
當子類要複寫父類的方法時，需要滿足以下原則： 子類的方法訪問權限控制符只能相同或變大 拋出異常和返回值只能變小，能夠轉換成父類對象。子類的返回值、拋出異常類型必須和父類的返回值、拋出異常類型存在繼承關係 方法名和參數必須完全相同
2020-06-16 19:57:35
原创 極客時間算法40講 簡述 題目
簡述 極客時間算法40講中所出現的leetcode算法題 題目 【鏈表】reverse-linked-list（反轉一個單鏈表） 示例: 輸入: 1->2->3->4->5->NULL 輸出: 5->4->3->2->1->NULL 代碼
2020-06-16 19:57:35
1
原创 方法重載時的優先級 簡述 優先級
簡述 在同一個類中，如果多個方法有相同名字、不同參數，即稱爲重載。在編譯器眼中，方法名稱+參數類型+參數個數，組成一個唯一鍵，稱爲方法簽名，JVM通過這個唯一鍵決定調用哪種方法。（注意方法返回值並非這個組合中的一員） 優先級 有時候通過肉眼
2020-06-16 19:57:35
原创 Redis持久化方式 RDB方式 AOF方式 優缺點比較
RDB方式 RDB持久化是指在指定的時間間隔內將內存中的數據集快照寫入磁盤實際操作過程是fork一個子進程，先將數據集寫入臨時文件，寫入成功後，再替換之前的文件，用二進制壓縮存儲,可以稱爲【半持久化模式】 在redis.conf中配置如下
2020-06-16 19:57:35
1
原创 Workflow-Mapreduce Action
本workflow位於oozie目錄下新創建的一個oozie-apps文件夾下的mr-wc-wf文件夾中。 mr-wc-wf： 1、job.properties 2、lib文件夾（其中包含了一個wordcount程序的jar包） 3、wo
2020-02-21 07:50:53
原创 MapReduce實戰練習三：倒排索引
需求： 1、再不同的文件中 有着各種單詞，每行單詞之間以空格間隔 2、統計所有文件，以每行爲 單詞（空格）文件1名-->單詞出現的次數（空格）文件2名-->單詞出現的次數（空格）文件3名-->單詞出現的次數 的格式產生
2020-02-21 07:50:53
原创 Workflow-Shell Action
本workflow位於oozie目錄下新創建的一個oozie-apps文件夾下的shell文件夾中。 作用爲：用hive執行 hive -f user.sql 語句 shell： 1、job.properties 2、test
2020-02-21 07:50:53
原创 Workflow-Sqoop Action
本workflow位於oozie目錄下新創建的一個oozie-apps文件夾下的sqoop文件夾中。 sqoop： 1、job.properties 2、lib文件夾（其中包含了一個mysql的驅動包） 2、workflow.x
2020-02-21 07:50:53
原创 HBase-----JAVA API
package com.bpf.hbase; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.ap
2020-02-21 07:50:53
原创 HIVE實戰：官方案例練習
測試文件下載 本案例來自hive官方文檔 需求：一份有關觀看電影的日誌（u.data），有10W條數據，分析出一週內那天觀影人數多 1、創建原表 CREATE TABLE u_data ( userid INT, movieid
2020-02-21 07:50:53