原创 冪等性

冪等性 定義: 解釋1:一次和多次請求某一個資源應該具有同樣的副作用。 解釋2:同樣的請求被執行一次與連續執行多次的效果是一樣的,服務器的狀態是一樣的。 解釋3:任意多次執行對資源本身所產生的影響均與一次執行相同。 解釋4:調用接口

原创 Java String詳細介紹

今天沒學新東西,把原先總結的腦圖發一下吧,湊個數…… 鏈接:https://pan.baidu.com/s/1qiprDWLfumnyX48sRURiuQ 提取碼:zqqy

原创 Hive創建表:FailedPredicateException(identifier,{useSQL11ReservedKeywordsForIdentifier()}?)

FailedPredicateException(identifier,{useSQL11ReservedKeywordsForIdentifier()}?) 先給出解決辦法,喜歡看案例的可以看下面的案例: 你在創建表的時候,使用了H

原创 Hive與MySQL的區別

Hive與MySQL的區別 MySQL邏輯架構圖: Hive的架構圖: 兩者的比較: Hive採用了類SQL的查詢語言HQL(hive query language)。除了HQL之外,其餘無任何相似的地方。Hive是爲了數據

原创 Java try-catch性能分析

Java try-catch性能分析 先給出一段代碼,大家對比一下try-catch和普通條件判斷執行程序的消耗時間 public static void ifTest(String[] args) { if (arg

原创 更好的理解spark——spark 腳本解析

更好的理解spark——spark 腳本解析 在學習spark的時候,我們一個start-all.sh就將spark集羣成功啓動,有沒有仔細看過這裏面的細節呢?今天來總結一下spark啓動腳本的流程 集羣啓動腳本:start-al

原创 更好的理解spark——spark通信架構

更好的理解spark——spark通信架構 此篇摘抄自某教程的ppt,希望大家可以更深刻的理解spark spark既然是分佈式集羣,那麼他的master和worker節點之間是怎麼進行通信的? spark1.3之前的通信框架是什麼

原创 IllegalArgumentException:requirement failed: No output operations registered, so nothing to execute

ERROR StreamingContext: Error starting the context, marking it as stopped java.lang.IllegalArgumentException: require

原创 org.apache.flume.FlumeException: NettyAvroRpcClient { host: xxx.xxx.xxx.xxx, port: xxxxx}: RPC

錯誤如下: org.apache.flume.FlumeException: NettyAvroRpcClient { host: xxx.xxx.xxx.xxx, port: xxxxx }: RPC 根本原因:當前啓動的這個flu

原创 sqoop map:100% reduce:0%卡住

sqoop執行作業: map:100% reduce:0%卡住 我的情況是使用sqoop從hive向RDBMS中導入數據出現的。 對於這種情況:絕大多數都是yarn的配置問題。內存與CPU的資源不夠。 解決:更改yarn中的設置 <p

原创 Kafka的坑: 消費者無法消費消息

問題:今天使用Kafka做一個小DEMO,但運行的時候,可以在IDEA控制檯上看到生產者發送的消息,無法在IDEA看到消費者在消費消息,但通過連接Linux在命令行可以看到消費者消費的消息。 生產者應該是沒有問題的,給出消費者的代碼:

原创 日誌分析 進入大數據Spark SQL的世界

以慕課網日誌分析爲例 進入大數據 Spark SQL 的世界 這篇blog是這個項目的總結,因爲從別的地方學習過Hadoop、Spark的一些基礎知識了,所以這部分略過。針對自身的不足,我拋出一些問題,自己思考。 什麼是大數據?大

原创 Scala複習教程(自用)

Scala複習教程(自用) 鏈接:https://pan.baidu.com/s/1qiprDWLfumnyX48sRURiuQ 提取碼:zqqy

原创 Hadoop的CDH版本是什麼?

Hadoop的CDH版本是什麼? 1.Apache社區版 優點: 完全開源免費 社區活躍 文檔、資料詳實 缺點: 版本管理比較混亂,各種版本層出不窮,很難選擇,選擇生態組件時需要大量考慮兼容性問題、版本匹配問題、組件衝突

原创 IDEA安裝插件的兩種方式

1.IDEA中在線安裝,如圖所示 2.有的插件下載需要VPN,導致下載很慢,我們可以通過官網下載安裝包,通過本地安裝包進行安裝