原创 自定義註解@MRpcInjection，實現服務的自動注入
文章目錄實現服務的自動注入前言如何實現？找到被註解標註的field向field 中注入代理類測試一下後記 實現服務的自動注入 前言 最近在自己寫rpc 框架，目前已完成服務註冊發佈、註冊中心、服務發現功能，Github 地址爲：h
2020-06-16 02:14:46
原创 Kappa 與 Lambda 架構介紹與對比
Lambda 架構 Lambda 架構由Storm的作者Nathan Marz提出，其設計目的在於提供一個能滿足大數據系統關鍵特性的架構，包括高容錯、低延遲、可擴展等。其整合離線計算與實時計算，融合不可變性、讀寫分離和複雜性隔離等原則
2019-03-12 18:31:51
21
原创 物聯網上行數據實現tcp 負載均衡和高可用架構 nginx + keepalived方案
文章目錄需求介紹架構設計具體配置nginx 配置keepalived 配置 需求介紹 之前有做過一個物聯網設備接入的項目，項目中會啓動一個數據接入服務（TCP server）用來接收傳感器設備上傳的數據。 數據接入服務需要分佈式部署，
2019-03-12 18:31:51
4
原创 談一談你對zookeeper 的理解（大數據面試題系列~~）
文章目錄Zookeeper 幾個基本概念集羣角色會話數據節點ZnodeWatcher 事件監聽器幾個典型應用場景Master 選舉實現分佈式鎖用作微服務的註冊中心 Apache Zookeeper 是由Apache Hadoop 的子
2019-03-07 23:53:18
原创 談一談你對yarn 的理解？（大數據面試題系列！！！）
YARN 是hadoop 的集羣資源管理器。Yarn 在Hadoop2 中被引入，是爲了要改善MapReduce1 的實現，但它具有足夠的通用性，同樣也支持其他的分佈式計算模式。 MapReduce1 的實現機制 MapReduce
2019-03-06 16:41:02
原创 談一談你對mapreduce 的理解?(大數據面試題系列~)
MapReduce 是一種用於數據處理的編程模型。我們可以這樣理解MapReduce, 把一堆雜亂無章的數據按照某種特徵歸納起來，然後處理並得到最後的結果。Map 面對的是雜亂無章的互不相關的數據，它解析每個數據，從中提取key 和v
2019-03-06 16:41:02
1
原创 深入剖析 kafka 可靠性是如果保證的？
文章目錄kafka 可靠性提供的保證kafka 的複製機制相關配置項複製係數不完全的首領選舉最少同步副本生產端可靠性配置發送確認生產者重試參數 `retries`額外的錯誤處理消費端可靠性相關配置項 kafka 的複製機制和分區的多分
2019-03-04 00:03:23
2
原创 hdfs 文件讀寫的過程詳解（大數據面試題系列~~~）
HDFS 集羣以管理節點-工作節點的模式在運行，即一個namenode(管理節點)和多個datanode(工作節點)。namenode 管理文件系統的命名空間，它維護着文件系統樹及整棵樹內所有文件和目錄。namenode 也記錄着每個
2019-02-28 23:32:23
原创 關於hadoop 的shuffle 過程理解（面試題系列~~~）
文章目錄map 端的shuffle 過程寫入磁盤分區&排序合併階段reduce 端的shuffle 過程複製階段合併階段 MapReduce 確保每個reducer 的輸入都是按鍵進行排序的。系統執行排序，將map 輸出作爲輸入傳給r
2019-02-27 23:42:43
原创 centos7 下mysql 忘記root密碼後怎麼辦？？？詳細解決方案如下~~~
今天想要連接一臺許久未用的服務器上的mysql, 但是忘記了密碼，經過查找解決方案如下： 編輯mysql 配置文件my.cnf,在[mysqld]的段中加上一句：skip-grant-tables [root@dbus-n1 ap
2019-02-27 23:42:43
原创 kafka 的message 格式解讀
CRC32：4個字節。消息的CRC校驗碼。 magic：1個字節。魔數標識，與消息格式有關，取值爲0或1。當magic爲0時，消息的offset使用絕對offset且消息格式中沒有timestamp部分；當magic爲1時，消息的o
2019-02-27 23:42:43
3
原创 ElasticSeach 安裝啓動時遇到的兩個問題記錄
錯誤日誌： java.lang.RuntimeException: can not run elasticsearch as root at org.elasticsearch.bootstrap.Bootstrap.initial
2019-02-01 23:58:36
原创 記一次 sqoop2 shell 轉移mysql 數據到hdfs 爬坑之路（步驟詳細！！！）
文章目錄出現問題彙總具體過程流水賬進入sqoop2 shell環境：開始創建mysql 導入的link:創建導出到hdfs 的link:創建數據從mysql 轉移到hdfs 的job :運行job & 排錯過程開始運行job :第一個
2019-01-17 23:04:51
1
原创 記一次centos7 下安裝sqoop2 server全過程（步驟詳細！！！）
文章目錄下載解壓縮配置環境變量修改sqoop 配置啓動sqoop Sqoop是一個用來將Hadoop和關係型數據庫中的數據相互轉移的工具，可以將一個關係型數據庫（例如 ： MySQL,Oracle,Postgres等）中的數據導進到H
2019-01-16 23:13:55
原创 記一次centos7 下telnet-server 的安裝過程（步驟詳細！！！）
文章目錄安裝telnet-server 和xinetd設置開機自啓啓動服務查看啓動狀態 安裝telnet-server 和xinetd 查找與telnet 有關的程序包 [root@slave2 ~]# yum list |grep
2019-01-12 23:21:34