原创 簡單概括 ==跟equals的區別
== == ：既可以比較基本類型，也可以比較引用類型，如果比較八大數據類型主要比較的是值，比較引用類型主要比較的是內存地址值 equals（沒有被重寫過） equals(父類是object,所以每個對象都會有equals)： oj
2020-05-07 15:08:50
原创 基本數據類型 和 引用類型（簡單概述）
一、基本數據類型 java中一共分爲8種 基本數據類型：byte、short、int、long、float、double、char、boolean byte、short、int、long是整型
2020-05-07 15:08:50
原创 如何選擇Apache/CDH/HDP版本？？？
框架基本選型 （1）Apache：運維麻煩，組件間兼容性需要自己調研。（一般適合大廠使用，技術實力雄厚，有專門的運維人員）（建議使用） （2）CDH：國內使用最多的版本，但是CM不開源，今年(2020)開始收費，一
2020-05-07 15:08:50
原创 簡單概述 什麼是重寫
直接上代碼 一個簡單的person類 重寫就是把原來人家寫完的底層方法重新獲取然後修改一下 （alt+insert 裏面的 equals() and hashCode() 、toString() 等這些方法）如圖（下面代碼標紅色部
2020-05-07 15:08:50
原创 大概瞭解一下離線項目（未完成）
數倉概念 數據倉庫（Data Warehouse），是爲企業所有決策制定過程，提供所有系統數據支持的戰略集合。 通過對數據倉庫中數據的分析，可以幫助企業，改進業務流程、控制成本、提高產品質量等。 數據倉
2020-05-01 06:52:36
原创 初識kafka小結
第一部分：概述 1.1 Kafka的定義： kafka是一個分佈式的基於發佈/訂閱模式的消息隊列(Message Queue)，主要應用於大數據實時處理領域。 1.2消息隊列 1.2.1傳統消息隊列的
2020-04-25 06:53:45
原创 spark知識點小總結
文章目錄**spark****什麼是Spark****Spark特點****Spark運行模式****Spark編寫代碼****SparkCore**什麼是RDD**RDD的主要屬性****RDD的算子分爲兩類:****Rdd數據
2020-04-21 05:21:11
原创 錯誤信息：ERROR StreamMetadata：Error writing stream metadata StreamMetadata...
錯誤信息：ERROR StreamMetadata：Error writing stream metadata StreamMetadata... 原因（很多種，我的是這樣）：電腦配置環境缺東西 下載一個 hadoop.dll 放
2020-04-21 05:21:11
原创 用idea初測MapReduce框架
先配置pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi
2020-02-22 20:31:49
原创 HDFS數據寫入流程
1:Client 發起文件寫入請求，通過 RPC 與 NameNode 建立通訊，NameNode檢查目標文件，返回是否可以上傳； 2:Client 請求第一個 block 該傳輸到哪些 DataNode 服務器上； 3:NameNode
2020-02-22 20:31:49
原创 克隆虛擬機後需要修改的設置
1.打開新克隆的虛擬機的網絡適配器>高級>查看MAC值 （記住下面 MAC地址 後面的內容，這個是克隆後新生成的MAK值） 2.編輯配置文件，更新 HWADDR 設爲新的MAC值 [root@node
2020-02-22 20:31:49
原创 HDFS數據完整性如何保證?
數據寫入完畢以後進行校驗,對比判斷是否有數據丟失 數據讀取之前進行校驗,對比判斷是否有數據丟失 NameNode會週期性的通過DataNode彙報的心跳信息中獲取block塊的校驗和進行檢查數據完整性，如果發現校驗和不一致,會從其他副本節
2020-02-22 20:31:49
原创 Namenode ， DataNode 的作用
Namenode作用 一:管理，維護文件系統的元數據/名字空間/目錄樹 管理數據與節點之間的映射關係（管理文件系統中每個文件/目錄的block塊信息）， 二:管理DataNode彙報的心跳日誌/報告 三:客戶端
2020-02-22 20:31:49