原创 HDFS的讀寫刪操作流程
一、讀取流程 上圖的詳細過程： 1、HDFS提供的客戶端開發庫Client，通過RPC訪問NameNode，發送讀操作。 2、NameNode通過查詢元數據，獲取到文件的存儲路徑，將文件對應的全部（文件較小）或者文件的部分（文件
2020-06-11 14:59:30
原创 HDFS概述、HDFS主要技術、HDFS指令、HDFS回收站機制及配置、dfs路徑
一.HDFS概述 ｀ Hadoop Distributed File System----- Hadoop分佈式文件存儲系統，是hadoop的一個組件，用於數據的存儲。 HDFS的總體佈局： HDFS中存在一個名字節點N
2020-06-11 14:59:30
原创 Storm集羣配置與啓動
一、Storm集羣配置 搭建總體的架構： 實現步驟： 1.安裝和配置jdk 2.安裝和配置zookeeper 3.上傳和解壓storm 4.配置storm安裝目錄conf目錄下的storm.yaml文件 storm.yaml配置
2020-06-11 14:59:29
原创 簡介、編譯運行、關鍵字、標識符、駝峯命名法
Java基礎之簡介 Java語言簡介： ·Java是一款高級編程語言，它的開發語言是c語言。 ·91年問世，1995年由SUN公司正式推出，Oak-橡樹是sun公司推出的第一個版本。 Java語言的跨平臺： 就是Java代
2020-02-24 13:08:32
原创 Kafka使用過程中遇到的異常
異常一： Exception in thread "main" java.lang.NoClassDefFoundError: kafka/api/OffsetRequest at storm.kafka.KafkaConfig.<i
2019-02-19 06:38:18
原创 Linux下的安裝Hive支持的Mysql
1.下載mysql安裝包 MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm 2.確認當前虛擬機之前是否有安裝過mysql 執行：rpm -qa | grep mysql 如果出現下圖，證明
2019-02-19 06:38:18
原创 eclipse中web項目名稱的修改
右鍵工程—properties—web project setting—輸入新名稱； 修改項目工作空間目錄下的該模塊的.project文件，一開頭 修改項目工作空間目錄下的該模塊 —settings—org.ecli
2019-02-19 06:38:18
原创 大數據之Storm學習
一、Storm介紹 官方網址：http://storm.apache.org/ 官方對於Storm的介紹： Apache Storm is a free and open source distributed realtime
2019-01-25 17:26:26
原创 大數據之Storm集羣配置與啓動
一、Storm集羣配置 搭建總體的架構： 實現步驟： 1.安裝和配置jdk 2.安裝和配置zookeeper 3.上傳和解壓storm 4.配置storm安裝目錄conf目錄下的storm.yaml文件 storm.yaml配置示例
2019-01-25 17:26:26
1
原创 大數據之Kafka
一、Kafka介紹： ｀ Kafka是一種分佈式的、基於發佈訂閱的消息系統，能夠高效並實時的吞吐數據，以及通過分佈式集羣和複本冗餘機制實現數據的安全。 二、Kafka的安裝配置： 從官網下載安裝包 http://kafka.ap
2019-01-25 17:26:26
原创 樹之紅黑樹、二叉查找樹
一、紅黑樹Red-black Tree： ｀ 紅黑樹一種自平衡二叉查找樹，是計算機科學中用到的一種數據結構，典型用途是實現關聯數組。紅黑書很複雜，但是他的操作有良好的最壞情況運行時間，不管是查找、插入和刪除，他的時間複雜度都是O（lo
2019-01-19 17:04:24
1
原创 大數據之HDFS的讀寫刪操作流程
一、讀取流程 上圖的詳細過程： 1、HDFS提供的客戶端開發庫Client，通過RPC訪問NameNode，發送讀操作。 2、NameNode通過查詢元數據，獲取到文件的存儲路徑，將文件對應的全部（文件較小）或者文件的部分（文件較大
2019-01-19 17:04:14
原创 高併發基礎之Zookeeper的觀察者Observer05
觀察者Observer 功能： 功能一就如同他的名字，只是一個觀察者，對leader和follower的工作進行觀察監聽。 功能二就是動態擴展zookeeper集羣，而又不影響集羣的性能，接收客戶端連接，執行leader更新系
2019-01-07 17:37:21
原创 高併發之Concurrent包第四部分HashMap、HashTable、ConcurrentMap
ConcurrentMap:併發映射 HashMap ｀ 基於hash表進行存儲的映射。異步式線程不安全的映射—沒有同步鎖機制，多個線程訪問的時候會有數據不明確的問題。 ｀ 雖然不安全，但是效率高。 ｀ 底層以數組+鏈表結構存儲
2019-01-07 17:37:21