原创 HDFS原理分析（u）
HDFS（Hadoop Distributed File System） Hadoop由兩部分組成，HDFS（分佈式文件系統）以及MapReduce（分佈式計算框架），其中HDFS用於大規模數據的分佈式存儲，MapReduce構建
2020-06-29 05:08:00
原创 MapReduce編程模型及hello world實例（u）
MapReduce由Map和Reduce兩個階段組成，用戶自己編寫map（）和reduce（）兩個函數。 舉例“hello world”程序：用來統計輸入文件中每個單詞出現的次數。 Map： map (String key, St
2020-06-29 05:08:00
原创 redis數據結構分析（上）
目錄動態字符串使用示例內存空間預分配分配內存步驟示例惰性空間釋放SDS vs C語言字符串鏈表使用示例鏈表的底層存儲結構linkedlist和ziplist單獨使用的缺點ziplist（壓縮列表）ziplist的結構ziplist
2020-06-29 05:08:00
原创 redis數據結構分析（下）
在上一篇，redis數據結構分析（上）中已經分析了動態字符串和鏈表。 這一篇中主要分析字典，跳錶和整數集合這三種數據結構。 目錄字典字典的結構使用示例rehashrehash擴展與收縮條件擴容縮容計算ht[1]分配空間舉例漸進式r
2020-04-24 21:27:24
原创 Kafka Consumer併發檢測源碼分析
Kafka 在文檔中註明了 Consumer 不是線程安全的，意味着一個消費者只能對應一個線程，Consumer 被併發調用時會出現不可預期的結果。因此kafka實現了併發檢測，在發生併發時直接拋出異常。 在Consumer的訂閱
2020-04-24 21:27:24
原创 C++模版使用分析
這一篇主要是總結c++模板。 目錄模板產生的背景函數模板使用示例類模板在類模板外部定義成員函數使用示例默認模板類型形參使用示例 函數模板針對僅參數類型不同的函數； 類模板針對僅數據成員和成員函數類型不同的類。 模板產生的背景 使用
2020-04-23 05:30:31
原创 LRU算法及其變種算法原理分析
目錄LRU（Least Recently Used）算法LRU變種算法LRU-K算法LRU-Two queues(2Q)算法LRU-Multi queues(MQ)算法與其他算法（LFU）概念結合的其他的變種算法Least Fre
2020-04-17 04:29:44
原创 windows下搭建hadoop工程（一）
這裏是接着之前的一篇 《hadoop在windows下的環境搭建 》來的~~~ 一、安裝文件準備 1：下載好hadoop-1.0.0.tar.gz， 下載地址是https://archive.apache.org/dist/h
2020-02-21 16:21:54
原创 hadoop在windows下的環境搭建
因爲在ubuntu server上面不知道怎麼啓動eclipse啊，因此還是選擇在windows上面搭一個吧~ 一、首先需要使用的軟件有： 1、 JDK，推薦版本1.6以上，這裏下載版本是1.6.0_45 32位 2、 A
2020-02-21 16:21:54
原创 ceph monitor獲取monmap源碼解析
（1）進入probing狀態，在需要執行mkfs時首先判斷是否存在monmap，如果存在，則判斷其讀取是否會出錯；如果不存在，則新建一個monmap。 （2）判斷monmap中initial quorum中是否包含自身： 如果包含，
2019-04-23 22:18:09
10
原创 ceph crush算法分析
數據分佈算法 （1）集中式的元數據查詢，如hdfs （2）分佈式算法，例如一致性哈希算法，如crush CRUSH算法步驟： 1、pool_id+hash(object_id)得到pg_id 2、針對每一個osd，通過同樣的常量r，C
2019-04-23 22:18:09
10
原创 Bluestore--bluefs初始化部分源碼解析
osd::mkfs() ----BlueStore:mkfs() --------Bluestore::_open_db() -----------Bluefs->add_block_device() -----------Bluef
2019-03-06 17:01:41
49
原创 1. Two Sum
1. Two Sum 問題：給定數組中找到兩個數之和等於特定值。 自己寫的：（java） public class Solution { public int[] twoSum(int[] nums, int target)
2018-09-04 16:02:04
原创 Hadoop實例WordCount程序修改--詞頻降序
修改wordcount實例，改爲： 1、 對詞頻按降序排列 2、 輸出排序爲前三，和後三的數據 首先是第一項： 對詞頻排序，主要針對的是最後輸出的部分。 ** 分析程序內容： ** WordCount.java package
2018-09-04 16:02:04
1
原创 9. Palindrome Number 判斷數字是否爲對稱
9. Palindrome Number 問題： 給定一個int型數據，判斷是否爲迴文數字，也就是說數字是否對稱，例如“12321”“1221”。 自己寫的：（java） public class Solution { publ
2018-09-04 16:02:04