原创 spring boot 2.0.2 mybatis升級mybatis-plus

介紹原來項目使用的是mybatis-spring-boot-starter-1.3.0版本的+阿里的Druid 1、先把mybatis-spring-boot-starter-1.3.0jar幹掉換成mybatis-plus-boot-s

原创 NameNode故障處理

方法一:將SecondaryNameNode中數據拷貝到NameNode存儲數據的目錄;   1. kill -9 NameNode進程 2. 刪除NameNode存儲的數據(/opt/module/hadoop-2.7.2/data/t

原创 DataNode的工作機制

  1)一個數據塊在DataNode上以文件形式存儲在磁盤上,包括兩個文件,一個是數據本身,一個是元數據包括數據塊的長度,塊數據的校驗和,以及時間戳。 2)DataNode啓動後向NameNode註冊,通過後,週期性(1小時)的向Nam

原创 HDFS的寫的流程

1)客戶端通過Distributed FileSystem模塊向NameNode請求上傳文件,NameNode檢查目標文件是否已存在,父目錄是否存在。 2)NameNode返回是否可以上傳。 3)客戶端請求第一個 Block上傳到哪幾個D

原创 HDFS的讀數據流程

1)客戶端通過Distributed FileSystem向NameNode請求下載文件,NameNode通過查詢元數據,找到文件塊所在的DataNode地址。 2)挑選一臺DataNode(就近原則,然後隨機)服務器,請求讀取數據。 3

原创 NN和2NN工作機制

思考:NameNode中的元數據是存儲在哪裏的?         首先,我們做個假設,如果存儲在NameNode節點的磁盤中,因爲經常需要進行隨機訪問,還有響應客戶請求,必然是效率過低。因此,元數據需要存放在內存中。但如果只存在內存中,一

原创 hadoop節點距離計算

例如,假設有數據中心d1機架r1中的節點n1。該節點可以表示爲/d1/r1/n1。利用這種標記,這裏給出四種距離描述,如圖1所示。 大家算一算每兩個節點之間的距離,如圖所示。

原创 JavaScript運算規則

1、當數字遇到布爾的,布爾變數字。 2、當數字遇到字符串,數字變字符串。 3、布爾遇到字符串,布爾變字符串。 4、括號優先級別最高。 5、true變數字爲1,false變數字爲0     例如:'[3]' + (1 + 1 + true

原创 解決哈希衝突的常有方法

解決哈希衝突的常用方法有:        開放定址法 基本思想是:當關鍵字key的哈希地址p=H(key)出現衝突時,以p爲基礎,產生另一個哈希地址p1,如果p1仍然衝突,再以p爲基礎,產生另一個哈希地址p2,…,直到找出一個不衝突的哈

原创 [email protected] install: `node install.js`

解決方法 npm install appium-chromedriver --chromedriver_cdnurl=http://npm.taobao.org/mirrors/chromedriver 或者npm install ap