原创 HDFS文件讀和寫
文章目錄1.文件寫入2.文件讀取 1.文件寫入 詳細步驟解析： 1、 client發起文件上傳請求，通過RPC與NameNode建立通訊，NameNode檢查目標文件是否已存在，父目錄是否存在，返回是否可以上傳； 2、 clie
2020-06-22 23:34:35
原创 簡要談談Fsimage，Edits的作用
文章目錄Fsimage 和 Edits 的小故事FsimageEdits關於他倆的圖片 Fsimage 和 Edits 的小故事 從前有一個叫namenode的人 ，他每天晚上老是忘記上一天發生的事，然後他就拿
2020-06-22 23:34:35
原创 secondarynameNode如何輔助管理FSImage與Edits文件
由於editlog記錄了集羣運行期間所有對HDFS的相關操作，所以這個文件會很大。 集羣關閉後再次啓動時會將Fsimage，editlog加載到內存中，進行合併，恢復到集羣的。 由於editlog文件很大所有，集羣再次啓動時會花費
2020-06-22 23:34:35
原创 RAID的意思
文章目錄RAID的簡介RAID的特點RAID種類 RAID的簡介 RAID （ Redundant Array of IndependentDisks ）即獨立磁盤冗餘陣列，通常簡稱爲磁盤陣列。簡單地說， RAID 是由多個獨立
2020-06-22 23:34:35
原创 Shuffle（混洗）
文章目錄shuffle的步驟圖片步驟 shuffle的步驟 shuffle 分爲 分區， 排序， combiner， 分組，四個步驟 1map把key和value的值傳給shuffle的partition, … …pa
2020-06-22 23:34:35
2
原创 mount -a 的作用
一般我們在/etc/fstab中 配置好uuid和掛載路徑後，使用mount -a 一下 在重新啓動虛擬機 那 mount -a 有什麼作用呢 mount -a 就是重新加載fstab文件中的內容 相當於更新你剛剛修改fsta
2020-06-22 23:34:35
原创 程序猿大道理
1、重構是程序員的主力技能。 2、工作日誌能提升腦容量。 3、先用profiler調查，纔有臉談優化。 4、註釋貴精不貴多。杜絕大姨媽般的“例注”。漫山遍野的碎碎念註釋，實際就是背景噪音。 5、普通程序員+google=超級程序員
2020-06-22 23:34:35
原创 每日分享 大廠面試題 贏在起跑線 一
1 京東 問題1：使用Linux命令查詢file1中空行所在的行號 答案： [czbk@hadoop01 datas]$ awk ‘/^$/{print NR}’ sed.txt 問題2：有文件chengji.txt內容如下: 張
2020-06-22 23:34:35
原创 程序猿雞湯
程序員勵志名言 1、作爲一個真正的程序員，首先應該尊重編程，熱愛你所寫下的程序，他是你的夥伴，而不是工具。 2、程序員可以讓步，卻不可以退縮，可以羞澀，卻不可以軟弱，總之，程序員必須是勇敢的。 3、編程是一種單調的生
2020-06-22 23:34:35
1
原创 Spark的RDD的簡要描述
文章目錄什麼是RDDRDD的屬性RDD特點RDD的兩種算子緩存 什麼是RDD RDD叫做彈性分佈式數據集，是Spark中最基本的數據抽象。代碼中是一個抽象類，它代表一個不可變、可分區、裏面的元素可並行計算的集合。 RDD的屬性 1
2020-06-22 23:34:35
原创 退役節點小知識
退役節點 創建dfs.hosts.exclude配置文件 輸入需要退役的節點 編輯namenode所在機器的hdfs-site.xml 把dfs.hosts.exclude文件的路徑寫入hdfs-size.xml中 刷新n
2020-06-22 23:34:35
原创 yum search htppd 的意思
yum search httpd 在yum倉庫中查看httpd相關的軟件包 不管是否安裝 格式 yum search 軟件名稱
2020-06-22 23:34:35
原创 HDFS的特性和缺點
文章目錄HDFS特性HDFS缺點 HDFS特性 1、海量數據存儲： HDFS可橫向擴展，其存儲的文件可以支持PB級別或更高級別的數據存儲。 2、高容錯性：數據保存多個副本，副本丟失後自動恢復。可構建在廉價的機器上，實現線性擴展。當
2020-06-22 23:34:35
原创 大數據服務器小知識
文章目錄1傳統服務器和大數據服務器1.1 傳統服務器1.2大數據服務器2大數據技術爲什麼快3 hadoop的組成部分 1傳統服務器和大數據服務器 1.1 傳統服務器 系統硬盤 完全獨立 不存儲業務數據 物理磁盤做raid1 兩個磁
2020-06-22 23:34:35
原创 Hive存儲概念和Metastore 的作用
文章目錄一、Hive存儲概念二、Metadata，Metastore 的作用三、Hive的元數據存儲(Metastore三種配置方式) 一、Hive存儲概念 1、Hive用戶接口： 命令行接口（CLI）:以命令行的形式輸入SQL語
2020-06-22 23:34:35