原创 MR 01 - MapReduce 計算框架入門
目錄1 - 什麼是 MapReduce2 - MapReduce 的設計思想2.1 如何海量數據：分而治之2.2 方便開發使用：隱藏系統層細節2.3 構建抽象模型：Map 和 Reduce3 - MapReduce 的優劣3.1 MapRe
2021-10-09 12:54:30
原创 你的 Java 代碼有這些壞味道嗎？
列舉一些 Java 開發中常見的“不良實踐”，來源於代碼掃描（https://github.com/pmd/pmd），和諸君一起學習參考： 1 - 關閉資源 CloseResource: Ensure that resources like
2021-10-07 12:54:34
1
原创 防止 Xshell、PuTTY 等客戶端超時退出會話的方法
問題：通過 Xshell、PuTTY 等客戶端工具登錄 Linux 操作系統（尤其是重裝的系統）之後，經常出現會話超時，導致自動斷開會話的現象，重連之後部分現場丟失，影響工作效率。 解決方案：如果出現會話超時，可參考如下步驟解決： 1、執行
2021-10-06 12:54:33
原创 HDFS 10 - HDFS 的聯邦機制（Federation 機制）
目錄1 - 爲什麼需要聯邦2 - Federation 架構設計3 HDFS Federation 的不足版權聲明 1 - 爲什麼需要聯邦 單 NameNode 的架構存在的問題：當集羣中數據增長到一定規模後，NameNode 進程佔用的內
2021-10-04 12:54:33
1
原创 Maven 編譯打包項目時指定外部 jar 包
目的：Maven 構建的 Java 項目，依賴了倉庫外部的 jar 包（比如從其他地方拷貝過來，沒有發佈到 Maven 倉庫中的 jar 包）。在編譯、打包時需要把這些 jar 包引入依賴範圍。 方法：正常使用 Maven 編譯插件，添加編
2021-10-04 12:54:33
2
原创 Linux、Windows 下手動生成 sha256 等類型的校驗文件
目錄1 - 校驗文件的作用2 - Linux 下生成校驗文件3 - Windows 下生成校驗文件參考資料版權聲明 1 - 校驗文件的作用 從網服務器下載文件，尤其是比較大的文件時，很容易由於網絡不穩定，導致斷點續傳發生錯誤。 那要怎麼確保
2021-08-24 12:54:31
1
原创 HDFS 09 - HDFS NameNode 的高可用機制
目錄1 - 爲什麼要高可用2 - NameNode 的高可用發展史3 - HDFS 的高可用架構3.1 Standby 和 Active 的命名空間保持一致3.2 同一時刻只有一個 Active NameNode4 - HDFS 高可用的實
2021-08-23 12:54:29
原创 Linux - Linux服務器總是收到新郵件（You have a new mail in...）
在 Linux 服務器中輸入各種命令，每隔一段時間就會提示你收到了新郵件： You have a new mail in /var/spool/mail/root 這是因爲 Linux 會定時查看系統的各種狀態並彙總出來，每經過一段時間就
2021-08-22 12:54:29
原创 常見的四種容錯機制：Fail-Over、Fail-Fast、Fail-Back、Fail-Safe
目錄1、Fail-Over：故障轉移2、Fail-Fast：快速失敗3、Fail-Back：失效自動恢復4、Fail-Safe：失效安全參考資料版權聲明 1、Fail-Over：故障轉移 Fail-Over 意思是“故障轉移，失效切換”，是
2021-07-06 12:54:28
19
原创 Hadoop - 徹底解決警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
目錄1 - 在日誌配置文件中忽略警告 - 有效2 - 指定本地庫的路徑 - 無效3 - 不使用 Hadoop 本地庫 - 無效4 - 替換 Hadoop 本地庫 - 有效5 - 根據源碼，編譯本地庫 - 有效版權聲明 在 macOS Bi
2021-07-02 12:54:29
6
原创 Hadoop - macOS 上編譯 Hadoop 3.2.1
目錄1 - 爲什麼要自己編譯 Hadoop2 - 準備編譯環境3 - 安裝依賴庫4 - 編譯 Hadoop 源碼5 - 遇到的問題及解決方法5.1 hadoop-common 模塊編譯出錯5.2 hadoop-common 模塊，仍然出錯5
2021-07-02 12:54:29
1
原创 HDFS 07 - HDFS 性能調優之 合併小文件
目錄1 - 爲什麼要合併小文件2 - 合併本地的小文件，上傳到 HDFS3 - 合併 HDFS 的小文件，下載到本地4 - 通過 Java API 實現文件合併和上傳版權聲明 1 - 爲什麼要合併小文件 HDFS 擅長存儲大文件： 我們知道
2021-06-21 12:54:29
原创 京東618，我的購物車
1 - 科大訊飛翻譯筆 盆友最近在給孩子做家教，也要備考雅思，對英語閱讀有挺高的要求。 每次遇到比較難的句子，或者陌生的詞彙，用手機或電腦翻譯，即麻煩又不準確。 是時候祭出科技的力量了：【科大訊飛掃描詞典筆】 老規矩，還是先領紅包再更省錢：
2021-06-17 12:54:29
原创 HDFS 06 - HDFS 常用的 Java API 操作
目錄0 - 配置 Hadoop 環境（Windows系統）1 - 導入 Maven 依賴2 - 常用類介紹3 - 常見 API 操作3.1 獲取文件系統（重要）3.2 創建目錄、寫入文件3.3 上傳文件3.4 下載文件3.5 遍歷 HDF
2021-06-13 12:54:27
原创 HDFS 05 - HDFS 的元數據管理（FSImage、EditLog、Checkpoint）
目錄1 - NameNode 的啓動流程2 - NameNode 的元數據2.1 EditLog 操作日誌2.2 查看 EditLog 文件2.3 FSImage 元數據鏡像2.4 查看 FSImage 文件3 - Checkpoint
2021-06-07 12:54:35