原创 MapReduce（Hadoop入門四）
什麼是MapReduce MapReduce是由兩部分構成，即Map和Reduce分別對應的實現類時Mapper和Reducer。官網 中這麼介紹的 Hadoop MapReduce is a software framewor
2020-06-22 15:20:15
原创 Java基礎面試點總結
一、Java基礎 平臺無關性 .java 文件 -> 編譯成 .class 文件 -> 經過平臺相應的 JVM 解析成對應的機器碼執行 這樣做的優點是： 避免每次執行都需要的各種檢查 可以將別的 JVM 上的語言編譯成 .cla
2020-06-09 19:58:34
原创 Wrashall算法，自反性，對稱性的實現
*離散數學二元關係的閉包運算 如：自反性，對稱性，傳遞性以及Wrashall算法，下面將用Java實現 一.處理二元關係的類(ArraysSetOperation)： public class ArraysSetOperati
2020-06-02 04:06:11
原创 我用Java學算法——UVa679-Dropping Balls
一.題目描述 A number of K balls are dropped one by one from the root of a fully binary tree structure FBT. Each time the
2020-06-02 04:06:11
原创 關於YARN（Hadoop入門三）
一.關於YARN YARN是(Yet Another Resource Negotaitor)Hadoop的集羣資源管理系統。 1.1 YARN的產生背景 因爲YARN是從MapReduce1.x（hadoop-0.23）中拆分
2020-06-02 04:06:11
原创 淺談HDFS的文件讀取與寫入
HDFS文件讀取： 數據讀取的步驟： 客戶端通過FileSystem對象(抽象類，一般通過這個來調用方法)，open()方法打開需要讀取的文件,HDFS中用DistributedFileSystem實現FileSystem的
2020-06-02 04:06:11
原创 Hadoop在Linux中的單節點(sign-node)環境搭建(Hadoop入門一)
## 對於入門學習Hadoop來說，佈置單節點Hadoop即可，無需佈置Hadoop集羣，避免因配置問題而產生不必要的麻煩 一. 遠程連接虛擬機中的Linux 1. 打開服務器/Linxu終端查看IP地址 2. 選擇合適的s
2020-06-02 04:06:11
原创 深入理解生產者-消費者隊列
生產者-消費者關係 生產者－消費者關係個人首先在操作系統中接觸到，它是信號量（Semaphore，資源使用情況的抽象）機制的一種應用。 注意：信號量在 C 語言中是一個結構體型變量，其中 int 型 value 包含表示可用資源
2020-05-17 22:00:20
原创 Hadoop配置調優屬性表
map端的調優屬性 屬性名稱 類型 默認值 說明 mapreduce.task.io.sort.mb int 100 排序map輸出時所使用的內存緩衝區大小，單位：M mapreduce.map.sort.spi
2019-08-23 02:50:12
原创 JDBC簡介
JDBC介紹 根據Oracle的聲明，JDBC是一個註冊了商標的術語，而並非Java Database Connectivity的首字母縮寫，而是對ODBC（微軟開創的標準數據庫API）的致敬——《Java核心技術 卷Ⅱ》 J
2019-08-23 02:50:12
原创 git push向開源項目提交時出現Permission錯誤
git push時出現的問題 ERROR: Permission to userA denied to userB. fatal: Could not read from remote repository. Please ma
2019-08-23 02:50:12