原创 azkaban的安裝和使用

1.環境準備 Mysql數據庫:mysql5.6 JDK:jdk1.8 2.需要軟件 Azkaban source:https://github.com/azkaban/azkaban Azkaban plugins source

原创 搭建僞分佈式Hadoop集羣

雖然網絡上已經有許多搭建的方法。文章也與他們雷同,但是這是我學習的時候搭建的步驟。寫下來以供複習。 一.系統環境準備 1、修改下主機名爲master 2.修改主機名網絡映射 3.配置ssh無密碼登錄 a.創建密鑰對

原创 Centos NAT網絡配置

曾經一度對linux系統很白癡,配個簡單的網絡都不行。努力許久,終於成功的配置了一次網絡。記錄下來,以備忘了的時候查閱。 1.配置虛擬路由器 2.然後配置本機的虛擬網卡地址 3.配置虛擬機地址 嘗試是否能夠連上外網,能連接表

原创 上傳和下載HDFS的文件的小代碼

一段上傳和下載HDFS的文件的小代碼。 import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import

原创 單例設計模式的兩種方式

餓漢式:餓漢式是指,在類加載的時候即new出該類對象。 /** * 餓漢式單例設計模式 * @author ligy * */ class Single1 { // final修飾符可有可無,有的話可有使代碼更嚴謹

原创 實現多線程的兩種方式

java中有兩種實現線程的方法: 1.以繼承Thread類方式實現的線程類,該子類應重寫 Thread 類的 run 方法。接下來可以分配並啓動該子類的實例。 2.以實現Runnable接口實現的線程類,該類然後實現 run 方法。然

原创 計算單詞數量的mapreduce程序

學習階段嘗試寫的第一個MapReduce程序,測試成功跑過。沒有什麼技術難度。記錄下來,以備複習使用。 Mapper代碼如下: import java.io.IOException; import org.apache.commons

原创 HDFS簡易客戶端實例

學習時候的代碼,僅供複習使用 package com.ligy.hadoop.hdfs; import java.io.FileNotFoundException; import java.io.IOException; import

原创 第1條:考慮用靜態工廠方法代替構造器

/** * 第1條:考慮用靜態工廠方法代替構造器 * 優點: * 1.靜態工廠方法有名稱; * 2.不必每次調用的時候都創建一個新的對象 * 3.可以返回類型的任何子類型的對象 * 4.在創建參數化類型實例的時候,使代碼更加簡

原创 定義一個二維int數組,編寫代碼獲取最小元素

<pre name="code" class="html">小試身手定義一個二維int數組,編寫代碼獲取最小元素。 /** * 定義一個二維int數組,編寫代碼獲取最小元素。 * @author ligy * */ public

原创 重寫equals

自定義equals,實現自定義的判斷兩個類是否相等 /** * * @author ligy * */ public class Test1 { public static void main(String[] arg

原创 多線程訪問共享數據的安全問題

當多線程訪問共享數據的時候,會出現線程安全問題,要解決線程安全問題,就是將操作共享數據的地方加同步鎖。保證對操作該共享數據的時候是同步的,就可以解決線程安全問題了。 但是因爲需要判斷鎖,需要消耗資源,導致程序變慢。 public clas