原创 java之ArrayList源碼解析

public class ArrayList<E> extends AbstractList<E> implements List<E>, RandomAccess, Cloneable, java.io.Serializ

原创 數據結構—基礎知識

首先了解一下數據結構中的概念(只爲了對其有了感性認識) 數據:描述客觀事物的符號,是計算機中可以操作的對象,能夠被計算機識別,並輸入給計算機處理的集合符號。 數據不僅僅包括數值,還包括視頻、音頻、圖片等等 數據元素:是組成數據的、具有一定

原创 Java集合彙總(一)

java中,提供的集合關係: 首先感覺這張圖,開頭有點問題,如果Collection發出的虛線箭頭是實現關係那麼,不應該是Iterator,而應該是Iterable。 Collection類 Collection是集合類最基本的接口,

原创 Linux系統管理—進程管理

Linux中每個進程都有一個獨立的進程號PID,系統通過PID操控進程。其中原始進程是init他的PID總是1。 Linux進程的五種狀態: (1)運行:正在運行或在就緒隊列中等待 (2)中斷:休眠中,正在等待某個事件發生或者等待某個信號

原创 MapReduce1和YARN(MapReduce2)運行機制

在hadoop1.x中,通過設置mapred.job.tracker來決定執行mapreduce機制,如果設置爲local,則使用本地的作業運行器,如果設置爲主機和端口號,則這個地址被解析爲一個jobtracker地址,運行器則將作業提交

原创 MapReduce中作業調度器

Hadoop中作業調度器有三種,分別是先進先出調度器(FIFO)、公平調度器(Fair Scheduler)、容量調度器(Capacity Scheduler),默認是FIFO調度器。 先進先出調度器(FIFO) 按照作業提交的順序運行作

原创 數據結構—線性表(Java、C雙語言實現)

線性表 由零個或多個組成的有限序列。首先他需要是序列,當元素有多個的時候,第一元素無前驅,最後一個元素無後繼,其餘每個元素都有唯一的前驅和後繼。線性表中每個數據元素可以由若干個數據項組成。 線性表的順序存儲 用一段連續的存儲單元,依次存儲

原创 java之IO處理

File文件基礎 文件與目錄抽象路徑名稱的表示,其構造方法有四個 File(File parent,String child):從抽象父目錄下創建一個File實例。 File(String parent,String child):從父目

原创 數據結構—排序總結

排序根據是否使用外存分爲內排序和外排序,內排序只使用內存進行數據存儲,外排序由於數據量比較大需要藉助外存。 排序的穩定性:排序的穩定性是指排序之後相同的數據元素相對位置不變則爲穩定排序,否則爲不穩定排序。 插入排序 直接插入排序 思想:

原创 shuffle和排序

shuffle屬於不斷被優化和改進的代碼庫,是MapReduce的“心臟”。 shuffle可以將其定義爲:map的輸出到reduce的輸入(在一些語境中,代表reduce接受map輸出的這部分) map端 我們知道map產生的輸出是臨

原创 MapReduce的類型與格式

MapReduce類型 map函數和reduce函數常規格式: map:(k1,v1)—>list(k2,v2) reduce:(k2,list(v2))—>list(k3,v3) 如果含有combiner函數 map:(k1,v1)—>

原创 Java中克隆機制

首先了解一下什麼叫做拷貝? Employ e1 = new Employ(); Employ e2 = e1; 這就是拷貝,原始變量與拷貝變量指向相同的引用對象,如果改變其中一個對象的狀態,其他的對象變量的對象狀態也會隨之改變。 什麼叫做

原创 java中頂級父類Object

Object作爲java中所有類的父類,是因爲在其中存放了一些使用頻率非常高的方法,爲了避免重複編寫,所以寫了一個頂級父類。public class Object { private static native void reg

原创 java中反射機制

什麼是Java反射(Reflection)? 程序在運行時(不是編譯時)能夠自我檢查,並且能夠對內部成員進行操作。例如它允許一個java類獲取他所有的變量和方法。利用java中反射機制可以通過Reflection API獲取該類的內部信息

原创 泛型程序設計

泛型介紹 泛型程序設計(Generic programming):可以被很多不同的類型的對象所重用。比那些直接使用Object變量,然後強制類型的轉換的代碼具有更好的安全性和可讀性。 使用類型參數(type parameters)可以將需