原创 HADOOP:HDFS的核心知識

Hadoop的核心是mapreduce和hdfs。 hdfs 什麼是HDFS及HDFS架構設計? 全稱Hadoop Distributed File System(即Hadoop的分佈式文件系統)。Hadoop分佈式文件系統

原创 HADOOP:MapReduce 的類型及常見知識

hadoop 2.x 版本 類型的簡單說明 在Hadoop的 MapReduce中,map和reduce函數遵循如下常規格式。 map(K1,V1) --> list(K2,V2) reduce(K2,list(V2))

原创 回首Java——深入理解HashMap相關

讀這篇文章可以學到什麼? 什麼是哈希(Hash)值? 什麼是HashMap?什麼又是HashSet? 它們的區別和聯繫是什麼? HashMap的實現原理是什麼? 什麼是哈希(Hash)值,hashCode()又是什麼?

原创 回首Java——Java序列化機制(Serialization,Deserialization)

Java 序列化簡介 Serialization(序列化)是JDK 1.1 中引入的一組開創性特性之一,是一種將對象以一連串的字節描述的過程,以便存儲或傳輸的機制;反序列化deserialization是一種將這些字節重建成一

原创 LINUX: ftp,sftp,scp網絡傳輸命令配置及使用

ftp ftp是linux比較經典的命令之一,是由File Transfer Protocol協議縮寫而來,ftp用作下載文件在因特網上使用廣泛,大多數瀏覽器都支持ftp命令,URI:ftp:// .即能夠讓用戶在互聯網中上傳、

原创 JAVA : I/O系統

* java.io java的核心庫java.io提供了全面的IO接口。包括:文件讀寫、標準設備輸出等。Java中IO是以流爲基礎進行輸入輸出的,所有數據被串行化寫入輸出流,或者從輸入流讀入。 通過數據流、序列化和文件系統提供系統

原创 HADOOP:HIVE常用知識總結

HIVE簡介 hive (數據倉庫工具):hive是基於Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射爲一張數據庫表,並提供簡單的sql查詢功能,可以將sql語句轉換爲MapReduce任務進行運行。 其優點是學習

原创 JAVA : 反射機制

反射機制 JAVA反射機制是在運行狀態中,對於任意一個類,都能夠知道這個類的所有屬性和方法;對於任意一個對象,都能夠調用它的任意方法和屬性;這種動態獲取信息以及動態調用對象方法的功能稱爲java語言的反射機制。 JAVA反射(放

原创 立個flag

過了好長時間,看起之前自己寫的博客似乎都太簡單和隨意了,心裏有點傷悲,特在此立個flag,以後每週都堅持寫幾篇記錄一週學習與工作中遇到的事情和知識。 點贊 收藏 分享 文章舉報

原创 LINUX : 搭建SVN服務器

SVN是Subversion的簡稱,是一個開放源代碼的版本控制系統。說得簡單一點SVN就是用於多個人共同開發同一個項目,共用資源的目的。 svn服務器有2種運行方式:獨立服務器和藉助apache運行。兩種方式各有利弊,用戶可以自

原创 正則表達式

什麼是正則表達式 正則表達式是一種特殊的字符串模式,用於匹配一組字符串,簡單的說,正則表達式是一種符號表示法,用於識別文本模式,在某種程度上,它們類似於匹配文件和路徑名時使用的shell通配符,但其用途更廣泛。

原创 HADOOP:Hadoop生態系統

主要針對hadoop 2.x Hadoop是什麼 ? Hadoop是一個開源框架(平臺),能夠對大量數據進行分佈式處理。 Hadoop框架的核心是HDFS和MapReduce,YARN(Yet Another Resource

原创 LINUX: 配置自己的網卡信息

手動配置網卡參數 以redhat7系統爲例,Linux系統中的一切都是文件,配置網絡的工作其實就是在編輯網卡配置文件。 網卡的配置文件在/etc/sysconfig/network-scripts 下 而系統默認

原创 AVRO : 常用知識總結

AVRO介紹說明 它可以提供: 1 豐富的數據結構類型 2 快速可壓縮的二進制數據形式 3 存儲持久數據的文件容器 4 遠程過程調用RPC 5 簡單的動態語言結合功能,Avro和動態語言結合後,讀

原创 LINUX: 關於SELinux

推薦一篇很棒的文章,http://blog.csdn.net/myarrow/article/details/9856095/ 點贊 收藏 分享 文章舉報 走在架構師的