原创 硬鏈接和軟鏈接(hard link&soft link)

包含在目錄中的文件名就是一個文件的硬鏈接(hard link),或簡稱鏈接(link)。 硬鏈接有一下兩方面的限制: 1.不允許用戶給目錄創建硬鏈接。因爲這可能把目錄樹變爲環形圖,從而就不可能通過名字定爲一個文件。 2.只有在同一個系統

原创 unix文件類型

unix文件可以是下列類型之一: 普通文件(regular file)目錄符號鏈接面向塊的設備文件面向字符的設備文件管道(pipe)和命名管道(named pipe)套接字(socket)

原创 系統調用(system call)與應用程序接口(API)

系統調用(system call):通過軟件中斷向內核態發出一個明確的請求 應用程序接口(API):只是一個函數定義,說明了如何獲得一個給定的服務 系統調用屬於內核,而用戶態的庫函數不屬於內核,當用戶態的進程調用一個系統調用時,CPU切換

原创 希爾排序/shell sort

#include<stdio.h> #include<stdlib.h> void shellsort(int array[],int len) { int dk; int i; int

原创 深入理解HBase Memstore

原文出處:http://shitouer.cn/2013/02/configuring-hbase-memstore-what-you-should-know/ MemStore是HBase非常重要的組成部分,深入理解Mem

原创 Hive SQL解析/執行計劃生成流程分析

Hive SQL解析/執行計劃生成流程分析 Hive有三種用戶接口: cli (Command line interface) bin/hive或bin/hive –service cli 命令行方式(默認) hive-se

原创 puppet資源配置

轉自:http://blog.chinaunix.net/uid-23480577-id-3379623.html puppet資源配置 在puppet中基本的配置宣稱叫做資源,像我們在上次學習中寫到的那樣: file { "/etc

原创 分佈式發佈訂閱消息系統 Kafka (A distributed publish-subscribe messaging system)

轉自:http://www.oschina.net/translate/kafka-design 我們爲什麼要搭建該系統 Kafka是一個消息系統,原本開發自LinkedIn,用作LinkedIn的活動流(activity st

原创 編譯運行HBase源碼,安裝hadoop集羣

node1:namenode, datanode, jobtracker, tasktracker,zookeeper, hmaster, hregionserver node2:datanode, tasktracker, hregio

原创 CentOS6.4安裝pydoop

1.download hadoop(http://mirror.nexcess.net/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz) 2. tar -xzvf hadoop-

原创 hbase介紹

來源:http://www.tbdata.org/archives/1509 一、簡介 history  started by chad walters and jim 2006.11 G release paper on

原创 Java Runtime.exec() hangs

有一篇總結的很不錯的文章: http://www.javaworld.com/javaworld/jw-12-2000/jw-1229-traps.html?page=3 有兩種方法可以解決這個問題: 1.採用apache common

原创 Spark & Shark & Tachyon 簡介

Spark是一個高效的分佈式計算系統,相比Hadoop,它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上層的API,同樣的算法在Spark中實現往往只有Hadoop的1/10或者1/100的長度。 Shark類似

原创 系統架構領域的一些學習材料

轉自:http://qing.weibo.com/2244218960/85c41050330031zq.html 系統架構是一個工程和研究相結合的領域,既注重實踐又依賴理論指導,入門容易但精通很難,有時候還要講點悟性,很具有“僞科學

原创 Apache Tez

參考資料: 官方blog: http://hortonworks.com/blog/author/arun_murthy/ svn源碼: http://hortonworks.com/blog/introducing-tez-faster