原创 【Hadoop】MapReduce Job Files
Hadoop運行一個MapReduce Job後，JobTracker和TaskTracker都需要創建/維護一系列的文件以便運行/管理/監控job。其中，有部分job files存儲在HDFS從而可以分發到各個TT，有部分存儲在JT和T
2020-02-21 15:07:52
原创 【Hadoop】Simple Authentication
最近在寫一個MapReduce程序，需要從DB裏面讀取某些數據，但是公司內所有的DB都是Kerberos方式認證，在這種情況下如何傳遞kerberos credential，Hadoop如何利用Kerberos認證？因而有必要對其認證機制
2020-02-21 15:07:52
原创 【Reading】2013-10，11，12
http://www.chrisstucchio.com/blog/2013/hadoop_hatred.html http://www.forbes.com/sites/ciocentral/2013/10/09/dont-use-h
2020-02-21 15:07:52
原创 【Hadoop】RPC Serialization Format
本文學習如何將遠程調用的輸入參數和輸出返回值的序列化格式，代碼描述參考 http://blog.csdn.net/tragicjun/article/details/8963129 org.apache.hadoop.ipc.Clien
2020-02-21 15:07:42
原创 Browser Caching for GWT RPC Response
最近在學習Web System中的Caching技術，其中一種常見的是browser cache，對HTTP GET response應用cache，並通過某些HTTP Header字段控制cache policy。然而，我們web se
2020-02-21 15:07:42
原创 Spark RDD計算機制剖析
通用的分佈式計算框架，爲了降低學習和使用門檻，便於用戶直觀理解，一般會盡量簡化上層抽象（姑且定義爲邏輯層），RDD之於Spark就是最核心的邏輯層抽象。然而，當你深入框架內部實現（對應來說就是物理層），通常會進入另一個世界，透過現象看
2019-03-17 19:22:24
原创 SVM Kernel學習筆記
SVM是機器學習裏應用最廣泛的模型之一，而說起SVM大家一般都會提kernel，有叫kernel function也有叫kernel trick的。這是因爲實際的應用中，沒有kernel的SVM也就是一個線性分類器，與LR（logisti
2018-08-25 22:33:41
原创 Docker時代來了，你準備好了嗎
剛剛過去的2014年或許是史上最熱的一年，在這火熱的年份裏，Docker 也好似一支被點燃的火箭，掀起一股股熱浪。Docker之所以如此受人矚目，並不是因爲它創造了多麼神奇的技術，而是因爲它重新定義了軟件的交付方式，進而將改變傳統“開發-
2018-08-25 22:33:17
1
原创 Ansible Tryout
下載鏡像，容器運行 docker pull ansible/centos7-ansible docker run -it --rm ansible/centos7-ansible -e ANSIBLE_HOST_KEY_CHECKING=
2018-08-25 22:33:17
原创 【Reading】2014-07, 08
Lamda Architecture http://radar.oreilly.com/2014/07/questioning-the-lambda-architecture.html 這篇文章出自Linkedin工程師之手，主要討論了L
2018-08-25 22:33:13
1
原创 【Hadoop】JobQueueTaskScheduler
JobQueueTaskScheduler是JT默認的任務調度器，其本質上維護一個priority-based FIFO作業隊列，基本的機制是優先調度高優先級/提交時間早的作業。但是，具體的調度策略需要綜合考慮一系列的問題，比如clus
2018-08-25 22:33:12
2
原创 【Reading】2014-01, 02
http://blog.cloudera.com/blog/2012/01/an-update-on-apache-hadoop-1-0/ Cloudera Blog上的這篇文章描述了Apache Projects通常的branching
2018-08-25 22:33:10
4
原创 【Hadoop】Important Jiras Thoughout History
回顧Hadoop發展歷史中的一些重要jira，對於學習和理解Hadoop設計原理和工作機制很有幫助，讓你看到Hadoop commiters是如何一步步改進系統的。這裏記錄下個人覺得可以深入學習的jira。 https://issues.
2018-08-25 22:33:10
原创 Flynn初探：基於Docker的PaaS平臺
Flynn是一個開源的PaaS平臺，可自動構建部署任何應用到Docker容器集羣上運行，其功能特性與組件設計大量參考了傳統的PaaS平臺Heroku。本文旨在從使用動機、基本對象、層次架構、功能組件、基本工作流這幾個方面對Flynn做總體
2018-08-25 22:33:08
6
原创 【Java】Upload file to web services
content = new String(DatatypeConverter.parseBase64Binary(content)) 最近需要寫一個web service API提供給前臺調用，用以上傳文件內容，API如下： pub
2018-08-25 22:33:08