原创 簡短使用的HADOOP2版本的安裝配置

hadoop2.0已經發布了穩定版本了,增加了很多特性,比如HDFS HA、YARN等。 注意:apache提供的hadoop-2.2.0的安裝包是在32位操作系統編譯的,因爲hadoop依賴一些C++的本地庫, 所以如果在64位的操作上

原创 Java面試題:靜態塊、塊、構造函數的初始化順序

自己做了幾遍,每次的輸出結果都不一樣。有時候父類的構造方法中的兩個輸出中竟然會穿插子類的非靜態類方法體。按照網上http://blog.csdn.net/fang3081004/article/details/7764306的做法,沒有

原创 官方譯文【hadoop yarn 運行原理剖析】

雖然效率比較低,還是感覺翻譯一下走腦走心。。。。不見得全背過,思想猶存。。。猶存。。 Hadoop MapReduce Next Generation -Writing YARN Applications [ Go Back ] Hado

原创 hadoop中mapreduce的常用類

寫這個文章的時候才意識到新舊API是同時存在於1.1.2的hadoop中的。以前還一直納悶兒爲什麼有時候是jobClient提交任務,有時是Job...不管API是否更新,下面這些類也還是存在於API中的,經過自己跟蹤源碼,發現原理還是這

原创 hive與mysql的整合

hive與mysql的整合 1. 配置文件hive-site.xml的修改< property> <name>javax.jdo.option.Co

原创 concurrent包中atomic中的怪異現象

呃。。記錄一個比較奇怪的現象。。。待於以後實際開發中測試後選擇 package cn.itcast.heima2; import java.util.concurrent.atomic.AtomicInteger; public c

原创 java面試中多態的細節問題

話不多說,先貼代碼 package com.chenxin; public class TestForPolymorphism { public static void main(String[] args) { Cat cat

原创 hive深度理解與調優

參考一些文件弄過來。。。。。讀了一遍,沒有完全記住。呵呵,留着以後當手冊用,沒事兒來翻。 8.1 針對每次簡單查詢都會使用mapreduce,設置hiveconf hive.fetch.task.conversion=more。通過F

原创 老鳥程序員走的坑

轉眼畢業已經近十年了。。。回頭看看,挺平整的路走,被自己走的卻都是坑;把自己這幾年走的路分享給迷茫的童鞋門。希望你們能從我身上吸取點教訓; 第一份工作:05年畢業,導師推薦去了北京一家圖商公司做軟件開發,C和C++(當時的領導不錯,專

原创 使用java自帶工具監控jvm運行狀態

1.jps:查看當前運行着的java進程(仿linux下的ps),顯示進程號2. jinfo: 查參數jinfo -flagPermSize 2208(進程號)             jinfo -flag MaxPermSize 2

原创 eclipse遠程調試Tomcat, Hadoop集羣等

主導是JPDA(Java Platform Debugger Architecture), 它支持java中的各種調試,由兩個接口(JVM Tool Interface和JDI)、一個協議(JDWP)和兩個用於合併它們的軟件組件(後端和前

原创 IT人-不要一輩子靠技術生存

我現在是自己做,但我此前有多年在從事軟件開發工作,當回過頭來想一想自己,覺得特別想對那些初學JAVA/DOT。NET技術的朋友說點心裏話,希望你們能從我們的體會中,多少受點啓發(也許我說的不好,你不贊同但看在我真心的份上別扔磚頭啊).

原创 關於threadlocal的來龍去脈

引用其他麻油的評論: 對TLS更簡單的,但是更直觀的理解可以如下(基於C語言):1. 全局對象,全局變量的作用域和生命週期是全局的,這裏的全局是指進程範疇,也就是說,如果你將其設計爲全局對象,全局變量,就意味着你希望在多線程的環境中,仍然

原创 eclipse與hadoop

1. 插件的編譯與應用 http://blog.csdn.net/xiangaichou/article/details/20244735 按照這篇文章做的。試了很多次沒有成功,後面莫名其妙的就好了。起碼證明這種方式沒有錯誤,所以存下。另

原创 雲計算環境搭建: hadoop-1.1.2 + zookeeper-3.4.5 + hbase-0.94.7

看了長時間的原理和機制,終於有了兩天閒工夫,系統的實施一下環境搭建。綜合參考官網文檔以及其他版本安裝的腳步,寫下來,加深一下自己的理解與記憶。 清口水果: 1. 安裝JDK,配置環境變量,javac驗證; 2. 確定實驗需要使用的用戶,