原创 簡單描述類加載機制(回顧)

一、概述      一個類是如何到在jvm裏面，到到底幹了哪些事情。 二、類的生命週期 首先簡要講下類的生命週期： 類加載包括：初始化之前的所有步驟。 加載： 通過一個類的全限定名來獲取定義此類的二進制字節流。 將這個字節流所代表

2020-02-21 06:50:16

原创 2012核心部門大會之感悟

今天是2012年大會，大會，就是文化傳播，再此給人以信心。再以獎勵的激勵下，激發員工的激情。 今天大會有幾個點我最感觸： 第一點：關於核心的。 ‘核心的系統、核心的人’在 開始讀《代碼大全》給我最大的感覺。目前核心就是人太浮動了。系

2020-02-21 06:50:16

原创 數據庫大數據量導出多線程版本源碼部分

package com.alibaba.crm.finance.bo.export; import java.io.File; import java.io.IOException; import java.math.BigDecima

2020-02-21 06:50:16

原创 eclipse調優

寫一個插件顯示啓動時間的，插件下載地址：eclipse show start time 第一次啓動的時候： 第二次就19s了 這次15s 今天把 eclipse調試了下，最後的結果是： -vm

2020-02-21 06:50:16

原创 資源定位的問題-URLClassLoader、ServletContext、jetty資源加載

一、問題描述 發現代碼： 在antx.properties中數值爲： finance.abc.ict.port  = 1599   猜測應該是 SysConfig讀取配置文件失敗。基本定位是資源加載的問題。 二、問題定位

2020-02-21 06:50:16

原创 yarn(hadoop2)框架的一些軟件設計模式

一、概述 我們都知道，yarn版本的hadoop無論是從架構上面還是軟件設計的層面上面都比原始的hadoop版本有較大的改進。在架構方面，我們認爲yarn模式是新一代的框架，這個在官方等叢多的資料中說明得很詳細了。在軟件設計方面，我認爲主

2018-09-03 18:54:24

原创 HADOOP2.0,Exception java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/v2/app/MRAppMaster

一、問題 運行yarn的MR程序，發現出現問題，報錯： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/v2

2018-09-03 18:54:24

原创 hadoop相關的一些技巧

分佈式系統比普通程序開發有一些特別的難度，最主要的就是環境問題。本博客將記錄怎麼去解決這些問題，最主要的是一些腳本。後期會連續更新，目前最主要的技巧有： ssh打通：hadoop在部署的時候，各個機器之間肯定要打通，我們不可能手工去敲每

2018-09-03 18:54:24 3

原创 編譯hadoop2.0(0.23.0)及運行的一些問題

svn co http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.0.0-alpha xxx linux： 參考$HADOOP_HOME/BUILDING.t

2018-09-03 18:54:24

原创 hadoop2包結構及包功能大致介紹

一、概述 hadoop2的設計細想比hadoop1進步了很多，畢竟hadoop1是幾年前的東西了。軟件設計的理論在這幾年中發展很快，出現了很多的軟件設計理論 如：領域驅動模型、事件驅動模型、狀生命週期管理等，也出現了很多的開源的解決方案

2018-09-03 18:54:24

原创 2012杭州QCon全球軟件開發大會所見所聞所悟

一、概述 每次聽完一些技術分享，都會寫一篇分享，一方面也是我自己對論壇的一些總結，另一方面也是想把我自己的一些感受分享出來，上一篇是《2012年阿里技術嘉年華所見所感所悟》。這真是一個美好的時代，我們能從互聯網上學習到這麼多好的東西，也能

2018-09-03 18:54:24 2

原创 談談hadoop日誌限制的問題

一、概述 hadoop中主要有三類的MR任務：普通javaMR、streaming、pipes。其中streaming與pipes本質是差不多的，都會創建一個新的進程（除child外的），streaming是基於in、out、err標準

2018-09-03 18:54:24

原创 2012年阿里技術嘉年華所見所感所悟

一、概述 這個週末參加了《阿里技術嘉年華》，這個可以說算是國內一流的免費交流會了。多個公司的技術牛人聚集在杭州共同探討IT技術。當然很多是阿里的同學，不過也有百度、騰訊、網易，甚至還有小米、360、證劵交易所公司的同學。阿里提供了這

2018-09-03 18:54:24

原创 系統健壯性的思考

一、概述 最近系統有兩個故障都跟系統健壯有很大的關係。爲此，我們不得不進行思考，如何提高系統的健壯性。系統在經過功能測試後，對於正常的業務數據處理往往沒有任何的問題，但是對於一些異常的數據、異常的業務處理就會出現系統集羣不可用等災難性

2018-09-03 18:54:24

原创 hadoop mr類圖大綱

分析一框架，莫過於類圖，近日，親自畫此類圖。 高清圖：http://img1.ph.126.net/pngTQtip2YZ5JR_yqdNSmQ==/6597918589632662351.jpg 主要分爲： client、JobTr

2018-09-03 18:54:24 1