原创 hadoop異常 java.io.IOException: Job status not available
Hadoop集羣上跑mapreduce，在job任務執行完成退出時報 java.io.IOException: Job status not available異常。Job client請求job狀態時，Application已經完
2018-09-11 09:04:13
1
原创 Scala處理json數據
參考官網：https://www.playframework.com/documentation/2.0.1/ScalaJson json的操作類似scala.xml._ api的特性val json: JsValue = Json.par
2018-09-11 09:04:13
原创 Oracle中segment extent block之間關係
tablespace是邏輯上的概念，datafile是物理上的概念。一個tablespace可以由多個datafile組成，一個datafile不能跨越多個tablespace。table中的數據,通過hash算法分佈在tablespace
2018-09-11 09:04:13
40
原创 採用存儲過程的方式批量更新數據
採用存儲過程的方式批量更新數據，Oracle中也可採用merge-update的方式更新，不過採用如下存儲過程的方式會更快些DECLARE MAX_ROWS NUMBER DEFAULT 5000; ROW_I
2018-09-11 09:04:13
原创 Spring3.2 MVC框架搭建
最近要做一個Web項目，採用了Spring的MVC框架，特此記錄下這次搭建過程1.準備Spring所需的MVC,IOC,數據庫等Jar包：spring配置文件：2.Web.xml文件 配置攔截請求DispatcherServlet，上下文
2018-09-11 09:04:13
原创 Spring下 將父類屬性轉化爲Json屬性字段
使用Jackson的註解@JsonAutoDetect來標識bean屬性自動檢測級別1. ANY:任何級別的字段都可以自動識別2. NONE:所有字段都不可以自動識別3. NON_PRIVATE:非private修飾的字段可以自動識別4.
2018-09-11 09:04:13
1
原创 Linux 常用小命令
記錄工作中常用的Linux命令，方便自己查詢 1. watch -n 1 cmd 每過一秒執行一次cmd命令 2. time cmd shell中統計cmd執行時間 3. ps -ef | grep pro_na
2018-09-11 09:04:13
原创 Spark stdout日誌亂碼
採用Apache版本spark1.2.1時沒有出現亂碼，但spark-1.1.0-cdh5.2.1版本中，在分佈處理的map函數裏對數據進行打印輸出進行debug時val rs = rdd.filter(e => {val (lable
2018-09-11 09:04:13
1