原创 Spring3.2中返回JSON去掉Bean中NULL值
在Spring3.2中返回Json字符串，過濾掉不需要的Bean中屬性對應Json中key的value=null的值，可以同過在Bean中加入註解的方式來過濾使用jackson-all-1.8.1.jar包，在需要序列化輸出Json的
2019-07-19 13:38:39
1
原创 Java調用 shell腳本阻塞
Java在調用Shell時，要不斷讀取進程中標準輸出和錯誤輸出流的信息，否則緩衝區被寫滿就會造成子進程阻塞而無法繼續運行下去，可起兩個線程不斷讀取標準輸出、錯誤流信息而不被阻塞import java.io.BufferedReader;
2019-02-22 15:15:43
4
原创 spark本地運行模式
Spark設置setMaster=local，不提交集羣，在本地啓用多線程模擬運行object SparkUtil { private val logger = Logger.getLogger(getClass.getName,
2019-02-22 15:15:32
原创 scala集合類型與java的轉換
scala集合與java集合類型相互轉換：http://www.scala-lang.org/api/current/index.html#scala.collection.JavaConverters$ 您可以通過JavaConverte
2019-02-22 15:15:32
原创 Spring3.2 MVC框架搭建
最近要做一個Web項目，採用了Spring的MVC框架，特此記錄下這次搭建過程1.準備Spring所需的MVC,IOC,數據庫等Jar包：spring配置文件：2.Web.xml文件 配置攔截請求DispatcherServlet，上下文
2019-02-22 15:15:31
原创 SQL 橫豎錶轉換
橫錶轉換豎表:CREATE table score ( username varchar(10) , chinese int , math int , physics int ); INSERT int
2019-02-22 15:15:31
原创 Vmware複製移動虛擬機網卡啓動失敗
虛擬機克隆 Error:No suitable device found: no device found for connection System eth0Error:No suitable device found: no devic
2019-02-22 15:15:31
原创 Spring中使用Spark連接的DataSource
在Spring中配置Spark hive-thriftserver的連接DataSource與配置其他數據源連接方式是一樣的，如一般Oracle數據源配置，使用如下必須的Jar包：使用JDBC程序示例：package com.hado
2019-02-22 15:15:31
原创 Oracle常用SQL彙總（持續更新）
查看錶空間相關信息SELECT TABLESPACE_NAME, BLOCK_SIZE, --db_block_size大小 INITIAL_EXTENT FROM DBA_TABLESPACES2. 表空間
2019-02-22 15:15:31
原创 hadoop異常 java.io.IOException: Job status not available
Hadoop集羣上跑mapreduce，在job任務執行完成退出時報 java.io.IOException: Job status not available異常。Job client請求job狀態時，Application已經完
2019-02-22 15:15:31
原创 Eclipse下安裝Scala2.10.4插件
Spark編譯的目前都是基於Scala 2.10.4的，安裝Scala插件版本也是選擇2.10.4，否則eclipse會報spark的jar包和scala版本不兼容的錯誤. Scala IDE for Eclipse 不同的Ecl
2018-09-11 09:04:13
原创 kafka0.8.2.1常用命令
## kafka啓動 zookeeper-server start bin/kafka-server-stop.sh nohup bin/kafka-server-start.sh config/server.properties
2018-09-11 09:04:13
原创 Linux 設置時間同步命令
CentOs查看當前系統所用的時區，設置ntpd授時服務之前先調整好時區，例如集羣中提供授時服務主機IP爲192.168.3.1[xubc@master conf]$ date -R Mon, 08 Jun 2015 19:24:39
2018-09-11 09:04:13
原创 impala大數據量查詢/tmp/impala-scratch創建異常
使用impala做大數據量查詢distinct的時候報如下錯誤WARNINGS: Create file /tmp/impala-scratch/24414dab2c19caca:e54b206c5ab149d_24414dab2c19ca
2018-09-11 09:04:13
15