原创 hbase-各版本特性

1.0 1.API的變化,比如放棄了客戶端幾個重要的API:( HTableInterface, HTable,HBaseAdmin),建議程序升級到新的API,老的PAI會在2.X中刪除。 2.不重啓regionserver的情況下

原创 kafka-各版本特性

0.8.2 Kafka已經內置了機架感知以便隔離副本,這使得Kafka保證副本可以跨越到多個機架或者是可用區域,顯著提高了Kafka的彈性和可用性。這個功能是由Netflix提供的   所有Kafka中的消息都包含了時間戳字段,這個時

原创 spark-各版本特性

0.3 Save Operations You can now save distributed datasets to the Hadoop filesystem (HDFS), Amazon S3, Hypertable, and

原创 java-jdk各版本特性

JDK1.5 1:自動裝箱與拆箱 2:枚舉 3:靜態導入 4:可變參數(Varargs) 5:內省(Introspector) 6:泛型(Generic) 7.For-Each循環 JDK 1.6 1:Desktop類和SystemT

原创 java-線程池示例

package concurrency; import java.util.Random; import java.util.concurrent.*; /** * 1、用ThreadPoolExecutor自定義線程池,看線程是

原创 java-併發讀取數據庫

List<Map<String, Map<String, String>>> data = new ArrayList<>(13); //線程池 ExecutorService threadPool

原创 java-字符串工具類

除了用比如apache commons 等第三方的工具類 自己實現一個 也是不錯的選擇 import java.io.UnsupportedEncodingException; import java.util.ArrayList

原创 java-數字精確運算工具類

由於Java的簡單類型不能夠精確的對浮點數進行運算,這個工具類提供精 確的浮點數運算,包括加減乘除和四捨五入。 import java.math.BigDecimal; public class Arith{ //默認除法運算精度

原创 oracle-存儲過程代碼示例

存儲過程代碼示例 declare proc_date date not null default sysdate; --常量 const_lbs_brch_bj VARCHAR2(2) := 'BJ'; const_

原创 Scala-通過ProcessBuilder執行hive命令

通過java進程構建工具直接執行hive sql 提交MR任務 import java.io.{BufferedReader, InputStreamReader} import org.apache.spark.Logging

原创 spark-以cluster模式執行spark sql 工具

在spark開發過程中 如果遇到spark-sql 命令無法使用或者需要通過cluster模式提交任務的情況下 可以使用以下工具, 在sparksql.sh中配置spark-submit 參數 然後執行腳本 ./sparksql.sh

原创 scala-jdbc連接池和工具類

連接池 import java.sql.{Connection, DriverManager} import java.util.{LinkedList, ResourceBundle} import org.apache.spar

原创 oracle-可變數組

–可變數組 –可變數組與嵌套表相似,也是一種集合。一個可變數組是對象的一個集合,其中每個對象都具有相同的數據類型。可變數組的大小由創建時決定。在表中建立可變數組後,可變數組在主表中作爲一個列對待。從概念上講,可變數組是一個限制了行集合

原创 oracle-臨時表

– 臨時表就是用來暫時保存臨時數據(亦或叫中間數據)的一個數據庫對象,它和普通表有些類似,然而又有很大區別。它只能存儲在臨時表空間,而非用戶的表空間。ORACLE臨時表是會話或事務級別的,只對當前會話或事務可見。每個會話只能查看和修

原创 基礎-SQL

聽一位技術大牛說一句話,一流的人才做規範,二流的人才做服務,三流的人才做應用 所以越是普遍和抽象的 越是技術的本質,越是技術最重要 最基礎的精華。 select子句 select branch_name from loan se