原创 spark-依賴包添加方式
1、上傳到HDFS 創建 archive: jar cv0f spark-libs.jar -C $SPARK_HOME/jars/ . 上傳jar包到 HDFS: hdfs dfs -put spark-libs.jar /s
2019-07-28 13:16:38
原创 spark-面試題（含答案）
1 var, val和def三個關鍵字之間的區別? var immutable variable val mutable variable def function defined keyword 2.object 和 class
2019-06-10 13:24:53
原创 數據結構-hash-碰撞解決方法
Hash是一種校驗方法，其中應用最廣爲人知的就是 HashMap。當然Hash算法並不完美，有可能兩個不同的原始值在經過哈希運算後得到同樣的結果，這樣就是哈希碰撞。 開放地址法 開放地執法有一個公式:Hi=(H(key)+di)
2019-06-10 13:24:53
原创 kafka-高性能祕密
利用Partition實現並行處理 機器間的並行處理 磁盤間的並行處理 一個Partition只能被一個Consumer消費 Partition的個數決定了最大並行度 ISR實現CAP中可用性與數據一致性的動態平衡 由於Lead
2019-06-10 13:24:53
原创 java函數式編程-Stream-collect()練習
java函數式的本質 個人感覺 就是把抽象的接口當做函數處理的引用 去除了面向對象的細節 import com.google.common.collect.ImmutableList; import com.google.common
2019-04-10 01:04:34
原创 elasticsearch-各版本特性
5.0 支持Lucene 6.x Instant Aggregations，在Shard層面提供了Aggregation緩存 新增 Sliced Scroll類型，現在Scroll接口可以併發來進行數據遍歷了。每個Scroll請求，可
2019-03-29 13:14:52
1
原创 spring-各版本特性
3.1 添加了引入環境profile功能 添加了@enable註解，使用特定功能 添加了對聲明式緩存的支持，能夠使用簡單的註解聲明緩存邊界和規則 添加的用於構造器注入的c命名空間，類似與Spring2的p命名空間，用於對應屬性注入 開
2019-03-29 13:14:50
原创 myql-各版本特性
4.1 2002年發佈的4.0 Beta版，至此MySQL終於蛻變成一個成熟的關係型數據庫系統。 2002年mysql4.1版本增加了子查詢的支持， 字符集增加UTF-8， GROUP BY語句增加了ROLLUP， MySQL.use
2019-03-29 13:14:50
原创 j2ee-各版本特性
Java Platform, Enterprise Edition Java EE 5 發佈時間：2006 年 5 月 Web Services Technologies » Read more Implementing Ent
2019-03-29 13:14:50
原创 java-函數式編程-並行Demo
package lamada; import org.junit.Test; import java.io.IOException; import java.nio.charset.StandardCharsets; import
2019-03-26 01:08:12
原创 數據倉庫-ETL系統
數據分析 變化數據獲取系統 1.審計列 2.定時獲取 3.全差異比較 4.數據庫日誌抓取 5.消息隊列監控 獲取系統 數據清洗系統 1.質量屏幕 2.對質量事件的響應 錯誤事件模式 審計維度裝配器 重複數據刪除系統 一致性系統 緩慢變
2019-03-26 01:08:12
原创 java-函數式編程-設計模式
命令模式 package pattern; import java.util.ArrayList; import java.util.List; public class CommandPattern { public
2019-03-23 01:14:51
原创 java-併發-鎖
自旋鎖 package concurrency.lock; import java.util.concurrent.atomic.AtomicReference; /** * 自旋鎖（spinlock）：是指當一個線程在獲取鎖的時候
2019-03-20 01:11:18