原创 kafka sasl+acl權限及配額管理
Kafka開啓使用 SASL_PLAINTEXT認證 1、進入config目錄，增加如下配置文件： （1）touch kafka_server_jaas.conf 配置如下： KafkaServer {
2018-11-30 15:32:23
原创 Java httpclient實現CAS單點登錄
最近項目中遇到CAS授權的系統，客戶端需要調用https接口獲取數據，下面給出具體怎麼通過CAS授權的代碼示例。 public class SSLClient extends DefaultHttpClient { public SS
2018-09-19 00:38:38
1
原创 volatile關鍵字詳解
最近在優化多線程之間鎖同步的問題，看到一篇文章關於volatile的理解講的非常好文章轉於：http://www.importnew.com/24082.html 一、Java內存模型想要理解volatile爲什麼能確保可見
2018-08-28 13:39:40
3
原创 Kafka高性能架構之道
本文轉發自技術世界，原文鏈接 http://www.jasongj.com/kafka/high_throughput/ 本文從宏觀架構層面和微觀實現層面分析了Kafka如何實現高性能。包含Kafka如何利用Part
2018-08-28 13:39:40
原创 JAVA10 新特性
JAVA10發佈也有一段時間了，這段時間正好有空，從官網更新了JDK玩了玩。在使用中卻發現以前版本的eclipse以及idea都不支持JAVA10，我想可能是因爲var類型的引入，IDE需要做適配吧。所幸的是，eclipse4.7
2018-08-28 13:39:40
原创 Spark Streaming 流計算狀態管理
spark流計算的數據是以窗口的形式，源源不斷的流過來的。如果每個窗口之間的數據都有聯繫的話，那麼就需要對前一個窗口的數據做狀態管理。spark有提供了兩種模型來達到這樣的功能，一個是updateStateByKey，另一個是ma
2018-08-28 13:39:38
1
原创 Java8 新特性之流式數據函數式編程
一. 流式處理簡介在我接觸到java8流式處理的時候，我的第一感覺是流式處理讓集合操作變得簡潔了許多，通常我們需要多行代碼才能完成的操作，藉助於流式處理可以在一行中實現。比如我們希望對一個包含整數的集合中篩選出所有的偶數，並將其封裝成爲一
2018-08-28 13:39:38
原创 Spark DataFrame transformation操作報錯問題
在Spark2.0之後版本中，當對DataFrame對象進行transformation操作的時候，編譯階段不會報錯，但是運行階段就會拋出異常，提示這樣的錯誤信息：<console>:26: error: Unable to fi
2018-08-28 13:39:38
3
原创 hive2.3部署實踐踩過的一些坑
1、錯誤1： Exception in thread "main"java.lang.RuntimeException: java.lang.IllegalArgumentException:java.net.URISyntaxExcep
2018-08-28 13:39:38
原创 Scala隱式轉換幾種使用場景
Scala提供的隱式轉換的特性的作用，簡單說就是：當Scala編譯器進行類型匹配時，如果找不到合適的類型，那麼隱式轉換會讓編譯器在作用範圍內自動推導出合適的類型，在代碼重構設計上，可以避免冗餘的代碼，使得代碼非常優雅。 使用
2018-08-28 13:39:38
2
原创 利用伴生對象構建Scala單例
在Scala語法中，並沒有靜態成員，所以並不能像Java一樣構建單例。但是他擁有伴生對象的特性，所以可以利用這一點來達到同樣的目的。 伴生對象類型爲object，名稱和class保持一致，那麼這個object就是此class
2018-08-28 13:39:38
4
原创 parquet研究及與spark的聯合使用
這段時間因爲項目，對parquet做了一系列研究，從寫入跟蹤到合併及spark使用等等場景。 選擇parquet來對流數據進行序列化，用於後續離線分析的理由有以下幾點： 1、流數據一般格式比較雜亂，可以跳過不符合條件的
2018-08-28 13:39:38
原创 expect4j使用體會心得
在實際的生產項目中，往往涉及很多的人機交互，這個時候想要程序自主完成一些動作，就顯得比較麻煩，比如輸入登錄密碼或者和一些堡壘機做交互。下面講一下如何應用expect4j來實現這些功能。 expect4j同樣也是基於ssh協議
2018-08-28 13:39:38
原创 SparkStreaming2.2+kafka的偏移量管理
在從kafka接受流式數據的時候，spark提供了兩種方式，Dstream和DirectStream，在spark2.2中已經不在提供第一種方式，具體區別這兒就不再描述了，第二種方式spark是用的kafka低階api，每個RDD對應一個
2018-08-28 13:39:38
原创 Scala的高階函數使用總結
函數在Scala語言中有着舉足輕重的地位，它和類，變量同樣屬於一等公民的地位，函數可以脫離類而獨立存在，同時自己也可以作爲參數傳遞給其他函數。 匿名函數scala> val sayHello = (name: String)
2018-08-28 13:39:38