原创 站在新語言平臺上再談"組合"與"繼承"

長久以來,OO編程思想的一個重要信條是:多用組合,少用繼承,這被廣爲接受和認可。Scala引入Trait(特質)之後,這一點“似乎”受到了衝擊,你可以看到,在很多Scala代碼裏出現了通過繼承多個Trait爲一個Class混入(追

原创 Scala之自身類型(Self Type)與蛋糕模式(Cake Pattern)

目錄 設計一輛車 第一版的實現基於繼承 第二版的實現基於組合 引入自身類型Self Type 引入蛋糕模式Cake Pattern 利弊得失 本文基於Gregor Heine分享的PPT《Scala Self-Types》

原创 再談Scala集合

集合!集合!一個現代語言平臺上的程序員每天代碼裏用的最多的大概就是該語言上的集合類了,Scala的集合豐富而強大,至今無出其右者,所以這次再梳理一下。 本文原文出處: 本文原文鏈接: http://blog.csdn.net/bl

原创 基於Akka-Streams的HTTP代理的實現

Akka-Streams是一個讓人激動的Reactive Streams的框架,Akka-Http也是構建在其之上,除了內置背壓模式的支持,使用其DSL構建一個Graph也是一個讓人驚豔的過程。對於Akka-Streams的介紹會

原创 OpenTSDB安裝極簡備忘

1. Download https://github.com/OpenTSDB/opentsdb/releases 2. Install Depenency: Gnuplot yum -y install gnuplot 3.

原创 我們爲什麼放棄SBT迴歸Maven

推薦:博主歷時三年傾注大量心血創作的《大數據平臺架構與原型實現:數據中臺建設實戰》一書已由知名IT圖書品牌電子工業出版社博文視點出版發行,真誠推薦給每一位讀者!點擊《重磅推薦:建大數據平臺太難了!給我發個工程原型吧!》瞭解圖書詳情

原创 重磅推薦:建大數據平臺太難了!給我發個工程原型吧!

  ​1. 故事緣起:我們需要工程原型!   從2008年Hadoop成爲Apache的頂級項目開始,大數據技術迎來了十多年的持續發展,其間隨着Spark的異軍突起,整個大數據生態圈又經歷了一次“裝備升級”,變得更加完善和強大。

原创 Maven War 插件Classes文件夾打爲Jar包的Bug與解決方法

有時候我們需要利用Maven Resource管理的過濾功能將某些文件中的${XXX}變量在構建時進行動態替換,但同時我們不希望這些文件被加入到jar包中,因爲它們是在jar包外或者只是部署時有用,這個需求在Maven的Jar插件

原创 BlockingQueue在任務調度中的精彩應用

問題來了… 我們正在構建的系統需要從外部第三方系統中採集數據,受不可控的外部環境的影響,我們的數據採集工作經常被阻塞,一種典型的情況是:某個目標數據庫因爲要同時處理多個外圍系統疊加的查詢請求而經常響應緩慢,從而導致我們的Job嚴重

原创 MySQL常見問題與常用語句彙總

文章目錄root用戶初始登入與重置密碼允許root用戶遠程登入爲特定數據庫創建特定用戶並賦予權限導出完整的數據庫到SQL腳本,只包含schema導出完整的數據庫到SQL腳本,包含schema和insert語句執行SQl腳本 把My

原创 Pull模式下流計算頻率與週期相關性的分析

本文討論的話題有一些特定的背景,這裏的“流計算”具體指的是以Spark Streaming爲代表的Micro Batch一類的流式計算框架,因此會涉及到Batch Duration、Window以及Slide等概念。在架構層面上,

原创 Scala之::的研究

一個很細節的問題,簡單總結一下。::在Scala裏有兩種含義,一種是List集合的一個方法,用於把一個元素添加到集合的前面;另一種表示一個非空的List集合,往往應用於模式匹配中。本文原文出處: http://blog.csdn.

原创 Why Should HBase RegionServer & Hadoop DataNode Colocate?

Some basic background information first, HBase, as a distributed NoSQL database, its slave (worker) node is named “

原创 Scala之集合上常見的函數式風格的操作彙總

目錄 過濾相關的操作 filter 解釋 示例 partition 解釋 示例 find 解釋 示例 takeWhile 解釋 示例 映射相關的操作 map 解釋 示例 flatMap 解釋 示例 示例

原创 Java應用/JDBC/Squirrel在Kerberos認證時報Unable to obtain Principal Name for authentication的解決方法

Java應用/JDBC/Squirrel在Kerberos認證時報Unable to obtain Principal Name for authentication的解決方法 關於如何在Windows本地安裝配置Kerberos