原创 阿里雲EMR安裝Kylin踩坑

1. Kylin報找不到hive-site.xml的問題 在/etc/profile下添加系統參數 2. Kylin報hbase-common lib not found 因爲kylin.sh 裏面調用了find-hbase-

原创 Flink重啓策略機制RestartStrategy源碼解讀

版權說明:本專欄是作者在日常工作期間對技術的不斷深入研究後的沉澱,辛苦碼字總結而成。嚴禁轉載,嚴禁作爲商業用途轉發。歡迎同行加入大數據技術羣QQ:427560730 版本號:Flink1.10.0 重啓策略概覽: public s

原创 常用排序算法:歸併排序與快速排序

一、歸併排序 歸併排序(MERGE-SORT)是利用歸併的思想實現的排序方法,該算法採用經典的分治(divide-and-conquer)策略(分治法將問題分(divide)成一些小的問題然後遞歸求解,而治(conquer)的階段則將分的

原创 大數據遷移利器StreamSet教學-SqlServer同步到Hive

業務背景 公司上大數據,要把sqlserver裏的業務數據實時同步到大數據平臺上。幾天調研後選擇StreamSet作爲ETL工具。技術選型的理由主要有幾點: sqlserver的坑太深,網上找了很多工具對sqlserver的支持