原创 hive中拉鍊表
在有些情況下，爲了保持歷史的一些狀態，需要用拉鍊表來做，這樣做目的在可以保留所有狀態的情況下可以節省空間。 拉鍊表適用於以下幾種情況吧 數據量有點大，表中某些字段有變化，但是呢變化的頻率也不是很高，業務需求呢又需要統計這種變化
2020-07-05 17:15:06
1
原创 拉鍊表算法
所謂拉鍊，就是記錄歷史。記錄一個事物從開始，一直到當前狀態的所有變化的信息。 在歷史表中對客戶的一生的記錄可能就這樣幾條記錄，避免了按每一天記錄客戶狀態造成的海量存儲的問題： （NAME）人名 （START-DATE）開始
2020-02-22 15:33:05
2
原创 Spring Boot 集成Shiro和CAS
請大家在看本文之前，先了解如下知識點： 1、Shiro 是什麼？怎麼用？ 2、Cas 是什麼？怎麼用？ 3、最好有spring基礎 可以先看看這兩篇文章，按照這2篇文章的內容做一遍： Spring Boot Shiro 權限管理
2020-02-22 15:33:05
1
原创 executor-cores參數並未對vcores生效的原因分析
雖然目前大多數平臺內置Application在提交時，只配置了–num-executors和–executor-memory參數，但是其他APP的開發者可能會配置–executor-cores參數。 舉個例子： ./Spark-submi
2020-02-22 15:32:55
1
原创 大數據競賽平臺——Kaggle 入門
原文鏈接：http://blog.csdn.net/u012162613/article/details/41929171 大數據競賽平臺——Kaggle 入門篇 這篇文章適合那些剛接觸Kaggle、想盡快熟悉Kaggle並且獨
2020-02-22 15:32:54
6
原创 漫談數據倉庫之維度建模
0x00 前言 下面的內容，是筆者在學習和工作中的一些總結，其中概念性的內容大多來自書中，實踐性的內容大多來自自己的工作和個人理解。由於資歷尚淺，難免會有很多錯誤，望批評指正！ 概述 數據倉庫包含的內容很多，它可以包括架構、建模和
2020-02-22 15:32:54
原创 storm1.x支持主節點nimbus高可用 多master集羣部署
storm集羣搭建 storm集羣也是由主節點和從節點組成的。 storm版本的變更： storm0.9.x storm0.10.x storm1.x 前面這些版本里面storm的核心源碼是由java+clojule組成的。 storm
2020-02-22 15:32:54
原创 Java 信號量 Semaphore 介紹
Semaphore當前在多線程環境下被擴放使用，操作系統的信號量是個很重要的概念，在進程控制方面都有應用。Java 併發庫 的Semaphore 可以很輕鬆完成信號量控制，Semaphore可以控制某個資源可被同時訪問的個數，通過
2020-02-22 15:32:54
原创 ehcache 與spring相結合超時自動刷新緩存的框架搭建
我們在做J2EE工程中經常會碰到一些常量或者是一些不太用的數據。 這部分數據我們希望是把它放到一個共同的地方，然後大家都能去調用，而不用頻繁調用數據庫以提高web訪問的效率。 這樣的東西就是緩存(cache)，對於緩存的正確理解是
2020-02-22 15:32:54
原创 通向架構師的道路（第六天）之漫談基於數據庫的權限系統的設計
一、權限系統 這一天將講述一個基本的基於數據庫的權限管理系統的設計，在這一天的課程的最後將講述“左右值無限分類實現算法”如何來優化“系統菜單”的結構而告終。今天的內容和前幾天的基礎框架是一樣的它們都屬於基礎知識，在這些基礎知識上還可以擴
2020-02-22 15:32:54
原创 springBoot註解大全
一、註解(annotations)列表 @SpringBootApplication：包含了@ComponentScan、@Configuration和@EnableAutoConfiguration註解。其中@ComponentSca
2020-02-22 15:32:54
原创 redis採用序列化方案存對象
爲什麼要實現序列化接口 當一個類實現了Serializable接口(該接口僅爲標記接口,不包含任何方法定義),表示該類可以序列化.序列化的目的是將一個實現了Serializable接口的對象轉換成一個字節序列,可以。 把該字節序列保
2020-02-22 15:32:54
原创 RCFile和ORCFile
1. RCFile RCFile文件格式是FaceBook開源的一種Hive的文件存儲格式，首先將表分爲幾個行組，對每個行組內的數據進行按列存儲，每一列的數據都是分開存儲，正是先水平劃分，再垂直劃分的理念。 在存儲結構上： 如
2020-02-22 15:32:54
原创 Maven常用命令 - 構建反應堆中指定模塊
mvn -h 可以看到很多命令及其用途； -am --also-make 同時構建所列模塊的依賴模塊； -amd -also-make-dependents 同時構建依賴於所列模塊的模塊； -pl --projects <arg> 構建制
2018-12-14 20:32:23
原创 Centos7服務器啓動jar包項目最佳方式
在linux上運行jar包誰都會啊。爲什麼我還要單獨拎出來講呢。細心的朋友可能已經在標題中發現關鍵詞Centos7和最佳方式。 這就說明我不是隨便寫點東西水一篇博客的ヾ(◍°∇°◍)ﾉﾞ 首先Centos7 推薦我們這麼運行項目 首先
2018-09-18 05:16:01