原创 MyBatis3.1.1+Spring3.1.2+Struts2.3.4.1

地址:http://takeme.iteye.com/blog/1736320 MyBatis3.1.1+Spring3.1.2+Struts2.3.4.1  先來看目錄結構      來看配置文件  applicationConte

原创 Oracle DB 使用調度程序自動執行任務

• 使用調度程序來簡化管理任務 • 創建作業、程序和調度 • 監視作業執行 • 使用基於時間或基於事件的調度來執行調度程序作業 • 描述窗口、窗口組、作業類和使用者組的用途 • 使用電子郵件通知 • 使用作業鏈

原创 通過Erwin的反向工程導入實體 之一

1、通過數據庫導入實體(此處已Oracle11g,作爲實驗數據庫)    (1)  打卡erwin, 單擊菜單欄Tool -> Reverse Engineer,彈出如下界面     (2) 選中Logical/Physical

原创 都是HIVE數據傾斜惹的禍

症狀和原因: 操作:join,group by,count distinct 原因:key分佈不均勻,人爲的建表疏忽,業務數據特點。症狀:任務進度長時間維持在99%(或100%),查看任務監控頁面,發現只有少量(1個或幾個)reduce

原创 橋接表

How are bridge tables delivered to classify groups of dimension records associated to a single fact? 簡述橋接表是如何將維度表和事實

原创 Struts2.3.16.1+Hibernate4.3.4+Spring4.0.2 框架整合

最新版Struts2+Hibernate+Spring整合     目前爲止三大框架最新版本是:      struts2.3.16.1      hibernate4.3.4      spring4.0.2      其中

原创 struts 2.3.7+spring3.2.0+MyBatis3.1 整合

           最近無聊,就想着做一下ssm的整合~在網上先去找資料,但是發現大多都不是入門級。尤其是需要哪些jar,都沒有註明出來。     那麼我就寫一篇,算作是入門的教程,高手勿拍磚~            一、準

原创 通過Erwin的反向工程導入實體 之二(自動爲物理模型命英文名)

在以前的帖子中說過,要整理下ERwin由邏輯模型到物理模型的映射,一直沒時間,今天終於整理了,如下:        項目的建模工具,用的較多的有PD、Rose,我學生時代,就沒聽說過ERwin,這個工具也是進入項目組之後才瞭解到的。E

原创 Kudu:一個爲大數據快速分析量身定製的新型Apache Hadoop存儲系統

Apache Hadoop提供了一系列數據存儲與處理的組件,覆蓋了多種多樣、應用於企業級關鍵服務的用戶案例。在Cloudera,我們一直在努力探索Hadoop的各種可能性,拓展Hadoop的邊界——使得Hadoop更快、更好用、更安全。

原创 ETL利器Kettle實戰應用

本系列文章主要索引如下: 一、ETL利器Kettle實戰應用解析系列一【Kettle使用介紹】 二、ETL利器Kettle實戰應用解析系列二 【應用場景和實戰DEMO下載】 三、ETL利器Kettle實戰應用解析系列三 【ET

原创 Oracle 正則表達式 regexp_like

ORACLE中的支持正則表達式的函數主要有下面四個: 1,REGEXP_LIKE :與LIKE的功能相似 2,REGEXP_INSTR :與INSTR的功能相似 3,REGEXP_SUBSTR :與SUBSTR的功能相似 4,R

原创 Hadoop dfs 常用命令行

* 文件操作   * 查看目錄文件  * $ hadoop dfs -ls /user/cl  *   * 創建文件目錄  * $ hadoop dfs -mkdir /user/cl/temp  *   * 刪除文件  * $

原创 Oracle優化器:星型轉換(Star Query Transformation )

Star query是一個事實表(fact table)和一些維度表(dimension)的join。每個維度表都跟事實表通過主外鍵join,且每個維度表之間不join。 星型模式設計的好處: 1) 提供了直接、直觀的業務

原创 Hive鎖表機制

hive存在兩種鎖,共享鎖Shared (S)和互斥鎖Exclusive (X), 其中只觸發s鎖的操作可以併發的執行,只要有一個操作對錶或者分區出發了x鎖,則該表或者分區不能併發的執行作業。 各個操作鎖出發的鎖如下: Hive

原创 Storm集成Kafka應用的開發

我們知道storm的作用主要是進行流式計算,對於源源不斷的均勻數據流流入處理是非常有效的,而現實生活中大部分場景並不是均勻的數據流,而是時而多時而少的數據流入,這種情況下顯然用批量處理是不合適的,如果使用storm做實時計算的話可能因爲