原创 【Kettle從零開始】第十一彈之Kettle性能調優介紹

       性能高優在整個工程中是非常重要的,也是非常有必要的。但有的時候我們往往都不知道如何對性能進行調優。其實性能調優主要分兩個方面:一方面是硬件調優,一方面是軟件調優。本彈主要是介紹Kettle工具性能調優。 關於Kettle性能

原创 【Kettle從零開始】第十二彈之Kettle在Linux下搭建

OS:Red Hat 6 64bit Kettle:3.2GA JDK:1.6.0_45 在Liunx下搭建Kettle需要準備兩個應用:一個是JDK,一個是Kettle。   1、  創建kettle用戶名與pentaho組。語法如下

原创 VMware虛擬機ping出現DUP!

用nat方式上網,vmnet1啓用shared鏈接vmnet8,這樣設置的原因是爲了用xshell登錄虛擬機   ping 外網, 還是ping 網關都出現DUP!   解決辦法也奇怪,禁用下vmnat8,然後重啓, 就好了!     h

原创 【Kettle從零開始】第四彈之Kettle轉換數據抽取使用

Kettle版本:3.2GA JDK版本:1.6.0_41 OS:NT 需求:需要把業務系統庫、TXT文件、EXCEL文件中的數據抽取到數據倉庫中。 1、  創建轉換(Ctrl+N),轉換名稱爲:RotKang_Test01 2、 

原创 【Kettle從零開始】第一彈之Kettle簡單介紹

Kettle簡單介紹       Kettle是一款國外開源的ETL工具,純java編寫,跨平臺、綠色無需安裝的數據抽取工具。當時也是因爲工作需求自學+網上查找相關資料來學習Kettle。   Kettle工程存儲方式有兩種:一種是以XM

原创 【Kettle從零開始】實例下載

【Kettle從零開始】實例下載 點贊 收藏 分享 文章舉報 RotKang 發佈了37 篇原創文章 · 獲贊 54 · 訪問量 35萬+ 私信

原创 【Informatica從零開始】Informatica正在準備說明!

說明: 由於本人個人覺得Informatica在NT、Server環境中安裝太過於簡單,給大家講解也沒什麼意思,所以正在準備Linux下安裝Informatica給大家詳細講解。 大家需要熟悉Liunx一些常用的命令比如:userad

原创 【Kettle從零開始】第七彈之Kettle作業中常用組件介紹

關於Kettle版本信息同第三彈,這裏我就不再說明。 對於在作業中,大家所經常使用到的是組件如“START”、“Truncate tables”、“Job”、“Transformation”、“Success”、“Mail”、“SQL”

原创 【Kettle從零開始】第九彈之Kettle定時任務介紹

在數據倉庫環節ETL定時任務是一個必不可少的一個環節,因爲定時任務取決與你的ETL程序抽取業務數據的頻率程度(日、周、季、月、年),一般情況下都採用T+1方式來抽取數據。 關於Kettle定時任務需要調用腳本來執行“作業”與“轉換”對應腳

原创 Shell讀取文本批量導出\導入DB2數據

需求背景: 由於DB2 exp\imp數據只能一張表一張表的exp\imp所以通過把所有的表都寫在一個exp_imp_db2.txt文件中 exp_imp_db2.txt格式如下: (i|e)    schema_name table_n

原创 【Kettle從零開始】第六彈之Kettle作業流程使用

Kettle版本:3.2GA JDK版本:1.6.0_41 OS:NT 需求:把每天ETL執行的錯誤情況以Email形式發送到指定郵箱。 1、創建轉換(Ctrl+N),本實例則使用【第四彈Kettle數據抽取使用】中所使用到的轉換(Rot

原创 Bat自動添加Cognos爲信任站點

        由於客戶需求不想手動添加COGNOS服務器IP與一些瀏覽器配置修改以及導出COGNOS EXCEL出現提示信息。參考網上有相關的方法結合整理。 決定寫個BAT腳本來自動解決這一系列問題。 CognosPrompt.bat

原创 【Kettle從零開始】第五彈之Kettle轉換中常用組件介紹

Kettle版本:3.2GA JDK版本:1.6.0_41 OS:NT 由於組件涉及非常多,我這就只舉例幾個常用的組件來進行介紹。需要了解全部組件下載 Kettle用戶手冊下載  本彈給大家詳細說明的組件:表輸入、獲取系統信息、表輸出、字

原创 Linux下配置Tomcat 80端口與域名

編輯$TOMCAT_HOME/conf/server.xml文件 80端口配置 <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="2

原创 【Kettle從零開始】第十彈之Kettle運行日誌介紹

關於Kettle日誌是很重要的一部分,因爲不管是任何信息都只能通過日誌的方式來查找自己所關心的信息。 日誌存儲有兩種方式:一種是文本文件存儲日誌,另一種是資源庫存儲日誌(注:Kettle資源庫日誌分兩類,一類是Job日誌,一類是Trans