ETL KETTLE 讀取csv文件寫入數據庫

任務：

將大量CSV文件寫入數據庫中；可以一張表一個csv文件輸入，表輸出；但是如果表文件太多，達到100多張表入庫；那會寫死人的；所以我們可以偷懶一下；採用配合kettle java腳本代碼；完成任務；

 

場景：將下面文件寫入數據中：文件名和表名對應關係如下：

文件名 表名

ccs_A_20190101.csv ccs_A

ccs_B_20190101.csv ccs_B

.......

 

文件格式：

字段1|+|字段2|+|字段3|+|字段4|+|.......|+|字段n

value1|+|Value2|+|value3|+||+|.........|+|valuen

 

實現：

1 新建一個kettle項目文件 ktr

涉及按鈕：獲取文件名，CSV文件輸入，Java代碼，SQL腳本

 

組合截圖：

獲取文件名：

 

 

 

 

CSV文件輸入控件

 

java代碼：後面單獨放java代碼塊：

 

注意重寫這兩個函數：

/*設置參數變量*/

public void setVariable(String variableName, String variableValue) {

parent.setVariableImpl(variableName, variableValue);

}

/*獲取參數變量*/

public String getVariable(String variableName) {

return parent.getVariableImpl(variableName);

}

 

 

執行SQL腳本：

涉及JAVA代碼：

 

import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Calendar;
 

/*設置參數變量*/
public void setVariable(String variableName, String variableValue) {
  parent.setVariableImpl(variableName, variableValue);
}
/*獲取參數變量*/
public String getVariable(String variableName) {
  return parent.getVariableImpl(variableName);
}


/**修改參數變量：字段內容，表名*/ 
public String getTableFields(String field,String tablename){
	
	if( "".equals(field) || field==null || "".equals(tablename)|| tablename==null ){
		 return null;
	}  
	String[] valueArr = field.split("\\|\\+\\|",-1);//採用 -1模式，不去除末尾的空格
	  StringBuilder sb = new StringBuilder();
	  for(int i = 0; i< valueArr.length ;i++){
			String value = valueArr[i]; 
				sb.append("`").append(value).append("`,");  
	  }
	  sb.deleteCharAt(sb.length() -1);
	  sb.append(",data_date,dw_created_time,dw_created_by,dw_updated_time,dw_updated_by");
	
	return  sb.toString(); // 
}

/*設置表名或參數*/
public void setSelfVariables(String field,String tablename){
	if( "".equals(field) || field==null || "".equals(tablename)|| tablename==null ){
		 return;
	}

	/**初始化參數*/
	if(getVariable("TABLE_NAME") == null || "".equals(getVariable("TABLE_NAME"))){
		setVariable("TABLE_NAME","");
		setVariable("TABLE_FIELDS","");
		setVariable("ROW_NUMBER",""); 
	};

	String tableName=getVariable("TABLE_NAME") ;//獲取表名
	
	/**表名不相同，就設置第一行，以及表名*/
	if(!tableName.equals(tablename)){
		setVariable("TABLE_NAME",tablename);
		setVariable("TABLE_FIELDS",getTableFields(field,tablename));
		setVariable("ROW_NUMBER","0"); 
	} 
	else{
		int row1=Integer.parseInt(getVariable("ROW_NUMBER")) ; 
		row1++;
		setVariable("ROW_NUMBER",""+row1);
	}
}
 
public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException {
	  if (first) {
	    first = false;
	  }

	  Object[] r = getRow();

	  if (r == null) {
	    setOutputDone();
	    return false;
	  }

	  r = createOutputRow(r, data.outputRowMeta.size());
	

	  // Get the value from an input field
	   String filename = get(Fields.In, "filename").getString(r);  
	   if(filename.contains("/"))
			filename=filename.substring(filename.lastIndexOf("/")+1,filename.indexOf("2") -1); //排除Linux環境下的：/tmp/ 反斜槓目錄 
		if(filename.contains("\\"))
			filename = filename.substring(filename.lastIndexOf("\\")+1,filename.indexOf("2") -1);//排除windows環境下的D:\ 斜槓目錄
		String tablename = filename;
		tablename=tablename+"_detail";
	 
	  
	  String field = get(Fields.In,"field").getString(r);
	 	  
	 /**如果表名相同，就退出 自定義函數*/	 
	  setSelfVariables(field,tablename);  //自定義函數
 
	  String dataDate=getVariable("DATA_DATE","2019-02-23");// 外界傳入參數：data_date 第二個參數爲默認值：//String getVariable = getVariable(variableName, defaultValue);
	  
	  String[] valueArr = field.split("\\|\\+\\|",-1);//採用 -1模式，不去除末尾的空格
	  StringBuilder sb = new StringBuilder();
	  for(int i = 0; i< valueArr.length ;i++){
			String value = valueArr[i];
			if(value == null || value.trim().length() == 0){
				sb.append("null,");
			}else{
				sb.append("'");
				sb.append(value.replace("'", "\\'"));
				sb.append("',");
			} 
	  }
	  sb.deleteCharAt(sb.length() -1);
	  sb.append(",'"+dataDate+"'"); 
	  sb.append(",now(),'同步任務',null,null");
	  String resultStr = sb.toString();
	  
	  //logDebug("tableName="+getVariable("TABLE_NAME")+"  rowNumber="+ getVariable("ROW_NUMBER")+"  resultStr = " + resultStr); //開發打印日誌
	  //logDebug("tableFieldsStr="+getVariable("TABLE_FIELDS"));
 
	  get(Fields.Out, "tableName").setValue(r, getVariable("TABLE_NAME"));
	  get(Fields.Out, "tableFieldsStr").setValue(r,  getVariable("TABLE_FIELDS"));
	  get(Fields.Out, "resultStr").setValue(r, resultStr);
	  get(Fields.Out, "rowNumber").setValue(r,  getVariable("ROW_NUMBER"));
	  
	  putRow(data.outputRowMeta, r);

	  return true;
	}