ETL工具(kettle)使用系列(四)-kettle調用webservice數據插入數據庫

原創 极客PlusA 2020-05-08 23:47

kettle調用webservice數據插入數據庫


一共分爲三個步驟

  1. 調用webservice,獲取到xml字符串
  2. 特殊處理xml字符串
  3. 插入數據庫

以獲取 中國電視節目預告（電視節目表）爲例子

地址:http://ws.webxml.com.cn/webservices/ChinaTVprogramWebService.asmx?wsdl

[第一步] 獲得支持的省市（地區）和分類電視名稱 String()
  1. soapAction:http://WebXml.com.cn/getAreaString
  2. Content-type:text/xml;charset=UTF-8

未完待續

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

用海豚調度器定時調度從Kafka到HDFS的kettle任務腳本

在實際項目中，從Kafka到HDFS的數據是每天自動生成一個文件，按日期區分。而且Kafka在不斷生產數據，因此看看kettle是不是需要時刻運行？能不能按照每日自動生成數據文件？ 爲了測試實際項目中的海豚定時調度從Kafka到HDFS的K

原創 2024-04-15 21:18:44

在kettle spoon中使用java代碼操作excel文檔

  一、從excel中讀取數據           二、重命名excel中的列名，作爲後續輸出字段名使用    添加“字段選擇”模塊，並編輯   三、新增Excel中沒有的列名，作爲後續輸出字段使用   四、添加“Java代碼”對

原創 2023-07-04 14:07:52

編譯 kettle用的settings.xml

<?xml version="1.0" encoding="UTF-8"?> <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://ww

原創 2023-01-30 10:06:57

使用JAVA代碼執行kettle作業

1.通過文件方式執行轉換。   public static void runTransfer(String[] params, String ktrPath) {          Trans trans = null;         

jingshishengxu 2022-04-30 10:34:58

使用Janino執行java腳本

  <dependency> <groupId>org.codehaus.janino</groupId> <artifactId>janino</artifactId> <version>3.0.8</vers

原創 2022-04-30 10:34:57

DolphinScheduler 調度 DataX 實現 MySQL To ElasticSearch 增量數據同步實踐

數據同步的方式 數據同步的2大方式 基於SQL查詢的 CDC(Change Data Capture)： 離線調度查詢作業，批處理。把一張表同步到其他系統，每次通過查詢去獲取表中最新的數據。也就是我們說的基於SQL查詢抽取； 無法保障

原創 2022-04-30 05:58:59

Kettle將上一步查詢或解析出來的值作爲下一步要執行的條件

1、在覈心對象 -> 轉換 -> 字段選擇，選擇字段選擇後，編輯字段選擇，其中字段名稱即爲傳入下一步的條件，注意：該字段名稱順序會影響下一步的條件   2、“？” 號代表上一步傳入的條件，第一個“？” 代表上一步第一個字段名稱，第二個“？

原創 2021-12-25 21:34:49

KETTLE連接Oracle數據庫，填寫連接信息格式

KETTLE連接Oracle數據庫，填寫連接信息格式 1.1填寫連接信息 默認一般連接， 【連接類型】：Oracle 【連接方式】：Native(JDBC) 【連接名稱】：用於描述連接，自行定義 【主機名稱】：IP地址 (連接本地Oracl

原創 2021-12-25 21:34:47

oracle數據庫登錄連接很慢；kettle連接oracle 報 IO 錯誤，socket time out 問題解決記錄

oracle數據庫登錄連接很慢；kettle連接oracle 報 IO 錯誤，socket time out 問題解決記錄 參考文章： （1）oracle數據庫登錄連接很慢；kettle連接oracle 報 IO 錯誤，socket ti

javail 2021-04-12 21:16:12

數據庫增量同步/ETL工具

數據同步與訂閱: 比較推薦的是阿里的Canal、Zendesk的Maxwell、以及來自社區的Python-Mysql-Replication ETL工具 kettle Kettle 是一款國外開源的 ETL 工具，純 Java 編寫，

原創 2021-04-12 09:18:55

Kettle 連接失敗 Oracle 數據庫報 ora-12505 的解決方法（轉）

Kettle 連接失敗 Oracle 數據庫報 ora-12505 的解決方法（轉） 參考文章： （1）Kettle 連接失敗 Oracle 數據庫報 ora-12505 的解決方法（轉） （2）https://www.cnblogs.c

javail 2021-03-25 09:15:00

Kettle基礎知識學習（一）

Kettle基礎知識學習 作業（Job） 作業是多個轉換任務的集合，通過kitchen.sh來執行 ./kichen.sh -file ./YourScirpts/demo.kjb 轉換（Transform） 轉換是某個節點，通過pan.

原創 2021-03-22 21:33:56

微服務調度監控平臺Smart Kettle之後端介紹

剛忙活完小盆友的事兒，換完尿不溼，喂完早飯，讀完繪本，再加上今天加班，正好有時間跟大傢伙嘮一下Smart Kettle的功能架構，詳細給大傢伙介紹一下本人自研的後端源碼結構（前端源碼結構後續文章會陸續介紹），以及功能介紹，針對每一塊核心代

原創 2021-03-22 21:26:44

無需獨立部署，使用Smartbi自帶的ETL功能即可滿足日常需求

01什麼是ETL？ ETL（Extraction-Transformation-Loading的縮寫）是將業務系統的數據經過抽取、清洗轉換之後加載到數據倉庫的過程，目的是將企業中的分散、零亂、標準不統一的數據整合到一起，爲企業的決策分析

osc_lmp76vjx 2021-02-05 09:24:43

（二）ODS層更新：源表和目標表，沒有last_update,比對取增量，卻重複抽到某部分數據，怎麼解決？

源表和目標表，比對的時候，某部分數據，每次比對都被認爲是“新數據”，然後每次抽取比對都會被過濾到目標表，從而造成目標表有很多重複數據，是什麼原因呢？原因是該表的多個字段“數據缺失嚴重”，我們比對數據前是已經給空值/空格填了默認值，也就是說

osc_wl6d9wri 2021-01-30 11:03:39