ETL工具(kettle)使用系列(四)-kettle调用webservice数据插入数据库

原創 极客PlusA 2020-05-08 23:47

kettle调用webservice数据插入数据库


一共分为三个步骤

  1. 调用webservice,获取到xml字符串
  2. 特殊处理xml字符串
  3. 插入数据库

以获取 中国电视节目预告（电视节目表）为例子

地址:http://ws.webxml.com.cn/webservices/ChinaTVprogramWebService.asmx?wsdl

[第一步] 获得支持的省市（地区）和分类电视名称 String()
  1. soapAction:http://WebXml.com.cn/getAreaString
  2. Content-type:text/xml;charset=UTF-8

未完待续

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本

在實際項目中，從Kafka到HDFS的數據是每天自動生成一個文件，按日期區分。而且Kafka在不斷生產數據，因此看看kettle是不是需要時刻運行？能不能按照每日自動生成數據文件？ 爲了測試實際項目中的海豚定時調度從Kafka到HDFS的K

原創 2024-04-15 21:18:44

在kettle spoon中使用java代码操作excel文档

  一、從excel中讀取數據           二、重命名excel中的列名，作爲後續輸出字段名使用    添加“字段選擇”模塊，並編輯   三、新增Excel中沒有的列名，作爲後續輸出字段使用   四、添加“Java代碼”對

原創 2023-07-04 14:07:52

编译 kettle用的settings.xml

<?xml version="1.0" encoding="UTF-8"?> <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://ww

原創 2023-01-30 10:06:57

使用JAVA代码执行kettle作业

1.通過文件方式執行轉換。   public static void runTransfer(String[] params, String ktrPath) {          Trans trans = null;         

jingshishengxu 2022-04-30 10:34:58

使用Janino执行java脚本

  <dependency> <groupId>org.codehaus.janino</groupId> <artifactId>janino</artifactId> <version>3.0.8</vers

原創 2022-04-30 10:34:57

DolphinScheduler 调度 DataX 实现 MySQL To ElasticSearch 增量数据同步实践

數據同步的方式 數據同步的2大方式 基於SQL查詢的 CDC(Change Data Capture)： 離線調度查詢作業，批處理。把一張表同步到其他系統，每次通過查詢去獲取表中最新的數據。也就是我們說的基於SQL查詢抽取； 無法保障

原創 2022-04-30 05:58:59

Kettle将上一步查询或解析出来的值作为下一步要执行的条件

1、在覈心對象 -> 轉換 -> 字段選擇，選擇字段選擇後，編輯字段選擇，其中字段名稱即爲傳入下一步的條件，注意：該字段名稱順序會影響下一步的條件   2、“？” 號代表上一步傳入的條件，第一個“？” 代表上一步第一個字段名稱，第二個“？

原創 2021-12-25 21:34:49

KETTLE连接Oracle数据库，填写连接信息格式

KETTLE連接Oracle數據庫，填寫連接信息格式 1.1填寫連接信息 默認一般連接， 【連接類型】：Oracle 【連接方式】：Native(JDBC) 【連接名稱】：用於描述連接，自行定義 【主機名稱】：IP地址 (連接本地Oracl

原創 2021-12-25 21:34:47

oracle数据库登录连接很慢；kettle连接oracle 报 IO 错误，socket time out 问题解决记录

oracle數據庫登錄連接很慢；kettle連接oracle 報 IO 錯誤，socket time out 問題解決記錄 參考文章： （1）oracle數據庫登錄連接很慢；kettle連接oracle 報 IO 錯誤，socket ti

javail 2021-04-12 21:16:12

数据库增量同步/ETL工具

數據同步與訂閱: 比較推薦的是阿里的Canal、Zendesk的Maxwell、以及來自社區的Python-Mysql-Replication ETL工具 kettle Kettle 是一款國外開源的 ETL 工具，純 Java 編寫，

原創 2021-04-12 09:18:55

Kettle 连接失败 Oracle 数据库报 ora-12505 的解决方法（转）

Kettle 連接失敗 Oracle 數據庫報 ora-12505 的解決方法（轉） 參考文章： （1）Kettle 連接失敗 Oracle 數據庫報 ora-12505 的解決方法（轉） （2）https://www.cnblogs.c

javail 2021-03-25 09:15:00

Kettle基础知识学习（一）

Kettle基礎知識學習 作業（Job） 作業是多個轉換任務的集合，通過kitchen.sh來執行 ./kichen.sh -file ./YourScirpts/demo.kjb 轉換（Transform） 轉換是某個節點，通過pan.

原創 2021-03-22 21:33:56

微服务调度监控平台Smart Kettle之后端介绍

剛忙活完小盆友的事兒，換完尿不溼，喂完早飯，讀完繪本，再加上今天加班，正好有時間跟大傢伙嘮一下Smart Kettle的功能架構，詳細給大傢伙介紹一下本人自研的後端源碼結構（前端源碼結構後續文章會陸續介紹），以及功能介紹，針對每一塊核心代

原創 2021-03-22 21:26:44

无需独立部署，使用Smartbi自带的ETL功能即可满足日常需求

01什麼是ETL？ ETL（Extraction-Transformation-Loading的縮寫）是將業務系統的數據經過抽取、清洗轉換之後加載到數據倉庫的過程，目的是將企業中的分散、零亂、標準不統一的數據整合到一起，爲企業的決策分析

osc_lmp76vjx 2021-02-05 09:24:43

（二）ODS层更新：源表和目标表，没有last_update,比对取增量，却重复抽到某部分数据，怎么解决？

源表和目標表，比對的時候，某部分數據，每次比對都被認爲是“新數據”，然後每次抽取比對都會被過濾到目標表，從而造成目標表有很多重複數據，是什麼原因呢？原因是該表的多個字段“數據缺失嚴重”，我們比對數據前是已經給空值/空格填了默認值，也就是說

osc_wl6d9wri 2021-01-30 11:03:39