dataworks2.0问题排查思路

1.数据同步不支持数据包含换行符n
2.PAI节点可以支持TenSorFlow。
3.遇到连通性通过,但是配置同步作业或运行时会有超时情况。这种情况通常自定义资源组来做同步。
4.正常调用正常但重跑报错报错ODPS-0130071,重新打开窗口重跑流程。
5.与其他关联产品比如ODPS、PAI是和项目空间确认绑定关系的。必须创建dataworks时来配置。
6.赋值节点中是不支持使用python代码执行SQL的
7.提交任务成功后10分钟之前生成的实例都是空跑设置为成功的。之后生成的实例应该是可以正常运行的,如果还是无法正常运行,可以重新发布一下任务。
8.不支持节点任务完成数据的保存之后,通知本地系统做出响应。
9.要使用dataworks的Stream Studio必须开通实时计算
10.sqlscript:一次编译,odpssql:是逐条编译
11.目前没有组合节点的概念(dataworks1.0的),想要依赖多个节点组成的模块,直接依赖其最后一个节点就可以。
12.pyodps 节点不要通过迭代的方式来处理数据,再上传,这个是单机,没有利用到 MaxCompute 的能力,应当用 PyODPS DataFrame 或者 SQL 来处理数据
13.数据同步的时候,如果是非分区表,需要把调度中的参数去掉,否则自动运行的时候会报错Code:[OdpsWriter-31], Description:[分区配置错误.].
14.ECS自建MySQL,配置安全组,即可测试连通性
15.查询以后的下载导致字符串类型的“00001”变成了1,是Excel导致的,目前官方没有推荐的Excel版本
16.自定义资源需要能够通过公网,汇报心跳给dataworks,如果在相同区域,是可以的。不需要内网地址,但需要开下dataworks白名单或者放行0.0.0.0/0
17.测试环境的数据同步到生产环境:insert into table 生产环境.表名 select 1,2,3 from 测试环境.表名;
18.不同账号之间的数据同步可以使用备份功能。
19.数据集成的时候源数据库故障重试3次,每次间隔2分钟。不支持自定义时间间隔。
20.运维中心的周期任务解冻以后,已经被冻结的周期实例是不计入未运行的实例的

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章