dataworks2.0問題排查思路

1.數據同步不支持數據包含換行符n
2.PAI節點可以支持TenSorFlow。
3.遇到連通性通過,但是配置同步作業或運行時會有超時情況。這種情況通常自定義資源組來做同步。
4.正常調用正常但重跑報錯報錯ODPS-0130071,重新打開窗口重跑流程。
5.與其他關聯產品比如ODPS、PAI是和項目空間確認綁定關係的。必須創建dataworks時來配置。
6.賦值節點中是不支持使用python代碼執行SQL的
7.提交任務成功後10分鐘之前生成的實例都是空跑設置爲成功的。之後生成的實例應該是可以正常運行的,如果還是無法正常運行,可以重新發布一下任務。
8.不支持節點任務完成數據的保存之後,通知本地系統做出響應。
9.要使用dataworks的Stream Studio必須開通實時計算
10.sqlscript:一次編譯,odpssql:是逐條編譯
11.目前沒有組合節點的概念(dataworks1.0的),想要依賴多個節點組成的模塊,直接依賴其最後一個節點就可以。
12.pyodps 節點不要通過迭代的方式來處理數據,再上傳,這個是單機,沒有利用到 MaxCompute 的能力,應當用 PyODPS DataFrame 或者 SQL 來處理數據
13.數據同步的時候,如果是非分區表,需要把調度中的參數去掉,否則自動運行的時候會報錯Code:[OdpsWriter-31], Description:[分區配置錯誤.].
14.ECS自建MySQL,配置安全組,即可測試連通性
15.查詢以後的下載導致字符串類型的“00001”變成了1,是Excel導致的,目前官方沒有推薦的Excel版本
16.自定義資源需要能夠通過公網,彙報心跳給dataworks,如果在相同區域,是可以的。不需要內網地址,但需要開下dataworks白名單或者放行0.0.0.0/0
17.測試環境的數據同步到生產環境:insert into table 生產環境.表名 select 1,2,3 from 測試環境.表名;
18.不同賬號之間的數據同步可以使用備份功能。
19.數據集成的時候源數據庫故障重試3次,每次間隔2分鐘。不支持自定義時間間隔。
20.運維中心的週期任務解凍以後,已經被凍結的週期實例是不計入未運行的實例的

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章