阿里雲DataWorks獨享資源組

1、數據產出的企業級要求:

2、DataWorks任務常見問題

   A、任務無產出且日誌顯示等待gateway資源

  1. B、同步任務日誌出現大量Speed爲零的情況,導致大批量任務一直處於運行中狀態

3、DataWorks任務資源使用機制、問題及解決

DataWorks以兩次計算資源,按照用戶預期(依賴關係、定時時間)運行用戶

   A、默認共享資源組使用機制

如下圖,爲2月13號凌晨2點開始調度的5個任務(三個計算任務、兩個同步任務)。任務通過1(調度資源組)後,其中計算任務下發到2(計算引擎),同步任務下發到3(同步資源組)

   B、默認共享資源組所帶來的問題

       a、無法消化代碼(排隊,等待GateWay…)

       b、(排隊,等待GateWay…)

原因:資源共享,在業務高峯期,每個企業任務能拿到的資源是不同的,會導致任務可能無法準時調度、分配不到同步任務線程。

C、解決方法--獨享資源組

優點:獨享資源組機器專屬於自己的阿里雲主賬號,資源不會發生外界的資源搶佔問題。

 

  1. 成本計算

A、調度資源組:

公共調度資源組收費策略

獨享調度資源組收費策略

購買建議:

每日調度實例>500時,多數情況下獨享資源比共享資源組更省錢(預估期望每天8h完成任務,每個任務運行5min)(產出時間越寬裕越省、任務平均運行時間越低越省、併發要求越低越省)

可先購買較少數量的資源,先承載上游核心調度任務,後期不夠擴容。

  1. 數據集成資源組

此類任務由於共享資源組收費較低,故大部分情況下費用會低於獨享數據集成資源組(收費情況同調度資源組)

公共數據集成資源組收費策略:

 

  1. 注意事項
  • 選擇正確的Region(資源組目前不可跨Region使用)
  • 建議購買2臺及其以上資源組,以便實現高可用
  • 測試後再上線任務
  • 獨享數據集成資源組相關注意事項:

   需要與數據源綁定在同一個VPC交換機(vswitch)下,綁定後也僅支持訪問該交換機下的數據源

   暫不支持經典網絡數據同步

   如數據源跨vswitch,則需提交工單打通路由

          如數據源跨VPC,則用戶先自行打通高速通道,再提交工單打通路由。

          如果數據源在IDC,則用戶拉通雲上物理專線,再提交工單打通路由。

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章