通過簡單瘦身，解決Dataworks 10M文件限制問題

摘要： 用戶在DataWorks上執行MapReduce作業的時候，文件大於10M的JAR和資源文件不能上傳到Dataworks，導致無法使用調度去定期執行MapReduce作業。 解決方案： jar -resources test_mr.

用戶在DataWorks上執行MapReduce作業的時候，文件大於10M的JAR和資源文件不能上傳到Dataworks，導致無法使用調度去定期執行MapReduce作業。

解決方案：

第一步：大於10M的resources通過MaxCompute CLI客戶端上傳，

客戶端下載地址：https://help.aliyun.com/document_detail/27971.html

客戶端配置AK、EndPoint：https://help.aliyun.com/document_detail/27804.html

add jar C:\test_mr\test_mr.jar -f;//添加資源

第二步：目前通過MaxCompute CLI上傳的資源，在Dataworks左側資源列表是找不到的，只能通過list resources查看確認資源；

list resources;//查看資源

第三步：瘦身Jar，因爲Dataworks執行MR作業的時候，一定要本地執行，所以保留個main就可以；

通過上述方法，我們可以在Dataworks上跑大於10M的MR作業。

原文鏈接

本文爲雲棲社區原創內容，未經允許不得轉載。