計量計費
購買開通
- MaxCompute計費常見問題
- 現在公司有數據統計分析的需求，已經在用RDS數據庫，還應該開通什麼服務？
- 從MaxCompute上下載數據，使用華東2的ECS雲主機使用內網，收取流量費用嗎？
- MaxCompute如何將後付費轉換爲預付費？
-
MaxCompute數據存儲有3.5T，把相關幾張大的表格都刪除後，顯示的總數還是3.5T,是什麼原因？會增加ODPS使用費用嗎？
續費變更
- 如何關閉MaxCompute服務
- 以IO後計費的方式開通了MaxCompute，如何停用不自動續費功能？
- 沒有進行MaxCompute的計算爲什麼有扣費操作?
-
MaxCompute table有大小的閾值設置嗎？
項目管理
項目操作
- 血緣信息上下游表的相關信息，多久會更新？爲什麼會有重名？
- 使用DataWorks提交任務時，${bdp.system.bizdate}這個時間,如果想取一年前、一個月前、半年前和一週前分別怎麼操作？
- 如何刪除MaxCompute項目
- 客戶端運行odpscmd -f cmd_file，cmd_file中能有變量嗎？
- 有類似ptkill之類的方法批量kill超時任務的方式嗎？
- mapjoin中大表和小表是否可以互換位置？
- 如何通過MaxCompute做分佈式處理並訪問外網？
- MaxCompute客戶端配置因本地時間不對導致超時
- 如何在客戶端上查看任務信息？
- MaxCompute支持快照嗎？changelog的設置方式是什麼？
- ODPS中可以設置表的過期時間，是否有辦法設置分區的過期時間?
- MaxCompute會有lock-in問題嗎？
- MaxCompute是否支持restful接口？
- 運維中心補數據功能怎麼使用？
- 新建子管理賬號，但子賬號不能訪問MaxCompute的功能，是什麼原因？
- 將開通數據保護的MaxCompute表數據導入另一項目空間
- 如何查看某個MaxCompute項目及每張數據表所使用的磁盤空間？
- 如何調用Package中的表？
- 項目Owner能否更換爲子賬號？
- MaxCompute頁面“運行任務”一類的欄目功能在哪裏能看到？
- 使用Use Project命令進入項目空間時爲什麼會報錯Failed?
- 如果不調用com.aliyun.odps.Instance中的waitForSuccess()方法，是否導致數據有遺漏？
-
MaxCompute在整個解決方案中的應用
項目資源
系統安全
用戶授權
- 跨項目讀取數據
- 子賬號登錄MaxCompute控制檯看不到Project列表？
- MaxCompute如何保證數據安全
- 子賬號無法訪問大數據開發平臺，提示缺少access id
- MaxCompute是否對外提供Xlib模塊？
- MaxCompute授權報錯：lack of account provider
-
如何把早期的MaxCompute項目添加到現在已開通的數加平臺中？
項目數據保護與共享
審計脫敏
數據上傳下載
Tunnel命令與SDK
- MaxCompute之Tunnel命令相關問題
- MaxCompute之Tunnel上傳/下載相關問題
- MaxCompute之Tunnel上傳典型問題場景
- MaxCompute的Web控制檯的最大屏顯行數
- odpscmd tunnel目錄文件支持中文嗎？
- odpscmd tunnel是否支持.dbf後綴非加密數據庫文件?
- odpscmd tunnel是否支持多併發？
- Tunnel導入數據時候報錯分區不存在
- Tunnel上傳數據報錯Blocks not match
- Tunnel SDK如何一次下載分區表裏的所有分區
- 如何使用Tunnel下載指定的部分數據？
- Tunnel上傳數據如何實現Overwrite的功能
- Tunnel SDK上傳報錯Error writing request body to server
- MaxCompute tunnel 命令續傳數據
- MaxCompute控制檯下載數據返回getTableDataCsv.json
- MaxCompute 數據導出分別有幾種格式？
- 同一Region內使用Tunnel下載數據爲什麼也可能產生費用
-
使用Tunnel SDK上傳報錯爲重複提交
數據通道
- 使用Tunnel或dship下載數據時，如何設置Endpoint？
- 如何刪除已上傳的髒數據？
- 請問datahub地址無論在內網還是外網都使用：http://dh.odps.aliyun.com這個地址嗎？
- Fluented插件報錯：ShardNotReady
- 調用 StreamWriter 向 MaxCompute 中寫入數據時,報錯：ErrorCode=MalformedDataStream?
- 上傳數據的相關問題
- 如何從 MaxCompute 上批量導入數據到 ocs 業務場景需要定時從 MaxCompute 上將 k－v value 批量導入 ocs ？
- hubtable數據上傳必須用java sdk嗎，能不能用新版客服端就完成？
- MaxCompute 裏存儲的數據可以導給E-MapReduce嗎?如果可以,怎麼設置?
- DataHub相關問題
- 實際數據裏包含分隔符的解決方案
- 導入數據實現動態分區
- Datahub和Tunnel應用場景的區別
- DataHub上傳數據的限制
-
多線程上傳數據時報錯
SQL
SQL語句
- 報錯If you really want to perform this join, try mapjoin
- 能否增加/更改分區？
- 分區數量是否越多越好？
- 如何用Mapjoin緩存多張小表？
- 如何查看MaxCompute數據量
- INSERT語句執行過程中出現錯誤，會損壞原有數據嗎？
- 如何添加/刪除列？
- 報錯Table xx has n columns， but query has m columns
- 如何更新和刪除數據？
- MaxCompute 裏分區和分區列的區別
- 如何往MaxCompute表插入記錄？
- 如何使用 not in，實現上萬級別數據量的子查詢？
- MaxCompute表如何設置自增長列？
- 如何查看某一天ODPS上執行的所有sql？
- 使用coalesce函數只要超過一個expression，報錯FAILED: ODPS-0130071:Semantic analysis exception
- 設置MaxCompute表的主鍵
- Double類型數據精度問題
- 執行TO_DATE函數報錯沒有分鐘部分
- 隱式類型轉換錯誤
- 用SQL對Double類型數據進行比較
- 輸入表過多
- 輸出表的分區過多
- 執行SQL報錯 FAILED: ODPS-0010000:System internal error - OTS filtering exception - Ots read range partitions exceeds the specified limit:10000
- 執行SQL報錯：Repeated key in GROUP BY
- 報錯：FAILED:ODPS-0130089 Invalid UDF reference - class not found for function
- 外關聯後發現數據條數增加
- 刪除分區報錯
- 如何刪除非分區表中的重複數據？
- Float類型數據應如何插入MaxCompute表
- 相同數據運行insert select 語句的結果和直接select的結果爲什麼不一致？
- 補數據的時候選擇“寫入前清理已有數據Insert Overwrite”，導致原庫裏面30G的數據被清理了，可以恢復嗎？
- 已經指定了分區條件，爲何還是會提示”禁止全表掃描”？
- 在ODPS中執行一個簡單的SQL一直處於Job Quening...狀態
- 查詢SQL報錯“ExceptionBase: ValidateJsonSize error: the size of compressed plan is larger than 1024KB”
- MYSQL中的SUBSTRING_INDEX函數在MaxCompute裏沒有
- 插入動態分區報錯
- 報錯：Expression not in GROUP BY key
- 使用odpscmd -e執行SQL語句是否有長度限制？
- odpscmd支持並行download表嗎？
- 在odpscmd客戶端執行的SQL能用到自己的ECS調度資源嗎？如果有限制，如何增加資源？
- MaxCompute的列數限制
- MaxCompute中查詢結果的排序
- MaxCompute如何非交互式運行MaxCompute SQL？
- 使用MaxCompute SQL自定義函數查詢時，提示內存不夠？
- MaxCompute與關係型數據庫的區別
- MaxCompute支持虛擬表嗎?
- product項目中運行Insert語句並使用動態分區，產生大量分區和記錄數，一直沒有運行完成，是什麼原因？
- MaxCompute能否像MySQL一樣靈活使用用戶變量（即MySQL的@變量名）？
- [regexp_count(string source, string pattern[, bigint start_position]) 的第二個參數 pattern是否支持嵌入查詢語句？](https://help.aliyun.com/knowledge_detail/101781.html)
- SELECT a.id as id > , IFNULL( concat('phsxxx', a.insy, 'xxxbxxx', IFNULL()報錯； Semantic analysis exception - Invalid function : line 1:41 'ifnull'
- 所有的MaxCompute的配置、SQL能轉移到另一個阿里雲賬號上嗎？
- MaxCompute SQL執行提示輸入的數據超過100G，怎麼解決？
- MaxCompute如何將一條數據轉多條？
- 可以一次add多個partition嗎？
- 設置表的生命週期爲3天，每個分區的存儲量也很大，如果清理分區表舊數據？
- 如何查詢才能少用分區計算量？分區設置能調整嗎？
- 是否能將rds中的表一次性導入到MaxCompute中？
- Read Table及Select * From Table的屏顯限制項
- 對於查詢出的結果，目前看到提供了複製和下載功能，是否有哪些設置可以把這兩個功能關閉掉？
- 使用SQLTask進行SQL查詢時，如何獲取所有數據？
- SQL Task返回結果集的數據量是否有限制？
- 使用SQLTask配合Tunnel實現超出1萬行的運行結果導出
- 與標準SQL的主要區別及解決方法
- SQLTask查詢數據和DownloadSession有何不同？
- 在MaxCompute裏運行SQL命令，怎樣能下載超過一萬行的數據？
- MaxCompute爲什麼不能查看每條sql執行的費用？
- MaxCompute sql語句中like模糊查詢的where條件支持正則表達式嗎？
- sql執行報錯ODPS-0121145:Data overflow - param convert to Double result is nan，input param is NaN，是什麼原因？
- 多路輸出的情況下，能否在reduce函數中拿到每一個label的輸出表的表結構？
- select * from xxxx where to_char(xxx,'yyyy-mm-dd') = '2017-03-01' ;無法執行，是什麼原因？
- 用SQL對Double類型數據進行round四捨五入，結果存在偏差
- 如果只同步100條數據，在where處應該怎樣寫limit？
- 做數據同步如何刪除非分區表中的重複數據？
- 對一張表A做group by成表B,結果表B比原來表A的行數要少了，但是物理存儲量表B卻是表A的10倍，請問這個什麼原因？
- 如果一個表下面有很多分區，需要清空這個表所有的分區，應該怎麼操做?
- MaxCompute客戶端SQL語句執行成功，但是會打印出異常信息
-
報錯：FAILED: ODPS-0130071:Semantic analysis exception - line 6:0 Top level UNION is not supported
UDF
- 沒有權限編寫UDF
- 使用fastjson自定義函數時報錯java.lang.NoClassDefFoundError: java/io/File
- 編寫UDAF，報錯：Resolve annotation not found
- ODPS上，有沒有什麼函數，可以把'2017-01-23'字符串轉化爲'20170123'
- MaxCompute表的decimal怎麼設置成保留2位小數？
- MaxCompute有類似group_concat的函數嗎？
- odps執行定時任務某個節點運行失敗，log報錯"skynet_packageid is null"
- MaxCompute是否支持Scipy？
- 如何通過自定義日誌打印對UDAF進行線上調試
-
UDAF函數參數的輸入類型能否像內置函數一樣接受任意參數類型？
外部表
MapReduce
- write(Record key, Record value) 與 write(Record record) 的區別
- Main方法中如何判斷一個表爲空表?
- 如何在本地調用MaxCompute服務器運行Mapreduce任務？
- 報錯：BufferOverflowException
- MaxCompute 上的 mapreduce 任務是否會對分區的數據進行覆蓋?
- MapReduce常見問題
- 在MapOnly例子中，爲什麼程序沒有指定輸出Table的Schema格式
- 報錯：Resource not found.
- Hadoop MapReduce源碼能否直接應用於MaxCompute MapReduce？
- 使用MR報：class not found
- Mapper和Reducer相關問題
- MaxCompute MapReduce進行分佈處理時，如何設置node？
- 如何打印MR/UDF中的日誌？MR中是否可以只有Map？
- Reduce剛執行，就報錯爲內存溢出
- MR中指定兩個jar，libjars和classpath
- 報錯：Exception in thread “main“ java.io.IOException
- 報錯：ODPS-0010000: System internal error - get input pangu dir meta fail
- 報錯：Exception in thread "main" com.aliyun.odps.OdpsException: Table not found: project_name.table_name
- 報錯：FAILED: ODPS-0123144: Fuxi job failed - WorkerRestart
- MR讀取資源次數超過限制
- 報錯：java.security.AccessControlException: access denied
- MapReduce實現排序順序
- MapReduce中的Backups是什麼？
- 在MapReduce程序中使用第三方類，打了一個assembly的jar包，運行時報找不到類的錯誤，應該怎樣配置？
- 結果表中會保留兩個MR計算之後的重複數據嗎？
- [在DataWorks上件執行時logview總是顯示Exceed maximum read times [256] per resource: 'RES_META_DICT_CITY'會對結果有影響嗎？](https://help.aliyun.com/knowledge_detail/101808.html)
- 在MapReduce過程中OOM內存溢出應該調整什麼參數？
-
運行MapReduce報錯java.lang.OutOfMemoryError: Java heap space
SDK
JAVA SDK
- MaxCompute Java SDK執行任務卡頓如何處理？
- MaxCompute如何下載SDK的DOC？
- 報錯：java.lang.ClassNotFoundException
- 報錯：OpenJDK 64-Bit Server VM warning: Insufficient space for shared memory
-
MaxCompute分析的結果如何傳輸到PHP開發的WEB應用中？
Python SDK(PyODPS)
- PyODPS安裝常見問題
- PyODPS開發最佳實踐
- PyODPS常見問題
- Dataframe如何獲得count實際數字?
- MaxCompute對Python的支持
- 使用SQL"from odps import options options.sql.settings"設置ODPS運行環境不成功是什麼原因？
-
Shell或Python腳本中，如何執行MaxCompute命令？
優化診斷
小文件優化
作業診斷
- 雙擊客戶端工具閃退
- 進行併發插入等操作報錯
- FAILED: ODPS-0130121:Invalid argument type
- 創建的shell任務執行失敗，運維中心無法查看失敗原因
- DataWorks-運維中心-任務管理中查看某個任務屬性，顯示的狀態是暫停，在數據開發-調度配置中有勾選暫停按鈕嗎？
- 數據集成操作時消息框提示order字段已經刪除
- odpscmd -f 執行任務失敗
- 日誌服務同步日誌到MaxCompute失敗
- 同樣的SQL語句查詢同一個表爲什麼在不同項目裏執行結果不一致？
- 數據同步報錯可以配置用戶郵件列表把出錯的表發送給用戶嗎？
- 使用DataWorks時很多數據同步任務處於等待狀態是什麼原因？
-
shell任務執行問題：調度資源管理添加的其中一臺服務器一直顯示“停止”