阿里雲 MaxCompute 2020-7 月刊

2020年8月5日 “MaxCompute企業級安全新能力發佈”,解讀SaaS模式雲數據倉庫MaxCompute數據的持續保護。
瞭解發佈詳情>>

【7月新發布功能】

1.MaxCompute使用包年包月計算資源作業支持優先級功能

MaxCompute支持作業優先級的功能可以更合理分配使用包年包月計算資源,給高優先級業務加一道保障。

適用客戶
適用於MaxCompute使用包年包月計算資源的用戶。

發佈功能
使用MaxCompute包年包月計算資源時,資源池爲獨享同時也是有限的,而業務優先級不同,對應的任務也有不同優先級,當任務都處在資源等待狀態時,通過優先級功能,可以讓優先級高的任務優先獲取到資源執行,從而更合理分配使用有限的計算資源。

此功能同時支持關聯DataWorks調度任務基線優先級,若通過DataWorks使用MaxCompute,且有調度任務,可以根據業務劃分調度任務優先級,當調度任務發起MaxCompute job時,對應的優先級會傳到MaxCompute轉化成MaxCompute的優先級。

開啓使用優先級功能前,務必要先梳理好各任務/流程優先級,避免濫用高優先級從而達不到預定的效果。

查看文檔 >>


2.MaxCompute管家支持對包年包月配額組分時管理

MaxCompute管家支持對包年包月配額組分時管理,滿足對不同工作負載能力的項目時段進行資源隔離,避免相互干擾,提高資源使用率。

適用客戶
MaxCompute包年包月計算資源用戶

發佈功能
MaxCompute包年包月資源可以通過MaxCompute管家進行配額管理,新支持的配額組分時功能,可以實現因不同項目(開發、生產)1天之內對資源使用的時段不同而需要對配額組按照時段來分配大小的需求,從而滿足時段的差異化資源需求,更大化提高資源使用效率。

分時配額功能主要是支持包年包月的預留型計算資源的分時設置,可以根據業務需求,對配額進行分時,然後劃分N個包年包月資源配額組,每個配額組每個時段設置具體的預留CU最大和最小值,並關聯對應的project。如生產項目關聯的配額組在夜間時段可分配多些預留資源,而開發項目管理的配額組可在白天開發高峯期分配多些預留資源,由此隔離生產/開發/不同工作負載的能力,更大化提高資源使用率。

查看文檔 >>


3.MaxCompute 使用包年包月計算資源的Project支持指定SQL任務使用按量付費計算資源

MaxCompute支持包年包月項目中的SQL使用按量計費資源,突破了獨享資源的侷限,從而更靈活更合理的使用包年包月資源。

適用客戶
MaxCompute包年包月計算資源用戶

發佈功能
MaxCompute使用包年包月的項目支持指定SQL提交到關聯的按量付費計算資源池執行。在使用此功能前,需要先開通對應區域的按量付費服務,還要評估哪些使用包年包月資源的項目有SQL任務需要指定使用按量付費計算資源。確認好後,通過MaxCompute 管家將包年包月的項目增加按量付費配額組,再在對應包年包月項目指定SQL作業使用按量付費資源運行,指定好後此SQL每次執行會直接提交到按量付費資源池中執行,執行成功則按量付費。

在該功能之前,同個項目同個業務需求有任務需求使用按量付費資源池時,需要單獨創建按量付費項目並在項目中創建任務進行執行,還需要打通項目之間的權限,跨項目任務依賴等額外的管理工作,使用起來便捷性和體驗都比較差,而“包年包月的項目支持指定SQL使用按量付費計算資源”功能將帶來更好的使用體驗從而提升工作效率。

查看文檔 >>


4.MaxCompute新增項目的默認數據類型版本從1.0變更爲2.0

MaxCompute通過DataWorks控制檯新增項目時,項目的默認數據類型版本從1.0變更爲2.0。

適用客戶
MaxCompute公共雲用戶

發佈功能
MaxCompute通過DataWorks控制檯新增項目時,項目的默認數據類型版本從1.0變更爲2.0。該變更已於2020年7月13日到2020年7月22日陸續對中國站各個區域進行了升級,並將於2020年7月29日到2020年8月6日陸續對國際站各個區域進行升級。如果您之前創建過存量項目,新建項目時需要選擇合適的數據類型版本。不同數據類型版本的項目進行數據交互時可能會引起兼容性問題。

MaxCompute有3個數據類型版本,不同數據類型版本在定義和行爲上有一定的差異。MaxCompute將數據類型相關屬性組成3個組合,分別對應1.0數據類型版本、2.0數據類型版本和Hive兼容數據類型版本。詳情請參見數據類型版本說明。

數據類型版本說明 >>
創建項目空間說明 >>


5.Python UDF支持更多數據類型

Python 2 UDF 和Python 3 UDF 支持更多數據類型。

適用客戶
MaxCompute公共雲用戶。

發佈功能
Python 2 和Python 3 的UDF/UDTF/UDAF 新增支持 DECIMAL、數據類型2.0的DECIMAL、複雜類型ARRAY、MAP、STRUCT和複雜類型嵌套。
目前Python UDF 支持數據類型包括BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、數據類型2.0的DECIMAL、複雜數據類型(ARRAY、MAP和STRUCT)和複雜數據類型嵌套。
目前Python 3 UDF 讀資源表,即get_cache_table讀取引用資源表的內容支持 BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、數據類型2.0的DECIMAL、FLOAT、CHAR、VARCHAR、BINARY、DATE、ARRAY、MAP和STRUCT數據類型。

Python 2 UDF >>
Python 3 UDF >>


6.MaxCompute新增APPROX_DISTINCT等內建聚合函數

MaxCompute新增內建聚合函數,包括APPROX_DISTINCT、ANY_VALUE、ARG_MAX、ARG_MIN等。

適用客戶
MaxCompute公共雲用戶。

發佈功能
MaxCompute新增內建聚合函數,包括APPROX_DISTINCT、ANY_VALUE、ARG_MAX、ARG_MIN等。
APPROX_DISTINCT(value) 返回輸入的非重複值的近似數目。
ANY_VALUE(value) 實現在取值範圍內任選一個值返回。
ARG_MAX(valueToMaximize, valueToReturn) 返回指定判斷列最大值的行對應的指定返回列的值。
ARG_MIN(valueToMaximize, valueToReturn) 返回指定判斷列最小值的行對應的指定返回列的值。

查看文檔 >>


7.MaxCompute支持代碼嵌入式UDF

MaxCompute的代碼嵌入式UDF允許在SQL腳本中直接書寫Java或Python代碼。

適用客戶
MaxCompute公共雲用戶。

發佈功能
代碼嵌入式UDF功能支持把Java或Python代碼嵌入到SQL腳本中,即將SQL腳本和第三方代碼放入同一個源碼文件,減少了使用UDT或UDF的操作步驟,給日常開發和維護帶來了便利。

在腳本編譯的時候,編譯器把嵌入代碼識別並提取出來,做必要的編譯(Java 代碼),動態生成資源,然後結合創建臨時函數(Temporary Function)的能力來註冊函數。這樣,您可以在一個SQL腳本中完成代碼編譯(Java)、添加資源、創建函數這一系列的操作。代碼嵌入式UDF功能還能夠解決維護人員閱讀他人SQL代碼時,無法查看含有UDF的代碼內部實現邏輯,甚至有些jar包找不到源碼的問題。

查看文檔 >>


8.MaxCompute支持SQL語言定義函數

SQL語言定義函數允許在SQL中使用SQL定義的UDF並調用。

適用客戶
MaxCompute公共雲用戶。

發佈功能
MaxCompute UDF支持java或者Python定義,很多時候需要實現一些比較簡單的的功能,而這些功能有的可以直接通過SQL來描述出來,因此MaxCompute支持SQL語言定義函數(SQL Function),避免編譯(Java UDF),添加資源,創建函數等複雜操作,提高代碼易讀性和代碼複用率。SQL Function 能夠在SQL中使用SQL定義的UDF並調用。SQL Function可以接受 Function類型的參數。調用時傳入的可以是內置函數、UDF 或者 Sql Functions。SQL Function 支持匿名函數,即接受 Function類型參數的SQL Function,調用時傳入匿名函數。

SQL Function 作爲一種用戶自定義函數,彌補了之前系統只能用Java/Python寫UDF的不足。此外還擴展了Function Type和匿名函數等特性,讓您表達業務邏輯具有了更多的靈活性。

查看文檔 >>

MaxCompute 產品官網 https://www.aliyun.com/product/odps
閱讀往期月刊 https://yq.aliyun.com/publication/49
更多關於大數據計算產品技術交流,可掃碼加入“MaxCompute開發者社區”釘釘羣
二維碼.JPG

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章