項目owner看這裏,MaxCompute全表掃描新功能,給你“失誤”的機會

隨着社會數據收集手段的不斷豐富及完善,越來越多的行業數據被積累下來。數據規模已經增長到了傳統軟件行業無法承載的海量數據,達到百GB、TB乃至PB級別。

在分析海量數據場景下,由於單臺服務器的處理能力限制,數據分析者通常採用分佈式計算模式。但分佈式的計算模型對數據分析人員提出了較高的要求,且不易維護。使用分佈式模型,數據分析人員不僅需要了解業務需求,同時還需要熟悉底層計算模型。

MaxCompute的目的是爲用戶提供一種便捷的分析處理海量數據的能力,owner可以不必關心分佈式計算細節,便可達到分析大數據的目的,這樣一是減輕項目負責人的工作負擔,也同時降低了企業對海量數據處理的專業人才成本。

在使用過程中,我們發現用戶經常遇到這樣的問題,如果一不小心寫錯了sql,對全表做了掃描,不僅影響效率還會對成本造成損失,因爲對全表數據掃描是費用比較高的。

現在,MaxCompute發佈了“ALIAS 命令”,提供了在不修改代碼的前提下,在MapReduce或自定義函數(UDF) 代碼中,通過某個固定的資源名讀取不同資源(數據)的需求。

其實通俗的來講就是允許項目owner對項目進行設置,可以通過允許或不允許來保障這個項目不被做全表掃描,可以節約成本,避免了初次使用MaxCompute的用戶或者誤操作而對全表做了掃描影響效率和成本發生。如果確實需要對全表掃描,可以把屬性這裏改爲true,完成用戶需要的全表掃描的操作。

具體操作如下:
以開關的形式,通過設置允許或禁止全表掃描。true爲允許,false爲禁止 項目級別控制:setproject odps.sql.allow.fullscan=false/true Session級別控制:set odps.sql.allow.fullscan=false/true

總體來說該功能對於項目owner來說,不僅可以避免資源浪費、控制計算成本,還能靈活應開啓全表掃描分區表。
具體操作詳情請戳這裏:
https://help.aliyun.com/document_detail/27834.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章