OSS基本名詞說明

阿里雲 OSS(Object Storage Service)提供基於網絡的數據存取服務。使用 OSS,可以通過網絡隨時存儲和調用包括文本、圖片、音頻和視頻等在內的各種結構化或非結構化數據文件。
阿里雲 OSS 將數據文件以對象(object)的形式上傳到存儲空間(bucket)中。 通過OSS可以創建一個或者多個存儲空間,然後向每個存儲空間中添加一個或多個文件。也可以通過獲取已上傳文件的地址進行文件的分享和下載。還可以通過修改存儲空間或文件的屬性或元信息來設置相應的訪問權限。
1、存儲空間(Bucket)
存儲空間是用於存儲對象(Object)的容器,所有的對象都必須隸屬於某個存儲空間。可以設置和修改存儲空間屬性用來控制地域、訪問權限、生命週期等,這些屬性設置直接作用於該存儲空間內所有對象,因此可以通過靈活創建不同的存儲空間來完成不同的管理功能。
2、對象/文件(Object)
對象是 OSS 存儲數據的基本單元,也被稱爲 OSS 的文件。對象由元信息(Object Meta),用戶數據(Data)和文件名(Key)組成。對象由存儲空間內部唯一的 Key 來標識。對象元信息是一個鍵值對,表示了對象的一些屬性,比如最後修改時間、大小等信息,同時用戶也可以在元信息中存儲一些自定義的信息。
對象的生命週期是從上傳成功到被刪除爲止。在整個生命週期內,對象信息不可變更。重複上傳同名的對象會覆蓋之前的對象,因此,OSS 不支持修改文件的部分內容等操作。
OSS 提供了 追加上傳 功能,用戶可以使用該功能不斷地在Object尾部追加寫入數據。
3、Region(地域)

Region 表示 OSS 的數據中心所在的地域,物理位置。用戶可以根據費用、請求來源等綜合選擇數據存儲的 Region。一般來說,距離用戶更近的 Region 訪問速度更快。Region是在創建 Bucket 的時候指定的,一旦指定之後就不允許更改,該 Bucket 下所有的 Object 都存儲在對應的數據中心,目前不支持 Object 級別的 Region 設置。
4、Endpoint(訪問域名)
Endpoint 表示 OSS 對外服務的訪問域名。OSS 以 HTTP RESTful API 的形式對外提供服務,當訪問不同的 Region 的時候,需要不同的域名。通過內網和外網訪問同一個 Region 所需要的 Endpoint 也是不同的。例如杭州 Region 的外網 Endpoint 是 oss-cn-hangzhou.aliyuncs.com,內網 Endpoint 是 oss-cn-hangzhou-internal.aliyuncs.com。
5、AccessKey(訪問密鑰)
AccessKey,簡稱 AK,指的是訪問身份驗證中用到的 AccessKeyId 和AccessKeySecret。OSS 通過使用 AccessKeyId 和 AccessKeySecret 對稱加密的方法來驗證某個請求的發送者身份。AccessKeyId 用於標識用戶,AccessKeySecret 是用戶用於加密簽名字符串和 OSS 用來驗證簽名字符串的密鑰,其中 AccessKeySecret 必須保密。
hadoop環境oss文件的傳輸示例:
hadoop fs -copyToLocal oss://{AccessKeyId}:{AccessKeySecret}@chushou-srv-log.oss-cn-shenzhen-internal.aliyuncs.com/tmp/nisj/Mysql2Hive.zip
hadoop distcp oss://%s:%s@%s.%s/%s hdfs:%s""" % (AccessKeyId, AccessKeySecret, bucket, endpoint, ossFileName, hdfsFileName)
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章