通過使用cache緩存機制,減少數據分析處理過程中直讀OSS的次數,不僅能夠提高性能,更能減少與OSS的交互流量,減少數據分析成本與時間開銷。
前提條件
- 已註冊阿里雲賬號,詳情請參見注冊雲賬號。
- 已開通E-MapReduce服務和OSS服務。
- 已完成雲賬號的授權,詳情請參見角色授權。
- 已創建Haoop集羣,且帶有Hive組件,且配置OSS數據源。
步驟一:設置JindoFs Cache
打開smartdata服務中client配置,
把jfs.cache.data-cache.enable爲1, 表示打開JindoFs的cache功能打開
步驟二:進行作業測試
數據分析作業具體可看其他OSS數據湖實踐文檔功能
OSS Spark 實踐文檔
OSS Flink 實踐文檔
OSS Hive 實踐文檔