OSS 數據湖實踐 —— 使用EMR JindoFs Cache提升性能

通過使用cache緩存機制,減少數據分析處理過程中直讀OSS的次數,不僅能夠提高性能,更能減少與OSS的交互流量,減少數據分析成本與時間開銷。

前提條件

  • 已註冊阿里雲賬號,詳情請參見注冊雲賬號。
  • 已開通E-MapReduce服務和OSS服務。
  • 已完成雲賬號的授權,詳情請參見角色授權。
  • 已創建Haoop集羣,且帶有Hive組件,且配置OSS數據源。

步驟一:設置JindoFs Cache

打開smartdata服務中client配置,
把jfs.cache.data-cache.enable爲1, 表示打開JindoFs的cache功能打開

步驟二:進行作業測試

數據分析作業具體可看其他OSS數據湖實踐文檔功能
OSS Spark 實踐文檔
OSS Flink 實踐文檔
OSS Hive 實踐文檔

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章