一、需求场景分析
在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游依赖关系。
本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。
二、方案设计思路
MaxCompute Information_Schema提供了访问表的作业明细数据tasks_history,该表中有作业ID、input_tables、output_tables字段记录表的上下游依赖关系。根据这三个字段统计分析出表的血缘关系
1、根据某1天的作业历史,通过获取tasks_history表里的input_tables、output_tables
基于MaxCompute InformationSchema进行血缘关系分析
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
数据湖 VS 数据仓库之争?阿里提出大数据架构新概念:湖仓一体
雲棲號資訊小哥
2020-10-15 15:34:46
【数据湖开发治理篇】——数据湖开发治理平台DataWorks
雲棲號資訊小哥
2020-09-28 14:28:49
什么是物联网?常见IoT 物联网协议最全讲解
雲棲號資訊小哥
2020-10-19 14:43:50
Serverless Spark的弹性利器 - EMR Shuffle Service
雲棲號資訊小哥
2020-09-28 14:28:49
基于Redis实现基本抢红包算法
原創
2024-04-17 11:18:19
Java中拼接字符串方式(+、StringBuilder/StringBuffer)分析
原創
2024-04-09 21:31:20
Java中String 、StringBuilder 、StringBuffer 的区别
原創
2024-04-08 09:31:31
JPA不识别MySQL的枚举类型
原創
2024-04-02 01:07:56
go-Channel
原創
2024-03-24 00:10:06
阿里云 MaxCompute 2021-1 月刊
晉恆
2021-03-22 19:11:15
阿里云 MaxCompute 2020-12 月刊
晉恆
2021-01-05 14:43:48
阿里云 MaxCompute 2020-11 月刊
晉恆
2020-12-03 09:55:49
阿里云 MaxCompute 2020-10 月刊
晉恆
2020-11-09 12:19:53
浅谈MaxCompute资源规划管理及评估
雲棲號資訊小哥
2020-10-16 14:22:51