ES复杂类型数据同步到HIVE数仓

数仓中重要的一个数据同步环节是将ES的数据同步到hive数仓中进行分析,对于普通的平级没有嵌套的数据来说很容易同步,但是对于嵌套类型需要考虑的点就多了,以下是一些干货,在此记录一下。

1、环境说明
  • ES Version: 7.2.1

  • Hadoop Version: 3.0.0

  • elasticsearch-hadoop-7.2.1.jar

  • ES的数据示例

 		"time" : "2020-06-28T00:24:55+0800",
          "documentId" : "d458d964-1b92-45da-8aff-0ae57331310d",
          "lessonUid" : "c4a6d717bb464e00a0d3fdf79fd6dfc7",
          "serviceType" 
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章