flink实战--flink读取hdfs目录下多个文件(递归、正则匹配)

扫一扫加入大数据公众号和技术交流群,了解更多大数据技术,还有免费资料等你哦

简介

                  在日常开发中读取hdfs文件是很频繁的操作,并且在这个过程中我们可能会有如下需求:

  1.   读取某个目录下的所有的文件,也就是递归读取hdfs的目录
  2.   按条件读取hdfs,也就是正则表达式读取目录下的文件

                看到这些需求,我们可能想到spark都支持的不错,Flink支持的怎么样呢?本篇文章详细介绍一下Flink如何实现,递归,正则表达式等方式读取hdfs的目录。

Flink递归读取hdfs上多路径文件

               比如,读取如下面所示data目录下日期命名的文件夹,如果直接使用env.readTextFile("//127.0.0.1:9000/data/"),是获取不到数据的,因为Flink默认情况下不递归读取多目录文件。而是只读取基本目录中的文件,而忽略嵌套文件。可以通过recursive.file.enumeration配置参数启用嵌套文

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章