用flume提交文件到hdfs系統,並保持原來的文件名信息

用flume提交文件到hdfs系統,並保持原來的文件名信息的配置方式:

# 配置files_source
# spooling
agent1.sources.files_source.type = spooldir
agent1.sources.files_source.spoolDir = /tmp/flumetest/
agent1.sources.files_source.fileHeader = true
agent1.sources.files_source.fileHeaderKey = fileName


# 配置hdfs_sink
agent1.sinks.hdfs_sink.type = hdfs
agent1.sinks.hdfs_sink.hdfs.path = hdfs://localhost:9000/myflumetestcluster/flume
agent1.sinks.hdfs_sink.fileType = SequenceFile
# agent1.sinks.hdfs_sink.fileType = DataStream #值DataStream表示文件類型,不會被壓縮
# agent1.sinks.hdfs_sink.writeFormat = Text #針對DataStream,使用Text輸出格式

agent1.sinks.hdfs_sink.hdfs.filePrefix = %{fileName}  #把原來的文件名作爲前綴

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章