一.快速介紹
實際生產中，鑑於數據安全、不同夠公司數據交互等原因，很多時候會使用txt、csv等文件格式來交互數據。
TxtFileReader提供了讀取本地文件系統數據存儲的能力。在底層實現上，TxtFileReader獲取本地文件數據，並轉換爲DataX傳輸協議傳遞給Writer。
本地文件內容存放的是一張邏輯意義上的二維表，例如CSV格式的文本信息。
二. 功能與限制
TxtFileReader實現了從本地文件讀取數據並轉爲DataX協議的功能，本地文件本身是無結構化數據存儲，對於DataX而言，TxtFileReader實現上類比OSSReader，有諸多相似之處。
目前TxtFileReader支持功能如下：
支持且僅支持讀取TXT的文件，且要求TXT中shema爲一張二維表。
支持類CSV格式文件，自定義分隔符。
支持多種類型數據讀取(使用String表示)，支持列裁剪，支持列常量
支持遞歸讀取、支持文件名過濾。
支持文本壓縮，現有壓縮格式爲zip、gzip、bzip2。
多個File可以支持併發讀取。
我們暫時不能做到：
單個File支持多線程併發讀取，這裏涉及到單個File內部切分算法。二期考慮支持。
單個File在壓縮情況下，從技術上無法支持多線程併發讀取。
三. 功能說明
3.1 配置樣例
{
"setting": {},
"job": {
"setting": {
"speed": {
"channel": 2
}
},
"content": [
{
"reader": {
"name": "txtfilereader",
"parameter": {
"path": ["/home/haiwei.luo/case00/data"],
"encoding": "UTF-8",
"column": [
{
"index": 0,
"type": "long"
},
{
"index": 1,
"type": "boolean"
},
{
"index": 2,
"type": "double"
},
{
"index": 3,
"type": "string"
},
{
"index": 4,
"type": "date",
"format": "yyyy.MM.dd"
}
],
"fieldDelimiter": ","
}
},
"writer": {
"name": "txtfilewriter",
"parameter": {
"path": "/home/haiwei.luo/case00/result",
"fileName": "luohw",
"writeMode": "truncate",
"format": "yyyy-MM-dd"
}
}
}
]
}
}
3.2 參數說明
3.2.1 path
描述：
本地文件系統的路徑信息，注意這裏可以支持填寫多個路徑。
當指定單個本地文件，TxtFileReader暫時只能使用單線程進行數據抽取。二期考慮在非壓縮文件情況下針對單個File可以進行多線程併發讀取。
當指定多個本地文件，TxtFileReader支持使用多線程進行數據抽取。線程併發數通過通道數指定。
當指定通配符，TxtFileReader嘗試遍歷出多個文件信息。例如: 指定/代表讀取/目錄下所有的文件，指定/bazhen/代表讀取bazhen目錄下游所有的文件。TxtFileReader目前只支持*作爲文件通配符。
特別需要注意的是，DataX會將一個作業下同步的所有Text File視作同一張數據表。用戶必須自己保證所有的File能夠適配同一套schema信息。讀取文件用戶必須保證爲類CSV格式，並且提供給DataX權限可讀。
特別需要注意的是，如果Path指定的路徑下沒有符合匹配的文件抽取，DataX將報錯。
必選：是
默認值：無
3.2.2 column
描述：
讀取字段列表，type指定源數據的類型，index指定當前列來自於文本第幾列(以0開始)，value指定當前類型爲常量，不從源頭文件讀取數據，而是根據value值自動生成對應的列。
默認情況下，用戶可以全部按照String類型讀取數據，配置如下：
"column": ["*"]
用戶可以指定Column字段信息，配置如下：
{
"type": "long",
"index": 0 //從本地文件文本第一列獲取int字段
},
{
"type": "string",
"value": "alibaba" //從TxtFileReader內部生成alibaba的字符串字段作爲當前字段
}
對於用戶指定Column信息，type必須填寫，index/value必須選擇其一。
必選：是
默認值：全部按照string類型讀取
3.2.3 fieldDelimiter
描述：讀取的字段分隔符
必選：是
默認值：,
3.2.4 compress
描述：文本壓縮類型，默認不填寫意味着沒有壓縮。支持壓縮類型爲zip、gzip、bzip2。
必選：否
默認值：沒有壓縮
3.2.5 encoding
描述：讀取文件的編碼配置。
必選：否
默認值：utf-8
3.2.6 skipHeader
描述：類CSV格式文件可能存在表頭爲標題情況，需要跳過。默認不跳過。
必選：否
默認值：false
3.2.7 nullFormat
描述：文本文件中無法使用標準字符串定義null(空指針)，DataX提供nullFormat定義哪些字符串可以表示爲null。
例如如果用戶配置: nullFormat:"\N"，那麼如果源頭數據是"\N"，DataX視作null字段。
必選：否
默認值：\N
3.2.8 csvReaderConfig
描述：讀取CSV類型文件參數配置，Map類型。讀取CSV類型文件使用的CsvReader進行讀取，會有很多配置，不配置則使用默認值。
必選：否
默認值：無
常見配置：
"csvReaderConfig":{
"safetySwitch": false,
"skipEmptyRecords": false,
"useTextQualifier": false
}
所有配置項及默認值,配置時 csvReaderConfig 的map中請嚴格按照以下字段名字進行配置：
boolean caseSensitive = true;
char textQualifier = 34;
boolean trimWhitespace = true;
boolean useTextQualifier = true;//是否使用csv轉義字符
char delimiter = 44;//分隔符
char recordDelimiter = 0;
char comment = 35;
boolean useComments = false;
int escapeMode = 1;
boolean safetySwitch = true;//單列長度是否限制100000字符
boolean skipEmptyRecords = true;//是否跳過空行
boolean captureRawRecord = true;
3.3 類型轉換
本地文件本身不提供數據類型，該類型是DataX TxtFileReader定義：
其中：
- 本地文件 Long是指本地文件文本中使用整形的字符串表示形式，例如"19901219"。
- 本地文件 Double是指本地文件文本中使用Double的字符串表示形式，例如"3.1415"。
- 本地文件 Boolean是指本地文件文本中使用Boolean的字符串表示形式，例如"true"、"false"。不區分大小寫。
- 本地文件 Date是指本地文件文本中使用Date的字符串表示形式，例如"2014-12-31"，Date可以指定format格式。