Linux大文件使用

 

支持大文件的兩種方式：

1、gcc 加 -D_FILE_OFFSET_BITS=64 -D_LARGE_FILE

2、注意一定要定義在include之前

#define _LARGEFILE_SOURCE
#define _LARGEFILE64_SOURCE
#define _FILE_OFFSET_BITS 64

建議兩種方式都加上。

可以在GDB調試時打印p sizeof(off_t)來確定設置是否成功

如果值爲8 成功

如果值爲4 定義沒有成功

如何create大文件

要大就非常大，1T吧。

有兩種方法：

一.dd
dd if=/dev/zero of=1T.img bs=1G seek=1024 count=0
bs=1G表示每一次讀寫1G數據，count=0表示讀寫0次，seek=1024表示略過1024個Block不寫，前面block size是1G，所以共略過1T！
這是創建大型sparse文件最簡單的方法。

二.ftruncate64/ftruncate
如果用系統函數就稍微有些麻煩，因爲涉及到宏的問題。我會結合一個實際例子詳細說明，其中OPTION標誌的就是測試項。
文件sparse.c:

//OPTION 1:是否定義與大文件相關的宏
#define _LARGEFILE_SOURCE
#define _LARGEFILE64_SOURCE
#define _FILE_OFFSET_BITS 64

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <errno.h>
#include <string.h>

#define FILENAME "bigfile"
#define FILE_MODE (S_IRUSR | S_IWUSR | S_IRGRP | S_IROTH)
int main(int argc, char **argv)
{
int fd, ret;
off_t offset;

int total = 0;
if ( argc >= 2 )
{
total = atol(argv[1]);
printf("total=%d/n", total);
}

//OPTION 2:是否有O_LARGEFILE選項
//fd = open(FILENAME, O_RDWR|O_CREAT|O_LARGEFILE, 0644);
fd = open(FILENAME, O_RDWR|O_CREAT, 0644);
if (fd < 0) {
perror(FILENAME);
return -1;
}
offset = (off_t)total *1024ll*1024ll*1024ll;
printf("offset=%ld/n", offset);

//OPTION 3：是否調用64位系統函數
//if (ftruncate64(fd, offset) < 0)
if (ftruncate(fd, offset) < 0)
{
printf("[%d]-ftruncate64 error: %s/n", errno, strerror(errno));
close(fd);
return 0;
}

close(fd);
printf("OK/n");

return 0;
}

測試環境：
linux:/disk/test/big # gcc --version
gcc (GCC) 3.3.5 20050117 (prerelease) (SUSE Linux)
linux:/disk/test/big # uname -a
Linux linux 2.6.11.4-20a-default #1 Wed Mar 23 21:52:37 UTC 2005 i686 i686 i386 GNU/Linux

測試結果（僞碼錶示）：
1.宏定義完全的情況下：
IF {O_LARGEFILE=TRUE && ftruncate64=TRUE}
OK；
ELSEIF {O_LARGEFILE=FALSE && ftruncate64=TRUE}
OK；
ELSEIF {O_LARGEFILE=FALSE && ftruncate64=FALSE}
運行不報錯，但是不支持>4G；
ELSEIF {O_LARGEFILE=TRUE && ftruncate64=FALSE}
運行不報錯，但是不支持>4G；
【結論】：在宏定義完全的情況下，是否調用ftruncate64，是決定支持4G以上文件的關鍵，O_LARGEFILE無作用。

2.宏定義不完全：缺少_FILE_OFFSET_BITS
首先聲明一點，O_LARGEFILE需要定義_LARGEFILE64_SOURCE。
IF {O_LARGEFILE=TRUE && ftruncate64=TRUE}
產生不正常超大文件；
ELSEIF {O_LARGEFILE=FALSE && ftruncate64=TRUE}
產生不正常超大文件；
ELSEIF {O_LARGEFILE=FALSE && ftruncate64=FALSE}
運行不報錯，但是不支持>2G；
ELSEIF {O_LARGEFILE=TRUE && ftruncate64=FALSE}
運行不報錯，但是不支持>4G；
【結論】：未定義_FILE_OFFSET_BITS的情況下，ftruncate64調用是非法的，會產生無法預料的後果，這裏的測試就是產生一個超大文件(>1T)，我也無法解釋其原因；O_LARGEFILE的作用就是在32位系統中支持大文件系統,允許打開那些用31位（2G）都不能表示其長度的大文件；此外，off_t爲unsigned int類型，也就是說最多隻能達到4G，所以ftruncate最大支持4G文件。

總結一下：如果要支持超過2G的文件，至少需要定義_LARGEFILE64_SOURCE宏，並且設置O_LARGEFILE選項；如果要支持超過4G，需要定義所有上述的宏，並且調用ftruncate64；其餘的搭配都是錯誤的！

【附】：
dd 的主要選項：
指定數字的地方若以下列字符結尾乘以相應的數字:
b=512, c=1, k=1024, w=2, m=1024k, g=1024m
大小寫不限。

if=file
輸入文件名，缺省爲標準輸入。

of=file
輸出文件名，缺省爲標準輸出。

ibs=bytes
一次讀入 bytes 個字節(即一個塊大小爲 bytes 個字節)。

obs=bytes
一次寫 bytes 個字節(即一個塊大小爲 bytes 個字節)。

bs=bytes
同時設置讀寫塊的大小爲 bytes ，可代替 ibs 和 obs 。

cbs=bytes
一次轉換 bytes 個字節，即轉換緩衝區大小。

skip=blocks
從輸入文件開頭跳過 blocks 個塊後再開始複製。

seek=blocks
從輸出文件開頭跳過 blocks 個塊後再開始複製。(通常只有當輸出文件是磁盤或磁帶時纔有效)

count=blocks
僅拷貝 blocks 個塊，塊大小等於 ibs 指定的字節數。

conv=conversion[,conversion...]
用指定的參數轉換文件。

轉換參數:

ascii 轉換 EBCDIC 爲 ASCII。

ebcdic 轉換 ASCII 爲 EBCDIC。

ibm 轉換 ASCII 爲 alternate EBCDIC.

block 把每一行轉換爲長度爲 cbs 的記錄，不足部分用空格填充。

unblock
使每一行的長度都爲 cbs ，不足部分用空格填充。

lcase 把大寫字符轉換爲小寫字符。

ucase 把小寫字符轉換爲大寫字符。

noerror
不顯示錯誤

notrunc
不截短輸出文件。

sync 把每個輸入塊填充到ibs個字節，不足部分用空(NUL)字符補齊。