文件系統深度理解之inode解讀

一、問題:
  在一臺Linux服務器的/data分區內創建文件時,系統提示磁盤空間不足,用df -h命令查看了一下磁盤使用情況,發現/data分區只使用了66%,還有12G的剩餘空間。
  
二、分析問題:
  用df -i查看了一下/data分區的索引節點(inode),發現已經用滿(IUsed=100%),導致系統無法創建新目錄和文件。inode譯成中文就是索引節點,每個存儲設備(例如硬盤)或存儲設備的分區被格式化爲文件系統後,應該有兩部份,一部份是inode,另一部份是Block,Block是用來存儲數據用的。而inode呢,就是用來存儲這些數據的信息,這些信息包括文件大小、屬主、歸屬的用戶組、讀寫權限等。inode爲每個文件進行信息索引,所以就有了inode的數值。操作系統根據指令,能通過inode值最快的找到相對應的文件。
  而這臺服務器的Block雖然還有剩餘,但inode已經用滿,因此在創建新目錄或文件時,系統提示磁盤空間不足。
  
 這裏寫圖片描述

三、原因:
  /data/cache目錄中存在數量非常多的小字節緩存文件,佔用的Block不多,但是佔用了大量的inode。
  
四、解決方案:
  1、刪除/data/cache目錄中的部分文件,釋放出/data分區的一部分inode。
  2、用軟連接將空閒分區/opt中的newcache目錄連接到/data/cache,使用/opt分區的inode來緩解/data分區inode不足的問題:
  ln -s /opt/newcache /data/cache
  3、增加空間

一、inode
硬盤的最小存儲單位叫做”扇區”(Sector)。每個扇區儲存512字節(相當於0.5KB)。操作系統讀取硬盤的時候,不會一個個扇區地讀取,這樣效率太低,而是一次性讀取一個”塊”(block),每個”塊”(block)由八個連續的sector組成。這種由多個扇區組成的”塊”,是文件存取的最小單位。”塊”的大小,最常見的是4KB,文件數據都儲存在”塊”中,那麼還必須找到一個地方儲存文件的元信息,比如文件的創建者、文件的創建日期、文件的大小等等。這種儲存文件元信息的區域就叫做inode,中文譯名爲”索引節點”。每一個文件都有對應的inode,裏面包含了與該文件有關的一些信息。

二、inode的內容
inode包含文件的元信息,具體有以下內容:
  * 文件的字節數
  * 文件擁有者的User ID
  * 文件的Group ID
  * 文件的讀、寫、執行權限
  * 文件的時間戳,共有三個:ctime指inode上一次變動的時間,mtime指文件內容上一次變動的時間,atime指文件上一次打開的時間。
  * 鏈接數,即有多少文件名指向這個inode
  * 文件數據block的位置
可以用stat命令查看某個文件的inode信息:

[root@Zabbix_server home]# stat zabbix/
  File: `zabbix/'
  Size: 4096       Blocks: 8          IO Block: 4096   directory
Device: 803h/2051d Inode: 130647      Links: 4
Access: (0700/drwx------)  Uid: (  500/  zabbix)   Gid: (  500/  zabbix)
Access: 2014-08-12 10:46:02.810999643 +0800
Modify: 2014-07-23 07:19:01.146989703 +0800
Change: 2014-07-23 07:19:01.146989703 +0800

除了文件名以外的所有文件信息,都存在inode之中。(爲什麼沒有文件名,繼續看下文)

三、inode的大小
概念:
inode也會消耗硬盤空間,所以硬盤格式化的時候,操作系統自動將硬盤分成兩個區域。一個是數據區,存放文件數據;另一個是inode區(inode table),存放inode所包含的信息。
每個inode節點的大小,一般是128字節或256字節。inode節點的總數,在格式化時就給定,一般是每1KB或每2KB就設置一個inode。假定在一塊1GB的硬盤中,每個inode節點的大小爲128字節,每1KB就設置一個inode,那麼inode table的大小就會達到128MB,佔整塊硬盤的12.8%。
使用df -i可以查看每個硬盤分區的inode總數和已經使用的數量

[root@Zabbix_server ~]# df -i
Filesystem      Inodes  IUsed   IFree IUse% Mounted on
/dev/sda3      1166880 103467 1063413    9% /
tmpfs           128806      4  128802    1% /dev/shm
/dev/sda1        51200     38   51162    1% /boot
/dev/sr0             0      0       0     - /media/RHEL_6.5 i386 Disc 1
[root@Zabbix_server ~]#

查看每個inod

[root@Zabbix_server ~]# dumpe2fs /dev/sda3 | grep -i "inode size"
dumpe2fs 1.41.12 (17-May-2010)
Inode size:              256

默認未加入PATH中,需要手動加入

[root@Zabbix_server ~]# export PATH=/sbin/dumpe2fs:$PATH
[root@Zabbix_server ~]# echo $PATH
/sbin/dumpe2fs:/home/script:/usr/lib/qt-3.3/bin:/usr/local/sbin:/usr/local/bin:/bin:/usr/sbin:/usr/bin:/home:/root/bin
[root@Zabbix_server ~]#

由於每個文件都必須有一個inode,因此有可能發生inode已經用光,但是硬盤還未存滿的情況。這時,就無法在硬盤上創建新文件,出現上面的實例情形。
inode大小調整:
一般來講,一個文件將佔用1~2個inode值。如果磁盤中主要爲小文件,可以適當的增加inode值。 如果大文件居多,可以適量減少inode空間,可以使用 mkfs來調整inode數值。
具體方法&案例

[root@localhost ~]# df -i /dev/sdb5
Filesystem     Inodes IUsed  IFree IUse% Mounted on
/dev/sdb5      327680    11 327669    1% /data
[root@localhost ~]#

將sdb5的inods值增加到350000(當前爲327680),我的系統是rhel6.5,調整inode會格式化整個分區,分區將被刪除,修改inode之後,uuid會被修改。因此,/etc/fstab文件也需要作相應調整,最好先將該文件cp備份一下

[root@localhost ~]# umount /data/    
[root@localhost ~]# mkfs.ext4 -N 350000 /dev/sdb5   ;-N 指定要建立的inode數目。
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
350080 inodes, 1309281 blocks
65464 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=1342177280
40 block groups
32768 blocks per group, 32768 fragments per group
8752 inodes per group
Superblock backups stored on blocks: 
    32768, 98304, 163840, 229376, 294912, 819200, 884736

Writing inode tables: done                            
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 27 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.
[root@localhost ~]# tune2fs -j /dev/sdb5  ;tune2fs用來調整和查看ext2/ext3/ext4)文件系統的文件系統參數,-j 將ext2文件系統轉換爲ext4類型的文件系統
tune2fs 1.41.12 (17-May-2010)
The filesystem already has a journal.
[root@localhost ~]# vim /etc/fstab 
#UUID=da86355c-7184-4c3a-8b3e-59429a9087eb /data ext4 defaults 0 0  ;開始的UUID
UUID=a03a11a1-bac2-4cf4-ac97-b710f78c0a84 /data ext4 defaults 0 0
[root@localhost ~]# mount -a
[root@localhost ~]# df -i /dev/sdb5
Filesystem     Inodes IUsed  IFree IUse% Mounted on
/dev/sdb5      350080    11 350069    1% /data
[root@localhost ~]#

四、inode號碼
每個inode都有一個號碼,Unix/Linux系統內部不使用文件名,而使用inode號碼來識別文件。對於系統來說,文件名只是inode號碼便於識別的別稱或者綽號。表面上,用戶通過文件名,打開文件。實際上,系統內部這個過程分成三步:首先,系統找到這個文件名對應的inode號碼;其次,通過inode號碼,獲取inode信息;最後,根據inode信息,找到文件數據所在的block,讀出數據。
使用ls -i命令,可以看到文件名對應的inode號碼:

[root@Zabbix_server zabbix]# ls -i indoe.txt 
130698 indoe.txt
[root@Zabbix_server zabbix]#

五、目錄文件
Unix/Linux系統中,目錄(directory)也是一種文件。打開目錄,實際上就是打開目錄文件。
目錄文件的結構非常簡單,就是一系列目錄項(dirent)的列表。每個目錄項,由兩部分組成:所包含文件的文件名,以及該文件名對應的inode號碼。
ls命令只列出目錄文件中的所有文件名,ls -i命令列出整個目錄文件,即文件名和inode號碼:

[root@Zabbix_server home]# ls ./zabbix/
indoe.txt
[root@Zabbix_server home]# ls ./zabbix/ -i
130698 indoe.txt
[root@Zabbix_server home]#

如果要查看文件的詳細信息,就必須根據inode號碼,訪問inode節點,讀取信息。ls -l命令列出文件的詳細信息。

[root@Zabbix_server home]# ll ./zabbix/
total 0
-rw-r--r-- 1 root root 0 Aug 13 15:02 indoe.txt
[root@Zabbix_server home]#

綜上,目錄文件的讀權限(r)和寫權限(w),都是針對目錄文件本身。由於目錄文件內只有文件名和inode號碼,所以如果只有讀權限,只能獲取文件名,無法獲取其他信息,因爲其他信息都儲存在inode節點中,而讀取inode節點內的信息需要目錄文件的執行權限(x)。

六、硬鏈接
一般情況下,文件名和inode號碼是”一一對應”關係,每個inode號碼對應一個文件名。但是,Unix/Linux系統允許,多個文件名指向同一個inode號碼。
這意味着,可以用不同的文件名訪問同樣的內容;對文件內容進行修改,會影響到所有文件名;但是,刪除一個文件名,不影響另一個文件名的訪問。這種情況就被稱爲”硬鏈接”(hard link)。
ln命令可以創建硬鏈接:ln 源文件 目標文件

[root@Zabbix_server ~]# cat /home/zabbix/indoe.txt 
hard link
[root@Zabbix_server ~]# ll -i !$
ll -i /home/zabbix/indoe.txt
130698 -rw-r--r-- 1 root root 10 Aug 13 15:21 /home/zabbix/indoe.txt
[root@Zabbix_server ~]# ln !$ indoehl.txt
ln /home/zabbix/indoe.txt indoehl.txt
[root@Zabbix_server ~]# cat indoehl.txt 
hard link
[root@Zabbix_server ~]# ll -i indoehl.txt 
130698 -rw-r--r-- 2 root root 10 Aug 13 15:21 indoehl.txt
[root@Zabbix_server ~]# ll /home/zabbix/indoe.txt 
-rw-r--r-- 2 root root 10 Aug 13 15:21 /home/zabbix/indoe.txt
[root@Zabbix_server ~]# ll -i /home/zabbix/indoe.txt 
130698 -rw-r--r-- 2 root root 10 Aug 13 15:21 /home/zabbix/indoe.txt
[root@Zabbix_server ~]# rm -f indoehl.txt 
[root@Zabbix_server ~]# ll -i /home/zabbix/indoe.txt 
130698 -rw-r--r-- 1 root root 10 Aug 13 15:21 /home/zabbix/indoe.txt
[root@Zabbix_server ~]#

硬鏈接源文件與目標文件的inode號碼相同,都指向同一個inode。inode信息中有一項叫做”鏈接數”,記錄指向該inode的文件名總數,這時就會增加1。
反過來,刪除一個文件名,就會使得inode節點中的”鏈接數”減1。當這個值減到0,表明沒有文件名指向這個inode,系統就會回收這個inode號碼,以及其所對應block區域。
創建目錄時,默認會生成兩個目錄項:”.”和”..”。前者的inode號碼就是當前目錄的inode號碼,等同於當前目錄的”硬鏈接”;後者的inode號碼就是當前目錄的父目錄的inode號碼,等同於父目錄的”硬鏈接”。所以,任何一個目錄的”硬鏈接”總數,總是等於2加上它的子目錄總數(含隱藏目錄)。

七、軟鏈接
文件A和文件B的inode號碼雖然不一樣,但是文件A的內容是文件B的路徑。讀取文件A時,系統會自動將訪問者導向文件B。因此,無論打開哪一個文件,最終讀取的都是文件B。這時,文件A就稱爲文件B的”軟鏈接”(soft link)或者”符號鏈接(symbolic link)。
這意味着,文件A依賴於文件B而存在,如果刪除了文件B,打開文件A就會報錯:”No such file or directory”。這是軟鏈接與硬鏈接最大的不同:文件A指向文件B的文件名,而不是文件B的inode號碼,文件B的inode”鏈接數”不會因此發生變化。
ln -s命令可以創建軟鏈接:ln -s 源文文件或目錄 目標文件或目錄

[root@Zabbix_server ~]# cat /home/zabbix/indoe.txt 
soft link
[root@Zabbix_server ~]# ll -i !$
ll -i /home/zabbix/indoe.txt
130698 -rw-r--r-- 1 root root 10 Aug 13 15:35 /home/zabbix/indoe.txt
[root@Zabbix_server ~]# ln -s !$ indoesl.txt
ln -s /home/zabbix/indoe.txt indoesl.txt
[root@Zabbix_server ~]# ll -i /home/zabbix/indoe.txt
130698 -rw-r--r-- 1 root root 10 Aug 13 15:35 /home/zabbix/indoe.txt
[root@Zabbix_server ~]# ll -i indoesl.txt 
922388 lrwxrwxrwx 1 root root 22 Aug 13 15:36 indoesl.txt -> /home/zabbix/indoe.txt
[root@Zabbix_server ~]# cat indoesl.txt 
soft link
[root@Zabbix_server ~]# rm -f /home/zabbix/indoe.txt 
[root@Zabbix_server ~]# cat indoesl.txt 
cat: indoesl.txt: No such file or directory
[root@Zabbix_server ~]#

八、inode的特殊作用
由於inode號碼與文件名分離,這種機制導致了一些Unix/Linux系統特有的現象。
  1. 有時,文件名包含特殊字符,無法正常刪除。這時,直接刪除inode節點,就能起到刪除文件的作用。
  2. 移動文件或重命名文件,只是改變文件名,不影響inode號碼。
  3. 打開一個文件以後,系統就以inode號碼來識別這個文件,不再考慮文件名。因此,通常來說,系統無法從inode號碼得知文件名。
擴展:
一般inode使用完是系統中創建了大量的小文件導致,例如日誌文件,只是後我們可以到日誌文件目錄下去刪除行不用的日誌文件
如果啓動了crond作業,系統中的郵件服務有沒開啓,由於linux在執行cron時,會將cron執行腳本中的output和warning信息,都會以郵件的形式發送Cron所有者, 而由於客戶環境中的sendmail和postfix沒有正常運行,導致郵件發送不成功,全部小文件堆積在了/var/spool/postfix/maildrop目錄下面,如果sendmail或者postfix正常運行,則會在/var/mail目錄下產生大量的郵件,也會堆積。在cron的第一行加入 MAILTO=”“便可,這樣執行當前用戶的Cron時,不會發送郵件。

[root@localhost maildrop]# ll|wc -l
554744
[root@localhost maildrop]# rm -rf * 
[root@localhost maildrop]# ls|xargs rm -rf
[root@localhost maildrop]# vim /etc/crontab 

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
#MAILTO=root
MAILTO=" "
HOME=/
[root@localhost maildrop]# service crond restart

如果無法確定位置可以通過逐層目錄查找來定位

[root@localhost backup]# for i in /*; do echo -n -e "$i\t"; find $i | wc -l; done
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章