技術雜文1.關於文件系統的一點調研

背景：客戶這邊用到了嵌入式設備，該設備用於循環存儲記錄數據（類似行車記錄儀），使用的是FAT文件系統，但是這種文件系統有個問題，在設備長時間循環記錄數據或經常斷電重啓的情況下，數據容易損壞/丟失，想有沒有什麼方案能夠解決此問題，所以就進行了一次調研，特此記錄分享。

文章稍微有點長，主要從認識文件系統、對比文件系統、選擇文件系統三個方向進行描述，當然主要是針對嵌入式設備，看完後應該會對文件系統有個整體宏觀的認識。下面開始進入正題。

1 什麼是文件系統？

當我們將文件存儲在計算機硬盤或其他存儲設備上時，需要一種有組織的方式來管理這些文件，這就是文件系統的作用。所謂的文件系統，是指一組程序和規則，用於組織硬盤或其他存儲設備中的文件和目錄，並且管理如何訪問和保存這些文件和目錄。

做個類比，想象一下硬盤或其他存儲設備就像一本書，文件系統就像這本書的目錄和索引，沒有目錄和索引，你可能很難找到所需的章節，而文件系統也是同樣的概念，沒有文件系統的管理，我們可能會找不到文件、丟失文件、甚至導致數據損壞。文件系統通過定義文件和目錄的組織方式，並利用元數據（如文件名、文件所在位置等）管理文件和目錄，從而使我們能直接找到所需的文件，更好地管理和利用我們機器上的數據。

2 文件系統和操作系統的關係是什麼？

同樣的，可以將操作系統想象成一個房子，而文件系統則是房子的存儲空間和組織方式，這樣類比可能更容易理解它們之間的關係。

操作系統就像一座房子，它提供了很多功能，像是給你提供一個居住的地方。類似地，操作系統提供了各種功能和服務，例如管理資源、提供用戶界面等，讓計算機可以正常運行和進行各種操作。

而文件系統就好比這座房子的存儲空間和組織方式，就像你在房子裏存放衣物、書籍和其他物品一樣，文件系統幫助你管理和組織計算機中的文件和數據，它定義了文件和目錄的結構和規則，使得文件可以按照一定的方式保存和訪問。

你可以選擇不同類型的文件系統，就像你可以選擇不同的存儲方式和組織方式來組織房子的內部空間。不同的文件系統具有不同的特點和限制，例如文件大小限制、文件系統的安全性等。

綜上，操作系統和文件系統就像是房子和裏面的存儲空間一樣，操作系統爲計算機提供了各種功能和服務，而文件系統幫助管理和組織計算機中的文件和數據。這兩者是相互關聯的，但又是獨立存在的。你可以更換文件系統，就像重新組織房子的存儲空間一樣，但需要注意文件系統與操作系統的兼容性。

3 不同的操作系統對應的文件系統是什麼？

市面上常見的操作系統都使用不同的文件系統，以下是一些常見的文件系統及其所屬的操作系統：

• Windows操作系統常用的文件系統包括FAT（FAT16、FAT32）和NTFS（New Technology File System）。FAT文件系統通常用於較小的存儲設備，而NTFS文件系統則用於較大的硬盤和分區。

• macOS操作系統使用HFS+（Mac OS擴展）和APFS（Apple文件系統）。HFS+是舊版的文件系統，而APFS是蘋果公司在較新版本的操作系統中引入的全新文件系統。

• Linux操作系統支持多種文件系統，其中常見的包括Ext（Ext2、Ext3、Ext4）、XFS（適用於大型文件系統）和Btrfs（用於實現快照、數據壓縮等高級功能）。

除了這些常見的文件系統外，還有一些獨立的文件系統，用於特定的應用或特定設備。例如，exFAT文件系統是用於移動存儲設備（如閃存驅動器）的文件系統，UDF文件系統用於光盤和光驅。

所以，文件系統有多種類型，每種類型適用於不同的操作系統和應用場景，不同的文件系統具有不同的特點，包括可用空間、文件大小限制、數據安全性等。選擇適合特定需求的文件系統對於數據的管理和存儲具有重要意義。

4 嵌入式設備一般有哪些文件系統？

在嵌入式設備中也常見以下幾種文件系統：

• FAT（File Allocation Table）文件系統是一種簡單且常見的文件系統，廣泛應用於各種操作系統和存儲設備。FAT文件系統通過使用文件分配表（File Allocation Table）來記錄文件的存儲位置和狀態。文件分配表是一個表格結構，通常存儲在存儲設備的特定區域，如存儲設備的引導扇區或文件系統的元數據區。

• YAFFS/YAFFS2：Yet Another Flash File System（又一個閃存文件系統）。YAFFS是一種針對閃存設備的輕量級文件系統，具有文件完整性檢查、壞塊管理和磨損平衡等重要特性，可提供較好的數據保護和傳輸效率。YAFFS2是YAFFS的升級版，具有更好的性能和可靠性。

• JFFS/JFFS2：Journaling Flash File System（日誌式閃存文件系統）。JFFS是一種基於日誌的輕量級文件系統，可以解決碎片化問題並提供最小的磨損平衡。JFFS2是JFFS的升級版，支持多個塊大小以及更高的壓縮比和速度，它採用了日誌記錄和擦除塊管理機制，可以提供更好的數據完整性和磨損均衡，適用於大多數閃存設備，並廣泛用於嵌入式系統中。

• UBIFS：Unsorted Block Image File System（非排序塊影像文件系統）。UBIFS是一個支持閃存設備的文件系統，採用UBI（Unsorted Block Image）作爲媒介管理協議，具有不需擦除、界面更簡單、可移植性好、容錯性好等優點，它在媒介管理上具有較好的性能和容錯性，支持擦除塊的自動均衡，並具有更好的寫入保護能力，UBIFS被廣泛應用於需要更高可靠性和容錯性的嵌入式系統中。

• ext4：第四代擴展文件系統。ext4是Linux操作系統中的一個文件系統，具有可靠的日誌和元數據校驗功能，支持比較大的文件和文件系統，適用於嵌入式系統和企業存儲等領域，並具有較好的容錯性、速度和可靠性。

這些嵌入式文件系統各有特點，大多數都支持閃存設備，並適應於不同場合的需求，可以根據實際應用需求選擇適當的文件系統。同時，還可以將不同的文件系統結合起來，以便適應更廣泛的應用和存儲設備的需求。

5 不同的文件系統的實現原理是什麼？

不同的文件系統，它們使用的機制和數據結構都有所不同，以下是針對FAT文件系統、ext4文件系統和UBIFS文件系統的原理說明：

5.1 FAT 文件系統

FAT（File Allocation Table）文件系統使用的是文件分配表（File Allocation Table）的方式來記錄文件的存儲位置和狀態。文件分配表是一個表格結構，通常存儲在存儲設備的特定區域，比如引導扇區或文件系統的元數據區。

在FAT文件系統中，文件分配表被分爲兩部分：FAT12、FAT16或FAT32。每個條目代表一個簇（或扇區），並且保存有關簇的使用情況的信息。通過遍歷文件分配表可以找到文件存儲的位置，從而實現文件的讀取和寫入。FAT文件系統的文件分配表結構簡單且易於實現，但在大容量存儲設備上可能存在一些性能上的限制。

5.2 ext4 文件系統

ext4（第四代擴展文件系統）是一種常見的日誌文件系統，用於Linux操作系統。它使用的是索引節點（inode）來記錄文件的元數據，包括文件的權限、所有者、文件大小等信息。每個文件都有一個關聯的索引節點，而索引節點中包含了指向文件數據塊的指針。

ext4文件系統使用了一種稱爲extents的機制，用於記錄文件的邏輯塊在物理存儲設備上的位置，以減少磁盤尋道的開銷並提高文件系統的性能。另外，ext4還支持延遲分配和多塊分配等技術，以提高大文件的性能。

5.3 UBIFS 文件系統

UBIFS（Unsorted Block Image File System）是一種針對閃存設備的文件系統，它使用了一種稱爲UBI（Unsorted Block Image）的媒體管理協議來管理閃存塊。UBIFS使用日誌結構，被設計爲對閃存設備具有更好的兼容性和可靠性。

UBIFS不使用傳統的索引節點結構，而是直接將文件數據和元數據存儲在閃存設備的塊中，以減少寫入操作的開銷。由於閃存設備的特性，UBIFS在設計上考慮了磨損均衡和錯誤恢復等問題，並且可以提供更好的性能和可靠性。

5.4 NTFS文件系統

NTFS（New Technology File System）是Windows操作系統中常用的文件系統，與FAT文件系統不同，NTFS採用了更復雜的數據結構和機制來管理文件和存儲設備。

NTFS使用文件分配表（MFT，Master File Table）來存儲文件的元數據信息。MFT是一個特殊的文件，它包含了所有文件和目錄的描述信息，如文件名、大小、創建日期和訪問權限等。MFT記錄了文件在存儲設備上的位置，允許快速訪問文件。

NTFS中的每個文件和目錄都有一個對應的文件記錄。文件記錄存儲了文件的元數據信息，如文件的屬性、特徵和數據的存儲位置。文件記錄的大小可以根據需要進行調整，以適應不同大小的文件。

NTFS使用簇作爲文件存儲的基本單位。簇是連續的扇區，其大小可以根據存儲設備的大小和格式進行調整。NTFS的簇大小通常較大，能夠減少磁盤碎片和提高文件系統的性能。

NTFS支持對文件進行壓縮，以減少存儲空間的使用。通過使用LZ77算法進行壓縮，NTFS能夠在保持文件訪問性能的同時，提供更高的存儲效率。

總之，不同的文件系統使用不同的機制和數據結構來管理文件的存儲和元數據信息。每種文件系統都有其獨特的優點和侷限性，適用於不同的應用場景和存儲設備要求。

6 不用文件系統能不能實現文件的讀寫？若能會面臨哪些挑戰？

即使不使用文件系統，也可以將數據寫入存儲設備，在沒有文件系統的情況下，數據可以直接寫入到存儲設備的物理空間中。

實現這種直接寫入數據的方式，通常需要藉助底層的硬件接口或者設備驅動程序，具體的方法取決於存儲設備的類型和接口。

例如，對於存儲介質爲閃存的設備，可以通過底層的閃存控制器接口，直接向閃存芯片發送寫入指令，並指定數據寫入的物理地址和數據內容。

對於存儲介質爲磁盤的設備，可以通過底層的磁盤驅動程序，使用磁盤控制器接口來進行數據的寫入操作，磁盤驅動程序會負責將數據轉化爲磁盤可識別的格式，並將其寫入磁盤的物理扇區。

在沒有文件系統的情況下，需要自行管理數據的存儲位置和讀寫操作，可以通過自定義的方法來指定數據在存儲設備上的位置，並編寫相應的讀寫函數或程序來實現數據的讀寫。這樣的方式需要更多的開發工作和對底層硬件的瞭解。

需要特別注意的是，直接寫入數據到存儲設備可能會帶來一些風險和挑戰，例如數據一致性、文件碎片化、存儲設備的磨損和錯誤處理等問題。因此，在實現時需要仔細考慮這些因素，並確保數據的完整性和可靠性。

• 數據一致性：在使用文件系統的情況下，系統會維護文件與FAT表或者類似的元數據之間的關聯關係，確保數據的完整性和一致性。但是在直接寫入數據的情況下，需要自己來維護數據之間的關聯關係和一致性。如果數據寫入不完整或者數據之間的關聯關係出現問題，可能會影響數據的可靠性和完整性。
• 文件碎片化：文件碎片化是指在寫入數據的過程中，數據被拆分成了多個物理塊或者扇區的情況。隨着數據的不斷寫入和刪除，存儲設備上會出現大量的碎片，可能導致數據讀取和寫入的效率下降，進而影響存儲設備的性能。
• 存儲設備的磨損：存儲設備被不斷地寫入數據會導致存儲介質的磨損。在沒有使用文件系統的情況下，可能沒有進行壞塊管理，因此會出現壞塊，導致數據丟失以及設備的壽命縮短。
• 錯誤處理：在直接將數據寫入存儲設備中時，需要考慮錯誤處理的問題。如果數據寫入失敗，可能會損壞存儲設備的數據，甚至導致設備失效。因此，需要考慮如何處理數據寫入或者存儲設備出現異常的情況。

7 相比之下，使用文件系統的優勢有什麼？

無論是使用文件系統還是不使用文件系統，存儲設備在循環寫入數據時都有損壞的可能性。然而，使用文件系統可以提供更好的數據管理和寫入保護機制，從而降低了數據損壞的概率。

使用文件系統可以通過文件分配表（FAT）或其他元數據來記錄文件的位置和狀態，以及管理文件的訪問和寫入。文件系統會處理文件的碎片化、壞塊管理和磨損平衡等問題，提供一定的數據安全性和可靠性。

相比之下，如果不使用文件系統，需要手動處理數據的存儲和管理。在直接將數據寫入存儲設備時，容易出現數據不一致、碎片化、壞塊無法處理等問題。這使得數據可能更容易受損，也增加了管理和維護數據的難度。

因此，使用文件系統可以提供更好的數據保護和數據管理功能，相對於直接寫入存儲設備，它可以降低數據損壞的風險。

8 針對需循環存儲數據的嵌入式設備，建議使用哪種文件系統？

針對需要較高可靠性的嵌入式設備用於循環存儲數據的情況，可考慮使用UBIFS（Unsorted Block Image File System）文件系統。UBIFS是一種專門針對閃存設備設計的文件系統，具有以下特點，使其非常適合嵌入式設備的循環存儲應用：

• 可靠性：UBIFS設計上考慮了閃存設備的特性，包括磨損均衡、錯誤恢復和壞塊管理等方面。它實現了高度的可靠性，能夠有效地減少數據損壞和存儲設備的各類問題。

• 日誌結構：UBIFS採用日誌結構，具備事務日誌、原子性寫入和數據一致性的特點，能夠避免數據丟失和文件系統損壞的風險。這在循環存儲數據的應用場景下尤爲重要，特別是在意外斷電或系統故障時能夠有效地保護數據完整性。

• 支持閃存特性：UBIFS能夠充分利用閃存設備的特性，如快速隨機訪問、塊擦除和壽命管理等，以提高性能和延長存儲設備的壽命。

綜上，對於需要較高可靠性的嵌入式設備用於循環存儲數據，選擇UBIFS文件系統能夠提供更好的數據保護和系統穩定性，從而滿足對可靠性和穩定性要求較高的應用場景。

9 針對上一個問題，爲什麼不建議使用FAT文件系統？

FAT（File Allocation Table）文件系統在許多嵌入式系統和一些嵌入式設備上是非常常見的，因爲它具有許多優點，比如與各種操作系統的良好兼容性、簡單的實現和管理，以及與許多嵌入式設備的閃存存儲器兼容。

然而，FAT文件系統也存在一些缺點，這些缺點可能導致在某些情況下不適合特定的嵌入式設備，尤其是對於需要高可靠性和性能的嵌入式設備循環存儲數據的場景：

• 可靠性：FAT文件系統在面對意外斷電或系統故障時，容易造成文件系統損壞或數據丟失。它不像其他專門設計用於閃存設備的文件系統（如UBIFS、YAFFS等）具有事務日誌和壞塊管理等特性，因此在需要更高可靠性的應用場景下可能不夠理想。

• 性能：FAT文件系統通常不會爲嵌入式設備的閃存存儲提供最佳的性能。它的文件分配和存儲結構可能導致較低的存儲效率和性能，尤其是在需要頻繁進行寫入和循環存儲數據的應用中。

• 文件大小限制：FAT文件系統通常存在針對單個文件大小和整個存儲介質容量的限制，這可能限制了嵌入式設備上單個文件的存儲能力，尤其是在需要存儲大容量數據的應用中。

綜合考慮這些因素，FAT文件系統在某些情況下可能不適合對可靠性和性能要求較高的嵌入式設備的循環存儲數據的應用。因此，在這些情況下，可以考慮選擇其他專門設計用於嵌入式設備閃存存儲的文件系統，以滿足對可靠性、性能和穩定性要求更高的應用場景。

10 如何確定嵌入式設備是否支持UBIFS文件系統？

是否支持特定文件系統需要考慮以下幾點：

• 嵌入式設備硬件支持：UBIFS文件系統通常需要硬件支持MTD（Memory Technology Device）或類似的閃存設備，以便正確管理嵌入式設備上的閃存存儲。因此，首先需要確認嵌入式設備硬件上是否集成了符合要求的閃存存儲設備。

• 嵌入式設備操作系統支持：UBIFS文件系統需要在嵌入式設備的操作系統內核中得到支持和集成。因此，需要檢查嵌入式設備所運行的操作系統是否已經包含了UBIFS文件系統模塊，並確保操作系統內核具備對UBIFS的支持。通常，主流的嵌入式操作系統，如Linux的嵌入式版本，已經包含了對UBIFS的支持。

• 文件系統驅動程序：嵌入式設備的操作系統和硬件平臺需要有對應的文件系統驅動程序來支持使用特定的文件系統。這些驅動程序需要能夠正確地識別和操作對應的文件系統，以確保嵌入式設備可以正常讀寫和管理存儲設備上的數據。

因此，確定嵌入式設備是否支持特定文件系統，需要綜合考慮硬件支持、操作系統支持和文件系統驅動程序的情況。如果嵌入式設備的操作系統已經支持了UBIFS文件系統，並且硬件平臺符合要求，通常可以認爲該嵌入式設備是支持UBIFS文件系統的。

當然，如果嵌入式設備不支持UBIFS文件系統，也可以使用YAFFS、JFFS2等文件系統，這些文件系統都是針對閃存設備和嵌入式設備設計的，能夠充分利用閃存的特性並提供可靠的數據保護，因此可以作爲備選方案用於支持嵌入式設備的循環存儲應用。

11 小結

針對嵌入式設備的文件系統選擇，需要綜合考慮可靠性、性能和適配性等因素。儘管FAT文件系統具有與多種操作系統的兼容性和簡單的管理特性，但在需要高可靠性和性能的嵌入式設備循環存儲數據的場景中，可能並不是最理想的選擇。相比之下，像UBIFS、YAFFS、JFFS2這樣專門設計用於嵌入式設備的文件系統，通常能夠提供更好的可靠性、性能和閃存存儲的支持，因此更適合這些應用場景。在實際選擇文件系統時，需要根據具體應用需求和設備特性進行評估，從而做出最適合的文件系統選擇。