Sun的ZFS文件系統將內置Deduplication功能，利用哈希函數清理重複的數據塊，從而大幅減小數據佔用的空間。 Deduplication是消除數據副本的程序，它將使用安全的哈希算法如SHA256去檢查文件級別、塊級別、比特級別的數據唯一性，SHA256發生哈希碰撞的可能性爲2^-256，比ECC內存出錯的概率低了50個數量級。在使用Deduplication後，當你儲存現有數據的另一個副本，它將不會佔用額外的硬盤空間，而是在現有數據中加入一個引用計數（reference count）。當數據爲高重複性，如備份服務器、虛擬機鏡像，源代碼倉庫，Deduplication能減少的數據空間將不是以百分比計算，而是用倍數計算。文件級別dedup是給整個文件分配一個哈希簽名，當文件內的一個數據塊發生變化之後，文件的簽名就改變了，兩者就不是具有同一性，這種方法的好處是計算量最低，但不高效。比特級別的dedup顯然需要的計算量最大，最高效。ZFS內置的Deduplication使用的是塊級別的dedup，取折中，使用SHA256函數爲所有的數據塊提供獨有的簽名。
From: http://developers.solidot.org/developers/09/11/03/0530238.shtml