在當今這個數據爆炸的時代來臨之前，可能沒有多少人會想到數據會像今天這樣如此之多、如此之大、增長速度如此之快，已經快到令人幾乎難以招架的程度：這些大數據該如何處理？
對於企業來講，重要數據無法刪除，必須要保存相應的時間。那麼存在哪裏、怎麼保存、增加存儲的速度能否趕上數據增長的速度、怎樣管理、再次調用能否便捷……一系列的問題接踵而來。
同時，大數據中很常見的情況有兩種，一種是：數據本身帶有圖表等大型文件；另一種是：羣發文件使本身並不龐大的單個信息組合在一起，最後佔據的空間令人吃驚。很多時候，我們看到郵件、文件等把固定的空間佔據得所剩無幾，可是每封郵件都很重要，哪個文件也不能刪，這就令人非常爲難了。
上述情況透露出以下需求：大數據的保存、管理和重複數據刪除。
有些存儲廠商號稱，他們的存儲設備可以完好保存大數據，也能做到重複數據刪除。沒錯，但這裏面有一個問題，就是數據的管理並不便捷。衆所周知，管理是存儲的軟肋。當數據被存儲後，就無法隨時隨地進行調取和管理，這在信息高速流通的今天是相當不方便的。試想如果一場訴訟要求企業在一定時間內出示證據，那對存儲上數據的調取會花費相當長的時間，再加上信息甄別、公證的時間，整個過程走下來，有效期限恐怕已經過了。
在這樣的情況下，歸檔顯然成爲了滿足多種需求的最佳解決方案。歸檔在將數據保留足夠期限的同時，還能精確到對單個信息的管理，這裏要注意了，並不是每個歸檔產品都有重複數據刪除這一功能，就以EEA爲例來說明郵件歸檔的重複數據刪除。
經過郵件服務器的郵件被EEA抓取，進行分析處理、經過索引內容和附件，就開始了數據壓縮和重複刪除。比如羣發了一百封郵件，每個郵件中還帶有一份附件，這樣數據量就很龐大，重複刪除處理後，重複的郵件內容和附件都被去掉，這一百封郵件最後只留下了一百個郵件頭、一個內容和一個附件，這樣所佔空間便大大減少了。重複刪除與數據壓縮結合起來能夠使數據所佔空間縮減至原來的30%——真乃天壤之別！經過重複刪除和數據壓縮的郵件存儲于歸檔服務器中，既減輕了一級服務器的存儲壓力和運維成本，又使用戶在使用習慣上沒有任何的改變，依舊像原來一樣進行日常管理操作。這些都是備份容災系統無法單獨完成的，只有與歸檔系統結合起來，才能達到對企業信息管理與保存的雙重目標。
在大數據時代，帶有重複刪除技術的歸檔系統已顯得猶爲重要，既能保證數據的存儲遵從相關法律規範，又能使數據滿足日常管理與應急需求，還能運用重複數據刪除等技術減輕存儲壓力，歸檔系統應用於各類型企業實爲大勢所趨。