關於大數據量的處理思路

1.數據記錄數多，數據記錄小

查詢現象：   檢索速度低、內存佔用大（存儲數據的索引），硬盤讀取壓力大，硬盤尋址壓力大，條件檢索和聚合檢索（效果不明顯）

優化思路：對數據進行格式化處理，實時將統計信息進行存儲，進行數據分表以避免對不必要數據的檢索，硬件上要購買尋址能力強的存儲設備和部署方案

2.數據記錄數少，數據文件大

查詢現象：I/O壓力大，寫操作難度比較大，條件檢索的效果明顯，全表檢索難度大，硬盤的I/O壓力大於寫操作的壓力。