一次MySQL千萬級大表的優化過程
先看一個MySQL未優化的案例
使用阿里雲rds for MySQL數據庫（就是MySQL5.6版本），有個用戶上網記錄表6個月的數據量近2000萬，保留最近一年的數據量達到4000萬，查詢速度極慢，日常卡死，嚴重影響業務。
老系統，當時設計系統的人大概是大學沒畢業，表設計和SQL語句寫的不僅僅是垃圾，簡直無法直視。原開發人員都已離職，到我來維護，這就是傳說中的維護不了就跑路，然後我就是掉坑的那個！！！
方案概述
方案一：優化現有MySQL數據庫
優點：不影響現有業務，源程序不需要修改，成本最低；缺點：有優化瓶頸，數據量過億就玩完了。
方案二：升級數據庫類型
優點：幾乎不需要做任何操作就能提升數據庫性能；缺點：多花錢。
方案三：更換大數據引擎
優點：沒有數據容量瓶頸；缺點：需要修改源程序代碼，影響業務，總成本最高。
1 優化現有MySQL數據庫
1.1 數據庫設計
表字段避免null值出現，null值很難查詢優化且佔用額外的索引空間，推薦默認數字0代替null。儘量使用INT而非BIGINT，如果非負則加上UNSIGNED（這樣數值容量會擴大一倍），當然能使用TINYINT、SMALLINT、MEDIUM_INT更好。使用枚舉或整數代替字符串類型。儘量使用TIMESTAMP而非DATETIME。單表不要有太多字段，建議在20以內。用整型來存IP。
1.2 索引設計
索引並不是越多越好，要根據查詢有針對性的創建，考慮在WHERE和ORDER BY命令上涉及的列建立索引，可根據EXPLAIN來查看是否用了索引還是全表掃描。應儘量避免在WHERE子句中對字段進行NULL值判斷，否則將導致引擎放棄使用索引而進行全表掃描。
值分佈很稀少的字段不適合建索引，例如"性別"這種只有兩三個值的字段。字符字段只建前綴索引。字符字段最好不要做主鍵。不用外鍵，由程序保證約束。儘量不用UNIQUE，由程序保證約束。用多列索引時注意順序和查詢條件保持一致，同時刪除不必要的單列索引。
另外，使用可存下數據的最小的數據類型，整型 < date,time < char,varchar < blob* 。使用簡單的數據類型，整型比字符處理開銷更小，因爲字符串的比較更復雜。如，int類型存儲時間類型，bigint類型轉ip函數。使用合理的字段屬性長度，固定長度的表會更快。
使用enum、char而不是varchar。儘可能使用not null定義字段。儘量少用text，非用不可最好分表。查詢頻繁的列，在where，group by，order by，on從句中出現的列。where條件中<，<=，=，>，>=，between，in，以及like 字符串+通配符（%）出現的列。
最後，長度小的列，索引字段越小越好，因爲數據庫的存儲單位是頁，一頁中能存下的數據越多越好。離散度大（不同的值多）的列，放在聯合索引前面。查看離散度，通過統計不同的列值來實現，count越大，離散程度越高。
1.3 SQL編寫
使用limit對查詢結果的記錄進行限定。避免select *，將需要查找的字段列出來。使用連接（join）來代替子查詢。拆分大的delete或insert語句。可通過開啓慢查詢日誌來找出較慢的SQL。不做列運算：
SELECT id WHERE age + 1 = 10
任何對列的操作都將導致表掃描，它包括數據庫教程函數、計算表達式等等，查詢時要儘可能將操作移至等號右邊。
SQL語句儘可能簡單：一條SQL只能在一個cpu運算；大語句拆小語句，減少鎖時間；一條大SQL可以堵死整個庫。OR改寫成IN：OR的效率是n級別，IN的效率是log(n)級別，in的個數建議控制在200以內。不用函數和觸發器，在應用程序實現。避免%xxx式查詢。
少用JOIN，使用同類型進行比較，比如用’123’和’123’比，123和123比。儘量避免在WHERE子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描。對於連續數值，使用BETWEEN不用IN：
SELECT id FROM t WHERE num BETWEEN 1 AND 5
列表數據不要拿全表，要使用LIMIT來分頁，每頁數量也不要太大。
1.4 分區
可以讓單表存儲更多的數據。分區表的數據更容易維護，可以通過清楚整個分區批量刪除大量數據，也可以增加新的分區來支持新插入的數據。
另外，還可以對一個獨立分區進行優化、檢查、修復等操作。部分查詢能夠從查詢條件確定只落在少數分區上，速度會很快。分區表的數據還可以分佈在不同的物理設備上，從而高效利用多個硬件設備。可以使用分區表來避免某些特殊瓶頸，例如InnoDB單個索引的互斥訪問、ext3文件系統的inode鎖競爭。可以備份和恢復單個分區。
一個表最多隻能有1024個分區。如果分區字段中有主鍵或者唯一索引的列，那麼所有主鍵列和唯一索引列都必須包含進來。分區表無法使用外鍵約束。NULL值會使分區過濾無效。所有分區必須使用相同的存儲引擎。
1.5 分表
分表就是把一張大表，按照如上過程都優化了，還是查詢卡死，那就把這個表分成多張表，把一次查詢分成多次查詢，然後把結果組合返回給用戶。
分表分爲垂直拆分和水平拆分，通常以某個字段做拆分項。比如以id字段拆分爲100張表：表名爲 tableName_id%100。分表需要修改源程序代碼，會給開發帶來大量工作，極大的增加了開發成本，故：只適合在開發初期就考慮到了大量數據存在，做好了分表處理，不適合應用上線了再做修改，成本太高！！！而且選擇這個方案，都不如選擇我提供的第二第三個方案的成本低！故不建議採用。
1.6 分庫
把一個數據庫分成多個，建議做個讀寫分離就行了，真正的做分庫也會帶來大量的開發成本，得不償失！不推薦使用。
2 升級數據庫類型
開源數據庫會帶來大量的運維成本且其工業品質和MySQL尚有差距，有很多坑要踩，如果你公司要求必須自建數據庫，那麼選擇該類型產品。
阿里雲POLARDB，POLARDB 是阿里雲自研的下一代關係型分佈式雲原生數據庫，100%兼容MySQL，存儲容量最高可達 100T，性能最高提升至 MySQL 的 6 倍。POLARDB 既融合了商業數據庫穩定、可靠、高性能的特徵，又具有開源數據庫簡單、可擴展、持續迭代的優勢，而成本只需商用數據庫的 1/10。
阿里雲OcenanBase，淘寶使用的，扛得住雙十一，性能卓著，但是在公測中，我無法嘗試，但值得期待。
騰訊雲DCDB，DCDB又名TDSQL，一種兼容MySQL協議和語法，支持自動水平拆分的高性能分佈式數據庫——即業務顯示爲完整的邏輯表，數據卻均勻的拆分到多個分片中；每個分片默認採用主備架構，提供災備、恢復、監控、不停機擴容等全套解決方案，適用於TB或PB級的海量數據場景。
3 更換大數據引擎
Hadoop家族。hbase/hive懟上就是了。但是有很高的運維成本，一般公司是玩不起的，沒十萬投入是不會有很好的產出的！我選擇了阿里雲的MaxCompute配合DataWorks，使用超級舒服，按量付費，成本極低。
MaxCompute可以理解爲開源的Hive，提供SQL、Ai算法、python腳本、shell腳本等方式操作數據，數據以表格的形式展現，以分佈式方式存儲，採用定時任務和批處理的方式處理數據。DataWorks提供了一種工作流的方式管理你的數據處理任務和調度監控。
當然你也可以選擇阿里雲hbase等其他產品，我這裏主要是離線處理，故選擇MaxCompute，基本都是圖形界面操作，大概寫了300行SQL，費用不超過100塊錢就解決了數據處理問題。