12 月 15 日，時隔半年之久的 Deep dive 活動再度啓動，本期 Deep dive 由 Zilliz 合夥人兼技術總監欒小凡爲大家詳細解讀了 Milvus 2.2 版本的新功能，同時 Zilliz 質量保障團隊負責人喬燕良也帶來了新版本的測試報告分享。
#01
Milvus 2.2 版本新功能詳解
小凡首先提到，Milvus 作爲一個迭代速度非常快的社區，基本保持以每 3-4 個月的速度發佈大版本，這次的分享主要集中在三塊內容：Milvus 2.2 新功能解讀；在可運維性、可觀測性方面做的建設；社區目前在做的功能介紹。
新功能中，小凡着重提到了以下幾點功能：
-
磁盤索引。Milvus 新版本支持新的磁盤索引 DiskANN，尤其在數據量比較大的情況下，可以幫助大幅降低成本； -
實現了 Query Coord v2。此次版本更新有一個比較重要的主題：穩定性。因此我們將 Query Coord v2 重新進行了設計，一方面大大減少了加載過程卡住的情況，且加載速度相比之前也變得更快； -
Bulk Insert。基於此功能我們做了批量導入的能力，目前來看 Milvus 可以在 43 分鐘之內把 1B 的數據集導入進去； -
權限認證功能 RBAC（Rowbase Access Control），最新版本里加入了基於角色的權限認證，可以生成不同的權限，每個 API 都由一個全線控制，管理起來也更爲方便； -
安全相關，支持 Pulsar 權限認證及 ETCD 的 TLS。 -
......
在運維集羣層面，小凡提到了數據的可觀測性，包含監控和日誌兩部分；另外還改變了默認的日誌等級，從之前的 debug 改造到 INFO；以及一個重要工具 —— BirdWatcher。BirdWatcher 可以幫助用戶觀察 Milvus 內部的集羣的狀態，後續也計劃在 BirdWatcher 中加入更多的功能，比如動態更新 Milvus 內部的一些配置等。
最後小凡也提到了 Milvus 接下來版本中的一些計劃功能：
-
Resource Group，即物理資源的隔離； -
Data backup 工具，將正式進入 GA 階段，用戶可定時做數據的備份； -
Rolling upgrade，計劃將 segment 做遷移，如此在升級的過程中用戶的感知就會變得比較微弱； -
Coordinator 主備，目前功能已經 ready，歡迎大家試用； -
ARM 支持，後續版本將逐漸支持和完善； -
優化 sizing tool； -
2.3.0 版本計劃新特性等。
#02
Milvus 2. 2 測試報告分享
Zilliz 質量保障團隊負責人喬燕良從四方面爲大家帶來了分享，分別是 benchmarking 性能展示、Milvus 的穩定性測試、2.2 版本的重構，包括行爲和 API 語義的變化以及新功能 Bulk Insert 帶來了什麼樣的收益？
首先對於大家感興趣的 2.2 版本性能到底如何？燕良展示了三組測試。
第一組測試爲 2.2 和 2.1 版本性能的比較，可以發現平均的 QPS 測試性能提升了至少 50%，單機在 QPS 的性能提升更加明顯，已經超過了接近 70%；第二組實驗是關於 2.2 分佈式縱向擴展的性能，結果顯示在 CPU 翻一番的情況下，QPS 也增加了一倍，且響應時間變短；第三個實驗是關於橫向擴展。一個集羣能否做橫向擴展，對於 Milvus 能否上生產，做一些可擴展性是非常重要的，結果顯示也是接近翻了一番。這和 Milvus 2. 1 相比是非常明顯的提升。
此鏈接包含了三組實驗的詳細信息及環境配置，感興趣的同學可進行實驗：https://milvus.io/blog/2022-08-16-A-Quick-Guide-to-Benchmarking-Milvus-2-1.md
穩定性是社區裏問的最多的一個問題，燕良和大家分享了社區是如何做穩定性的。他提到，社區會定期提取和挖掘社區 Issue 中提到的場景，提煉爲自己的測試場景，使更加貼近實際的生產環境，進而做持續的併發。在這個過程中，我們會去觀察整個系統的穩定性，包括磁盤內存 CPU 的使用情況。非常重要的一點是，我們也會做故障注入的測試，使能夠保證 Milvus 穩定持續運行。同時燕良也列了一些避坑指南，回答了大家遇到的比較多的問題，感興趣的同學可以收看視頻。
關於新功能 Bulk Insert，燕良也提到設計 Bulk Insert 最初的目的是爲了解決大批量數據插入慢，對系統消耗大的問題，所以它最大的一個功能是節省用戶的時間。另外他也通過測試展示，在實時更新數據的過程中，對在線的業務 Search 是基本上沒有影響的，這是一個非常重要的功能，歡迎大家去嘗試！
最後，新版本發佈以來，我們也收到了很多來自社區的反饋和聲音，針對用戶提問頻率比較高和比較關心的問題，小凡也進行了詳細的解答，具體請詳見視頻。
關於 Milvus 2.2 版本具體更新內容請見文章：
如何安全且優雅地將 Milvus 2.1.x 升級到 2.2.x 版本請見文章：
也歡迎大家持續關注 Milvus，有問題可隨時在 GitHub 上提 Issue，社區的小夥伴會隨時爲大家解答！
Zilliz 是向量數據庫系統領域的開拓者和全球領先者，研發面向 AI 生產系統的向量數據庫系統。Zilliz 以發掘非結構化數據價值爲使命，致力於打造面向 AI 應用的新一代數據庫技術，幫助企業便捷地開發 AI 應用。Zilliz 的產品能顯著降低管理 AI 數據基礎設施的成本，幫助 AI 技術賦能更多的企業、組織和個人。
本文分享自微信公衆號 - ZILLIZ（Zilliztech）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。