Deep dive#Milvus 新版本功能解讀 & 測試分享

12 月 15 日,時隔半年之久的 Deep dive 活動再度啓動,本期 Deep dive 由 Zilliz 合夥人兼技術總監欒小凡爲大家詳細解讀了 Milvus 2.2 版本的新功能,同時 Zilliz 質量保障團隊負責人喬燕良也帶來了新版本的測試報告分享。

#01

Milvus 2.2 版本新功能詳解

小凡首先提到,Milvus 作爲一個迭代速度非常快的社區,基本保持以每 3-4 個月的速度發佈大版本,這次的分享主要集中在三塊內容:Milvus 2.2 新功能解讀;在可運維性、可觀測性方面做的建設;社區目前在做的功能介紹。

新功能中,小凡着重提到了以下幾點功能:

  • 磁盤索引。Milvus 新版本支持新的磁盤索引 DiskANN,尤其在數據量比較大的情況下,可以幫助大幅降低成本;
  • 實現了 Query Coord v2。此次版本更新有一個比較重要的主題:穩定性。因此我們將 Query Coord v2 重新進行了設計,一方面大大減少了加載過程卡住的情況,且加載速度相比之前也變得更快;
  • Bulk Insert。基於此功能我們做了批量導入的能力,目前來看 Milvus 可以在 43 分鐘之內把 1B 的數據集導入進去;
  • 權限認證功能 RBAC(Rowbase Access Control),最新版本里加入了基於角色的權限認證,可以生成不同的權限,每個 API 都由一個全線控制,管理起來也更爲方便;
  • 安全相關,支持 Pulsar 權限認證及 ETCD 的 TLS。
  • ......

在運維集羣層面,小凡提到了數據的可觀測性,包含監控和日誌兩部分;另外還改變了默認的日誌等級,從之前的 debug 改造到 INFO;以及一個重要工具 —— BirdWatcher。BirdWatcher 可以幫助用戶觀察 Milvus 內部的集羣的狀態,後續也計劃在 BirdWatcher 中加入更多的功能,比如動態更新 Milvus 內部的一些配置等。

最後小凡也提到了 Milvus 接下來版本中的一些計劃功能:

  • Resource Group,即物理資源的隔離;
  • Data backup 工具,將正式進入 GA 階段,用戶可定時做數據的備份;
  • Rolling upgrade,計劃將 segment 做遷移,如此在升級的過程中用戶的感知就會變得比較微弱;
  • Coordinator 主備,目前功能已經 ready,歡迎大家試用;
  • ARM 支持,後續版本將逐漸支持和完善;
  • 優化 sizing tool;
  • 2.3.0 版本計劃新特性等。

#02

Milvus 2. 2 測試報告分享

Zilliz 質量保障團隊負責人喬燕良從四方面爲大家帶來了分享,分別是 benchmarking 性能展示、Milvus 的穩定性測試、2.2 版本的重構,包括行爲和 API 語義的變化以及新功能 Bulk Insert 帶來了什麼樣的收益?

首先對於大家感興趣的 2.2 版本性能到底如何?燕良展示了三組測試。

第一組測試爲 2.2 和 2.1 版本性能的比較,可以發現平均的 QPS 測試性能提升了至少 50%,單機在 QPS 的性能提升更加明顯,已經超過了接近 70%;第二組實驗是關於 2.2 分佈式縱向擴展的性能,結果顯示在 CPU 翻一番的情況下,QPS 也增加了一倍,且響應時間變短;第三個實驗是關於橫向擴展。一個集羣能否做橫向擴展,對於 Milvus 能否上生產,做一些可擴展性是非常重要的,結果顯示也是接近翻了一番。這和 Milvus 2. 1 相比是非常明顯的提升。

此鏈接包含了三組實驗的詳細信息及環境配置,感興趣的同學可進行實驗:https://milvus.io/blog/2022-08-16-A-Quick-Guide-to-Benchmarking-Milvus-2-1.md

穩定性是社區裏問的最多的一個問題,燕良和大家分享了社區是如何做穩定性的。他提到,社區會定期提取和挖掘社區 Issue 中提到的場景,提煉爲自己的測試場景,使更加貼近實際的生產環境,進而做持續的併發。在這個過程中,我們會去觀察整個系統的穩定性,包括磁盤內存 CPU 的使用情況。非常重要的一點是,我們也會做故障注入的測試,使能夠保證 Milvus 穩定持續運行。同時燕良也列了一些避坑指南,回答了大家遇到的比較多的問題,感興趣的同學可以收看視頻。

關於新功能 Bulk Insert,燕良也提到設計 Bulk Insert 最初的目的是爲了解決大批量數據插入慢,對系統消耗大的問題,所以它最大的一個功能是節省用戶的時間。另外他也通過測試展示,在實時更新數據的過程中,對在線的業務 Search 是基本上沒有影響的,這是一個非常重要的功能,歡迎大家去嘗試!

最後,新版本發佈以來,我們也收到了很多來自社區的反饋和聲音,針對用戶提問頻率比較高和比較關心的問題,小凡也進行了詳細的解答,具體請詳見視頻。


關於 Milvus 2.2 版本具體更新內容請見文章:

如何安全且優雅地將 Milvus 2.1.x 升級到 2.2.x 版本請見文章:

也歡迎大家持續關注 Milvus,有問題可隨時在 GitHub 上提 Issue,社區的小夥伴會隨時爲大家解答!



Zilliz 是向量數據庫系統領域的開拓者和全球領先者,研發面向 AI 生產系統的向量數據庫系統。Zilliz 以發掘非結構化數據價值爲使命,致力於打造面向 AI 應用的新一代數據庫技術,幫助企業便捷地開發 AI 應用。Zilliz 的產品能顯著降低管理 AI 數據基礎設施的成本,幫助 AI 技術賦能更多的企業、組織和個人。

本文分享自微信公衆號 - ZILLIZ(Zilliztech)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章