Zilliz 合夥人、系統架構師郭人通出席GOTC 2021專題論壇，談向量數據庫的開發挑戰

AI 正在引領人類的下一次工業革命，成爲支撐數字經濟的基本工具組件。

7月9-10日，由開放原子開源基金會與 Linux 基金會聯合開源中國社區共同發起的首屆“GOTC 全球開源技術峯會”在上海世博中心舉行，Zilliz 合夥人、系統架構師郭人通受邀出席“AI、大數據與數字經濟專題論壇”，與 LF AI & Data 基金會執行董事 Ibrahim Haddad、中興通訊 AI 研發總工韓炳濤、英特爾 OpenVINO 邊緣人工智能軟件首席佈道師 Raymond Lo 等同場共論開源的道與術。

AI 時代產生了大量非結構化數據，以非結構化數據爲數據基礎、AI 爲計算手段的全新數據系統成爲產業剛需，由 Zilliz 研發的開源向量數據庫 Milvus 即是爲了解決這一底層需求而生。

相對於數據庫、AI 這兩個發展頗久的領域，郭人通認爲，面向 AI 的向量數據庫領域還處於早期階段，通用的基礎軟件系統陸續出現，目前正在朝着標準化階段演進。

談及向量數據庫這一新興交叉領域的工作，郭人通總結了 Milvus 團隊感觸最深的五大挑戰：

一，要支撐系統的快速演進。對於新興領域的系統軟件，迭代速度決定生命力，因此需要一個足夠開放、解耦的架構來避免快速演進過程中的複雜度失控。

二，確保不同部署環境下的系統表現。這由數據科學流程決定，關注驗證速度和迭代速度的數據科學家和算法工程師主要通過筆記本或工作站使用系統，驗證完畢就會在私有集羣和雲上進行部署。

三，硬件成本把控。向量數據和 AI 模型的內部都有大量的矩陣和向量運算，因此係統的彈性機制和資源調度機制對於成本影響很大。

四，多樣化的負載特徵。不同負載對於系統不同模塊的壓力區別非常大，爲了有效適應不同負載，系統需要有組件級的彈性能力。

五，複雜的 Query。 隨着用戶查詢場景的複雜化，除了向量引擎，系統還需要擁有 Kv 數據庫、結構數據的謂詞運算、文本查詢等能力，因此需要一種靈活的協處理器機制，來保障其他類型的分析引擎和 Milvus 的向量引擎能夠緊密協作。

身處上述挑戰，圍繞雲原生優先、日誌即數據、批流一體等理念設計的 MIlvus 2.0版本已於今年6月發佈，詳情請戳《Milvus 2.0 新版本一覽：重新定義向量數據庫》，歡迎使用與探討~

Github @Milvus-io|CSDN @Zilliz Planet|Bilibili @Zilliz-Planet

Zilliz 以重新定義數據科學爲願景，致力於打造一家全球領先的開源技術創新公司，並通過開源和雲原生解決方案爲企業解鎖非結構化數據的隱藏價值。  

Zilliz 構建了 Milvus 向量數據庫，以加快下一代數據平臺的發展。Milvus 目前是 LF AI & Data 基金會的畢業項目，能夠管理大量非結構化數據集。我們的技術在新藥發現、計算機視覺、推薦引擎、聊天機器人等方面具有廣泛的應用。

本文分享自微信公衆號 - ZILLIZ（Zilliztech）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。