原创 Sparse稀疏檢索介紹與實踐

Sparse稀疏檢索介紹 在處理大規模文本數據時,我們經常會遇到一些挑戰,比如如何有效地表示和檢索文檔,當前主要有兩個主要方法,傳統的文本BM25檢索,以及將文檔映射到向量空間的向量檢索。 BM25效果是有上限的,但是文本檢索在一些場景仍具

原创 知識圖譜增強的KG-RAG框架

昨天我們聊到KG在RAG中如何發揮作用,今天我們來看一個具體的例子。 我們找到一篇論文: https://arxiv.org/abs/2311.17330 ,論文的研究人員開發了一種名爲知識圖譜增強的提示生成(KG-RAG)框架(https

原创 知識圖譜在RAG中的應用探討

在這篇文章中,我們來詳細探討知識圖譜(KG)在RAG流程中的具體應用場景。 緣起 關於知識圖譜在現在的RAG中能發揮出什麼樣的作用,之前看了360 劉煥勇的一個分享,簡單的提了使用知識圖譜增強大模型的問答效果的幾個方面: 在知識整理階段,

原创 深度解讀RAGFlow的深度文檔理解DeepDoc

4 月 1 日,Infinity宣佈端到端 RAG 解決方案 RAGFlow 開源,僅一天收穫上千顆星,到底有何魅力? 我們來安裝體驗並從代碼層面來分析看看。 安裝體驗 服務器需要有docker,或者直接訪問官方提供的demo: https

原创 RAG 範式、技術和趨勢

這裏分享同濟大學 Haofen Wang的關於檢索增強生成的報告:《Retrieval-Augmented Generation (RAG): Paradigms, Technologies, and Trends》 ,RAG 範式、技術和

原创 In-batch negatives Embedding模型介紹與實踐

語義索引(可通俗理解爲向量索引)技術是搜索引擎、推薦系統、廣告系統在召回階段的核心技術之一。語義索引模型的目標是:給定輸入文本,模型可以從海量候選召回庫中快速、準確地召回一批語義相關文本。語義索引模型的效果直接決定了語義相關的物料能否被成功

原创 ReACT介紹與llama_index ReActAgent實踐

Agent是大模型的重要應用方向,而ReACT是學術界提出的重要方法,本文介紹ReACT論文,然後通過llama_index ReActAgent來分析ReACT的執行過程。 ReACT 《REACT: SYNERGIZING REASON

原创 LLM 推理和應用 開源框架梳理

之前對LLM 推理和應用瞭解不多,因此抽時間梳理了一下,我們從模型量化,模型推理,以及開發平臺等三個層面來梳理分析。 模型量化 模型訓練時爲了進度,採用的32位浮點數,因此佔用的空間較大,一些大的模型需要很大的顯存才能加載,且計算推理過程較

原创 RAPTOR 一種基於樹的RAG方法,RAG的準確率提高 20%

一種理解整個文檔上下文的新穎的 RAG 方法 RAG 是當前使用LLM的標準方法,大多數現有方法僅從檢索語料庫中檢索短的連續塊,限制了對整個文檔上下文的整體理解。 最近,一種名爲 RAPTOR (Recursive Abstractive

原创 Langchain 介紹與入門

官方介紹 LangChain 是一個利用LLM開發應用程序的框架。它讓應用程序具備: 上下文感知能力:將LLM連接到上下文源(提示說明、少量示例、用以形成其響應的內容等) 推理:依靠LLM進行推理(例如根據提供的上下文確定如何回答、採取什

原创 搜索引擎RAG召回效果評測MTEB介紹與使用入門

RAG 評測數據集建設尚處於初期階段,缺乏針對特定領域和場景的專業數據集。市面上常見的 MS-Marco 和 BEIR 數據集覆蓋範圍有限,且在實際使用場景中效果可能與評測表現不符。目前最權威的檢索榜單是 HuggingFace MTEB,

原创 索引構建磁盤IO太高,巧用tmpfs讓內存來幫忙

在文本索引構建這種需要大量佔用磁盤IO的任務,如果正巧你的內存還有點餘糧,是否可以先索引存儲到內存,然後再順序寫入到磁盤呢?,需要大量佔用磁盤IO,如果正巧你的內存還有點餘糧,是否可以先索引存儲到內存,然後再順序寫入到磁盤呢? 將Linu

原创 從TF-IDF 到BM25, BM25+,一文徹底理解文本相關度

相關性描述的是⼀個⽂檔和查詢語句匹配的程度。我們從搜索引擎召回時,肯定希望召回相關性高的數據,那麼如何來量化相關度呢。 首先,我們定義,一個文檔doc,由多個詞語 term 組成。 最早,通過最簡單的TF-IDF來衡量。 TF-IDF 樸素

原创 跨語言調用神器SWIG介紹與使用入門

安裝 依賴 PCRE 庫 apt-get install libpcre2-dev 下載安裝 $ ./configure $ make $ make install 介紹 SWIG 是一個軟件開發工具,能夠簡化不同編程語言與 C 和 C

原创 xapian 搜索引擎介紹與使用入門

Xapian 是一個開源搜索引擎庫,使用 C++ 編寫,並提供綁定(bindings )以允許從多種編程語言使用。它是一個高度適應性的工具包,允許開發人員輕鬆地將高級索引和搜索功能添加到自己的應用程序中。Xapian 支持多種加權模型和豐富