一種理解整個文檔上下文的新穎的 RAG 方法
RAG 是當前使用LLM的標準方法，大多數現有方法僅從檢索語料庫中檢索短的連續塊，限制了對整個文檔上下文的整體理解。
最近，一種名爲 RAPTOR （Recursive Abstractive Processing for Tree-Organized Retrieval）方法提出來，該方法核心思想是將doc構建爲一棵樹，然後逐層遞歸的查詢，如下圖所示：
在推理時，RAPTOR 模型從該樹中檢索，在不同抽象級別的文檔中找出匹配片段。
在涉及複雜、多步驟推理的問答任務中，通過將 RAPTOR 檢索與 GPT-4 結合使用，可以將 QuALITY 基準的準確率提高 20%。
樹的構建過程
構建樹的過程，RAPTOR 根據其語義embedding遞歸地對文本塊chunk進行聚類，並生成這些聚類的文本摘要。
RAPTOR 根據向量遞歸地對文本塊進行聚類，並生成這些聚類的文本摘要，從而自下而上構建一棵樹。 聚集在一起的節點是兄弟節點； 父節點包含該集羣的文本摘要。這種結構使 RAPTOR 能夠將代表不同級別文本的上下文塊加載到 LLM 的上下文中，以便它能夠有效且高效地回答不同層面的問題。
樹的聚類算法基於高斯混合模型 (GMM)，聚類後，每個聚類中的節點被髮送到LLM進行概括。在實驗中，作者使用 gpt-3.5-turbo 來生成摘要。摘要步驟將可能大量的檢索信息壓縮（summarization）到一個可控的大小。
查詢過程
查詢有兩種方法，基於樹遍歷（tree traversal）和摺疊樹（collapsed tree）
遍歷是從 RAPTOR 樹的根層開始，然後逐層查詢
摺疊樹就是全部平鋪，用ANN庫查詢。
查詢方法的比較
摺疊樹方法具有更大的靈活性，F1會更高。