近期，Open AI 推出的 Deep Research（深度研究）功能引發(fā)了廣泛關(guān)注。該功能通過整合大模型、超級(jí)搜索和研究助理于一體，使得能夠一鍵生成報(bào)告，科研人員能夠一鍵撰寫綜述，極大提升了效率。然而，由于企業(yè)場(chǎng)景中私有化數(shù)據(jù)的敏感性和成本考慮，如何將 Deep Research 進(jìn)行開源的本地化部署，成為許多人的關(guān)注焦點(diǎn)。

在這篇文章中，我們將對(duì)市場(chǎng)上模仿 Deep Research 的開源項(xiàng)目進(jìn)行簡(jiǎn)要分析，并結(jié)合 Deepseek 等主流開源模型，Zilliz 推出一款名為 Deep Searcher 的開源項(xiàng)目。該項(xiàng)目的目標(biāo)是幫助用戶在企業(yè)級(jí)場(chǎng)景下，基于 Deep Research 的思路，實(shí)現(xiàn)私有化部署。此外，此方案在現(xiàn)有的 RAG（Retrieval-Augmented Generation）方案上進(jìn)行了重要升級(jí)。

GitHub 地址：

??https://github.com/zilliztech/deep-searcher??

1、什么是 Deep Research，為什么需要開源平替？

最近，OpenAI 推出了一款先進(jìn)的 AI 研究工具——Deep Research，目的是為了幫助用戶更高效地處理復(fù)雜的研究工作。這款工具基于 OpenAI 最新的 o3 大模型，特別針對(duì)網(wǎng)絡(luò)瀏覽和數(shù)據(jù)分析進(jìn)行了優(yōu)化。

第一、核心功能

• 多階段信息搜集與推理：Deep Research 能夠自動(dòng)執(zhí)行多階段的網(wǎng)絡(luò)調(diào)研，迅速整合網(wǎng)絡(luò)上的大量信息，涵蓋文本、圖片和 PDF 文件。
• 專業(yè)報(bào)告自動(dòng)生成：通過分析綜合數(shù)百個(gè)在線資源，Deep Research 可以在5至30分鐘內(nèi)生成一份包含詳細(xì)引用的專業(yè)報(bào)告，顯著減少傳統(tǒng)研究所需的時(shí)間。

第二、應(yīng)用場(chǎng)景

• 學(xué)術(shù)研究：學(xué)者和研究人員可以利用 Deep Research 快速搜集相關(guān)領(lǐng)域的深入資料，輔助撰寫論文和進(jìn)行研究。
• 市場(chǎng)分析：企業(yè)可以使用此工具進(jìn)行市場(chǎng)調(diào)研、競(jìng)爭(zhēng)分析和產(chǎn)品比較，為商業(yè)決策提供支持。
• 產(chǎn)品評(píng)估：消費(fèi)者可以利用 Deep Research 比較不同產(chǎn)品的特點(diǎn)和評(píng)價(jià)，做出更明智的購(gòu)買選擇。

總體而言，Deep Research 作為 OpenAI 推出的深度研究產(chǎn)品，旨在通過自動(dòng)化的信息搜集和分析，助力用戶高效完成復(fù)雜的研究任務(wù)。

第三、開源解決方案

目前，大多數(shù)用戶尚無法使用 OpenAI 的 Deep Research 功能。不過，自從 OpenAI 發(fā)布該功能后，許多開源社區(qū)的貢獻(xiàn)者開始分析并嘗試復(fù)現(xiàn)這一功能。

GitHub 上已經(jīng)出現(xiàn)了多個(gè)開源方案，它們的實(shí)現(xiàn)流程大致分為以下四個(gè)步驟：

• 第一步、問題分析：大模型分析用戶提出的問題，確定回答問題所需的角度和步驟。許多大模型（比如：DeepSeek、Qwen3 等）只需開啟推理選項(xiàng)即可完成這一過程。
• 第二步、在線搜索：根據(jù)大模型生成的問題進(jìn)行在線搜索，獲取搜索結(jié)果的前 K 項(xiàng)，并將內(nèi)容反饋給大模型。
• 第三步、內(nèi)容總結(jié)：大模型根據(jù)在線內(nèi)容生成簡(jiǎn)潔的答案。
• 第四步、答案驗(yàn)證：將所有內(nèi)容匯總后，由大模型判斷答案的完整性和準(zhǔn)確性。

如果答案完整且準(zhǔn)確，則輸出最終答案。如果達(dá)到預(yù)設(shè)的循環(huán)次數(shù)或 token 上限，同樣輸出最終答案。否則，生成新問題，返回第一步，并將歷史解決信息帶入下一輪循環(huán)。

2、相比傳統(tǒng) RAG，Deep Research 有何亮點(diǎn)與不足

相較于之前的 RAG（Retrieval-Augmented Generation）方案，新方案實(shí)現(xiàn)了以下三個(gè)方面的創(chuàng)新。

• 第一、判定邏輯：通過引入額外的判定邏輯，提升了答案的精確度。Deep Research 利用多源驗(yàn)證、邏輯推理等質(zhì)量控制手段，確保了研究成果的可靠性，并有效避免了傳統(tǒng) RAG 中常見的無目的檢索和過度檢索問題。與傳統(tǒng)的 RAG 相比，Deep Research 在信息整合和驗(yàn)證方面更為嚴(yán)謹(jǐn)。
• 第二、以搜索結(jié)果為核心：答案主要基于搜索結(jié)果而非單純依賴大模型的生成。大模型的作用在于內(nèi)容匯總和相關(guān)性判斷，從而增強(qiáng)了答案的可靠性。
• 第三、深度思考與處理復(fù)雜任務(wù)：Deep Research 能夠模仿人類研究員進(jìn)行多階段的網(wǎng)絡(luò)研究，理解信息、整合資源，并根據(jù)新發(fā)現(xiàn)調(diào)整研究策略。這種自主進(jìn)行多步驟問題解決的能力，是普通 RAG 所不具備的。

雖然這些優(yōu)勢(shì)顯著，但 Deep Research 也存在一些不足。從前面提供的方案中可以看出，Deep Research 的響應(yīng)速度較慢，對(duì)計(jì)算資源和網(wǎng)絡(luò)環(huán)境的要求也更高。更重要的是，其答案的主要信息來源依然是公開的網(wǎng)絡(luò)搜索結(jié)果。

然而，在大多數(shù)企業(yè)場(chǎng)景中，真正有價(jià)值的數(shù)據(jù)通常是企業(yè)的內(nèi)部數(shù)據(jù)，這些數(shù)據(jù)無法通過在線搜索獲取，也不適合上傳至大模型以避免隱私泄露的風(fēng)險(xiǎn)。此外，在線搜索引擎的結(jié)果可能包含誤導(dǎo)性信息（比如：廣告），且一些小眾搜索引擎可能存在搜索延遲。

鑒于此，在多數(shù)企業(yè)級(jí)應(yīng)用場(chǎng)景中，采用基于 Deep Research 思路的私有化部署可能是一個(gè)更佳的選擇。

接下來，我們將以 Deep Searcher 為例，展示如何結(jié)合開源項(xiàng)目和本地?cái)?shù)據(jù)，實(shí)現(xiàn)一個(gè)升級(jí)版的 Deep Research 本地部署。

3、如何針對(duì)私有數(shù)據(jù)，做 Deep Research

以下是基于多數(shù)開源 Deep Research 方案改進(jìn)后，Zilliz 推出的 Deep Searcher 開源實(shí)現(xiàn)方案的架構(gòu)設(shè)計(jì)如下所示：

從圖中可以看出，Deep Searcher 通過集成向量數(shù)據(jù)庫(kù) Milvus，實(shí)現(xiàn)了對(duì)用戶本地存儲(chǔ)數(shù)據(jù)的快速、低延遲的大規(guī)模離線搜索。

Deep Searcher 的實(shí)現(xiàn)步驟如下：

• 第一步、問題解析：在接收到用戶提問后，利用 LLM 對(duì)問題進(jìn)行分析，生成多個(gè)子問題，并明確每個(gè)子問題對(duì)應(yīng)的數(shù)據(jù)集。
• 第二步、信息檢索：根據(jù) LLM 的分析結(jié)果，在向量數(shù)據(jù)庫(kù)中檢索相關(guān)信息。需要注意的是，向量數(shù)據(jù)庫(kù)中的數(shù)據(jù)是離線存儲(chǔ)的，因此在執(zhí)行查詢之前，需要先將數(shù)據(jù)導(dǎo)入向量數(shù)據(jù)庫(kù)。這些數(shù)據(jù)可以是企業(yè)內(nèi)部數(shù)據(jù)、在線下載的數(shù)據(jù)，或者是其他系統(tǒng)中定期導(dǎo)入的數(shù)據(jù)。
• 第三步、內(nèi)容判斷：向量數(shù)據(jù)庫(kù)檢索到相似信息后，將用戶的原始問題、子問題及其對(duì)應(yīng)的搜索結(jié)果一同提交給大模型進(jìn)行內(nèi)容判斷。

如果問題已經(jīng)得到完整回答，則進(jìn)入最終回答階段。

如果達(dá)到預(yù)設(shè)的循環(huán)次數(shù)或 token 上限，同樣進(jìn)入最終回答階段。

否則，大模型將生成新的問題，并繼續(xù)下一輪循環(huán)。

方案亮點(diǎn)包括：

• 私有數(shù)據(jù)利用：充分挖掘私有數(shù)據(jù)的價(jià)值，更好地與大模型結(jié)合。
• 向量數(shù)據(jù)庫(kù)優(yōu)勢(shì)：發(fā)揮向量數(shù)據(jù)庫(kù)在處理大規(guī)模數(shù)據(jù)、低延遲搜索、多種索引策略、高可用性和資源彈性管理等方面的優(yōu)勢(shì)。
• 數(shù)據(jù)管理：通過向量數(shù)據(jù)庫(kù)高效管理私有數(shù)據(jù)，對(duì)不同類型的數(shù)據(jù)進(jìn)行分庫(kù)分表，支持多種應(yīng)用，最大化數(shù)據(jù)價(jià)值，降低管理成本。

值得注意的是，為了更有效地保護(hù)私有數(shù)據(jù)，建議使用離線 LLM 大模型。如果使用 LLM API，即使僅返回部分檢索數(shù)據(jù)，仍然存在數(shù)據(jù)泄露的風(fēng)險(xiǎn)。

4、Deep Searcher 落地效果

遵循上述思路，Deep Research 的本地部署開源版本——Deep Searcher。

當(dāng)前項(xiàng)目功能包括：

• 第一、LLM 支持：支持 OpenAI o3、Qwen3、DeepSeek、Grok 3、Claude 3.7 Sonnet、Llama 4、QwQ 等。
• 第二、Embedding 模型支持：支持 Pymilvus 內(nèi)置模型、OpenAI Embedding、VoyageAI Embedding。
• 第三、數(shù)據(jù) Loader 支持：支持離線文檔（比如：PDF、Markdown、TXT）、在線文檔（可通過 FireCrawl、JinaReader、Crawl4AI 獲?。?/li>
• 第四、向量數(shù)據(jù)庫(kù)支持：支持 Milvus、Zilliz Cloud 等。

最終效果預(yù)覽如下：

本文轉(zhuǎn)載自??玄姐聊AGI??  作者：玄姐