当前位置： 主页 > 新闻动态 > 技术学堂

本地部署Deepseek-RAG知识库

发布日期： 2025-02-20 阅读量： 作者： 巴顿软件

随着人工智能和大数据的快速发展，企业对知识管理的需求也日益增加。为了更好地利用内部信息资源，实现智能化的知识查询，企业开始寻求能够高效管理和检索数据的知识库解决方案。在这篇文章中，我们将探讨如何通过Ollama部署DeepSeek，并将其接入本地RAG平台，来构建一个强大的企业知识库。

一、什么是RAG平台？

RAG平台（Retrieval-Augmented Generation）是将检索与生成相结合的一种技术，它通过检索相关文档并生成有用的信息，为用户提供更加精准的答案。以下是一些广泛使用的RAG平台：

Haystack by deepset
官网：https://deepset.ai/haystack
介绍：Haystack 是一个开源的 NLP 框架，能够处理信息检索与文本生成任务，广泛应用于构建问答系统和知识库。
GPT Index
官网：https://gpt-index.readthedocs.io/
介绍：GPT Index 是一个通过高效的检索增强生成 (RAG) 系统来处理文档和问答的工具，适合企业级应用。
LangChain
官网：https://www.langchain.com/
介绍：LangChain 提供了一个丰富的框架，用于构建基于大型语言模型（LLMs）的应用程序，支持与外部系统集成，如数据库和搜索引擎。
AnythingLLM
官网：https://anythingllm.com/
介绍：AnythingLLM 是一个开源的深度学习框架，旨在简化大规模语言模型的部署与应用，特别是在与本地RAG平台集成构建智能知识库和问答系统方面。

二、使用AnythingLLM演示DeepSeek与RAG平台结合

在此部分，我们将展示在Mac平台如何使用AnythingLLM实现DeepSeek与本地RAG平台的接入。

步骤 1：安装并配置Ollama

首先进入ollama官网：https://ollama.com/，下载并安装ollama

下载-1.png 下载-2.png

安装完成后打开ollama，进入终端输入下面命令

ollama -v

输出如下ollama版本即为安装成功

ollama version is 0.5.7

步骤 2：下载deepseek-R1 14B版本

在终端中输入安装命令，等待deepseek安装完成

ollama run deepseek-r1:14b

安装完成后展示如下图，输入文字就能对话

安装ds14b.png 安装22.png

步骤 3：安装AnythingLLM平台

进入官网下载mac版本的，这里我是m2芯片，对应apple sillicon，完成安装。

安装rag1.png

步骤 4：配置AnythingLLM

打开AnythingLLM，点击创建工作区，输入工作区名称

进入工作区设置，点击聊天设置，修改工作区LLM提供者为ollama，再选择14b版本，修改聊天提示语，定义agent的工作内容并且指定用中文回复。

完成AnythingLLM配置，可以进行对话了

步骤 4：数据投喂

通过调用RAG平台，DeepSeek将能够根据内部数据库、文档、链接等提供实时的知识查询和生成能力。我使用宁畅官网的产品页面作为投喂资料进行演示。

如图所示完成数据添加，回答问答界面，要求deepseek介绍下宁畅的产品，deepseek会从投喂的网站进行搜索，总结出产品的内容；

投喂的内容可以是doc、pdf、csv、链接等数据，也可以是自己搭建的数据库，可以自己下载体验。

总结：至此完成了deepseek本地化部署RAG平台的流程。

DeepSeek的硬件要求

DeepSeek的硬件要求依赖于不同的参数配置，特别是显卡显存的大小。一般来说，对于不同规模的模型和查询负载，硬件需求也会有所不同。如下图是ollama官网中deepseek的大小，你对应的显存必须大于此模型大小，否则就会使用cpu+内存的方式进行推理，速度将会大幅降低甚至卡死。

上一篇: 每个 Web 开发人员至少应该查看的 10 个网站

下一篇: app开发需要用到的关键技术

15825704132
lvzy@pattonsoft.com
浙江省嘉兴市南湖区金穗路139号创业大厦705

关注官方公众号

服务项目: 软件定制开发云服务解决方案

案例中心: APP开发小程序开发 H5开发门户站点

新闻动态: 公司新闻行业动态技术学堂