本文主要介绍如何使用两种大模型部署工具——OllamaLM-Studio,在本地环境下部署 DeepSeek。内容涵盖了两个工具的特征与优势、官方下载链接、安装与下载大模型的关键步骤,以及通过表格对 DeepSeek 不同版本的性能要求、模型文件大小和擅长领域进行对比。

一、 工具概述:Ollama 与 LM-Studio

1.Ollama(推荐)

  • 特征与优势:
    • 易用性: 简洁直观的用户界面,适合初学者与高级用户使用。
    • 高效部署: 优化的本地部署方案,支持多种大型语言模型,保证稳定高效的推理速度。
    • 灵活扩展: 允许自定义模型路径和参数配置,便于根据具体需求调整部署环境。

2.LM-Studio

  • 特征与优势:
    • 图形化配置: 直观的图形用户界面,简化大模型的导入与配置过程。
    • 强大管理: 支持多模型管理与参数调优,适应不同使用场景与需求。
    • 社区活跃: 拥有活跃的开发者社区,持续获得功能更新与技术支持。

二、安装与下载大模型的关键步骤

使用 Ollama 部署 DeepSeek

  1. 环境准备:

    • 确认系统硬件满足最低要求(建议现代CPU和充足内存)。
    • 安装必要的依赖环境(如 Python、相关库等)。
  2. 下载与安装 Ollama:(需魔法访问)

    • 访问官方下载适合操作系统的安装包。
    • 按照安装向导完成软件安装。
鉴于需要魔法,为了方便大家使用,免费分享安装包:通过网盘分享的文件:OllamaSetup.exe
链接: https://pan.baidu.com/s/1_bV3Q_uiJEaSxqbN1dVuqw?pwd=8888 提取码: 8888 
  1. 下载大模型:(下载速度快)

    • powerShell命令输入下载指定模型,下载完成后就可以直接在窗口使用了。在这里插入图片描述
  2. (可选)安装谷歌访问插件:
    Page Assist - 本地 AI 模型的 Web UI (需魔法访问谷歌商店,也可以**点这里获取**)
    在这里插入图片描述
    启用插件后,设置中文和模型。
    在这里插入图片描述
    在这里插入图片描述

  3. 使用效果
    在这里插入图片描述

  4. 错误排查
    windows 安装的ollama使用127.0.0.1:11434,可以访问但是通过ip:<本机ip地址>:11434无法访问。
    设置环境变量
    在这里插入图片描述
    注意,设置之后要重启ollama才会生效
    打开shell命令界面,先执行ollama stop,再执行ollama serve
    在这里插入图片描述

使用 LM-Studio 部署 DeepSeek

  1. 下载与安装 LM-Studio:
    • 前往LM-Studio 官网或其GitHub仓库获取最新安装包。
    • 安装参数推荐:设置路径为默认路径到C盘,为当前用户安装(如果要修改到其他路径,第二步的地址需要从桌面快捷方式寻找文件所在地址找到相对应的路径文件)。
    • 完成安装后,点击右下角的设置按钮设置为中文。
  1. 替换模型下载源地址:
    • 用hbuilder或vscode或notepad软件打开以下两个文件(记事本容易崩):
      1.C:\Users\你的用户名\AppData\Local\Programs\LM Studio\resources\app.webpack\main\index.js
      2.C:\Users\你的用户名\AppData\Local\Programs\LM Studio\resources\app.webpack\renderer\main_window.js
    • 全文替换,将huggingface.co替换为hf-mirror.com
  2. 导入大模型:
    • 直接下载:搜索栏输入"deepseek"→筛选GGUF格式→选择版本下载
      在这里插入图片描述
    • 手动导入:指定 DeepSeek 大模型文件的存储路径,从huggingface.co或其他网站获取模型资源手动导入。
      在这里插入图片描述

三、DeepSeek常用版本说明

DeepSeek 各常用版本说明:

版本名称 CPU要求 内存要求 硬盘要求(模型文件) GPU要求 适用场景
DeepSeek-R1-1.5B 最低4核(如Intel i5或AMD Ryzen 5) 8GB ≥12GB(模型文件约4~5GB) 可选(无GPU加速时使用CPU推理) 教育领域(基础AI教学演示)、小型企业(产品描述、邮件生成)、个人开发
DeepSeek-R1-7B/8B 8核以上(如Intel i9或AMD Ryzen 7) 16GB ≥12GB(模型文件约4~5GB) 推荐8GB显存(如RTX 3060) 内容创作(短篇故事、诗歌、广告文案)、客户服务、数据分析
DeepSeek-R1-14B 12核以上(如AMD Ryzen 9) 32GB ≥80GB(模型文件约60GB) 推荐16GB显存(如RTX 4090) 企业级应用(合同分析、报告生成)、长文本生成、多语言翻译
DeepSeek-R1-32B 16核以上(如AMD EPYC 7003系列) 64GB ≥256GB 推荐24GB显存(如A100 40GB) 专业领域(医疗、法律知识问答)、多模态任务(图文分析)、复杂数据分析
DeepSeek-R1-70B 32核以上(如AMD EPYC 9004系列) 128GB ≥256GB 多卡并行(如4×RTX 4090或2×A100 80GB) 科研机构(复杂模拟)、大型企业(大规模数据分析与预测)、创意写作(科幻、剧本)
DeepSeek-V3(付费j接入API) 最低128核 512GB ≥1T(模型文件约642GB) H100*16 高质量内容生成、复杂对话、深入分析任务

DeepSeek-Math版本侧重点
该版本专注于数学运算和公式推导,针对数学符号、表达式以及数理逻辑进行了特别优化,具备更高的计算精度和推理能力,适合数学建模、学术研究和教育场景中对数学问题的求解。

DeepSeek-Coder版本侧重点
该版本主要面向编程辅助和代码生成,内置多语言支持和智能调试功能,能够理解编程语境和生成高质量代码,适用于软件开发、自动化代码生成和技术文档编写。

以上内容由个人验证/资料收集,凡有错误还请不吝指正 在这里插入图片描述

四、Ollama设置允许外部访问的方法

新增系统变量。models的路径要改为自己安装的对应路径。
在这里插入图片描述

Logo

2万人民币佣金等你来拿,中德社区发起者X.Lab,联合德国优秀企业对接开发项目,领取项目得佣金!!!

更多推荐