跳到正文
🟢 已验证可用 — 实际跑通验证 进阶 开发工具

Ollama 本地大模型配置:离线运行 AI 助手

在自己的电脑上用 Ollama 跑本地大模型(Llama/Qwen/DeepSeek),再接入 OpenClaw,实现完全离线、数据不出本地的 AI 助手。不依赖 OpenAI,没有 API 费用,隐私100%自控。

⚔️ 难度 ★★☆ 进阶
⏱ 配置耗时 30-60 分钟
🎁 掉落 节省 30-60 分钟
🦞 部署 可一键部署

🎯 做完你会得到

在本地电脑运行大模型,通过 OpenClaw 对话使用,无需联网,数据不上传任何云端。

👤 适合谁

  • 注重隐私安全的用户
  • 开发者
  • 想省 API 费用的人
  • 企业内网用户

⚡ 效果预览

在自己电脑上跑了Qwen2.5,接入OpenClaw后完全离线工作,处理公司内部文档不用担心数据泄露

解决什么问题

用 ChatGPT/Claude 的隐忧:你的对话和文件都会上传到对方服务器。

对于处理公司内部文件、个人隐私数据的场景,本地模型是更安全的选择。

Ollama + OpenClaw = 完全在自己设备上运行的 AI 助手。

硬件要求

模型规模最低内存推荐配置
7B 参数(入门)8GB RAM16GB RAM + 独显
14B 参数(推荐)16GB RAM32GB RAM + 8GB显存
32B 参数(进阶)32GB RAM64GB RAM + 24GB显存

没有独显?CPU 也能跑,只是慢一些。7B 模型在 M1 Mac 上跑得很流畅。

第一步:安装 Ollama

# macOS / Linux
curl -fsSL https://ollama.ai/install.sh | sh

# Windows:从 https://ollama.ai 下载安装包

# 验证安装
ollama --version

第二步:下载模型

# 中文效果好的推荐模型

# Qwen2.5(阿里,中文最强之一)
ollama pull qwen2.5:7b      # 7B版,适合普通配置
ollama pull qwen2.5:14b     # 14B版,效果更好

# DeepSeek(推理能力强)
ollama pull deepseek-r1:7b

# Llama3.2(英文强,多语言支持)
ollama pull llama3.2:3b     # 轻量版

# 查看已下载的模型
ollama list

第三步:接入 OpenClaw

在 OpenClaw 配置文件中添加本地模型:

# ~/.openclaw/config.yaml
models:
  - name: local-qwen
    provider: ollama
    model: qwen2.5:14b
    baseUrl: http://localhost:11434
    
  - name: local-deepseek
    provider: ollama  
    model: deepseek-r1:7b
    baseUrl: http://localhost:11434

然后告诉 OpenClaw 使用本地模型:

切换到本地模型 local-qwen,接下来帮我分析这份公司内部报告:
[粘贴内容]

本地模型 vs 云端模型

对比项本地模型云端模型
数据隐私✅ 完全本地⚠️ 上传到服务商
使用费用✅ 免费(电费)按token计费
响应速度取决于硬件一般较快
模型能力稍弱更强
断网可用✅ 可以❌ 不行

适合本地模型的场景

以下场景建议用本地模型(发给 OpenClaw 时说明"使用本地模型"):

✅ 适合本地:
- 分析公司内部文件/合同
- 处理客户个人信息
- 日记/情绪记录分析
- 代码中含有业务逻辑的审查

⚠️ 建议云端:
- 需要最新信息(本地模型知识有截止日期)
- 创意写作(云端模型更强)
- 复杂推理任务

踩坑记录

Q:模型下载很慢 A:Ollama 的模型存储在国内有镜像源,可以设置环境变量 OLLAMA_HOST 走国内节点,或者用科学上网加速。

Q:跑起来很卡,响应很慢 A:换更小的模型(7B→3B),或者开启 GPU 加速(确保安装了 CUDA/Metal 驱动)。

Q:中文回复质量不好 A:优先选 Qwen 系列(阿里出品,中文最强),在提示词开头加”请用中文回复”确保语言一致。

#本地模型#Ollama#离线#隐私#开源#AI部署