算力

本地跑 Qwen / DeepSeek:Ollama 清单与首次跑通

ollama run 直链清单:Qwen3 各档与 DeepSeek 蒸馏系,配显存速查与常见报错;权重不二次托管。

正文為 SEO 深度以中文為主;上方要點已本地化。可用語言切換與深鏈進行全球導航。

本地跑 Qwen / DeepSeek:Ollama 清单与首次跑通

在本地运行国产大模型时,Ollama 是最直接的入口。Qwen3 系列和 DeepSeek R1 蒸馏系列通过 Ollama 即可完成推理,无需额外 API 接入或二次托管权重。这套清单专为消费级显卡设计,Qwen3 8B 约需 6GB 显存,DeepSeek R1 蒸馏 8B 同样适合入门卡,适合日常摘要、代码补全和轻量聊天场景。

你适用这篇指南的情况是:已有显卡(NVIDIA 或 AMD),想用本地权重跑模型,且不想依赖在线服务。决策路径非常简单——先确认显存,再选量化档位,最后测试基础功能。RooHome 的本地部署路径提供更详细的显存对照和硬件选择建议,助你快速匹配卡型。

Ollama 基础命令与 Qwen3 / DeepSeek 清单

Ollama 的核心指令是 ollama run。安装后直接运行即可,系统会自动下载对应模型文件(无需二次托管)。

Qwen3 各档启动直连示例:

  • Qwen3 8B(日常档,约 6GB 显存):

``bash ollama run qwen3:8b ``

  • Qwen3 14B(中档,约 12GB 显存):

``bash ollama run qwen3:14b ``

  • Qwen3 32B(重度档,约 24GB 显存):

``bash ollama run qwen3:32b ``

DeepSeek R1 蒸馏系列:

  • DeepSeek R1 蒸馏 8B(消费卡可跑,约 6GB 显存):

``bash ollama run deepseek-r1:8b ``

  • DeepSeek R1 蒸馏 14B(中档,约 12GB 显存):

``bash ollama run deepseek-r1:14b ``

  • DeepSeek R1 蒸馏 32B(重度档,约 24GB 显存):

``bash ollama run deepseek-r1:32b ``

更大档位和量化选择直接去 /open-models 获取直链;GGUF 量化档按显存优先选择(如 q4_0 起步)。具体量化档位和参数对照,请查看 RooHome 的 /tools/local-deploy 页面,里面有详细硬件匹配和速度参考。

显存速查表(消费卡友好版)

档位大致显存需求适合场景推荐量化起步
7–8B6–8GB日常摘要、补全、轻聊天q4_0
14–32B12–24GB重度本地使用、复杂推理q4_0
70B+48GB+ / 多卡折腾与专用机(需多显卡)q4_0 或 q3_k_m

精确到你的显卡,建议先在 /tools/local-deploy 查对应卡型的最低需求,再拉取模型。

常见报错与快速排查

  • out of memory (OOM):最常见,降量化档(从 q4_0 开始)。
  • 模型拉不动权重:切换 Ollama 的镜像源到阿里云或国内镜像(HF 源可能受限,本站不托管权重)。
  • 速度慢于预期:关闭其他占用显存的进程,检查是否因为显存分配问题或系统内存溢出。

风险与边界

使用本地运行时请注意:不要将模型用于任何未经授权的商业用途,否则可能涉及知识产权问题。对不上账的业务(如未经授权训练或部署)会直接面临法律风险;升级 Ollama 或模型版本后,旧硬件配置可能无法适配,出现“必挂”现象。RooHome 仅提供技术参考,非法律意见。

延伸阅读

English summary

Running Qwen or DeepSeek models locally with Ollama is the fastest way to access powerful Chinese-language AI without paying for API credits or relying on external services. This guide gives you the complete Ollama command list for Qwen3 and DeepSeek R1 distilled variants, including exact VRAM requirements and common error fixes. Perfect for users with consumer-grade GPUs who want quick testing and daily usage. Start with the 8B versions for most cards, then scale up based on your hardware. Always download models directly via Ollama to avoid weight duplication. Check local deployment tools for model selection and performance tuning. Note that heavy models may need more VRAM or multi-GPU setups. Always verify current model availability and hardware compatibility on the official sites.

适用于 GrokCode 倍率榜。信息仅供参考,不构成购买、投资或法律意见。