手把手教你搭建本地AI开发环境：从0到能跑大模型

越来越多人在自己的电脑上跑大模型了。搭一个本地AI开发环境没有想象中那么复杂，这篇文章带你一步步搞定。我用的是一台32GB内存的Windows电脑，硬件要求不算高。

为什么要在本地跑AI？

• 隐私——数据不用上传到云端
• 免费——不用买API额度
• 可控——想用什么模型就用什么模型
• 离线可用——没网络也能用

第一步：硬件要求

最低配置（能跑小模型）：8GB内存、4GB显存。
推荐配置（能跑7B-13B模型）：16-32GB内存、8GB以上显存、200GB SSD。
如果是Apple Silicon的Mac，推荐16GB以上的统一内存。

不要担心你的电脑跑不了大模型。现在有很多量化版本的小模型，4GB显存也能跑得不错。

第二步：安装基础工具

Ollama — 最简单的本地模型运行工具

Ollama是目前最流行的本地模型运行工具。安装很简单：

1. 访问ollama.ai，下载对应系统的安装包
2. 安装完成后，打开终端
3. 输入 ollama run llama3.2 或 ollama run qwen2.5
4. 等待下载完成，就可以在终端里跟模型聊天了

从下载到用上，整个过程不超过10分钟。

推荐的本地模型

第三步：搭配用户界面

终端里用模型不太方便，推荐装一个用户界面：Open WebUI。它跟Ollama配合，启动后打开浏览器就能用。安装命令：docker run -d -p 3000:8080 ghcr.io/open-webui/open-webui:main

如果你不熟悉Docker，也可以用LM Studio——自带漂亮界面的桌面应用，下载模型和管理都很方便。

第四步：把本地模型接入开发工具

Ollama支持OpenAI兼容的API接口。启动Ollama后，本地就会有个API服务。在Cursor或Continue插件里配置API地址，就可以用本地模型做代码补全了。

注意事项

• 大模型很吃空间，建议至少留50GB给模型文件
• 7B模型在16GB内存的电脑上可以跑得比较流畅
• 有独立显卡的体验会好很多，没有显卡也能用CPU跑，就是慢一些
• 模型文件可以删除重新下载，不用怕占空间

一句话总结

装Ollama → 下载Qwen或Llama → 装Open WebUI → 开用。整个过程不超过30分钟，你就能拥有一个完全免费、隐私、离线的AI助手。