本地部署大模型:Ollama 从安装到对话
果子发表于:2026-10-03 15:01:52浏览:30次
一、为什么选择 Ollama
Ollama 是目前最流行的本地大模型运行工具之一:安装简单、命令直观、跨平台(Windows/macOS/Linux),内置大量开源模型(LLaMA、Qwen、DeepSeek、Gemma 等),还自带本地 API 服务。
二、安装
到官网下载对应系统的安装包,双击安装即可。安装完成后,在终端输入 ollama --version 验证是否成功。
三、拉取并运行模型
# 拉取模型(以 qwen2.5 为例)
ollama pull qwen2.5
# 进入对话模式
ollama run qwen2.5第一次会自动下载模型文件(几个 GB,视模型大小而定)。之后就能直接在命令行里和模型对话了。
四、常用命令
ollama list:查看已下载的模型。ollama run 模型名:开始对话。ollama rm 模型名:删除模型。ollama pull 模型名:下载模型。
五、通过 API 调用
Ollama 默认在 http://localhost:11434 提供与 OpenAI 兼容的接口:
curl http://localhost:11434/api/generate -d '{"model":"qwen2.5","prompt":"你好"}'也可以用它提供的 /v1/chat/completions 端点,直接复用 OpenAI SDK。
六、硬件要求
7B 模型(4bit 量化)大约需要 4~8GB 显存/内存,普通电脑也能跑;更大的模型(13B、70B)则需要更多显存。没有独显时也可用 CPU 运行,只是速度较慢。
七、小结
Ollama 让「本地跑大模型」的门槛降到极低。数据不出本机、免费、可离线,非常适合学习、开发原型和隐私敏感场景。
栏目分类全部>
推荐文章
- Embedding 嵌入:把文字变成向量
- PHPStorm快捷键大全,不断更新收藏中(熟练使用后基本上告别鼠标了!)
- 大模型是怎么训练的:预训练、微调与 RLHF
- uniapp+thinkphp6开发答题系统 API接口开发签名验证、接口安全验证方法
- OpenClaw 定时自动化(Automations):让 AI 主动为你打工
- OpenClaw 技能(Skills)系统:让 AI 学会你的专属工作流
- OpenClaw 是什么?一个能住进你所有聊天软件的个人 AI 助手
- 新闻APP源码,新闻门户网站开源系统ThinkPHP6框架UniAPP多端发布
- OpenClaw 进阶:浏览器自动化、多模型接入与 Dashboard
- 【Webman+MySQL答题系统七】提交与自动判分:三种题型规则实现

