近年来,大语言模型的火爆让越来越多开发者希望在本地或私有环境中运行AI模型。Ollama作为一个免费、开源的大语言模型运行框架,极大降低了使用门槛。它不仅支持本地模型运行,还提供了免费的云端模型套餐,非常适合日常学习、测试和小型项目。本文将基于Ubuntu Linux系统,详细讲解如何通过手动下载、安装、配置并最终使用Ollama,包括解决网络限制、开放远程访问等实际问题。
1. 理解Ollama的优势与准备工作
在动手安装之前,我们先了解一下Ollama的核心价值,以及需要准备的环境。
- Ollama是什么?: Ollama是一个专门用于运行、管理和调用大语言模型的轻量级框架。它支持多种开源模型(如Llama、Mistral、Kimi等),并提供云端免费模型服务。
- 为什么选择手动安装?: Ollama官网提供的Linux安装命令在运行时需要访问GitHub。由于国内访问GitHub不稳定,容易导致安装中断或失败。因此,我们提前从GitHub Releases页面下载好压缩包,再进行手动安装,更加可靠。
- 准备工作:一台安装有Ubuntu Linux的机器(物理机或虚拟机均可)。
- 能够访问互联网的浏览器。
- 一个U盘(用于在宿主机与虚拟机之间传输文件,如果是物理机则不需要)。
- 基本的Linux终端使用知识。
2. 从GitHub下载Ollama Linux版安装包
为了确保安装过程不受网络波动影响,我们直接从GitHub获取完整的安装包。
操作步骤:
- 打开宿主机(如Windows)的浏览器,访问Ollama的GitHub Releases页面:`https://github.com/ollama/ollama/releases`
- 找到最新版本(视频中为V0.20.6),在Assets区域点击下载文件:`ollama-linux-amd64.tar.zst`
- 等待下载完成(文件大小约1.9GB,根据网速可能需要十几分钟)。
- 将下载好的压缩包复制到一个U盘中。
- 将U盘插入运行Ubuntu的计算机,并将文件拷贝到Ubuntu系统中。
- 提示:如果Ubuntu无法识别U盘,请在VMware(或其他虚拟机软件)的设置中,将USB控制器版本调整为3.2,即可正常识别。
3. 在Ubuntu中解压并准备Ollama程序
现在我们已经把压缩包传到了Ubuntu系统中,接下来进行解压和目录整理。
操作步骤:
- 在Ubuntu的“主文件夹”中,新建一个名为 `bin` 的目录(用于存放用户安装的程序)。
- 进入 `bin` 目录,将U盘中的 `ollama-linux-amd64.tar.zst` 文件粘贴进来。
- 右键点击该压缩包,选择“提取到当前目录”(或使用命令 `tar -xf` 解压)。
- 解压完成后,你会看到一个包含 `bin` 和 `lib` 子目录的文件夹。
- 进入 `bin` 目录,里面有一个名为 `ollama` 的可执行文件,这就是Ollama的主程序。
- 此时,我们已经拥有了Ollama的完整运行文件,无需额外安装。
4. 启动Ollama服务并验证是否成功
在运行任何大语言模型之前,必须先启动Ollama的后台服务。
操作步骤:
- 在Ubuntu中打开终端(Terminal)。
- 使用 `cd` 命令进入Ollama程序所在的目录,例如:
cd /home/yourusername/bin/ollama.../bin
- 确认当前目录下有 `ollama` 文件,然后运行服务:
./ollama serve
- 打开Firefox浏览器,访问 `http://127.0.0.1:11434`, 如果页面显示 `Ollama is running`,说明服务启动成功。
- 另开一个终端,运行以下命令查看进程:
ps -ef | grep ollama
- 你会看到 `./ollama serve` 正在运行。
- 至此,Ollama框架已经成功运行在你的Ubuntu系统上了。
5. 使用免费的云端大语言模型
Ollama最大的便利之一是直接提供免费的云端模型(带有 `:cloud` 后缀),无需本地GPU资源即可调用。
操作步骤:
- 1. 在终端中,进入Ollama程序所在目录,运行:
./ollama launch
- 出现菜单后,选择第一项 `chat with a model`。
- 你会看到一个模型列表,选择带有 `:cloud` 的模型,例如 `kimi-k2.5:cloud`。
- 系统会提示你登录Ollama账号(如果没有,可以注册一个)。
– 浏览器会自动打开登录页面,输入邮箱和密码。
– 如果没有自动打开,手动复制终端中显示的URL到浏览器。
– 注意:URL中可能包含空格,需要手动去除空格后再访问。 - 登录成功后,返回终端,你就能与云端模型对话了。
测试对话:
- 输入:“你使用的是什么大语言模型?”
- 模型会回答:“我是Kimi,由月之暗面科技有限公司开发,属于Kimi K2.5系列模型。”
- 你还可以继续提问,例如:“你现在哪里运行?” 模型会回答运行在云端分布式服务器上。
6. 解决模型运行中的常见错误
视频中提到,使用 `launch` 命令调用模型时,可能会遇到错误提示:
`error running model flag accessed but not defined verbose`
原因与解决方法:
- 原因:`launch` 命令在某些情况下与云端模型的参数解析存在兼容性问题。
- 解决方法:改用 `run` 命令直接指定模型名称。
操作步骤:
- 在终端中执行:
./ollama run kimi-k2.5:cloud
- 连接成功后,再次提问,例如:“你好,你在云端运行吗?是租赁的哪个公司的服务器?”
- 模型会正常回答,不会再输出错误信息。
- 此时使用 `ps -ef | grep ollama` 可以看到多了一个 `./ollama run …` 进程。
- 建议:日常使用中优先采用 `ollama run <模型名>` 的方式,更加稳定。
7. 开放Ollama服务给其他机器访问(如OpenClaw)
如果你希望在其他虚拟机或物理机上(例如Windows上的OpenClaw客户端)调用这个Ollama服务,需要将服务绑定到对外IP地址。
操作步骤:
- 查看Ubuntu的IP地址:
sudo apt install net-tools # 如果没有ifconfig命令 ifconfig
- 假设得到的IP为 `192.168.204.129`
- 在终端中设置环境变量,允许所有网络接口访问:
export OLLAMA_HOST=0.0.0.0:11434
- 重启Ollama服务:
– 先终止当前运行的 `./ollama serve`(按 pkill -9 ollama )。
– 重新运行 `./ollama serve` - 在浏览器中尝试访问:`http://192.168.204.129:11434`
– 如果显示 `Ollama is running`,说明远程访问已生效。 - 现在,你可以在Windows虚拟机的OpenClaw或其他工具中,配置Ollama的API地址为上述IP:11434,即可免费使用云端模型。
- 注意:此方式仅适用于同一局域网内的机器访问,如果需要公网访问,请额外配置安全策略。
8. 总结与后续建议
通过以上七个步骤,我们成功在Ubuntu Linux上手动安装了Ollama,并使用了免费的云端大语言模型(如Kimi K2.5)。整个过程绕过了GitHub访问不稳定的问题,解决了模型运行中的错误,并实现了跨机器的远程调用。
你可以继续探索:
- 下载并运行本地开源模型(如Llama 3、Qwen等)。
- 将Ollama集成到自己的Python项目或Web服务中。
- 配合OpenClaw、Continue等AI编程助手使用。
感谢您的耐心实践,如果在操作中遇到任何问题,欢迎在评论区留言交流。我们下个视频再见!
9. 视频演示
你可以通过选择自己喜欢的字幕语言来观看以下的演示视频。