手把手教你:在Ubuntu Linux上安装Ollama,免费使用云端大语言模型

近年来,大语言模型的火爆让越来越多开发者希望在本地或私有环境中运行AI模型。Ollama作为一个免费、开源的大语言模型运行框架,极大降低了使用门槛。它不仅支持本地模型运行,还提供了免费的云端模型套餐,非常适合日常学习、测试和小型项目。本文将基于Ubuntu Linux系统,详细讲解如何通过手动下载、安装、配置并最终使用Ollama,包括解决网络限制、开放远程访问等实际问题。

1. 理解Ollama的优势与准备工作

在动手安装之前,我们先了解一下Ollama的核心价值,以及需要准备的环境。

  1. Ollama是什么?: Ollama是一个专门用于运行、管理和调用大语言模型的轻量级框架。它支持多种开源模型(如LlamaMistralKimi等),并提供云端免费模型服务。
  2. 为什么选择手动安装?: Ollama官网提供的Linux安装命令在运行时需要访问GitHub。由于国内访问GitHub不稳定,容易导致安装中断或失败。因此,我们提前从GitHub Releases页面下载好压缩包,再进行手动安装,更加可靠。
  3. 准备工作:一台安装有Ubuntu Linux的机器(物理机或虚拟机均可)。
  4. 能够访问互联网的浏览器。
  5. 一个U盘(用于在宿主机与虚拟机之间传输文件,如果是物理机则不需要)。
  6. 基本的Linux终端使用知识。

2. 从GitHub下载Ollama Linux版安装包

为了确保安装过程不受网络波动影响,我们直接从GitHub获取完整的安装包。

操作步骤:

  1. 打开宿主机(如Windows)的浏览器,访问OllamaGitHub Releases页面:`https://github.com/ollama/ollama/releases`
  2. 找到最新版本(视频中为V0.20.6),在Assets区域点击下载文件:`ollama-linux-amd64.tar.zst`
  3. 等待下载完成(文件大小约1.9GB,根据网速可能需要十几分钟)。
  4. 将下载好的压缩包复制到一个U盘中。
  5. U盘插入运行Ubuntu的计算机,并将文件拷贝到Ubuntu系统中。
  6. 提示:如果Ubuntu无法识别U盘,请在VMware(或其他虚拟机软件)的设置中,将USB控制器版本调整为3.2,即可正常识别。

3. 在Ubuntu中解压并准备Ollama程序

现在我们已经把压缩包传到了Ubuntu系统中,接下来进行解压和目录整理。

操作步骤:

  1. Ubuntu的“主文件夹”中,新建一个名为 `bin` 的目录(用于存放用户安装的程序)。
  2. 进入 `bin` 目录,将U盘中的 `ollama-linux-amd64.tar.zst` 文件粘贴进来。
  3. 右键点击该压缩包,选择“提取到当前目录”(或使用命令 `tar -xf` 解压)。
  4. 解压完成后,你会看到一个包含 `bin` 和 `lib` 子目录的文件夹。
  5. 进入 `bin` 目录,里面有一个名为 `ollama` 的可执行文件,这就是Ollama的主程序。
  6. 此时,我们已经拥有了Ollama的完整运行文件,无需额外安装。

4. 启动Ollama服务并验证是否成功

在运行任何大语言模型之前,必须先启动Ollama的后台服务。

操作步骤:

  1. Ubuntu中打开终端(Terminal)。
  2. 使用 `cd` 命令进入Ollama程序所在的目录,例如:
    cd /home/yourusername/bin/ollama.../bin
  3. 确认当前目录下有 `ollama` 文件,然后运行服务:
    ./ollama serve
  4. 打开Firefox浏览器,访问 `http://127.0.0.1:11434`, 如果页面显示 `Ollama is running`,说明服务启动成功。
  5. 另开一个终端,运行以下命令查看进程:
    ps -ef | grep ollama
  6. 你会看到 `./ollama serve` 正在运行。
  7. 至此,Ollama框架已经成功运行在你的Ubuntu系统上了。

5. 使用免费的云端大语言模型

Ollama最大的便利之一是直接提供免费的云端模型(带有 `:cloud` 后缀),无需本地GPU资源即可调用。

操作步骤:

  1. 1. 在终端中,进入Ollama程序所在目录,运行:
    ./ollama launch
  2. 出现菜单后,选择第一项 `chat with a model`。
  3. 你会看到一个模型列表,选择带有 `:cloud` 的模型,例如 `kimi-k2.5:cloud`。
  4. 系统会提示你登录Ollama账号(如果没有,可以注册一个)。
    – 浏览器会自动打开登录页面,输入邮箱和密码。
    – 如果没有自动打开,手动复制终端中显示的URL到浏览器。
    – 注意:URL中可能包含空格,需要手动去除空格后再访问。
  5. 登录成功后,返回终端,你就能与云端模型对话了。

测试对话:

  1. 输入:“你使用的是什么大语言模型?”
  2. 模型会回答:“我是Kimi,由月之暗面科技有限公司开发,属于Kimi K2.5系列模型。”
  3. 你还可以继续提问,例如:“你现在哪里运行?” 模型会回答运行在云端分布式服务器上。

6. 解决模型运行中的常见错误

视频中提到,使用 `launch` 命令调用模型时,可能会遇到错误提示:
`error running model flag accessed but not defined verbose`

原因与解决方法:

  1. 原因:`launch` 命令在某些情况下与云端模型的参数解析存在兼容性问题。
  2. 解决方法:改用 `run` 命令直接指定模型名称。

操作步骤:

  1. 在终端中执行:
    ./ollama run kimi-k2.5:cloud
  2. 连接成功后,再次提问,例如:“你好,你在云端运行吗?是租赁的哪个公司的服务器?”
  3. 模型会正常回答,不会再输出错误信息。
  4. 此时使用 `ps -ef | grep ollama` 可以看到多了一个 `./ollama run …` 进程。
  5. 建议:日常使用中优先采用 `ollama run <模型名>` 的方式,更加稳定。

7. 开放Ollama服务给其他机器访问(如OpenClaw)

如果你希望在其他虚拟机或物理机上(例如Windows上的OpenClaw客户端)调用这个Ollama服务,需要将服务绑定到对外IP地址

操作步骤:

  1. 查看UbuntuIP地址
    sudo apt install net-tools # 如果没有ifconfig命令
    ifconfig
  2. 假设得到的IP为 `192.168.204.129`
  3. 在终端中设置环境变量,允许所有网络接口访问:
    export OLLAMA_HOST=0.0.0.0:11434
  4. 重启Ollama服务:
    – 先终止当前运行的 `./ollama serve`(按 pkill -9 ollama )。
    – 重新运行 `./ollama serve`
  5. 在浏览器中尝试访问:`http://192.168.204.129:11434`
    – 如果显示 `Ollama is running`,说明远程访问已生效。
  6. 现在,你可以在Windows虚拟机的OpenClaw或其他工具中,配置OllamaAPI地址为上述IP:11434,即可免费使用云端模型。
  7. 注意:此方式仅适用于同一局域网内的机器访问,如果需要公网访问,请额外配置安全策略。

8.  总结与后续建议

通过以上七个步骤,我们成功在Ubuntu Linux上手动安装了Ollama,并使用了免费的云端大语言模型(如Kimi K2.5)。整个过程绕过了GitHub访问不稳定的问题,解决了模型运行中的错误,并实现了跨机器的远程调用。

你可以继续探索:

  1. 下载并运行本地开源模型(如Llama 3Qwen等)。
  2. Ollama集成到自己的Python项目或Web服务中。
  3. 配合OpenClawContinueAI编程助手使用。

感谢您的耐心实践,如果在操作中遇到任何问题,欢迎在评论区留言交流。我们下个视频再见!

9. 视频演示

你可以通过选择自己喜欢的字幕语言来观看以下的演示视频。

Leave a Comment

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.