Skip to main content

在 Intel GPU 上使用 IPEX-LLM 设置本地大模型

warning

本教程由社区贡献，不属于 Open WebUI 团队官方支持。它仅作为如何针对特定用例自定义 Open WebUI 的演示。想要贡献？请查看 贡献教程。

note

本指南已通过手动安装设置的 Open WebUI 进行验证。

在 Intel GPU 上使用 IPEX-LLM 设置本地大模型​

info

IPEX-LLM 是一个 PyTorch 库，用于在 Intel CPU 和 GPU（例如，带有核显 iGPU 的本地电脑，或者 Arc A 系列、Flex 和 Max 等分显）上运行大模型，具有极低的延迟。

本教程演示了如何设置 Open WebUI，并使用托管在 Intel GPU 上的 IPEX-LLM 加速的 Ollama 后端。通过遵循本指南，即使是在低成本的 PC（即仅带有集成显卡）上，你也能够设置 Open WebUI 并获得流畅的体验。

在 Intel GPU 上启动 Ollama 服务​

有关如何在 Intel GPU 上安装和运行由 IPEX-LLM 加速的 Ollama 服务的详细信息，请参阅 IPEX-LLM 官方文档中的此指南。

tip

如果你希望从另一台机器访问 Ollama 服务，请在执行 ollama serve 命令之前确保设置或导出了环境变量 OLLAMA_HOST=0.0.0.0。

配置 Open WebUI​

通过菜单中的 设置 (Settings) -> 外部链接 (Connections) 进入 Ollama 设置。默认情况下，Ollama 基础 URL (Ollama Base URL) 预设为 https://localhost:11434 ，如下图所示。要验证 Ollama 服务的连接状态，请点击文本框旁边的刷新按钮。如果 WebUI 无法与 Ollama 服务器建立连接，你将看到错误消息 WebUI could not connect to Ollama。

Open WebUI Ollama 设置失败

如果连接成功，你将看到 Service Connection Verified（服务连接已验证）的消息，如下所示。

Open WebUI Ollama 设置成功

tip

如果你想使用托管在不同 URL 上的 Ollama 服务器，只需将 Ollama 基础 URL (Ollama Base URL) 更新为新 URL，然后按刷新按钮重新确认与 Ollama 的连接。