Skip to main content

模型

Open WebUI 工作区中的 模型 部分是一个强大的工具，允许您创建和管理针对特定用途定制的自定义模型。

虽然像 Ollama 这样的后端有自己的 Modelfile 格式，但 Open WebUI 采用了强大的内部 预设系统 (Preset System)。这允许您“包装”任何模型（包括 GPT-4、Claude 或本地的 Llama 3），并为其绑定特定的系统提示词、知识库集合、工具和动态变量。

该板块是您所有模型的中心枢纽，提供了一系列功能来编辑、克隆、共享、导出和隐藏您的自定义 Agent（智能体）。

创建和编辑模型​

当您创建一个新模型或编辑一个现有模型时，您实际上是在围绕一个“基础模型 (Base Model)”构建一个配置包装器。 要访问模型配置界面，您可以从主模型列表中通过两个主要入口进入：

  1. 新建模型：点击右上角的 + 新建模型 按钮。这将打开一个空白配置页面，以便从头开始创建预设。
  2. 编辑模型：点击现有模型卡片上的省略号 (...) 并选择 编辑。这将打开预先填充了该模型当前设置的配置页面。

这两项操作都会进入同一个模型构建器 (Model Builder) 界面，您可以在其中配置以下设置。

核心配置​

  • 头像照片：上传自定义图片，在聊天界面中代表您的模型。
  • 模型名称和 ID：您的自定义预设的显示名称和唯一标识符（例如，“Python 导师”或“会议总结器”）。
  • 基础模型：驱动该 Agent 的实际底层模型。您可以选择连接到 Open WebUI 的任何模型。您可以像为 llama3 创建预设一样，轻松地为 gpt-4o 创建自定义预设。
    • 回退行为：如果配置的基础模型不可用，且 ENABLE_CUSTOM_MODEL_FALLBACK 环境变量设置为 True，系统将自动回退到第一个配置的默认模型（在控制面板 > 设置 > 模型 > 默认模型中设置）。这确保了关键任务的自定义模型即使在其特定的基础模型被移除或暂时不可用时，仍能保持正常功能。
  • 描述：该模型功能的简短摘要。
  • 标签：添加标签以在选择器下拉菜单中组织模型。
  • 可见性与分组：
    • 私有：限制特定用户或分组的访问。
    • 分组选择器：使用下拉菜单向特定团队（例如，“管理员”、“开发人员”）授予访问权限，而无需将模型对所有人公开。

系统提示词与动态变量​

系统提示词定义了模型的行为和人格。与标准提示词不同，Open WebUI 支持使用 Jinja2 风格的占位符进行动态变量注入。这允许模型感知时间、日期和用户信息。

变量描述输出示例
{{ CURRENT_DATE }}注入今天的日期 (YYYY-MM-DD)。2024-10-27
{{ CURRENT_TIME }}注入当前时间 (24 小时制)。14:30:05
{{ USER_NAME }}已登录用户的显示名称。Admin

系统提示词示例：

您是 {{ USER_NAME }} 的得力助手。
今天的日期是 {{ CURRENT_DATE }}。

高级参数​

点击 高级参数 上的 显示，可以微调推理生成过程。

  • 停止序列 (Stop Sequences)：一个强大的功能，告诉模型在遇到特定字符时强制停止生成文本。这对于角色扮演或编程模型至关重要，可以防止它们在对话中出现幻觉。
    • 格式： 输入字符串（例如 <|end_of_text|>、User:）并按 回车 键。
  • Temperature (温度)、Top P 等：调整模型的创造力和确定性。

提示词建议​

提示词建议是当用户打开该模型的新聊天时，显示在输入框上方的可点击“启动片 (Starter Chips)”。这对于引导用户使用专业 Agent 至关重要。

  • 目的：引导用户了解该模型的能力，或为常见任务提供一键快捷方式。
  • 如何添加：输入短语（例如“总结这段文字”）并点击 + 按钮。您可以添加多个建议。
  • 示例：对于“Python 导师”模型，您可以添加：
    • "请逐步解释这段代码"
    • "在以下脚本中查找错误"
    • "为此函数编写一个单元测试"

能力、绑定与默认设置​

您可以通过切换特定能力和绑定资源，将通用模型转变为专业 Agent。

  • 知识库：无需在每次聊天中手动选择文档，您可以将特定的知识库集合或文件绑定到此模型。只要选择了此模型，RAG（检索增强生成）就会自动针对这些特定文件激活。
  • 工具：强制默认启用特定工具（例如，始终为“数学机器人”启用计算器工具）。
  • 过滤器 (Filters)：附加特定的管道/过滤器（例如，过滤脏话或 PII 脱敏脚本），使其仅在此模型上运行。
  • 动作 (Actions)：附加可操作的脚本，如“添加到记忆”或“按钮”触发器。
  • 能力：精细控制允许模型执行的操作：
    • 视觉：切换以启用图像分析能力（需要支持视觉的基础模型）。
    • Web 搜索：启用模型访问已配置的搜索提供商（如 Google、SearxNG）以获取实时信息。
    • 文件上传：允许用户向此模型上传文件。
    • 代码解释器：启用 Python 代码执行。
    • 图像生成：启用图像生成集成。
    • 使用量 / 引用：切换使用量跟踪或来源引用显示。
    • 状态更新：在生成过程中，在聊天 UI 中显示可见的进度步骤（例如，“正在搜索网页...”、“正在读取文件...”）。这对于耗时较长的复杂任务非常有用。
  • 默认功能：强制特定的开关（如 Web 搜索）在用户使用此模型开始聊天时立即处于“开启”状态。

模型管理​

在 模型 部分的主列表视图中，点击任何模型旁边的省略号 (...) 即可执行相关操作：

  • 编辑：打开该模型的配置面板。
  • 隐藏：从聊天中的模型选择器下拉菜单中隐藏该模型（对已弃用的模型很有用），而无需删除它。
  • 克隆：创建模型配置的副本，副本名称将附加 -clone。
note

基础模型可以被克隆为自定义工作区模型，但这不会克隆基础模型本身。

  • 复制链接：复制指向模型设置的直接 URL。
  • 导出：将模型配置下载为 .json 文件。
  • 共享：点击 共享 按钮将您的模型配置分享给 Open WebUI 社区（重定向至 openwebui.com）。
  • 删除：永久删除该预设。

导入和导出​

  • 导入模型：从 .json 文件或 Open WebUI 社区链接导入模型。
  • 导出模型：将您所有的自定义模型配置导出到一个 .json 文件中，以便备份或迁移。
  • 探索模型：在页面底部，您可以探索并下载 Open WebUI 社区制作的预设。
下载原始模型

要下载新的基础模型（如 Llama-3.2-3B-Instruct-GGUF:Q8_0 或 Mistral-7B-Instruct-v0.2-GGUF:Q4_K_M），请导航至 设置 > 外部连接 > Ollama。或者，在模型选择器中输入 ollama run hf.co/{username}/{repository}:{quantization} 直接从 Hugging Face 拉取。此操作将在模型选择器中创建一个标有“拉取 [模型名称]”的按钮，点击后将开始从源下载模型。

聊天中的模型切换​

Open WebUI 允许在聊天会话中动态切换模型和进行并行推理。

示例：在多阶段任务中切换 Mistral、LLaVA 和 GPT-4。

  • 场景：一个多阶段的对话涉及不同类型的任务，例如从简单的常见问题解答开始，接着解释一张图片，然后生成创意回复。
  • 切换原因：用户可以利用每个模型在不同阶段的特定优势：
    • 使用 Mistral 处理一般问题，以减少计算时间和成本。
    • 使用 LLaVA 处理视觉任务，从图像数据中获取见解。
    • 使用 GPT-4 生成更复杂且细腻的语言输出。
  • 过程：用户根据任务类型在模型之间切换，以最大限度地提高效率和回复质量。

操作方法：

  1. 选择模型：在聊天界面中，从模型切换器下拉菜单中选择所需的模型。您可以同时选择最多两个模型，两者都会生成回复。然后，您可以使用前后箭头在它们之间切换查看。
  2. 上下文保留：Open WebUI 在切换模型时会保留对话上下文，从而实现平滑过渡。