通过监控保持您的 Open WebUI 健康 🩺
监控您的 Open WebUI 实例对于确保其运行可靠、性能良好以及允许您快速识别和解决任何问题至关重要。本指南概述了三个级别的监控,从基础的可用性检查到深入的模型响应测试。
为什么要监控?
- 可用性: 确保用户可以访问 WebUI。
- 性能: 识别响应慢的路由或模型。
- 可靠性: 在用户发现之前捕捉错误(如 API 连接失败、数据库问题)。
- 容量规划: 了解使用模式以决定何时升级硬件。
1. 基础级别:健康端点 (HTTP 200)
最简单的监控形式是定期检查 Open WebUI 提供的 /health 端点。如果该端点返回 HTTP 状态码 200,则表示基础 Web 服务正在运行。
- 端点:
http://your-webui-url/health - 适用工具: UptimeRobot, Better Stack, Pingdom, 或者简单的
curl脚本。
2. 中级:OpenTelemetry (指标与追踪)
对于生产环境,Open WebUI 内置了对 OpenTelemetry (OTel) 的支持。这允许您导出详细的指标和分布式追踪。
您可以追踪:
- 请求延迟: 哪些 API 请求耗时最长?
- 数据库性能: SQL 查询是否存在瓶颈?
- 外部 API 调用: 到 Ollama 或 OpenAI 的请求速度如何?
- 错误率: 实时监控异常。
有关详细的设置说明,请参阅 OpenTelemetry 指南。
3. 高级:使用 Giskard 进行扫描
为了确保您的模型不仅处于运行状态,而且表现符合预期,您可以使用 Giskard。Giskard 是一个专门用于 LLM 质量保证的开源框架。
您可以自动化:
- 幻觉检测: 模型是否在胡言乱语?
- 偏见与安全性扫描: 模型是否生成了有害内容?
- 回归测试: 更新 Open WebUI 或模型后,质量是否有所下降?
查看 Giskard 文档 了解如何将其集成到您的 CI/CD 流水中。