可观测性后端运维前端云原生微服务AI Agent【免费下载链接】oneuptimeComplete open-source monitoring and observability platform.项目地址https://gitcode.com/GitHub_Trending/on/oneuptime点击查看免费下载OneUptime 作为开源的监控与可观测性平台通过LLM Provider大语言模型提供商抽象层接入 OpenAI、Anthropic、Groq、Mistral、Ollama 以及任意 OpenAI 兼容服务vLLM、LocalAI、LM Studio 等为 incident 管理、告警分析、postmortem 撰写与代码改进等 AI 功能提供模型能力。本文以仓库文档 llm-provider.md 为主体结合数据模型与启动迁移源码完整讲解在 SaaS 与自建Docker Compose / Helm两种形态下配置 LLM Provider 的全部方法读完即可在十分钟内接通自己的模型服务。LLM Provider 在 OneUptime 中承担什么角色LLM Provider 是 OneUptime 全平台 AI 能力的统一入口。配置完成后模型会被自动用于以下场景自主调查Autonomous Investigations新 incident 和告警产生后自动开展调查并把附有引用来源的根因分析root cause analysis发布到时间线Incident Notes自动生成详尽的 incident 说明与更新内容Alert Notes为告警生成有意义的描述与上下文Scheduled Maintenance Notes自动起草维护事件说明Incident Postmortems自动起草完整的 incident 事后分析报告Code Improvements当代码仓库接入 OneUptime 后平台会调用所配置的 LLM Provider 分析遥测数据logs、traces、metrics、exceptions并给出代码改进建议。从实现角度看这些能力全部由统一的LlmProvider模型支撑。在 LlmProvider.ts 中可以看到该表的完整字段设计name友好名称、description、llmType提供商类型、apiKey在数据库中加密存储encrypted: true、modelName、baseUrl、additionalParams可选 JSON追加并覆盖发送给 provider 的默认参数、projectId为空表示全局 Provider、isGlobalLlm、isDefault以及costPerMillionTokensInUSDCents每百万 token 成本用于全局 Provider 的计量计费。这张表既承载用户通过 Dashboard 手动创建的配置也承载通过环境变量自动同步的全局 Provider。全局 Provider 与项目级 Provider两套接入路径OneUptime 的 LLM Provider 存在两种作用域理解二者关系是配置的前提全局 LLM ProviderGlobal LLM Provider对所有项目生效适用于平台级统一配置。SaaS 用户默认可用自建用户可通过环境变量或 Helm 内置 vLLM 自动注册管理员也可在 Admin Dashboard 手动创建。项目级 LLM ProviderProject LLM Provider仅在指定项目内生效在Project Settings AI LLM Providers中创建。当项目拥有自己的 Provider 时项目级配置总是优先于全局配置只有当项目未配置任何 Provider 时全局 Provider 才会被使用AI fix 任务同样遵循此规则。支持的 Provider 一览OneUptime 当前支持七类 LLM Provider对应源码中的 LlmType 枚举OpenAI、AzureOpenAI、Anthropic、Groq、Mistral、Ollama、OpenAICompatible。各类型对 API Key 与 Base URL 的要求如下Provider描述API Key 是否必需Base URL 是否必需OpenAIGPT-4、GPT-4o、GPT-3.5 Turbo 等 OpenAI 模型是否使用默认端点Azure OpenAI部署在 Azure 上的 OpenAI 模型是是AnthropicClaude 3 Opus / Sonnet / Haiku 等 Claude 模型是否使用默认端点Groq面向 Llama、Mixtral 等开源模型的快速推理服务是否使用默认端点MistralMistral 官方托管模型是否使用默认端点Ollama自托管开源模型Llama 2、Mistral、CodeLlama 等否是OpenAI Compatible任意 OpenAI 兼容服务vLLM、LocalAI、LM Studio 等否可选是快速开始一SaaS 用户零配置如果你使用的是OneUptime SaaS云端托管版本默认即可使用Global LLM Provider它已预先配置完毕所有 AI 功能开箱即用无需任何额外配置。若你希望使用自己的 API Key 或指定特定厂商则按下文 Dashboard 步骤创建自定义 Provider 即可。快速开始二自建实例零配置环境变量自建实例上为所有项目一次性开启 AI 能力的最快方式是设置GLOBAL_LLM_PROVIDER_*环境变量——在 Docker Compose 部署中写入config.env或在 Helm 部署中通过 values 注入。OneUptime 启动时会据此自动注册并持续同步一个全局 LLM Provider无需逐项目在 Dashboard 中配置当项目自身没有 Provider 时AI fix 任务也会自动使用它。环境变量说明GLOBAL_LLM_PROVIDER_TYPE启用全局 Provider 的必填项。取值OpenAI、AzureOpenAI、Anthropic、Groq、Mistral、Ollama、OpenAICompatibleGLOBAL_LLM_PROVIDER_API_KEYAPI Key。OpenAI、Azure OpenAI、Anthropic、Groq、Mistral 必需Ollama 或无鉴权的 OpenAI 兼容服务不需要GLOBAL_LLM_PROVIDER_BASE_URLAPI 端点。Azure OpenAI、Ollama、OpenAI 兼容服务必需GLOBAL_LLM_PROVIDER_MODEL_NAME使用的模型名OpenAI 兼容服务必需其余建议填写GLOBAL_LLM_PROVIDER_NAME可选显示在 Dashboard 中的友好名称示例接入本地 OllamaGLOBAL_LLM_PROVIDER_TYPEOllama GLOBAL_LLM_PROVIDER_BASE_URLhttp://your-ollama-host:11434 GLOBAL_LLM_PROVIDER_MODEL_NAMEllama3.1 # Ollama 无鉴权无需 API Key示例接入 OpenAIGLOBAL_LLM_PROVIDER_TYPEOpenAI GLOBAL_LLM_PROVIDER_API_KEYsk-xxxxxxxxxxxxxxxxxxxx GLOBAL_LLM_PROVIDER_MODEL_NAMEgpt-4o环境变量机制的底层实现这套声明式同步机制的实现在 SeedGlobalLlmProviderFromEnv.ts 启动迁移中其行为细节值得了解固定 ID迁移使用一个固定的seededGlobalLlmProviderId00000000-0000-0000-0000-000000000001作为种子行主键因此只触碰由环境变量管理的这一行管理员在 Admin Dashboard 手动创建的全局 Provider 永远不会被覆盖或删除。声明式同步每次启动时比对环境变量与现有行GLOBAL_LLM_PROVIDER_TYPE有值则创建/更新种子行变量被移除则删除种子行字段未变化时跳过写库避免每次启动都触发加密重写。启动期校验迁移会镜像运行时服务LlmProviderService的按类型校验——Ollama 与 OpenAICompatible 之外的类型缺少 API Key、AzureOpenAI/Ollama/OpenAICompatible 缺少 Base URL、OpenAICompatible 缺少模型名都会在启动日志中输出明确错误仍会写入保证声明式语义便于尽早发现问题。长度防护name/description 会被截断到列长度上限而 Base URL 超长例如 Helm 自动生成的内网地址过长会直接跳过种子并打印错误避免产生不可用的 URL。在 Dashboard 中手动配置 LLM Provider步骤一进入 LLM Providers 设置登录 OneUptime Dashboard进入Project Settings AI LLM ProvidersSaaS 或项目级配置入口点击Create LLM Provider创建新 Provider。步骤二填写配置字段Name为该 LLM 配置起一个可辨识的名称如 Production OpenAI、Local OllamaDescription可选说明该 Provider 的用途LLM Type选择提供商类型OpenAI、Azure OpenAI、Anthropic、Groq、Mistral、Ollama 或 OpenAI CompatibleAPI Key你的 API KeyOpenAI、Azure OpenAI、Anthropic、Groq、Mistral 必需Ollama 与 OpenAI 兼容服务可选Model Name要使用的具体模型如gpt-4o、claude-3-opus-20240229、llama2Base URL可选自定义 API 端点Azure OpenAI、Ollama、OpenAI Compatible 必需其余可选。创建、编辑与删除权限受LlmProvider表上的访问控制约束如CreateProjectLlm、EditProjectLlm、DeleteProjectLlm及项目 Owner/Admin/Member 角色见 LlmProvider.ts非授权角色无法操作 Provider 配置。Provider 专项配置OpenAI在 OpenAI Platform 的 API Keys 页面获取 API KeyLLM Type 选择OpenAI填入 API Key选择模型名gpt-4o— 能力最强适合复杂任务gpt-4o-mini— 更快、更经济gpt-4-turbo— 能力与速度的良好平衡gpt-3.5-turbo— 快速且便宜。示例配置Name: Production OpenAI LLM Type: OpenAI API Key: sk-xxxxxxxxxxxxxxxxxxxx Model Name: gpt-4oAnthropic在 Anthropic Console 获取 API KeyLLM Type 选择Anthropic填入 API Key选择模型名claude-3-opus-20240229— 能力最强claude-3-sonnet-20240229— 智能与速度的均衡选择claude-3-haiku-20240307— 最快、最紧凑claude-3-5-sonnet-20241022— 最新的 Sonnet 模型。示例配置Name: Production Anthropic LLM Type: Anthropic API Key: sk-ant-xxxxxxxxxxxxxxxxxxxx Model Name: claude-3-5-sonnet-20241022Ollama自托管Ollama 允许你在本地或自有基础设施上运行开源 LLM数据不出内网。从 ollama.ai 安装 Ollama拉取所需模型ollama pull llama2确保 Ollama 已运行且可访问LLM Type 选择Ollama填写 Base URL如http://localhost:11434填写已拉取的模型名。示例配置Name: Local Ollama LLM Type: Ollama Base URL: http://localhost:11434 Model Name: llama2常用 Ollama 模型llama2— Meta 的 Llama 2 模型llama3— Meta 的 Llama 3 模型mistral— Mistral AI 模型codellama— 面向代码的 Llama 变体mixtral— Mistral 的 mixture-of-experts 模型。重要提示OneUptime 的 AI 功能是 agentic智能体式的重度依赖tool calling工具调用。请选用支持工具调用的模型如llama3.1及更新版本。小模型或不支持工具调用的模型如llama2、原始llama3效果会大打折扣——它们无法查询你的 monitor、incident 或遥测数据调查结果往往为空或产生幻觉。OpenAI CompatiblevLLM、LocalAI、LM Studio 等凡实现了 OpenAI/chat/completionsAPI 但并非 OpenAI 官方的服务如 vLLM、LocalAI、LM Studio、text-generation-webui都可使用OpenAI Compatible类型接入。这类服务通常自托管在自有 URL 上且常无鉴权运行。启动你的 OpenAI 兼容服务并记下 Base URL通常以/v1结尾LLM Type 选择OpenAI Compatible填写Base URL必需如http://your-server:8000/v1填写Model Name必需——必须与你的服务暴露的模型名一致API Key仅当服务要求时才填写无鉴权服务留空即可。示例配置无鉴权 vLLMName: Self-Hosted vLLM LLM Provider: OpenAI Compatible Base URL: http://vllm.internal:8000/v1 Model Name: meta-llama/Llama-3.1-8B-Instruct API Key: (leave blank)小贴士保存后点击 Provider 上的Test测试按钮可验证连接、模型名与 Base URL 是否正确。Kubernetes 自建用 Helm 内置 vLLM 在集群内跑本地模型如果你通过 Helm chart 自托管 OneUptime可以在集群内运行 vLLMOpenAI 兼容的推理服务器在自有 GPU 上服务本地模型——任何数据都不会离开你的基础设施。启用方式在 Helm values 中启用需要 NVIDIA GPU 节点vllm: enabled: true model: Qwen/Qwen2.5-1.5B-Instruct然后执行helm upgrade等待 vLLM Pod 变为 Ready首次启动会下载模型权重。之后无需任何额外操作——vLLM 启动时会自动注册为 Global LLM Providervllm.globalProvider.enabled默认为true所有项目的 AI 功能包括 AI fix 任务立即可用。values.yaml 中的 vLLM 关键配置在 HelmChart/Public/oneuptime/values.yaml 中vLLM 段提供了丰富的可调项image.repository/image.tag默认vllm/vllm-openai固定版本v0.24.0镜像约 10GB首次拉取可能耗时数分钟model默认Qwen/Qwen2.5-1.5B-Instruct小体积、Apache-2.0 许可、无 HuggingFace 门禁servedModelName可选模型别名暴露在/v1/models为空时 Dashboard 中的 Model Name 必须填完整 HuggingFace 模型 IDtoolCalling.enabled/toolCalling.parser必须保持启用默认开启parser 为hermes与默认 Qwen2.5 匹配。因为 OneUptime 的 AI 功能通过 OpenAI 风格工具调用驱动模型若关闭会报auto tool choice requires --enable-auto-tool-choice ...错误更换模型时需同步调整 parser如 Llama 用llama3_json/pythonicMistral 用mistralapiKey/existingApiKeySecret设置后/v1/*需要 Bearer 鉴权不设置则服务无鉴权仅 ClusterIP 内网可达huggingFace.token访问门禁模型如meta-llama/*时需要的 HF TokenglobalProvider.enabled/globalProvider.name自动注册的全局 Provider 开关与显示名默认 OneUptime AIpersistence模型权重与编译缓存 PVC默认 50Gi建议约为模型体量的 2~3 倍shm.sizeLimitvLLM 共享内存 IPC 与 NCCL 所需默认 2Gi计入内存 limit。注意Helm chart 会在启用 vLLMvllm.enabledvllm.globalProvider.enabled时自动注入对应的GLOBAL_LLM_PROVIDER_*环境变量因此该自动注册本质上走的正是上文的环境变量同步迁移。另外project-scoped AI Agents 不能使用全局 Provider产品规则这类场景仍需创建项目级 LLM Provider。GPU 调度、门禁模型与调优选项详见 Vllm.md 与 Helm 文档。手动创建集群内 Provider若你关闭了自动注册vllm.globalProvider.enabled: false则手动创建LLM Type 选择OpenAI CompatiblevLLM 讲的是 OpenAI API填写集群内 Base URLhttp://release-vllm.namespace.svc.cluster.local:8000/v1填写 Model Name完整 HuggingFace 模型 ID或你设置的vllm.servedModelName仅当设置了vllm.apiKey时才填写 API Key无鉴权 vLLM 留空。示例配置Name: In-Cluster vLLM LLM Provider: OpenAI Compatible Base URL: http://oneuptime-vllm.default.svc.cluster.local:8000/v1 Model Name: Qwen/Qwen2.5-1.5B-Instruct API Key: (leave blank unless vllm.apiKey is set)使用自定义 Base URL以下企业级或代理场景建议指定自定义 Base URLAzure OpenAI填写你的 Azure endpoint URLOpenAI 兼容 API任何遵循 OpenAI API 规范的接口私有 Ollama 实例内网 Ollama 服务器的 URL。这也是把 OneUptime 接入公司内部网关、统一出口或私有化推理集群的标准手段。最佳实践使用描述性名称清晰命名 Provider如 Production GPT-4、Development Ollama便于多 Provider 并存时识别保护 API KeyAPI Key 在数据库中加密存储见 LlmProvider.ts 的encrypted: true但仍应避免分享与泄露保存后立即测试用 Provider 上的 Test 按钮验证连通性、模型名与 Base URL监控用量跟踪 API 调用以控制成本——全局 Provider 的每百万 token 成本costPerMillionTokensInUSDCents字段会被平台用于计费统计。故障排查连接类问题OpenAI / Anthropic确认 API Key 有效且账户有足够额度Ollama确认 Ollama 服务正在运行且 Base URL 正确OpenAI Compatible确认 Base URL 以/v1结尾或与你的服务一致、Model Name 与服务器暴露的模型匹配且仅在服务要求鉴权时设置 API Key防火墙检查网络是否允许到 Provider API 的出站连接。模型未找到检查模型名拼写是否正确使用 Ollama 时确认已通过ollama pull model-name拉取模型确认模型在你的区域可用部分模型存在区域限制。参考实现路径若想深入底层以下仓库文件与本文内容直接对应平台文档本文来源hi/ai/llm-provider.md、en/ai/llm-provider.mdProvider 类型枚举packages/Common/Types/LLM/LlmType.tsProvider 数据模型与权限packages/Common/Models/DatabaseModels/LlmProvider.ts环境变量全局 Provider 同步逻辑packages/App/FeatureSet/Workers/StartupMigrations/SeedGlobalLlmProviderFromEnv.tsHelm vLLM 段配置HelmChart/Public/oneuptime/values.yamlvLLM 部署与扩缩容专项文档HelmChart/Docs/Vllm.md。赞分享可观测性后端运维前端云原生微服务AI Agent【免费下载链接】oneuptimeComplete open-source monitoring and observability platform.项目地址https://gitcode.com/GitHub_Trending/on/oneuptime点击查看免费下载相关推荐OneUptime LLM 提供者接入指南从 OpenAI 到自托管 vLLM 的完整配置与源码解析OneUptime LLM 提供者接入指南从 OpenAI 到自托管 vLLM 的完整配置与源码解析 OneUptime 支持接入多种大语言模型LLM提供可观测性后端运维前端云原生微服务AI AgentKarakeep AI Provider 配置指南OpenAI、Ollama、Gemini 等多供应商推理与 Embedding 模型接入Karakeep AI Provider 配置指南OpenAI、Ollama、Gemini 等多供应商推理与 Embedding 模型接入 Karakeep后端前端移动开发AI 应用知识管理全文检索MCP 服务OneUptime MCP Server 深度指南让 LLM 直接操作你的监控平台OneUptime MCP Server 深度指南让 LLM 直接操作你的监控平台 OneUptime 通过内嵌的 Model Context Protoco可观测性后端运维前端云原生微服务AI Agent上一篇Claude Code离线资源包无网络开发解决方案下一篇Leaflet-plugins完全指南解锁地图开发的终极插件集合创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 OneUptime LLM Provider 接入指南：配置 OpenAI、Anthropic、Ollama 与 vLLM，为监控平台启用 AI 能力
可观测性后端运维前端云原生微服务AI Agent【免费下载链接】oneuptimeComplete open-source monitoring and observability platform.项目地址https://gitcode.com/GitHub_Trending/on/oneuptime点击查看免费下载OneUptime 作为开源的监控与可观测性平台通过LLM Provider大语言模型提供商抽象层接入 OpenAI、Anthropic、Groq、Mistral、Ollama 以及任意 OpenAI 兼容服务vLLM、LocalAI、LM Studio 等为 incident 管理、告警分析、postmortem 撰写与代码改进等 AI 功能提供模型能力。本文以仓库文档 llm-provider.md 为主体结合数据模型与启动迁移源码完整讲解在 SaaS 与自建Docker Compose / Helm两种形态下配置 LLM Provider 的全部方法读完即可在十分钟内接通自己的模型服务。LLM Provider 在 OneUptime 中承担什么角色LLM Provider 是 OneUptime 全平台 AI 能力的统一入口。配置完成后模型会被自动用于以下场景自主调查Autonomous Investigations新 incident 和告警产生后自动开展调查并把附有引用来源的根因分析root cause analysis发布到时间线Incident Notes自动生成详尽的 incident 说明与更新内容Alert Notes为告警生成有意义的描述与上下文Scheduled Maintenance Notes自动起草维护事件说明Incident Postmortems自动起草完整的 incident 事后分析报告Code Improvements当代码仓库接入 OneUptime 后平台会调用所配置的 LLM Provider 分析遥测数据logs、traces、metrics、exceptions并给出代码改进建议。从实现角度看这些能力全部由统一的LlmProvider模型支撑。在 LlmProvider.ts 中可以看到该表的完整字段设计name友好名称、description、llmType提供商类型、apiKey在数据库中加密存储encrypted: true、modelName、baseUrl、additionalParams可选 JSON追加并覆盖发送给 provider 的默认参数、projectId为空表示全局 Provider、isGlobalLlm、isDefault以及costPerMillionTokensInUSDCents每百万 token 成本用于全局 Provider 的计量计费。这张表既承载用户通过 Dashboard 手动创建的配置也承载通过环境变量自动同步的全局 Provider。全局 Provider 与项目级 Provider两套接入路径OneUptime 的 LLM Provider 存在两种作用域理解二者关系是配置的前提全局 LLM ProviderGlobal LLM Provider对所有项目生效适用于平台级统一配置。SaaS 用户默认可用自建用户可通过环境变量或 Helm 内置 vLLM 自动注册管理员也可在 Admin Dashboard 手动创建。项目级 LLM ProviderProject LLM Provider仅在指定项目内生效在Project Settings AI LLM Providers中创建。当项目拥有自己的 Provider 时项目级配置总是优先于全局配置只有当项目未配置任何 Provider 时全局 Provider 才会被使用AI fix 任务同样遵循此规则。支持的 Provider 一览OneUptime 当前支持七类 LLM Provider对应源码中的 LlmType 枚举OpenAI、AzureOpenAI、Anthropic、Groq、Mistral、Ollama、OpenAICompatible。各类型对 API Key 与 Base URL 的要求如下Provider描述API Key 是否必需Base URL 是否必需OpenAIGPT-4、GPT-4o、GPT-3.5 Turbo 等 OpenAI 模型是否使用默认端点Azure OpenAI部署在 Azure 上的 OpenAI 模型是是AnthropicClaude 3 Opus / Sonnet / Haiku 等 Claude 模型是否使用默认端点Groq面向 Llama、Mixtral 等开源模型的快速推理服务是否使用默认端点MistralMistral 官方托管模型是否使用默认端点Ollama自托管开源模型Llama 2、Mistral、CodeLlama 等否是OpenAI Compatible任意 OpenAI 兼容服务vLLM、LocalAI、LM Studio 等否可选是快速开始一SaaS 用户零配置如果你使用的是OneUptime SaaS云端托管版本默认即可使用Global LLM Provider它已预先配置完毕所有 AI 功能开箱即用无需任何额外配置。若你希望使用自己的 API Key 或指定特定厂商则按下文 Dashboard 步骤创建自定义 Provider 即可。快速开始二自建实例零配置环境变量自建实例上为所有项目一次性开启 AI 能力的最快方式是设置GLOBAL_LLM_PROVIDER_*环境变量——在 Docker Compose 部署中写入config.env或在 Helm 部署中通过 values 注入。OneUptime 启动时会据此自动注册并持续同步一个全局 LLM Provider无需逐项目在 Dashboard 中配置当项目自身没有 Provider 时AI fix 任务也会自动使用它。环境变量说明GLOBAL_LLM_PROVIDER_TYPE启用全局 Provider 的必填项。取值OpenAI、AzureOpenAI、Anthropic、Groq、Mistral、Ollama、OpenAICompatibleGLOBAL_LLM_PROVIDER_API_KEYAPI Key。OpenAI、Azure OpenAI、Anthropic、Groq、Mistral 必需Ollama 或无鉴权的 OpenAI 兼容服务不需要GLOBAL_LLM_PROVIDER_BASE_URLAPI 端点。Azure OpenAI、Ollama、OpenAI 兼容服务必需GLOBAL_LLM_PROVIDER_MODEL_NAME使用的模型名OpenAI 兼容服务必需其余建议填写GLOBAL_LLM_PROVIDER_NAME可选显示在 Dashboard 中的友好名称示例接入本地 OllamaGLOBAL_LLM_PROVIDER_TYPEOllama GLOBAL_LLM_PROVIDER_BASE_URLhttp://your-ollama-host:11434 GLOBAL_LLM_PROVIDER_MODEL_NAMEllama3.1 # Ollama 无鉴权无需 API Key示例接入 OpenAIGLOBAL_LLM_PROVIDER_TYPEOpenAI GLOBAL_LLM_PROVIDER_API_KEYsk-xxxxxxxxxxxxxxxxxxxx GLOBAL_LLM_PROVIDER_MODEL_NAMEgpt-4o环境变量机制的底层实现这套声明式同步机制的实现在 SeedGlobalLlmProviderFromEnv.ts 启动迁移中其行为细节值得了解固定 ID迁移使用一个固定的seededGlobalLlmProviderId00000000-0000-0000-0000-000000000001作为种子行主键因此只触碰由环境变量管理的这一行管理员在 Admin Dashboard 手动创建的全局 Provider 永远不会被覆盖或删除。声明式同步每次启动时比对环境变量与现有行GLOBAL_LLM_PROVIDER_TYPE有值则创建/更新种子行变量被移除则删除种子行字段未变化时跳过写库避免每次启动都触发加密重写。启动期校验迁移会镜像运行时服务LlmProviderService的按类型校验——Ollama 与 OpenAICompatible 之外的类型缺少 API Key、AzureOpenAI/Ollama/OpenAICompatible 缺少 Base URL、OpenAICompatible 缺少模型名都会在启动日志中输出明确错误仍会写入保证声明式语义便于尽早发现问题。长度防护name/description 会被截断到列长度上限而 Base URL 超长例如 Helm 自动生成的内网地址过长会直接跳过种子并打印错误避免产生不可用的 URL。在 Dashboard 中手动配置 LLM Provider步骤一进入 LLM Providers 设置登录 OneUptime Dashboard进入Project Settings AI LLM ProvidersSaaS 或项目级配置入口点击Create LLM Provider创建新 Provider。步骤二填写配置字段Name为该 LLM 配置起一个可辨识的名称如 Production OpenAI、Local OllamaDescription可选说明该 Provider 的用途LLM Type选择提供商类型OpenAI、Azure OpenAI、Anthropic、Groq、Mistral、Ollama 或 OpenAI CompatibleAPI Key你的 API KeyOpenAI、Azure OpenAI、Anthropic、Groq、Mistral 必需Ollama 与 OpenAI 兼容服务可选Model Name要使用的具体模型如gpt-4o、claude-3-opus-20240229、llama2Base URL可选自定义 API 端点Azure OpenAI、Ollama、OpenAI Compatible 必需其余可选。创建、编辑与删除权限受LlmProvider表上的访问控制约束如CreateProjectLlm、EditProjectLlm、DeleteProjectLlm及项目 Owner/Admin/Member 角色见 LlmProvider.ts非授权角色无法操作 Provider 配置。Provider 专项配置OpenAI在 OpenAI Platform 的 API Keys 页面获取 API KeyLLM Type 选择OpenAI填入 API Key选择模型名gpt-4o— 能力最强适合复杂任务gpt-4o-mini— 更快、更经济gpt-4-turbo— 能力与速度的良好平衡gpt-3.5-turbo— 快速且便宜。示例配置Name: Production OpenAI LLM Type: OpenAI API Key: sk-xxxxxxxxxxxxxxxxxxxx Model Name: gpt-4oAnthropic在 Anthropic Console 获取 API KeyLLM Type 选择Anthropic填入 API Key选择模型名claude-3-opus-20240229— 能力最强claude-3-sonnet-20240229— 智能与速度的均衡选择claude-3-haiku-20240307— 最快、最紧凑claude-3-5-sonnet-20241022— 最新的 Sonnet 模型。示例配置Name: Production Anthropic LLM Type: Anthropic API Key: sk-ant-xxxxxxxxxxxxxxxxxxxx Model Name: claude-3-5-sonnet-20241022Ollama自托管Ollama 允许你在本地或自有基础设施上运行开源 LLM数据不出内网。从 ollama.ai 安装 Ollama拉取所需模型ollama pull llama2确保 Ollama 已运行且可访问LLM Type 选择Ollama填写 Base URL如http://localhost:11434填写已拉取的模型名。示例配置Name: Local Ollama LLM Type: Ollama Base URL: http://localhost:11434 Model Name: llama2常用 Ollama 模型llama2— Meta 的 Llama 2 模型llama3— Meta 的 Llama 3 模型mistral— Mistral AI 模型codellama— 面向代码的 Llama 变体mixtral— Mistral 的 mixture-of-experts 模型。重要提示OneUptime 的 AI 功能是 agentic智能体式的重度依赖tool calling工具调用。请选用支持工具调用的模型如llama3.1及更新版本。小模型或不支持工具调用的模型如llama2、原始llama3效果会大打折扣——它们无法查询你的 monitor、incident 或遥测数据调查结果往往为空或产生幻觉。OpenAI CompatiblevLLM、LocalAI、LM Studio 等凡实现了 OpenAI/chat/completionsAPI 但并非 OpenAI 官方的服务如 vLLM、LocalAI、LM Studio、text-generation-webui都可使用OpenAI Compatible类型接入。这类服务通常自托管在自有 URL 上且常无鉴权运行。启动你的 OpenAI 兼容服务并记下 Base URL通常以/v1结尾LLM Type 选择OpenAI Compatible填写Base URL必需如http://your-server:8000/v1填写Model Name必需——必须与你的服务暴露的模型名一致API Key仅当服务要求时才填写无鉴权服务留空即可。示例配置无鉴权 vLLMName: Self-Hosted vLLM LLM Provider: OpenAI Compatible Base URL: http://vllm.internal:8000/v1 Model Name: meta-llama/Llama-3.1-8B-Instruct API Key: (leave blank)小贴士保存后点击 Provider 上的Test测试按钮可验证连接、模型名与 Base URL 是否正确。Kubernetes 自建用 Helm 内置 vLLM 在集群内跑本地模型如果你通过 Helm chart 自托管 OneUptime可以在集群内运行 vLLMOpenAI 兼容的推理服务器在自有 GPU 上服务本地模型——任何数据都不会离开你的基础设施。启用方式在 Helm values 中启用需要 NVIDIA GPU 节点vllm: enabled: true model: Qwen/Qwen2.5-1.5B-Instruct然后执行helm upgrade等待 vLLM Pod 变为 Ready首次启动会下载模型权重。之后无需任何额外操作——vLLM 启动时会自动注册为 Global LLM Providervllm.globalProvider.enabled默认为true所有项目的 AI 功能包括 AI fix 任务立即可用。values.yaml 中的 vLLM 关键配置在 HelmChart/Public/oneuptime/values.yaml 中vLLM 段提供了丰富的可调项image.repository/image.tag默认vllm/vllm-openai固定版本v0.24.0镜像约 10GB首次拉取可能耗时数分钟model默认Qwen/Qwen2.5-1.5B-Instruct小体积、Apache-2.0 许可、无 HuggingFace 门禁servedModelName可选模型别名暴露在/v1/models为空时 Dashboard 中的 Model Name 必须填完整 HuggingFace 模型 IDtoolCalling.enabled/toolCalling.parser必须保持启用默认开启parser 为hermes与默认 Qwen2.5 匹配。因为 OneUptime 的 AI 功能通过 OpenAI 风格工具调用驱动模型若关闭会报auto tool choice requires --enable-auto-tool-choice ...错误更换模型时需同步调整 parser如 Llama 用llama3_json/pythonicMistral 用mistralapiKey/existingApiKeySecret设置后/v1/*需要 Bearer 鉴权不设置则服务无鉴权仅 ClusterIP 内网可达huggingFace.token访问门禁模型如meta-llama/*时需要的 HF TokenglobalProvider.enabled/globalProvider.name自动注册的全局 Provider 开关与显示名默认 OneUptime AIpersistence模型权重与编译缓存 PVC默认 50Gi建议约为模型体量的 2~3 倍shm.sizeLimitvLLM 共享内存 IPC 与 NCCL 所需默认 2Gi计入内存 limit。注意Helm chart 会在启用 vLLMvllm.enabledvllm.globalProvider.enabled时自动注入对应的GLOBAL_LLM_PROVIDER_*环境变量因此该自动注册本质上走的正是上文的环境变量同步迁移。另外project-scoped AI Agents 不能使用全局 Provider产品规则这类场景仍需创建项目级 LLM Provider。GPU 调度、门禁模型与调优选项详见 Vllm.md 与 Helm 文档。手动创建集群内 Provider若你关闭了自动注册vllm.globalProvider.enabled: false则手动创建LLM Type 选择OpenAI CompatiblevLLM 讲的是 OpenAI API填写集群内 Base URLhttp://release-vllm.namespace.svc.cluster.local:8000/v1填写 Model Name完整 HuggingFace 模型 ID或你设置的vllm.servedModelName仅当设置了vllm.apiKey时才填写 API Key无鉴权 vLLM 留空。示例配置Name: In-Cluster vLLM LLM Provider: OpenAI Compatible Base URL: http://oneuptime-vllm.default.svc.cluster.local:8000/v1 Model Name: Qwen/Qwen2.5-1.5B-Instruct API Key: (leave blank unless vllm.apiKey is set)使用自定义 Base URL以下企业级或代理场景建议指定自定义 Base URLAzure OpenAI填写你的 Azure endpoint URLOpenAI 兼容 API任何遵循 OpenAI API 规范的接口私有 Ollama 实例内网 Ollama 服务器的 URL。这也是把 OneUptime 接入公司内部网关、统一出口或私有化推理集群的标准手段。最佳实践使用描述性名称清晰命名 Provider如 Production GPT-4、Development Ollama便于多 Provider 并存时识别保护 API KeyAPI Key 在数据库中加密存储见 LlmProvider.ts 的encrypted: true但仍应避免分享与泄露保存后立即测试用 Provider 上的 Test 按钮验证连通性、模型名与 Base URL监控用量跟踪 API 调用以控制成本——全局 Provider 的每百万 token 成本costPerMillionTokensInUSDCents字段会被平台用于计费统计。故障排查连接类问题OpenAI / Anthropic确认 API Key 有效且账户有足够额度Ollama确认 Ollama 服务正在运行且 Base URL 正确OpenAI Compatible确认 Base URL 以/v1结尾或与你的服务一致、Model Name 与服务器暴露的模型匹配且仅在服务要求鉴权时设置 API Key防火墙检查网络是否允许到 Provider API 的出站连接。模型未找到检查模型名拼写是否正确使用 Ollama 时确认已通过ollama pull model-name拉取模型确认模型在你的区域可用部分模型存在区域限制。参考实现路径若想深入底层以下仓库文件与本文内容直接对应平台文档本文来源hi/ai/llm-provider.md、en/ai/llm-provider.mdProvider 类型枚举packages/Common/Types/LLM/LlmType.tsProvider 数据模型与权限packages/Common/Models/DatabaseModels/LlmProvider.ts环境变量全局 Provider 同步逻辑packages/App/FeatureSet/Workers/StartupMigrations/SeedGlobalLlmProviderFromEnv.tsHelm vLLM 段配置HelmChart/Public/oneuptime/values.yamlvLLM 部署与扩缩容专项文档HelmChart/Docs/Vllm.md。赞分享可观测性后端运维前端云原生微服务AI Agent【免费下载链接】oneuptimeComplete open-source monitoring and observability platform.项目地址https://gitcode.com/GitHub_Trending/on/oneuptime点击查看免费下载相关推荐OneUptime LLM 提供者接入指南从 OpenAI 到自托管 vLLM 的完整配置与源码解析OneUptime LLM 提供者接入指南从 OpenAI 到自托管 vLLM 的完整配置与源码解析 OneUptime 支持接入多种大语言模型LLM提供可观测性后端运维前端云原生微服务AI AgentKarakeep AI Provider 配置指南OpenAI、Ollama、Gemini 等多供应商推理与 Embedding 模型接入Karakeep AI Provider 配置指南OpenAI、Ollama、Gemini 等多供应商推理与 Embedding 模型接入 Karakeep后端前端移动开发AI 应用知识管理全文检索MCP 服务OneUptime MCP Server 深度指南让 LLM 直接操作你的监控平台OneUptime MCP Server 深度指南让 LLM 直接操作你的监控平台 OneUptime 通过内嵌的 Model Context Protoco可观测性后端运维前端云原生微服务AI Agent上一篇Claude Code离线资源包无网络开发解决方案下一篇Leaflet-plugins完全指南解锁地图开发的终极插件集合创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考