Provider、Backend 与 Router

使用 Product SDK 管理模型供给:Provider、Provider Backend、Endpoint 和 Router。它们用于配置模型服务与路由,不用于调用 Genesis 模型。

配置顺序

  1. 选择已支持的 Provider 类型,并获取对应的 Provider 对象。

  2. 创建或绑定 Provider Backend,明确提供服务地址、模型名称和所需密钥。

  3. 配置 Endpoint 并检查其状态或可用性。

  4. 使用 Router 对象更新路由策略。

服务地址、密钥、模型名称和路由策略均由调用方提供。SDK 不会从 Provider 显示名称推断这些配置,也不应在示例、日志或错误信息中暴露密钥。

SDK 调用

llm := workspace.LLMProvider()
backend, _, err := llm.CreateBackend(
	ctx,
	backendName,
	sdk.WithProviderBackendAddress(endpoint),
	sdk.WithProviderBackendModels(modelNames...),
)
router, err := llm.Router().Update(ctx, sdk.WithRouterStrategy(strategy))
llm = workspace.llm_provider()
backend, created = llm.create_backend(
    backend_name,
    sdk.with_provider_backend_address(endpoint),
    sdk.with_provider_backend_models(*model_names),
)
router = llm.router().update(sdk.with_router_strategy(strategy))

backendrouter 是后续检查、更新或删除操作的作用域对象。

操作前检查

创建 Backend、修改 Endpoint 状态或更新 Router 前,先检查必填字段和目标工作区。删除或禁用可能影响依赖该配置的调用,执行前应确认影响范围和恢复方案。

下一步

最后更新于