配置模型路由

使用 AI Studio SDK 读取或更新一种模型服务类型的路由配置。路由配置属于工作区中的模型服务类型,不属于单个模型服务。

任务流程

  1. 在目标工作区中选择 LLM、Embedding 或 Parser 模型服务类型。

  2. 读取该类型的当前路由配置。

  3. 使用确认过的选项提交更新,并读取服务端返回的配置。

准备

需要的内容

在本页中的作用

已绑定目标工作区的客户端上下文

确定路由配置所属的工作区。

模型服务类型

选择要读取或更新的路由配置。

已确认的路由配置值

更新时提供服务端可接受的选项。

读取并更新路由

先读取当前配置,再提交更新。更新返回的是服务端返回的配置;它不证明后续模型请求已经按该配置完成调用。

router := workspace.LLMProvider().Router()
current, err := router.Info(ctx)
if err != nil {
	return err
}

updated, err := router.Update(ctx, sdk.WithRouterStrategy(routerStrategy))
if err != nil {
	return err
}

_ = current
_ = updated
router = workspace.llm_provider().router()
current = router.info()
updated = router.update(sdk.with_router_strategy(router_strategy))

print(current.strategy, updated.strategy)

结果确认

读取更新返回的路由配置,确认已提交的设置在返回内容中可见。各模型服务类型的可用选项由其服务端契约决定,本页不定义策略名称或默认值。

限制

路由变更可能影响后续模型服务选择。提交前记录原配置;如需确认实际调用行为,应使用目标业务请求另行验证。

下一步

最后更新于