配置模型路由¶
使用 AI Studio SDK 读取或更新一种模型服务类型的路由配置。路由配置属于工作区中的模型服务类型,不属于单个模型服务。
任务流程¶
在目标工作区中选择 LLM、Embedding 或 Parser 模型服务类型。
读取该类型的当前路由配置。
使用确认过的选项提交更新,并读取服务端返回的配置。
准备¶
需要的内容 |
在本页中的作用 |
|---|---|
已绑定目标工作区的客户端上下文 |
确定路由配置所属的工作区。 |
模型服务类型 |
选择要读取或更新的路由配置。 |
已确认的路由配置值 |
更新时提供服务端可接受的选项。 |
读取并更新路由¶
先读取当前配置,再提交更新。更新返回的是服务端返回的配置;它不证明后续模型请求已经按该配置完成调用。
router := workspace.LLMProvider().Router()
current, err := router.Info(ctx)
if err != nil {
return err
}
updated, err := router.Update(ctx, sdk.WithRouterStrategy(routerStrategy))
if err != nil {
return err
}
_ = current
_ = updated
router = workspace.llm_provider().router()
current = router.info()
updated = router.update(sdk.with_router_strategy(router_strategy))
print(current.strategy, updated.strategy)
结果确认¶
读取更新返回的路由配置,确认已提交的设置在返回内容中可见。各模型服务类型的可用选项由其服务端契约决定,本页不定义策略名称或默认值。
限制¶
路由变更可能影响后续模型服务选择。提交前记录原配置;如需确认实际调用行为,应使用目标业务请求另行验证。
下一步¶
最后更新于