管理 Backend 与 Endpoint

使用 AI Studio SDK 为已有模型服务新增 Endpoint，并读取该服务下的地址列表。新增操作返回新地址的信息；保存它的标识，后续更新状态时由服务端使用该标识定位目标。

任务流程

  1. 在目标工作区中绑定已有模型服务。

  2. 提交新的服务地址，取得服务端返回的地址信息。

  3. 读取该模型服务下的地址列表，确认后续需要使用的标识。

准备

需要的内容

在本页中的作用

已绑定目标工作区的客户端上下文

将操作限制在目标工作区。

已有模型服务的 ID

选择承载新地址的模型服务。

非空的模型服务地址

创建一个新的地址。

新增并查看地址

新增后，读取同一模型服务的地址列表。请求成功只表示服务端已返回创建结果；如需确认列表中是否包含新地址，请使用返回的地址标识进行比对。

backend, err := workspace.LLMBackend(backendID)
if err != nil {
	return err
}

created, err := backend.CreateEndpoint(ctx, additionalAddress)
if err != nil {
	return err
}

endpoints, err := backend.Endpoints(ctx)
if err != nil {
	return err
}

_ = created
_ = endpoints

backend = workspace.llm_backend(backend_id)
created = backend.create_endpoint(additional_address)
endpoints = backend.endpoints()

print(created.id, len(endpoints.endpoints))

更新地址状态

更新需要同一模型服务的 ID、目标地址的 ID 和非空状态值。SDK 会在发出请求前检查这三个输入是否为空。

更新操作返回服务端的变更结果，不说明地址已经处理完下游请求。需要确认配置时，再次读取地址列表。

限制

修改地址状态可能影响使用该模型服务的后续请求。操作前确认目标工作区、目标模型服务和下游影响范围。

下一步

最后更新于