模型服务配置

使用 provider-backend 管理模型供给的 Backend、Endpoint 和 Router。这组命令用于模型服务配置,不用于调用 Genesis 模型。

moi-cli -o provider-backend list --kind llm
moi-cli provider-backend --help

配置顺序

要完成的事

使用命令

操作说明

查看或管理 Backend

listcreategetupdatedelete

写入前确认服务地址、模型配置和影响范围。

管理 Endpoint

create-endpointlist-endpointsset-endpoint-status

使用 Backend 标识继续操作。

查看或更新 Router

routerupdate-router

Router 变更可能影响后续模型服务选择。

探测 Backend 模型

probe-backend-models

仅记录非敏感结果。

--kind 可选择 llmembeddingparser。创建、更新、删除 Backend 或调整 Router 前,确认服务地址、模型配置、密钥来源和影响范围;不要在命令行或日志中暴露密钥。使用 probe-backend-models 验证 Backend 时,也只记录非敏感结果。

发现模型并快速设置 LLM Backend

model 命令组用于查询当前工作区可用的模型,或一次设置 LLM Backend;它与 provider-backend 的细粒度 Backend、Endpoint 和 Router 管理互补。

moi-cli -o model list
moi-cli -o model list-embedding-models

设置 LLM Backend 时,需要提供 Backend 名称、模型服务地址和以逗号分隔的模型列表:

moi-cli model setup-llm-backend \
  -name "<backend-name>" \
  -address "<model-service-address>" \
  -models "<model-id-1>,<model-id-2>"

使用 probe-llm-modelsprobe-embedding-models 查询候选模型。探测结果不表示 Backend 已创建或已启用;写入服务地址和模型配置前,确认密钥来源与权限范围。

最后更新于