模型服务配置¶
使用 provider-backend 管理模型供给的 Backend、Endpoint 和 Router。这组命令用于模型服务配置,不用于调用 Genesis 模型。
moi-cli -o provider-backend list --kind llm
moi-cli provider-backend --help
配置顺序¶
要完成的事 |
使用命令 |
操作说明 |
|---|---|---|
查看或管理 Backend |
|
写入前确认服务地址、模型配置和影响范围。 |
管理 Endpoint |
|
使用 Backend 标识继续操作。 |
查看或更新 Router |
|
Router 变更可能影响后续模型服务选择。 |
探测 Backend 模型 |
|
仅记录非敏感结果。 |
--kind 可选择 llm、embedding 或 parser。创建、更新、删除 Backend 或调整 Router 前,确认服务地址、模型配置、密钥来源和影响范围;不要在命令行或日志中暴露密钥。使用 probe-backend-models 验证 Backend 时,也只记录非敏感结果。
发现模型并快速设置 LLM Backend¶
model 命令组用于查询当前工作区可用的模型,或一次设置 LLM Backend;它与 provider-backend 的细粒度 Backend、Endpoint 和 Router 管理互补。
moi-cli -o model list
moi-cli -o model list-embedding-models
设置 LLM Backend 时,需要提供 Backend 名称、模型服务地址和以逗号分隔的模型列表:
moi-cli model setup-llm-backend \
-name "<backend-name>" \
-address "<model-service-address>" \
-models "<model-id-1>,<model-id-2>"
使用 probe-llm-models 或 probe-embedding-models 查询候选模型。探测结果不表示 Backend 已创建或已启用;写入服务地址和模型配置前,确认密钥来源与权限范围。
最后更新于