设置大语言模型后端及端点¶
需要工作区 model_backend.create。
POST https://api.moi.matrixorigin.cn/v5/llm/setup
调用前准备¶
BASE_URL 使用产品 API 前缀 https://api.moi.matrixorigin.cn/v5;专有部署填写对应的产品 API 地址。
请求¶
curl --request POST \
"$BASE_URL/llm/setup" \
--header "X-API-Key: $MOI_KEY" \
--header "X-Workspace-ID: $WORKSPACE_ID" \
--header "Content-Type: application/json" \
--data-raw '{"name":"临时后端","type":"OPENAI","api_key":"provider-key-example","address":"https://provider.example.invalid/v1","models":["chat-example"]}'
参数 |
位置 |
类型 |
必填 |
说明 |
|---|---|---|---|---|
|
请求头 |
string |
是 |
同环境工作区 ID。 |
|
请求体 |
string |
是 |
去掉前后空白后的非空名称。 |
|
请求体 |
string |
否 |
OPENAI/OLLAMA/VLLM/QIANWEN/DOUBAO/DEV_LLM/HTTP;非法或省略按 OPENAI,仍需通过正式 owner 校验。 |
|
请求体 |
string |
条件必填 |
OPENAI/QIANWEN/DOUBAO 必填的提供商密钥,不是产品访问令牌。 |
|
请求体 |
string |
是 |
新端点地址,去掉前后空白后不能为空。 |
|
请求体 |
array(字符串数组) |
是 |
至少一个有效非空模型名称,不做自动能力探测。 |
|
请求体 |
integer |
否 |
正数秒值;省略或非正按 120。 |
|
请求体 |
string |
否 |
省略按 NONE;可用推理控制协议见公共对象。 |
需要工作区 model_backend.create。一个租户事务保存后端与请求端点,返回 HTTP 200;这是配置写入,不执行模型探测或推理。结果未知时先查询,未提供业务 request_id 去重;
成功响应¶
{
"code": "OK",
"msg": "OK",
"data": {
"backend": {
"id": 12,
"name": "临时后端",
"type": "OPENAI",
"reasoning_control_protocol": "REASONING_CONTROL_NONE",
"timeout_seconds": 120,
"models": [
"chat-example"
],
"created_at": 1794445200,
"updated_at": 1794445200
},
"endpoint": {
"id": 21,
"backend_id": 12,
"address": "https://provider.example.invalid/v1",
"status": "ONLINE",
"created_at": 1794445200,
"updated_at": 1794445200
}
}
}
字段 |
类型 |
说明 |
|---|---|---|
|
string |
成功为 OK。 |
|
object |
错误响应¶
状态与错误区分字符串与数值协议;探测候选、保存与实际推理分别确认。
最后更新于