设置大语言模型后端及端点

需要工作区 model_backend.create。

POST https://api.moi.matrixorigin.cn/v5/llm/setup

调用前准备

BASE_URL 使用产品 API 前缀 https://api.moi.matrixorigin.cn/v5;专有部署填写对应的产品 API 地址。

配置同环境身份、工作区和模型信息。

请求

curl --request POST \
  "$BASE_URL/llm/setup" \
  --header "X-API-Key: $MOI_KEY" \
  --header "X-Workspace-ID: $WORKSPACE_ID" \
  --header "Content-Type: application/json" \
  --data-raw '{"name":"临时后端","type":"OPENAI","api_key":"provider-key-example","address":"https://provider.example.invalid/v1","models":["chat-example"]}'

参数

位置

类型

必填

说明

X-Workspace-ID

请求头

string

是

同环境工作区 ID。

name

请求体

string

是

去掉前后空白后的非空名称。

type

请求体

string

否

OPENAI/OLLAMA/VLLM/QIANWEN/DOUBAO/DEV_LLM/HTTP;非法或省略按 OPENAI,仍需通过正式 owner 校验。

api_key

请求体

string

条件必填

OPENAI/QIANWEN/DOUBAO 必填的提供商密钥,不是产品访问令牌。

address

请求体

string

是

新端点地址,去掉前后空白后不能为空。

models

请求体

array(字符串数组)

是

至少一个有效非空模型名称,不做自动能力探测。

timeout_seconds

请求体

integer

否

正数秒值;省略或非正按 120。

reasoning_control_protocol

请求体

string

否

省略按 NONE;可用推理控制协议见公共对象。

需要工作区 model_backend.create。一个租户事务保存后端与请求端点,返回 HTTP 200;这是配置写入,不执行模型探测或推理。结果未知时先查询,未提供业务 request_id 去重;

成功响应

{
  "code": "OK",
  "msg": "OK",
  "data": {
    "backend": {
      "id": 12,
      "name": "临时后端",
      "type": "OPENAI",
      "reasoning_control_protocol": "REASONING_CONTROL_NONE",
      "timeout_seconds": 120,
      "models": [
        "chat-example"
      ],
      "created_at": 1794445200,
      "updated_at": 1794445200
    },
    "endpoint": {
      "id": 21,
      "backend_id": 12,
      "address": "https://provider.example.invalid/v1",
      "status": "ONLINE",
      "created_at": 1794445200,
      "updated_at": 1794445200
    }
  }
}

字段

类型

说明

code

string

成功为 OK。

data

object

模型、探测或设置结果。

错误响应

状态与错误区分字符串与数值协议;探测候选、保存与实际推理分别确认。

最后更新于