工作区推理请求字段

对话请求

字段

类型

必填

说明

model

string

是

非空且无首尾空白的模型名称。源路由列表用于选名,不等于Genesis模型ID列表。

messages

object(对象数组)

按提供商

常规role/content对话消息。OPENAI兼容路径可透传提供商扩展结构;网关解析不是提供商完整schema校验。

stream

boolean

否

true请求SSE,省略为false。

temperature、top_p

number

否

采样参数;范围/零值含义取决于模型。显式0与省略可能不同。

max_tokens、max_completion_tokens

integer

否

输出预留/上限,按适配器与提供商协议使用。上下文预算检查要求正数输出预留;两者都给时优先max_completion_tokens。

tools

object(对象数组)

否

工具声明,取决于模型和适配器。

tool_choice

string 或 object

否

工具选择约束,取决于提供商协议。

reasoning_effort

string

否

以模型支持的reasoning_efforts及已配置推理控制协议为准,不能由type=reasoning推断已生效。

context_budget

string

否

required或if_supported;只能非流式,空字符串/null不是省略。

其他提供商扩展字段

按提供商

否

OPENAI兼容路径保留未消费扩展;Qianwen/Ollama等适配转换不承诺透传所有扩展。

当前网关对messages不执行完整角色/内容验证,不能把类型表当已经验证提供商接受的保证。上下文预算字段由网关消费后移除,不发送给提供商。required在不支持测量的适配器返回不可用;if_supported可以返回unknown。当前可测量分支是VLLM,需要可用tokenize能力、完整可测量输入和正数输出预留;不能测量的非空扩展可能使检查失败。预算超限不发送生成请求,见返回协议。

backend_id虽存在于当前SDK请求模型,但此HTTP handler没有把请求中的它赋给InvokeChatCompletionCommand.BackendID,不能将其描述为已验证的固定后端选择。该对齐问题记录在SDK差异中,内部调用显式command.BackendID的测试不能代替HTTP行为。

Embedding请求

字段

类型

必填

说明

model

string

建议填写

建议明确使用可用向量模型名。HTTP解析允许省略但不允许null;省略可路由不代表上游接受缺失model。

input

string 或 array(字符串或对象组成的数组)

是

不允许省略/null或数字;不接受token ID整数数组。对象内容由模型协议决定,不能从此接口推断任意多模态结构受支持。

backend_id

integer

否

可选后端选择,0/省略走自动路由;使用列表返回的标识,平台后端可能为负数,禁止null。

type

string

否

提供商/模型特定类型标记;不能把它当已验证能力。

dimensions、encoding_format等扩展

按提供商

否

按后端服务协议处理;分批合并路径使用数值向量,不能承诺所有编码形式都兼容。

请求体限制4MiB,数组最多4096项;空字符串/空数组在初步解析可通过,但真实提供商可能拒绝。后端必须OPENAI类型,已配置正超时和在线端点。backend_id及proxy不会发送到上游;mock_response不受支持。输入默认按64项分批,可能根据上游限制缩小批次;最多128次上游调用、累计读取64MiB上游响应预算,读取恰好达到剩余预算时也失败。按同一请求超时/用量归属处理,不能把分批视为独立成功重试。

最后更新于