工作区推理请求字段¶
对话请求¶
字段 |
类型 |
必填 |
说明 |
|---|---|---|---|
model |
string |
是 |
非空且无首尾空白的模型名称。源路由列表用于选名,不等于Genesis模型ID列表。 |
messages |
object(对象数组) |
按提供商 |
常规role/content对话消息。OPENAI兼容路径可透传提供商扩展结构;网关解析不是提供商完整schema校验。 |
stream |
boolean |
否 |
true请求SSE,省略为false。 |
temperature、top_p |
number |
否 |
采样参数;范围/零值含义取决于模型。显式0与省略可能不同。 |
max_tokens、max_completion_tokens |
integer |
否 |
输出预留/上限,按适配器与提供商协议使用。上下文预算检查要求正数输出预留;两者都给时优先max_completion_tokens。 |
tools |
object(对象数组) |
否 |
工具声明,取决于模型和适配器。 |
tool_choice |
string 或 object |
否 |
工具选择约束,取决于提供商协议。 |
reasoning_effort |
string |
否 |
以模型支持的reasoning_efforts及已配置推理控制协议为准,不能由type=reasoning推断已生效。 |
context_budget |
string |
否 |
required或if_supported;只能非流式,空字符串/null不是省略。 |
其他提供商扩展字段 |
按提供商 |
否 |
OPENAI兼容路径保留未消费扩展;Qianwen/Ollama等适配转换不承诺透传所有扩展。 |
当前网关对messages不执行完整角色/内容验证,不能把类型表当已经验证提供商接受的保证。上下文预算字段由网关消费后移除,不发送给提供商。required在不支持测量的适配器返回不可用;if_supported可以返回unknown。当前可测量分支是VLLM,需要可用tokenize能力、完整可测量输入和正数输出预留;不能测量的非空扩展可能使检查失败。预算超限不发送生成请求,见返回协议。
backend_id虽存在于当前SDK请求模型,但此HTTP handler没有把请求中的它赋给InvokeChatCompletionCommand.BackendID,不能将其描述为已验证的固定后端选择。该对齐问题记录在SDK差异中,内部调用显式command.BackendID的测试不能代替HTTP行为。
Embedding请求¶
字段 |
类型 |
必填 |
说明 |
|---|---|---|---|
model |
string |
建议填写 |
建议明确使用可用向量模型名。HTTP解析允许省略但不允许null;省略可路由不代表上游接受缺失model。 |
input |
string 或 array(字符串或对象组成的数组) |
是 |
不允许省略/null或数字;不接受token ID整数数组。对象内容由模型协议决定,不能从此接口推断任意多模态结构受支持。 |
backend_id |
integer |
否 |
可选后端选择,0/省略走自动路由;使用列表返回的标识,平台后端可能为负数,禁止null。 |
type |
string |
否 |
提供商/模型特定类型标记;不能把它当已验证能力。 |
dimensions、encoding_format等扩展 |
按提供商 |
否 |
按后端服务协议处理;分批合并路径使用数值向量,不能承诺所有编码形式都兼容。 |
请求体限制4MiB,数组最多4096项;空字符串/空数组在初步解析可通过,但真实提供商可能拒绝。后端必须OPENAI类型,已配置正超时和在线端点。backend_id及proxy不会发送到上游;mock_response不受支持。输入默认按64项分批,可能根据上游限制缩小批次;最多128次上游调用、累计读取64MiB上游响应预算,读取恰好达到剩余预算时也失败。按同一请求超时/用量归属处理,不能把分批视为独立成功重试。