Recipes

接入配方:compose、OPC 客户端与检测步骤

三条可带走的配方:本机 compose 起一个 OpenAI 兼容端点、用 OPC 客户端接上去、用检测步骤确认对面到底跑的是哪只模型。配方是可复现的步骤,不是口播参数。

Compose

本机 compose:起一个 OpenAI 兼容端点

用 compose 把推理服务起在本地,暴露 OpenAI 兼容的 /v1 路由。只给 YAML 编排,不打包权重。

compose.yaml

services:
  endpoint:
    image: <你的推理镜像>
    ports:
      - "8000:8000"
    environment:
      # 只暴露 OpenAI 兼容路由;权重挂载见你自己的部署说明
      MODEL_ID: ${MODEL_ID}
    # 本站不托管镜像与权重

验证路由

curl -s http://127.0.0.1:8000/v1/models | jq '.data[].id'

深读: New API / One API 类网关选型

OPC

OPC 客户端:把自定义端点接进编辑器

OpenAI 兼容客户端只认 base_url + key + model 三个字段。写对这三个,任何兼容端点都能接。

opc.config.json

{
  "baseUrl": "http://127.0.0.1:8000/v1",
  "apiKey": "local-not-a-secret",
  "model": "${MODEL_ID}",
  "note": "本地端点不需要真 key;上中转时才换成对面发的 key"
}

自检

# 先确认 /v1/models 能列出 id,再发一次最小 chat
curl -s http://127.0.0.1:8000/v1/chat/completions \
  -H 'content-type: application/json' \
  -d '{"model":"'"$MODEL_ID"'","messages":[{"role":"user","content":"ping"}]}'

深读: OpenAI 兼容协议(OPC)入门

检测

检测步骤:确认对面跑的是哪只模型

不靠口播、不靠挂单页的字符串。用固定探针问出可区分的行为,再对官方 id 与价表。

步骤

1. 列 /v1/models,记下对面声明的 id
2. 用固定探针问同一组问题,记响应
3. 对照本站天梯里该 id 的已知行为
4. id 对不上官方发布页的,按网关短 ID 处理,不另开代际

探针

curl -s http://<中转>/v1/models | jq '.data[].id'
# 再发一次探针请求,比对延迟与返回特征

深读: 使用本站模型可用性检测

要订阅避坑或写 IDE 规则:离开本站。本页不写会员档,也不替你做充值决定。

接入配方:compose、OPC 客户端与检测步骤 · GrokCode 倍率榜