跳转到内容

Flux 3 Action

集成

模型 id flux-3-action/so101
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

此请求: ≈$0.003 3 API 积分 在此页面运行

获取 API 密钥
Black Forest Labs 视频转换 #robotic#arm

机器人策略模型,根据相机帧、关节状态和指令预测 SO-101 机械臂动作块

Black Forest Labs · 数据(JSON)

你的第一个结果将在此显示

在下方构建请求,并使用你的 API 密钥运行。输出会复制到我们的存储中,可永久保存或免费保存 7 天。

构建请求

控件根据模型架构生成。更改控件时,代码和价格会同步更新。

•必填 88 / 2000

以自然语言表达的机器人任务指令。

•必填
拖放文件,或

左侧图块中的图像,显示固定场景摄像头在调整为 256x256 后的当前帧。

•必填
拖放文件,或

当前腕部摄像头帧,位于右侧图块中,并调整为 256x256。

•必填

按顺序排列的测量状态值:肩部旋转和抬升、肘部弯曲、腕部弯曲和旋转,单位均为度;随后是夹爪位置百分比。

高级 history_scene_image_url · history_wrist_image_url · num_inference_steps · guidance_scale · seed · state_history · command_history
拖放文件,或

需要 `state_history` 的历史场景帧输入;省略时使用当前帧。提供的帧代表 7 个 tick 之前最早的历史观测。

拖放文件,或

最早历史 tick 的腕部摄像头帧;需要 `state_history`。

默认 4

Euler 去噪步数;检查点验证使用 4 步。

默认 3

视频和动作的无分类器引导强度;设为 1.0 可禁用 CFG。

采样种子;DROID 的参考评估设置为 0,SO-101 为 42。未指定时随机选择种子。

测量状态历史记录;新 episode 中省略,否则需要 `command_history`。按时间顺序提供 `state` 前紧邻的 7 个控制 tick 的测量值,频率为 30 Hz。

需要 `state_history` 的绝对指令历史记录,最后一行是最近发送的指令。各行按 8 个观测 tick 的时间顺序排列,并指定每个 tick 生效的指令。

POST /run/flux-3-action/so101?wait=20 报价 → $0.003
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

运行此请求

你的密钥会保留在此浏览器中:仅发送到 Doitong API;只有勾选“记住”后才会保存到 localStorage。 获取 API 密钥

关于 Flux 3 Action

该模型不返回媒体,而是返回包含预测 `actions`、控制频率、列标签以及在请求新动作块前要执行的前导步骤数(`execute_steps`)的 JSON。必填输入包括文本 `prompt`(最多 2000 个字符)、`scene_image_url`、`wrist_image_url` 和包含 6 个值的 `state`。可选的历史输入(`state_history`、`command_history`、历史图像)用于提供时间上下文。`num_inference_steps` 范围为 1 到 8,`guidance_scale` 范围为 1 到 10。

参数

名称类型 默认值允许值 描述
prompt必填
类型string
≤ 2,000 个字符
以自然语言表达的机器人任务指令。
scene_image_url必填
类型url · image
左侧图块中的图像,显示固定场景摄像头在调整为 256x256 后的当前帧。
wrist_image_url必填
类型url · image
当前腕部摄像头帧,位于右侧图块中,并调整为 256x256。
state必填
类型number[]
≤ 6 个项目≥ 6 个项目
按顺序排列的测量状态值:肩部旋转和抬升、肘部弯曲、腕部弯曲和旋转,单位均为度;随后是夹爪位置百分比。
state_history可选
类型array[]
≤ 7 个项目≥ 7 个项目
测量状态历史记录;新 episode 中省略,否则需要 `command_history`。按时间顺序提供 `state` 前紧邻的 7 个控制 tick 的测量值,频率为 30 Hz。
command_history可选
类型array[]
≤ 8 个项目≥ 8 个项目
需要 `state_history` 的绝对指令历史记录,最后一行是最近发送的指令。各行按 8 个观测 tick 的时间顺序排列,并指定每个 tick 生效的指令。
history_scene_image_url可选
类型url · image
需要 `state_history` 的历史场景帧输入;省略时使用当前帧。提供的帧代表 7 个 tick 之前最早的历史观测。
history_wrist_image_url可选
类型url · image
最早历史 tick 的腕部摄像头帧;需要 `state_history`。
num_inference_steps可选
类型integer
默认值4
1 – 8
Euler 去噪步数;检查点验证使用 4 步。
guidance_scale可选
类型number
默认值3
1 – 10
视频和动作的无分类器引导强度;设为 1.0 可禁用 CFG。
seed可选
类型integer | null
采样种子;DROID 的参考评估设置为 0,SO-101 为 42。未指定时随机选择种子。
必填

文件参数接受公开的 https:// URL、最大 10 MB 的 data: URI,或上传文件的 file_url。 文件

输出

GET /requests/req_8k2m4q7x1z9c3v5b6n0p2r4t
{
  "id": "req_8k2m4q7x1z9c3v5b6n0p2r4t",
  "object": "request",
  "model": "flux-3-action/so101",
  "status": "succeeded",
  "created_at": "2026-10-20T12:00:00Z",
  "started_at": "2026-10-20T12:00:02Z",
  "completed_at": "2026-10-20T12:00:09Z",
  "queue_position": null,
  "cost": {
    "credits": 3,
    "usd": "0.003",
    "charged": 3,
    "refunded": 0
  },
  "input": {
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  },
  "output": {
    "actions": [
      [
        1.0
      ]
    ],
    "action_labels": [
      "string"
    ],
    "action_hz": 1.0,
    "execute_steps": 1,
    "seed": 42,
    "timings": {}
  },
  "outputs": [
    {
      "type": "file",
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_size": 1843200,
      "stored": true
    }
  ],
  "error": null,
  "metrics": {
    "inference_seconds": 6.8
  },
  "urls": {
    "self": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t",
    "cancel": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t/cancel"
  }
}
你的文件,由你选择每个 outputs[].url 都是存储中的副本:可永久保存(按 GB-月付费),也可免费保存 7 天,由账户设置或 ?storage= 决定。
每个模型的结构相同图像、视频和音频均包含 type、url、content_type、width、height 和 duration。output 是模型自身的结果对象。
输出字段
actions
array of array of number预测的动作数组,各行按时间顺序表示控制步骤;数值未裁剪,因此必须在机器人上执行关节、速度和工作空间限制。30 Hz 时,SO-101 提供 42x6 个绝对指令,单位为 deg 和夹爪 %;15 Hz 时,DROID 提供 32x8 个绝对关节目标,单位为 rad,另加夹爪闭合比例。
action_labels
array of string对应动作列的名称。
action_hz
number动作行的控制频率。
execute_steps
integer在请求下一批动作前要执行的初始动作数量。
seed
integer采样期间使用的随机种子。
timings
object服务器的计时测量值,单位为秒。

对于 AI 代理:此页面的 Markdown 版本位于 https://doitong.com/zh/developers/models/flux-3-action/so101.md. 所有模型和指南: https://doitong.com/developers/llms.txt