跳至內容

Flux 3 Action

整合

模型 id flux-3-action/so101
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

此請求: ≈$0.003 3 API 點數 在此頁面執行

取得 API 金鑰
Black Forest Labs 影片轉影片 #robotic#arm

機器人策略模型,根據相機畫面、關節狀態與指令預測 SO-101 手臂動作片段

Black Forest Labs · 資料(JSON)

您的第一個結果會顯示在這裡

在下方建立請求,並使用您的 API 金鑰執行。輸出會複製到我們的儲存空間,可永久保留或免費保留 7 天。

建立請求

控制項是根據模型結構描述生成的。變更設定時,程式碼和價格會同步更新。

•必填 88 / 2000

以自然語言表達的機器人任務指示。

•必填
拖放檔案,或

左側圖格圖像,顯示固定場景相機調整為 256x256 後的目前影格。

•必填
拖放檔案,或

目前的腕部相機影格,放置於右側圖格並調整為 256x256。

•必填

依序排列的測量狀態值:肩部旋轉與抬升、手肘彎曲、手腕彎曲與旋轉,單位皆為度,最後是以百分比表示的夾爪位置。

進階 history_scene_image_url · history_wrist_image_url · num_inference_steps · guidance_scale · seed · state_history · command_history
拖放檔案,或

需要 `state_history` 的歷史場景影格輸入;省略時改用目前影格。提供的影格代表 7 個 tick 前最早的歷史觀測。

拖放檔案,或

最早歷史 tick 的腕部相機影格;需要 `state_history`。

預設 4

Euler 去噪步數;檢查點驗證使用 4 步。

預設 3

影片與動作的無分類器引導強度;設為 1.0 可停用 CFG。

取樣種子;DROID 的參考評估設定為 0,SO-101 為 42。未指定時會隨機選取種子。

測量狀態歷史;新 episode 會省略,否則需要 `command_history`。以時間順序提供緊接在 `state` 之前的 7 個控制 tick 的測量值,頻率為 30 Hz。

需要 `state_history` 的絕對指令歷史,最後一列為最近傳送的指令。各列依 8 個觀測 tick 的時間順序排列,並指定每個 tick 生效的指令。

POST /run/flux-3-action/so101?wait=20 報價 → $0.003
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

執行此請求

您的金鑰會保留在此瀏覽器中:只會傳送至 Doitong API,且只有在勾選「記住」時才會儲存至 localStorage。 取得 API 金鑰

關於 Flux 3 Action

此模型不返回媒體,而是返回包含預測 `actions`、控制頻率、欄位標籤,以及在請求新片段前要執行的前導步驟數(`execute_steps`)的 JSON。必要輸入包括文字 `prompt`(最多 2000 個字元)、`scene_image_url`、`wrist_image_url` 與 6 值 `state`。選用的歷史輸入(`state_history`、`command_history`、歷史圖像)可提供時間脈絡。`num_inference_steps` 範圍為 1 至 8,`guidance_scale` 範圍為 1 至 10。

參數

名稱類型 預設值允許值 說明
prompt必填
類型string
≤ 2,000 個字元
以自然語言表達的機器人任務指示。
scene_image_url必填
類型url · image
左側圖格圖像,顯示固定場景相機調整為 256x256 後的目前影格。
wrist_image_url必填
類型url · image
目前的腕部相機影格,放置於右側圖格並調整為 256x256。
state必填
類型number[]
≤ 6 個項目≥ 6 個項目
依序排列的測量狀態值:肩部旋轉與抬升、手肘彎曲、手腕彎曲與旋轉,單位皆為度,最後是以百分比表示的夾爪位置。
state_history選填
類型array[]
≤ 7 個項目≥ 7 個項目
測量狀態歷史;新 episode 會省略,否則需要 `command_history`。以時間順序提供緊接在 `state` 之前的 7 個控制 tick 的測量值,頻率為 30 Hz。
command_history選填
類型array[]
≤ 8 個項目≥ 8 個項目
需要 `state_history` 的絕對指令歷史,最後一列為最近傳送的指令。各列依 8 個觀測 tick 的時間順序排列,並指定每個 tick 生效的指令。
history_scene_image_url選填
類型url · image
需要 `state_history` 的歷史場景影格輸入;省略時改用目前影格。提供的影格代表 7 個 tick 前最早的歷史觀測。
history_wrist_image_url選填
類型url · image
最早歷史 tick 的腕部相機影格;需要 `state_history`。
num_inference_steps選填
類型integer
預設值4
1 – 8
Euler 去噪步數;檢查點驗證使用 4 步。
guidance_scale選填
類型number
預設值3
1 – 10
影片與動作的無分類器引導強度;設為 1.0 可停用 CFG。
seed選填
類型integer | null
取樣種子;DROID 的參考評估設定為 0,SO-101 為 42。未指定時會隨機選取種子。
必填

檔案參數接受公開的 https:// URL、最大 10 MB 的 data: URI,或上傳檔案的 file_url。 檔案

輸出

GET /requests/req_8k2m4q7x1z9c3v5b6n0p2r4t
{
  "id": "req_8k2m4q7x1z9c3v5b6n0p2r4t",
  "object": "request",
  "model": "flux-3-action/so101",
  "status": "succeeded",
  "created_at": "2026-10-20T12:00:00Z",
  "started_at": "2026-10-20T12:00:02Z",
  "completed_at": "2026-10-20T12:00:09Z",
  "queue_position": null,
  "cost": {
    "credits": 3,
    "usd": "0.003",
    "charged": 3,
    "refunded": 0
  },
  "input": {
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  },
  "output": {
    "actions": [
      [
        1.0
      ]
    ],
    "action_labels": [
      "string"
    ],
    "action_hz": 1.0,
    "execute_steps": 1,
    "seed": 42,
    "timings": {}
  },
  "outputs": [
    {
      "type": "file",
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_size": 1843200,
      "stored": true
    }
  ],
  "error": null,
  "metrics": {
    "inference_seconds": 6.8
  },
  "urls": {
    "self": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t",
    "cancel": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t/cancel"
  }
}
您的檔案,由您選擇每個 outputs[].url 都是儲存空間中的副本:可永久保留(按 GB-月計費),或免費保留 7 天;可透過帳戶設定或 ?storage= 設定。
所有模型使用相同結構圖片、影片和音訊皆包含 type、url、content_type、width、height 和 duration。output 是模型自己的結果物件。
輸出欄位
actions
array of array of number預測的動作陣列,各列依控制步驟的時間順序排列;值未截斷,因此必須在機器人上強制執行關節、速度與工作空間限制。在 30 Hz 下,SO-101 提供 42x6 個以度和夾爪百分比表示的絕對指令;在 15 Hz 下,DROID 提供 32x8 個以弧度表示的絕對關節目標,以及夾爪閉合比例。
action_labels
array of string對應於動作欄的名稱。
action_hz
number動作各列的控制頻率。
execute_steps
integer在再次請求下一批動作前要執行的初始動作數量。
seed
integer取樣期間使用的隨機種子。
timings
object伺服器的時間測量值,以秒表示。

給 AI 代理程式:此頁面的 Markdown 位於 https://doitong.com/zh-TW/developers/models/flux-3-action/so101.md. 所有模型與指南: https://doitong.com/developers/llms.txt