Bỏ qua đến nội dung

Flux 3 Action

Tích hợp

Id mô hình flux-3-action/so101
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

Yêu cầu này: ≈0,003 $ 3 tín dụng API Chạy trên trang này

Lấy khóa API
Black Forest Labs Video sang video #robotic#arm

Mô hình chính sách robot dự đoán các chuỗi hành động của cánh tay SO-101 từ khung hình camera, trạng thái khớp và hướng dẫn

Black Forest Labs · Dữ liệu (JSON)

Kết quả đầu tiên của bạn sẽ xuất hiện ở đây

Tạo một yêu cầu bên dưới và chạy bằng khóa API của bạn. Đầu ra được sao chép vào bộ lưu trữ của chúng tôi, giữ vĩnh viễn hoặc 7 ngày miễn phí.

Tạo một yêu cầu

Các điều khiển được tạo từ lược đồ mô hình. Mã và giá sẽ cập nhật khi bạn thay đổi chúng.

•bắt buộc 88 / 2000

Hướng dẫn tác vụ robot được diễn đạt bằng ngôn ngữ tự nhiên.

•bắt buộc
Thả tệp hoặc

Hình ảnh ô bên trái hiển thị khung hình hiện tại của camera cảnh cố định sau khi đổi kích thước thành 256x256.

•bắt buộc
Thả tệp hoặc

Khung hình hiện tại của camera cổ tay, được đặt trong ô bên phải và đổi kích thước thành 256x256.

•bắt buộc

Các giá trị trạng thái đo được theo thứ tự: quay và nâng vai, gập khuỷu tay, gập và lăn cổ tay, tất cả tính bằng độ, tiếp theo là vị trí kẹp tính theo phần trăm.

Nâng cao history_scene_image_url · history_wrist_image_url · num_inference_steps · guidance_scale · seed · state_history · command_history
Thả tệp hoặc

Đầu vào khung hình cảnh lịch sử yêu cầu `state_history`; nếu bỏ qua, khung hình hiện tại sẽ được sử dụng. Khung hình được cung cấp đại diện cho lần quan sát lịch sử sớm nhất, cách đây 7 nhịp.

Thả tệp hoặc

Khung hình camera cổ tay tại nhịp lịch sử sớm nhất; bắt buộc có `state_history`.

mặc định 4

Số bước khử nhiễu Euler; quá trình xác thực checkpoint sử dụng 4 bước.

mặc định 3

Cường độ hướng dẫn không dùng bộ phân loại cho cả video và hành động; đặt thành 1.0 để tắt CFG.

Seed lấy mẫu với các cài đặt đánh giá tham chiếu của DROID: 0 và SO-101: 42. Nếu không chỉ định, seed sẽ được chọn ngẫu nhiên.

Lịch sử trạng thái đo được, bỏ qua đối với một episode mới và trong các trường hợp khác yêu cầu `command_history`. Cung cấp các phép đo theo thứ tự thời gian cho 7 nhịp điều khiển ngay trước `state`, ở 30 Hz.

Lịch sử lệnh tuyệt đối yêu cầu `state_history`, với lệnh được gửi gần đây nhất ở hàng cuối. Các hàng chạy theo thứ tự thời gian qua 8 nhịp quan sát và chỉ định lệnh có hiệu lực tại mỗi nhịp.

POST /run/flux-3-action/so101?wait=20 báo giá → 0,003 $
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

Chạy yêu cầu này

Key của bạn vẫn nằm trong trình duyệt này: key chỉ được gửi đến Doitong API và chỉ được lưu trong localStorage nếu bạn chọn Ghi nhớ. Nhận khóa API

Giới thiệu về Flux 3 Action

Thay vì nội dung media, mô hình trả về JSON với `actions` dự đoán, tần số điều khiển, nhãn cột và số bước đầu cần thực thi (`execute_steps`) trước khi yêu cầu chuỗi mới. Các đầu vào bắt buộc là `prompt` văn bản (tối đa 2000 ký tự), `scene_image_url`, `wrist_image_url` và `state` gồm 6 giá trị. Các đầu vào lịch sử tùy chọn (`state_history`, `command_history`, ảnh lịch sử) cung cấp ngữ cảnh theo thời gian. `num_inference_steps` chạy từ 1 đến 8 và `guidance_scale` từ 1 đến 10.

Tham số

TênKiểu Mặc địnhĐược phép Mô tả
promptbắt buộc
Kiểustring
≤ 2.000 ký tự
Hướng dẫn tác vụ robot được diễn đạt bằng ngôn ngữ tự nhiên.
scene_image_urlbắt buộc
Kiểuurl · image
Hình ảnh ô bên trái hiển thị khung hình hiện tại của camera cảnh cố định sau khi đổi kích thước thành 256x256.
wrist_image_urlbắt buộc
Kiểuurl · image
Khung hình hiện tại của camera cổ tay, được đặt trong ô bên phải và đổi kích thước thành 256x256.
statebắt buộc
Kiểunumber[]
≤ 6 mục≥ 6 mục
Các giá trị trạng thái đo được theo thứ tự: quay và nâng vai, gập khuỷu tay, gập và lăn cổ tay, tất cả tính bằng độ, tiếp theo là vị trí kẹp tính theo phần trăm.
state_historytùy chọn
Kiểuarray[]
≤ 7 mục≥ 7 mục
Lịch sử trạng thái đo được, bỏ qua đối với một episode mới và trong các trường hợp khác yêu cầu `command_history`. Cung cấp các phép đo theo thứ tự thời gian cho 7 nhịp điều khiển ngay trước `state`, ở 30 Hz.
command_historytùy chọn
Kiểuarray[]
≤ 8 mục≥ 8 mục
Lịch sử lệnh tuyệt đối yêu cầu `state_history`, với lệnh được gửi gần đây nhất ở hàng cuối. Các hàng chạy theo thứ tự thời gian qua 8 nhịp quan sát và chỉ định lệnh có hiệu lực tại mỗi nhịp.
history_scene_image_urltùy chọn
Kiểuurl · image
Đầu vào khung hình cảnh lịch sử yêu cầu `state_history`; nếu bỏ qua, khung hình hiện tại sẽ được sử dụng. Khung hình được cung cấp đại diện cho lần quan sát lịch sử sớm nhất, cách đây 7 nhịp.
history_wrist_image_urltùy chọn
Kiểuurl · image
Khung hình camera cổ tay tại nhịp lịch sử sớm nhất; bắt buộc có `state_history`.
num_inference_stepstùy chọn
Kiểuinteger
Mặc định4
1 – 8
Số bước khử nhiễu Euler; quá trình xác thực checkpoint sử dụng 4 bước.
guidance_scaletùy chọn
Kiểunumber
Mặc định3
1 – 10
Cường độ hướng dẫn không dùng bộ phân loại cho cả video và hành động; đặt thành 1.0 để tắt CFG.
seedtùy chọn
Kiểuinteger | null
Seed lấy mẫu với các cài đặt đánh giá tham chiếu của DROID: 0 và SO-101: 42. Nếu không chỉ định, seed sẽ được chọn ngẫu nhiên.
bắt buộc

Các tham số tệp nhận URL https:// công khai, URI data: tối đa 10 MB hoặc file_url của một tệp tải lên. Tệp

Đầu ra

GET /requests/req_8k2m4q7x1z9c3v5b6n0p2r4t
{
  "id": "req_8k2m4q7x1z9c3v5b6n0p2r4t",
  "object": "request",
  "model": "flux-3-action/so101",
  "status": "succeeded",
  "created_at": "2026-10-20T12:00:00Z",
  "started_at": "2026-10-20T12:00:02Z",
  "completed_at": "2026-10-20T12:00:09Z",
  "queue_position": null,
  "cost": {
    "credits": 3,
    "usd": "0.003",
    "charged": 3,
    "refunded": 0
  },
  "input": {
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  },
  "output": {
    "actions": [
      [
        1.0
      ]
    ],
    "action_labels": [
      "string"
    ],
    "action_hz": 1.0,
    "execute_steps": 1,
    "seed": 42,
    "timings": {}
  },
  "outputs": [
    {
      "type": "file",
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_size": 1843200,
      "stored": true
    }
  ],
  "error": null,
  "metrics": {
    "inference_seconds": 6.8
  },
  "urls": {
    "self": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t",
    "cancel": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t/cancel"
  }
}
Tệp của bạn, lựa chọn của bạnMỗi outputs[].url là một bản sao trên bộ lưu trữ của chúng tôi: được giữ vĩnh viễn (tính phí theo GB-tháng) hoặc 7 ngày miễn phí, theo cài đặt tài khoản hoặc ?storage=.
Cùng một cấu trúc trên mọi mô hìnhtype, url, content_type, width, height và duration cho hình ảnh, video và âm thanh. output là đối tượng kết quả riêng của mô hình.
Các trường đầu ra
actions
array of array of numberMảng hành động dự đoán với các hàng theo thứ tự thời gian đại diện cho các bước điều khiển; các giá trị không bị giới hạn, vì vậy phải áp dụng giới hạn khớp, vận tốc và không gian làm việc trên robot. Ở 30 Hz, SO-101 cung cấp các lệnh tuyệt đối 42x6 theo độ và phần trăm kẹp; ở 15 Hz, DROID cung cấp 32x8 mục tiêu khớp tuyệt đối theo radian cùng với phần đóng của kẹp.
action_labels
array of stringTên tương ứng với các cột hành động.
action_hz
numberTần số điều khiển của các hàng hành động.
execute_steps
integerSố hành động ban đầu cần thực thi trước khi yêu cầu một nhóm khác.
seed
integerSeed ngẫu nhiên được sử dụng trong quá trình lấy mẫu.
timings
objectCác phép đo thời gian từ máy chủ, tính bằng giây.

Dành cho tác nhân AI: trang này ở dạng Markdown tại https://doitong.com/vi/developers/models/flux-3-action/so101.md. Tất cả mô hình và hướng dẫn: https://doitong.com/developers/llms.txt