Перейти к содержимому

Flux 3 Action

Интеграция

ID модели flux-3-action/so101
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

Этот запрос: ≈0,003 $ 3 API-кредита · ≈ 0,32 ₽ Запустить на этой странице

Получить API-ключ
Black Forest Labs Видео в видео #robotic#arm

Модель управления роботом, предсказывающая фрагменты действий манипулятора SO-101 по кадрам с камеры, состоянию суставов и инструкции

Black Forest Labs · Данные (JSON)

Здесь появится ваш первый результат

Составьте запрос ниже и выполните его с помощью API-ключа. Результаты копируются в наше хранилище и хранятся навсегда или 7 дней бесплатно.

Сформировать запрос

Элементы управления сгенерированы из схемы модели. Код и цена обновляются при изменении параметров.

•обязательно 88 / 2000

Инструкции для задачи робота, сформулированные на естественном языке.

•обязательно
Перетащите файл или

Изображение в левой плитке, показывающее текущий кадр фиксированной камеры сцены после изменения размера до 256x256.

•обязательно
Перетащите файл или

Текущий кадр камеры на запястье, размещённый в правой плитке и изменённый до 256x256.

•обязательно

Измеренные значения состояния по порядку: поворот и подъём плеча, сгибание локтя, сгибание и вращение запястья — все в градусах, затем положение захвата в процентах.

Расширенные history_scene_image_url · history_wrist_image_url · num_inference_steps · guidance_scale · seed · state_history · command_history
Перетащите файл или

Входной кадр сцены из истории, требующий `state_history`; при отсутствии используется текущий кадр. Переданный кадр соответствует самому раннему наблюдению истории, 7 тактов назад.

Перетащите файл или

Кадр камеры на запястье в самом раннем такте истории; требуется `state_history`.

по умолчанию 4

Количество шагов удаления шума методом Эйлера; при проверке чекпойнта использовалось 4 шага.

по умолчанию 3

Сила classifier-free guidance для видео и действий; установите 1.0, чтобы отключить CFG.

Сид сэмплирования: для эталонных настроек DROID используется 0, а для SO-101 — 42. Если не указать значение, сид выбирается случайно.

История измеренных состояний: для нового эпизода не указывается, в остальных случаях требует `command_history`. Передайте измерения в хронологическом порядке для 7 тактов управления, непосредственно предшествующих `state`, с частотой 30 Hz.

История абсолютных команд, требующая `state_history`; последняя отправленная команда должна находиться в последней строке. Строки идут в хронологическом порядке для 8 тактов наблюдения и задают команду, действующую в каждом такте.

POST /run/flux-3-action/so101?wait=20 стоимость → 0,003 $
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

Запустить этот запрос

Ваш ключ хранится в этом браузере: он отправляется только в Doitong API и сохраняется в localStorage только при включении параметра «Запомнить». Получить API-ключ

О Flux 3 Action

Вместо медиаданных возвращает JSON с предсказанными `actions`, частотой управления, названиями столбцов и количеством начальных шагов для выполнения (`execute_steps`) до запроса нового фрагмента. Обязательные входные данные: текстовый `prompt` (до 2000 символов), `scene_image_url`, `wrist_image_url` и `state` из 6 значений. Необязательные исторические данные (`state_history`, `command_history`, изображения из истории) добавляют временной контекст. `num_inference_steps` принимает значения от 1 до 8, а `guidance_scale` — от 1 до 10.

Параметры

ИмяТип По умолчаниюДопустимые значения Описание
promptобязательно
Типstring
≤ 2 000 символов
Инструкции для задачи робота, сформулированные на естественном языке.
scene_image_urlобязательно
Типurl · image
Изображение в левой плитке, показывающее текущий кадр фиксированной камеры сцены после изменения размера до 256x256.
wrist_image_urlобязательно
Типurl · image
Текущий кадр камеры на запястье, размещённый в правой плитке и изменённый до 256x256.
stateобязательно
Типnumber[]
≤ 6 элементов≥ 6 элементов
Измеренные значения состояния по порядку: поворот и подъём плеча, сгибание локтя, сгибание и вращение запястья — все в градусах, затем положение захвата в процентах.
state_historyнеобязательно
Типarray[]
≤ 7 элементов≥ 7 элементов
История измеренных состояний: для нового эпизода не указывается, в остальных случаях требует `command_history`. Передайте измерения в хронологическом порядке для 7 тактов управления, непосредственно предшествующих `state`, с частотой 30 Hz.
command_historyнеобязательно
Типarray[]
≤ 8 элементов≥ 8 элементов
История абсолютных команд, требующая `state_history`; последняя отправленная команда должна находиться в последней строке. Строки идут в хронологическом порядке для 8 тактов наблюдения и задают команду, действующую в каждом такте.
history_scene_image_urlнеобязательно
Типurl · image
Входной кадр сцены из истории, требующий `state_history`; при отсутствии используется текущий кадр. Переданный кадр соответствует самому раннему наблюдению истории, 7 тактов назад.
history_wrist_image_urlнеобязательно
Типurl · image
Кадр камеры на запястье в самом раннем такте истории; требуется `state_history`.
num_inference_stepsнеобязательно
Типinteger
По умолчанию4
1 – 8
Количество шагов удаления шума методом Эйлера; при проверке чекпойнта использовалось 4 шага.
guidance_scaleнеобязательно
Типnumber
По умолчанию3
1 – 10
Сила classifier-free guidance для видео и действий; установите 1.0, чтобы отключить CFG.
seedнеобязательно
Типinteger | null
Сид сэмплирования: для эталонных настроек DROID используется 0, а для SO-101 — 42. Если не указать значение, сид выбирается случайно.
обязательно

Параметры файлов принимают общедоступный https:// URL, data: URI размером до 10 MB или file_url загруженного файла. Файлы

Результат

GET /requests/req_8k2m4q7x1z9c3v5b6n0p2r4t
{
  "id": "req_8k2m4q7x1z9c3v5b6n0p2r4t",
  "object": "request",
  "model": "flux-3-action/so101",
  "status": "succeeded",
  "created_at": "2026-10-20T12:00:00Z",
  "started_at": "2026-10-20T12:00:02Z",
  "completed_at": "2026-10-20T12:00:09Z",
  "queue_position": null,
  "cost": {
    "credits": 3,
    "usd": "0.003",
    "charged": 3,
    "refunded": 0
  },
  "input": {
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  },
  "output": {
    "actions": [
      [
        1.0
      ]
    ],
    "action_labels": [
      "string"
    ],
    "action_hz": 1.0,
    "execute_steps": 1,
    "seed": 42,
    "timings": {}
  },
  "outputs": [
    {
      "type": "file",
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_size": 1843200,
      "stored": true
    }
  ],
  "error": null,
  "metrics": {
    "inference_seconds": 6.8
  },
  "urls": {
    "self": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t",
    "cancel": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t/cancel"
  }
}
Ваши файлы — ваш выборКаждый URL из outputs[].url — это копия в нашем хранилище: она хранится навсегда (оплата за ГБ в месяц) или 7 дней бесплатно — в зависимости от настройки вашего аккаунта или параметра ?storage=.
Одинаковая структура у каждой моделиtype, url, content_type, width, height и duration — одинаково для изображений, видео и аудио. output — собственный объект результата модели.
Поля результата
actions
array of array of numberМассив предсказанных действий с хронологическими строками, представляющими шаги управления; значения не ограничиваются, поэтому на роботе необходимо соблюдать ограничения суставов, скорости и рабочего пространства. При 30 Hz SO-101 выдаёт 42x6 абсолютных команд в градусах и процентах для захвата; при 15 Hz DROID выдаёт 32x8 абсолютных целевых значений суставов в радианах, а также долю закрытия захвата.
action_labels
array of stringИмена, соответствующие столбцам действий.
action_hz
numberЧастота управления для строк действий.
execute_steps
integerКоличество начальных действий, выполняемых до запроса следующего блока.
seed
integerСлучайный сид, используемый во время сэмплирования.
timings
objectИзмерения времени от сервера, выраженные в секундах.

Для AI-агентов: эта страница в формате Markdown доступна по адресу https://doitong.com/ru/developers/models/flux-3-action/so101.md. Все модели и руководства: https://doitong.com/developers/llms.txt