Avançar para o conteúdo

Flux 3 Action

Integrar

ID do modelo flux-3-action/so101
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

Este pedido: ≈0,003 $ 3 créditos da API Executar nesta página

Obter chave de API
Black Forest Labs Vídeo para vídeo #robotic#arm

Modelo de política robótica que prevê blocos de ações do braço SO-101 a partir de imagens da câmara, estado das articulações e uma instrução

Black Forest Labs · Dados (JSON)

O seu primeiro resultado aparece aqui

Crie um pedido abaixo e execute-o com a sua chave de API. As saídas são copiadas para o nosso armazenamento, guardadas para sempre ou durante 7 dias gratuitamente.

Criar um pedido

Os controlos são gerados a partir do esquema do modelo. O código e o preço são atualizados à medida que os altera.

•obrigatório 88 / 2000

Instruções da tarefa do robô expressas em linguagem natural.

•obrigatório
Largue um ficheiro ou

Imagem do mosaico esquerdo que mostra o frame atual da câmara fixa da cena após o redimensionamento para 256x256.

•obrigatório
Largue um ficheiro ou

Frame atual da câmara do pulso, colocado no mosaico direito e redimensionado para 256x256.

•obrigatório

Valores de estado medidos pela ordem: rotação e elevação do ombro, flexão do cotovelo, flexão e rotação do pulso, todos em graus, seguidos da posição da pinça em percentagem.

Avançado history_scene_image_url · history_wrist_image_url · num_inference_steps · guidance_scale · seed · state_history · command_history
Largue um ficheiro ou

Entrada histórica do frame da cena que requer `state_history`; quando omitida, é utilizado o frame atual. O frame fornecido representa a observação histórica mais antiga, 7 ciclos atrás.

Largue um ficheiro ou

Frame da câmara do pulso no ciclo histórico mais antigo; `state_history` é obrigatório.

predefinição 4

Número de passos de remoção de ruído de Euler; a validação do checkpoint utilizou 4 passos.

predefinição 3

Intensidade da orientação sem classificador para o vídeo e a ação; defina como 1.0 para desativar o CFG.

Seed de amostragem com as definições de avaliação de referência do DROID: 0 e do SO-101: 42. Se não for especificada, é escolhida uma seed aleatoriamente.

Histórico do estado medido, omitido num episódio novo e, caso contrário, requerendo `command_history`. Forneça as medições por ordem cronológica para os 7 ciclos de controlo imediatamente anteriores a `state`, a 30 Hz.

Histórico de comandos absolutos que requer `state_history`, com o comando enviado mais recentemente na última linha. As linhas seguem uma ordem cronológica ao longo de 8 ciclos de observação e especificam o comando em vigor em cada ciclo.

POST /run/flux-3-action/so101?wait=20 cotação → 0,003 $
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

Executar este pedido

A sua chave permanece neste navegador: é enviada apenas para a Doitong API e guardada em localStorage apenas se selecionar Lembrar. Obter uma chave de API

Sobre Flux 3 Action

Em vez de multimédia, devolve JSON com `actions` previstas, a respetiva taxa de controlo, rótulos das colunas e o número de passos iniciais a executar (`execute_steps`) antes de pedir um novo bloco. As entradas obrigatórias são um `prompt` de texto (até 2000 caracteres), `scene_image_url`, `wrist_image_url` e um `state` de 6 valores. As entradas de histórico opcionais (`state_history`, `command_history`, imagens de histórico) fornecem contexto temporal. `num_inference_steps` varia entre 1 e 8 e `guidance_scale` entre 1 e 10.

Parâmetros

NomeTipo PredefiniçãoPermitido Descrição
promptobrigatório
Tipostring
≤ 2000 caracteres
Instruções da tarefa do robô expressas em linguagem natural.
scene_image_urlobrigatório
Tipourl · image
Imagem do mosaico esquerdo que mostra o frame atual da câmara fixa da cena após o redimensionamento para 256x256.
wrist_image_urlobrigatório
Tipourl · image
Frame atual da câmara do pulso, colocado no mosaico direito e redimensionado para 256x256.
stateobrigatório
Tiponumber[]
≤ 6 itens≥ 6 itens
Valores de estado medidos pela ordem: rotação e elevação do ombro, flexão do cotovelo, flexão e rotação do pulso, todos em graus, seguidos da posição da pinça em percentagem.
state_historyopcional
Tipoarray[]
≤ 7 itens≥ 7 itens
Histórico do estado medido, omitido num episódio novo e, caso contrário, requerendo `command_history`. Forneça as medições por ordem cronológica para os 7 ciclos de controlo imediatamente anteriores a `state`, a 30 Hz.
command_historyopcional
Tipoarray[]
≤ 8 itens≥ 8 itens
Histórico de comandos absolutos que requer `state_history`, com o comando enviado mais recentemente na última linha. As linhas seguem uma ordem cronológica ao longo de 8 ciclos de observação e especificam o comando em vigor em cada ciclo.
history_scene_image_urlopcional
Tipourl · image
Entrada histórica do frame da cena que requer `state_history`; quando omitida, é utilizado o frame atual. O frame fornecido representa a observação histórica mais antiga, 7 ciclos atrás.
history_wrist_image_urlopcional
Tipourl · image
Frame da câmara do pulso no ciclo histórico mais antigo; `state_history` é obrigatório.
num_inference_stepsopcional
Tipointeger
Predefinição4
1 – 8
Número de passos de remoção de ruído de Euler; a validação do checkpoint utilizou 4 passos.
guidance_scaleopcional
Tiponumber
Predefinição3
1 – 10
Intensidade da orientação sem classificador para o vídeo e a ação; defina como 1.0 para desativar o CFG.
seedopcional
Tipointeger | null
Seed de amostragem com as definições de avaliação de referência do DROID: 0 e do SO-101: 42. Se não for especificada, é escolhida uma seed aleatoriamente.
obrigatório

Os parâmetros de ficheiro aceitam um URL https:// público, um URI data: até 10 MB ou o file_url de um carregamento. Ficheiros

Resultado

GET /requests/req_8k2m4q7x1z9c3v5b6n0p2r4t
{
  "id": "req_8k2m4q7x1z9c3v5b6n0p2r4t",
  "object": "request",
  "model": "flux-3-action/so101",
  "status": "succeeded",
  "created_at": "2026-10-20T12:00:00Z",
  "started_at": "2026-10-20T12:00:02Z",
  "completed_at": "2026-10-20T12:00:09Z",
  "queue_position": null,
  "cost": {
    "credits": 3,
    "usd": "0.003",
    "charged": 3,
    "refunded": 0
  },
  "input": {
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  },
  "output": {
    "actions": [
      [
        1.0
      ]
    ],
    "action_labels": [
      "string"
    ],
    "action_hz": 1.0,
    "execute_steps": 1,
    "seed": 42,
    "timings": {}
  },
  "outputs": [
    {
      "type": "file",
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_size": 1843200,
      "stored": true
    }
  ],
  "error": null,
  "metrics": {
    "inference_seconds": 6.8
  },
  "urls": {
    "self": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t",
    "cancel": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t/cancel"
  }
}
Os seus ficheiros, a sua escolhaCada outputs[].url é uma cópia no nosso armazenamento: guardada para sempre (paga por GB-mês) ou durante 7 dias gratuitamente, conforme a definição da sua conta ou ?storage=.
A mesma estrutura em todos os modelostype, url, content_type, width, height e duration, tanto para imagens como para vídeo e áudio. output é o próprio objeto de resultado do modelo.
Campos do resultado
actions
array of array of numberMatriz de ações previstas com linhas cronológicas que representam passos de controlo; os valores não são limitados, pelo que os limites das articulações, da velocidade e do espaço de trabalho têm de ser aplicados no robô. A 30 Hz, o SO-101 fornece 42x6 comandos absolutos em graus e percentagem da pinça; a 15 Hz, o DROID fornece 32x8 alvos absolutos das articulações em radianos, além da fração de fecho da pinça.
action_labels
array of stringNomes correspondentes às colunas de ação.
action_hz
numberFrequência de controlo das linhas de ação.
execute_steps
integerNúmero de ações iniciais a executar antes de solicitar outro bloco.
seed
integerSeed aleatória utilizada durante a amostragem.
timings
objectMedições temporais do servidor, expressas em segundos.

Para agentes de IA: esta página em Markdown está disponível em https://doitong.com/pt-PT/developers/models/flux-3-action/so101.md. Todos os modelos e guias: https://doitong.com/developers/llms.txt