Ir para o conteúdo

Flux 3 Action

Integrar

ID do modelo flux-3-action/so101
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

Esta solicitação: ≈$ 0,003 3 créditos de API Executar nesta página

Obter chave de API
Black Forest Labs Vídeo para vídeo #robotic#arm

Modelo de política robótica que prevê blocos de ações do braço SO-101 a partir de quadros da câmera, estado das juntas e uma instrução

Black Forest Labs · Dados (JSON)

Seu primeiro resultado aparecerá aqui

Monte uma requisição abaixo e execute-a com sua chave de API. As saídas são copiadas para nosso armazenamento, mantidas para sempre ou por 7 dias gratuitamente.

Criar uma solicitação

Os controles são gerados a partir do esquema do modelo. O código e o preço são atualizados conforme você os altera.

•obrigatório 88 / 2000

Instruções da tarefa do robô expressas em linguagem natural.

•obrigatório
Solte um arquivo ou

Imagem do quadro esquerdo mostrando o quadro atual da câmera fixa da cena após o redimensionamento para 256x256.

•obrigatório
Solte um arquivo ou

Quadro atual da câmera do pulso, colocado no quadro direito e redimensionado para 256x256.

•obrigatório

Valores de estado medidos na ordem: rotação e elevação do ombro, flexão do cotovelo, flexão e rotação do pulso, todos em graus, seguidos pela posição da garra em porcentagem.

Avançado history_scene_image_url · history_wrist_image_url · num_inference_steps · guidance_scale · seed · state_history · command_history
Solte um arquivo ou

Entrada histórica do quadro da cena que exige `state_history`; sua omissão usa o quadro atual. O quadro fornecido representa a observação histórica mais antiga, de 7 ticks atrás.

Solte um arquivo ou

Quadro da câmera do pulso no tick histórico mais antigo; `state_history` é obrigatório.

padrão 4

Número de etapas de redução de ruído de Euler; a validação do checkpoint usou 4 etapas.

padrão 3

Intensidade da orientação sem classificador para vídeo e ação; defina como 1.0 para desativar CFG.

Seed de amostragem com as configurações de avaliação de referência de DROID: 0 e SO-101: 42. Se não for especificada, uma seed será selecionada aleatoriamente.

Histórico do estado medido, omitido para um episódio novo e, caso contrário, exigindo `command_history`. Forneça as medições em ordem cronológica para os 7 ticks de controle imediatamente anteriores a `state`, a 30 Hz.

Histórico de comandos absolutos que exige `state_history`, com o comando enviado mais recentemente na última linha. As linhas seguem cronologicamente por 8 ticks de observação e especificam o comando em vigor em cada tick.

POST /run/flux-3-action/so101?wait=20 cotação → $ 0,003
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

Executar esta solicitação

Sua chave permanece neste navegador: ela é enviada somente à Doitong API e salva (localStorage) apenas se você marcar Lembrar. Obter uma chave de API

Sobre Flux 3 Action

Em vez de mídia, retorna JSON com `actions` previstas, sua taxa de controle, rótulos de colunas e quantas etapas iniciais executar (`execute_steps`) antes de solicitar um novo bloco. As entradas obrigatórias são um `prompt` de texto (até 2000 caracteres), `scene_image_url`, `wrist_image_url` e um `state` de 6 valores. Entradas de histórico opcionais (`state_history`, `command_history`, imagens do histórico) fornecem contexto temporal. `num_inference_steps` varia de 1 a 8 e `guidance_scale` de 1 a 10.

Parâmetros

NomeTipo PadrãoPermitido Descrição
promptobrigatório
Tipostring
≤ 2.000 caracteres
Instruções da tarefa do robô expressas em linguagem natural.
scene_image_urlobrigatório
Tipourl · image
Imagem do quadro esquerdo mostrando o quadro atual da câmera fixa da cena após o redimensionamento para 256x256.
wrist_image_urlobrigatório
Tipourl · image
Quadro atual da câmera do pulso, colocado no quadro direito e redimensionado para 256x256.
stateobrigatório
Tiponumber[]
≤ 6 itens≥ 6 itens
Valores de estado medidos na ordem: rotação e elevação do ombro, flexão do cotovelo, flexão e rotação do pulso, todos em graus, seguidos pela posição da garra em porcentagem.
state_historyopcional
Tipoarray[]
≤ 7 itens≥ 7 itens
Histórico do estado medido, omitido para um episódio novo e, caso contrário, exigindo `command_history`. Forneça as medições em ordem cronológica para os 7 ticks de controle imediatamente anteriores a `state`, a 30 Hz.
command_historyopcional
Tipoarray[]
≤ 8 itens≥ 8 itens
Histórico de comandos absolutos que exige `state_history`, com o comando enviado mais recentemente na última linha. As linhas seguem cronologicamente por 8 ticks de observação e especificam o comando em vigor em cada tick.
history_scene_image_urlopcional
Tipourl · image
Entrada histórica do quadro da cena que exige `state_history`; sua omissão usa o quadro atual. O quadro fornecido representa a observação histórica mais antiga, de 7 ticks atrás.
history_wrist_image_urlopcional
Tipourl · image
Quadro da câmera do pulso no tick histórico mais antigo; `state_history` é obrigatório.
num_inference_stepsopcional
Tipointeger
Padrão4
1 – 8
Número de etapas de redução de ruído de Euler; a validação do checkpoint usou 4 etapas.
guidance_scaleopcional
Tiponumber
Padrão3
1 – 10
Intensidade da orientação sem classificador para vídeo e ação; defina como 1.0 para desativar CFG.
seedopcional
Tipointeger | null
Seed de amostragem com as configurações de avaliação de referência de DROID: 0 e SO-101: 42. Se não for especificada, uma seed será selecionada aleatoriamente.
obrigatório

Os parâmetros de arquivo aceitam uma URL https:// pública, um URI data: de até 10 MB ou o file_url de um upload. Arquivos

Saída

GET /requests/req_8k2m4q7x1z9c3v5b6n0p2r4t
{
  "id": "req_8k2m4q7x1z9c3v5b6n0p2r4t",
  "object": "request",
  "model": "flux-3-action/so101",
  "status": "succeeded",
  "created_at": "2026-10-20T12:00:00Z",
  "started_at": "2026-10-20T12:00:02Z",
  "completed_at": "2026-10-20T12:00:09Z",
  "queue_position": null,
  "cost": {
    "credits": 3,
    "usd": "0.003",
    "charged": 3,
    "refunded": 0
  },
  "input": {
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  },
  "output": {
    "actions": [
      [
        1.0
      ]
    ],
    "action_labels": [
      "string"
    ],
    "action_hz": 1.0,
    "execute_steps": 1,
    "seed": 42,
    "timings": {}
  },
  "outputs": [
    {
      "type": "file",
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_size": 1843200,
      "stored": true
    }
  ],
  "error": null,
  "metrics": {
    "inference_seconds": 6.8
  },
  "urls": {
    "self": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t",
    "cancel": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t/cancel"
  }
}
Seus arquivos, sua escolhaCada outputs[].url é uma cópia em nosso armazenamento: mantida para sempre (cobrada por GB-mês) ou por 7 dias gratuitamente, conforme a configuração da sua conta ou ?storage=.
Mesmo formato em todos os modelostype, url, content_type, width, height e duration, para imagens, vídeos e áudios. output é o próprio objeto de resultado do modelo.
Campos da saída
actions
array of array of numberMatriz de ações previstas com linhas cronológicas representando as etapas de controle; os valores não são limitados, portanto os limites de juntas, velocidade e espaço de trabalho devem ser aplicados no robô. A 30 Hz, SO-101 fornece comandos absolutos 42x6 em graus e % da garra; a 15 Hz, DROID fornece 32x8 alvos absolutos de juntas em radianos, além da fração fechada da garra.
action_labels
array of stringNomes correspondentes às colunas de ação.
action_hz
numberFrequência de controle das linhas de ação.
execute_steps
integerNúmero de ações iniciais a executar antes de solicitar outro bloco.
seed
integerSeed aleatória usada durante a amostragem.
timings
objectMedições de tempo do servidor, expressas em segundos.

Para agentes de IA: esta página em Markdown está em https://doitong.com/pt-BR/developers/models/flux-3-action/so101.md. Todos os modelos e guias: https://doitong.com/developers/llms.txt