Passer au contenu

Flux 3 Action

Intégrer

Identifiant du modèle flux-3-action/so101
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

Cette requête: ≈0,003 $ 3 crédits API L’exécuter sur cette page

Obtenir une clé API
Black Forest Labs Vidéo vers vidéo #robotic#arm

Modèle de politique robotique qui prédit des séquences d'actions du bras SO-101 à partir d'images caméra, de l'état des articulations et d'une instruction

Black Forest Labs · Données (JSON)

Votre premier résultat apparaîtra ici

Construisez une requête ci-dessous et exécutez-la avec votre clé API. Les sorties sont copiées dans notre stockage, conservées indéfiniment ou 7 jours gratuitement.

Créer une requête

Les contrôles sont générés à partir du schéma du modèle. Le code et le prix se mettent à jour lorsque vous les modifiez.

•requis 88 / 2000

Instructions de tâche du robot exprimées en langage naturel.

•requis
Déposez un fichier, ou

Image de gauche montrant l’image actuelle de la caméra de la scène fixe après redimensionnement à 256x256.

•requis
Déposez un fichier, ou

Image actuelle de la caméra du poignet, placée dans le panneau de droite et redimensionnée à 256x256.

•requis

Valeurs d’état mesurées dans l’ordre : rotation et élévation de l’épaule, flexion du coude, flexion et rotation du poignet, toutes en degrés, puis position de la pince en pourcentage.

Avancé history_scene_image_url · history_wrist_image_url · num_inference_steps · guidance_scale · seed · state_history · command_history
Déposez un fichier, ou

Entrée d’image historique de la scène nécessitant `state_history` ; en son absence, l’image actuelle est utilisée. L’image fournie représente l’observation historique la plus ancienne, 7 cycles auparavant.

Déposez un fichier, ou

Image de la caméra du poignet au cycle historique le plus ancien ; `state_history` est requis.

par défaut 4

Nombre d’étapes de débruitage d’Euler ; la validation du checkpoint a utilisé 4 étapes.

par défaut 3

Intensité du guidage sans classifieur pour la vidéo et l’action ; définissez-la sur 1.0 pour désactiver CFG.

Graine d’échantillonnage avec les paramètres d’évaluation de référence de DROID : 0 et de SO-101 : 42. Si elle n’est pas spécifiée, une graine est sélectionnée aléatoirement.

Historique de l’état mesuré, omis pour un épisode initial et nécessitant sinon `command_history`. Fournissez les mesures dans l’ordre chronologique pour les 7 cycles de contrôle précédant immédiatement `state`, à 30 Hz.

Historique des commandes absolues nécessitant `state_history`, la commande envoyée le plus récemment figurant sur la dernière ligne. Les lignes sont ordonnées chronologiquement sur 8 cycles d’observation et indiquent la commande active à chaque cycle.

POST /run/flux-3-action/so101?wait=20 devis → 0,003 $
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

Exécuter cette requête

Votre clé reste dans ce navigateur : elle est envoyée uniquement à la Doitong API et enregistrée dans localStorage uniquement si vous cochez Mémoriser. Obtenir une clé API

À propos de Flux 3 Action

Au lieu de médias, renvoie un JSON contenant les `actions` prédites, leur fréquence de contrôle, les libellés des colonnes et le nombre d'étapes initiales à exécuter (`execute_steps`) avant de demander une nouvelle séquence. Les entrées obligatoires sont un `prompt` textuel (jusqu'à 2000 caractères), `scene_image_url`, `wrist_image_url` et un `state` de 6 valeurs. Les entrées d'historique facultatives (`state_history`, `command_history`, images d'historique) fournissent un contexte temporel. `num_inference_steps` va de 1 à 8 et `guidance_scale` de 1 à 10.

Paramètres

NomType Par défautAutorisé Description
promptrequis
Typestring
≤ 2 000 caractères
Instructions de tâche du robot exprimées en langage naturel.
scene_image_urlrequis
Typeurl · image
Image de gauche montrant l’image actuelle de la caméra de la scène fixe après redimensionnement à 256x256.
wrist_image_urlrequis
Typeurl · image
Image actuelle de la caméra du poignet, placée dans le panneau de droite et redimensionnée à 256x256.
staterequis
Typenumber[]
≤ 6 éléments≥ 6 éléments
Valeurs d’état mesurées dans l’ordre : rotation et élévation de l’épaule, flexion du coude, flexion et rotation du poignet, toutes en degrés, puis position de la pince en pourcentage.
state_historyfacultatif
Typearray[]
≤ 7 éléments≥ 7 éléments
Historique de l’état mesuré, omis pour un épisode initial et nécessitant sinon `command_history`. Fournissez les mesures dans l’ordre chronologique pour les 7 cycles de contrôle précédant immédiatement `state`, à 30 Hz.
command_historyfacultatif
Typearray[]
≤ 8 éléments≥ 8 éléments
Historique des commandes absolues nécessitant `state_history`, la commande envoyée le plus récemment figurant sur la dernière ligne. Les lignes sont ordonnées chronologiquement sur 8 cycles d’observation et indiquent la commande active à chaque cycle.
history_scene_image_urlfacultatif
Typeurl · image
Entrée d’image historique de la scène nécessitant `state_history` ; en son absence, l’image actuelle est utilisée. L’image fournie représente l’observation historique la plus ancienne, 7 cycles auparavant.
history_wrist_image_urlfacultatif
Typeurl · image
Image de la caméra du poignet au cycle historique le plus ancien ; `state_history` est requis.
num_inference_stepsfacultatif
Typeinteger
Par défaut4
1 – 8
Nombre d’étapes de débruitage d’Euler ; la validation du checkpoint a utilisé 4 étapes.
guidance_scalefacultatif
Typenumber
Par défaut3
1 – 10
Intensité du guidage sans classifieur pour la vidéo et l’action ; définissez-la sur 1.0 pour désactiver CFG.
seedfacultatif
Typeinteger | null
Graine d’échantillonnage avec les paramètres d’évaluation de référence de DROID : 0 et de SO-101 : 42. Si elle n’est pas spécifiée, une graine est sélectionnée aléatoirement.
requis

Les paramètres de fichier acceptent une URL publique https://, un URI data: jusqu’à 10 MB ou le file_url d’un téléversement. Fichiers

Sortie

GET /requests/req_8k2m4q7x1z9c3v5b6n0p2r4t
{
  "id": "req_8k2m4q7x1z9c3v5b6n0p2r4t",
  "object": "request",
  "model": "flux-3-action/so101",
  "status": "succeeded",
  "created_at": "2026-10-20T12:00:00Z",
  "started_at": "2026-10-20T12:00:02Z",
  "completed_at": "2026-10-20T12:00:09Z",
  "queue_position": null,
  "cost": {
    "credits": 3,
    "usd": "0.003",
    "charged": 3,
    "refunded": 0
  },
  "input": {
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  },
  "output": {
    "actions": [
      [
        1.0
      ]
    ],
    "action_labels": [
      "string"
    ],
    "action_hz": 1.0,
    "execute_steps": 1,
    "seed": 42,
    "timings": {}
  },
  "outputs": [
    {
      "type": "file",
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_size": 1843200,
      "stored": true
    }
  ],
  "error": null,
  "metrics": {
    "inference_seconds": 6.8
  },
  "urls": {
    "self": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t",
    "cancel": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t/cancel"
  }
}
Vos fichiers, votre choixChaque outputs[].url est une copie dans notre stockage : conservée indéfiniment (facturation au Go-mois) ou 7 jours gratuitement, selon le réglage de votre compte ou ?storage=.
Même structure pour chaque modèletype, url, content_type, width, height et duration, pour les images, vidéos et fichiers audio. output est le propre objet de résultat du modèle.
Champs de sortie
actions
array of array of numberTableau d’actions prédites dont les lignes représentent les étapes de contrôle dans l’ordre chronologique ; les valeurs ne sont pas écrêtées, les limites des articulations, de la vitesse et de l’espace de travail doivent donc être appliquées sur le robot. À 30 Hz, SO-101 fournit 42x6 commandes absolues en degrés et en % de pince ; à 15 Hz, DROID fournit 32x8 cibles absolues d’articulations en radians, ainsi que la fraction de fermeture de la pince.
action_labels
array of stringNoms correspondant aux colonnes d’action.
action_hz
numberFréquence de contrôle des lignes d’action.
execute_steps
integerNombre d’actions initiales à exécuter avant de demander un autre bloc.
seed
integerGraine aléatoire utilisée pendant l’échantillonnage.
timings
objectMesures temporelles du serveur, exprimées en secondes.

Pour les agents IA : cette page au format Markdown est disponible à https://doitong.com/fr/developers/models/flux-3-action/so101.md. Tous les modèles et guides : https://doitong.com/developers/llms.txt