Aqbeż għall-kontenut

Flux 3 Action

Integra

Id tal-mudell flux-3-action/so101
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

Din it-talba: ≈$0.003 3 krediti tal-API Ħaddmu f’din il-paġna

Ikseb ċavetta API
Black Forest Labs Vidjo għal vidjo #robotic#arm

Mudell ta’ politika robotika li jbassar biċċiet ta’ azzjoni tad-driegħ SO-101 minn frejms tal-kamera, stat tal-ġogi u istruzzjoni

Black Forest Labs · Dejta (JSON)

L-ewwel riżultat tiegħek jidher hawn

Ibni talba hawn taħt u ħaddimha biċ-ċavetta API tiegħek. L-outputs jiġu kkupjati fil-ħażna tagħna, miżmuma għal dejjem jew 7 ijiem b’xejn.

Ibni talba

Il-kontrolli jiġu ġġenerati mill-iskema tal-mudell. Il-kodiċi u l-prezz jaġġornaw hekk kif tibdilhom.

•meħtieġ 88 / 2000

Istruzzjonijiet għall-kompiti tar-robot espressi b’lingwa naturali.

•meħtieġ
Waqqa’ fajl, jew

Immaġni tat-tile tax-xellug li turi l-frejm attwali tal-kamera fissa tax-xena wara d-daqs mill-ġdid għal 256x256.

•meħtieġ
Waqqa’ fajl, jew

Il-frejm attwali tal-kamera tal-polz, imqiegħed fit-tile tal-lemin u bid-daqs imnaqqas għal 256x256.

•meħtieġ

Valuri tal-istat imkejla fl-ordni: pan u lift tal-ispalla, flex tal-minkeb, flex u roll tal-polz, kollha fi gradi, segwiti mill-pożizzjoni tal-gripper bħala perċentwal.

Avvanzat history_scene_image_url · history_wrist_image_url · num_inference_steps · guidance_scale · seed · state_history · command_history
Waqqa’ fajl, jew

Input storiku tal-frejm tax-xena li jeħtieġ `state_history`; jekk jitħalla barra, jintuża l-frejm attwali. Il-frejm ipprovdut jirrappreżenta l-ewwel osservazzjoni tal-istorja, 7 ticks ilu.

Waqqa’ fajl, jew

Il-frejm tal-kamera tal-polz fl-ewwel tick tal-istorja; `state_history` huwa meħtieġ.

prestabbilit 4

Numru ta’ passi ta’ denoising ta’ Euler; il-validazzjoni tal-checkpoint użat 4 passi.

prestabbilit 3

Saħħa tal-gwida mingħajr klassifikatur kemm għall-vidjo kif ukoll għall-azzjoni; issettja għal 1.0 biex tiddiżattiva CFG.

Seed tat-teħid tal-kampjuni bis-settings ta’ referenza ta’ DROID: 0 u SO-101: 42. Jekk ma tispeċifikahx, jintgħażel seed bl-addoċċ.

Storja tal-istat imkejjel, li titħalla barra għal episodju ġdid u inkella teħtieġ `command_history`. Ibgħat il-kejl f’ordni kronoloġika għas-7 control ticks immedjatament qabel `state`, fi 30 Hz.

Storja tal-kmandi assoluti li teħtieġ `state_history`, bl-aħħar kmand mibgħut fl-aħħar ringiela. Ir-ringieli jimxu kronoloġikament fuq 8 observation ticks u jispeċifikaw il-kmand fis-seħħ f’kull tick.

POST /run/flux-3-action/so101?wait=20 kwotazzjoni → $0.003
# Run the model; wait up to 20 s for the finished result in the same call
curl -X POST "https://vit.doitong.com/api/v1/run/flux-3-action/so101?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  }'

# Still "queued" or "running"? Poll with the id from the response:
curl "https://vit.doitong.com/api/v1/requests/REQUEST_ID?wait=20" \
  -H "Authorization: Bearer $DOITONG_API_KEY"

Ħaddem din it-talba

Iċ-ċavetta tiegħek tibqa’ f’dan il-browser: tintbagħat biss lid-Doitong API u tiġi ssejvjata (localStorage) biss jekk timmarka Ftakar. Ikseb ċavetta API

Dwar Flux 3 Action

Minflok media, dan jirritorna JSON b’`actions` imbassra, ir-rata ta’ kontroll tagħhom, it-tikketti tal-kolonni, u kemm passi inizjali għandhom jiġu eżegwiti (`execute_steps`) qabel tintalab biċċa ġdida. L-inputs meħtieġa huma `prompt` testwali (sa 2000 karattru), `scene_image_url`, `wrist_image_url`, u `state` b’6 valuri. Inputs tal-istorja mhux obbligatorji (`state_history`, `command_history`, immaġnijiet tal-istorja) jipprovdu kuntest temporali. `num_inference_steps` jaħdem minn 1 sa 8 u `guidance_scale` minn 1 sa 10.

Parametri

IsemTip PrestabbilitPermess Deskrizzjoni
promptmeħtieġ
Tipstring
≤ 2,000 karattri
Istruzzjonijiet għall-kompiti tar-robot espressi b’lingwa naturali.
scene_image_urlmeħtieġ
Tipurl · image
Immaġni tat-tile tax-xellug li turi l-frejm attwali tal-kamera fissa tax-xena wara d-daqs mill-ġdid għal 256x256.
wrist_image_urlmeħtieġ
Tipurl · image
Il-frejm attwali tal-kamera tal-polz, imqiegħed fit-tile tal-lemin u bid-daqs imnaqqas għal 256x256.
statemeħtieġ
Tipnumber[]
≤ 6 oġġetti≥ 6 oġġetti
Valuri tal-istat imkejla fl-ordni: pan u lift tal-ispalla, flex tal-minkeb, flex u roll tal-polz, kollha fi gradi, segwiti mill-pożizzjoni tal-gripper bħala perċentwal.
state_historymhux obbligatorju
Tiparray[]
≤ 7 oġġetti≥ 7 oġġetti
Storja tal-istat imkejjel, li titħalla barra għal episodju ġdid u inkella teħtieġ `command_history`. Ibgħat il-kejl f’ordni kronoloġika għas-7 control ticks immedjatament qabel `state`, fi 30 Hz.
command_historymhux obbligatorju
Tiparray[]
≤ 8 oġġetti≥ 8 oġġetti
Storja tal-kmandi assoluti li teħtieġ `state_history`, bl-aħħar kmand mibgħut fl-aħħar ringiela. Ir-ringieli jimxu kronoloġikament fuq 8 observation ticks u jispeċifikaw il-kmand fis-seħħ f’kull tick.
history_scene_image_urlmhux obbligatorju
Tipurl · image
Input storiku tal-frejm tax-xena li jeħtieġ `state_history`; jekk jitħalla barra, jintuża l-frejm attwali. Il-frejm ipprovdut jirrappreżenta l-ewwel osservazzjoni tal-istorja, 7 ticks ilu.
history_wrist_image_urlmhux obbligatorju
Tipurl · image
Il-frejm tal-kamera tal-polz fl-ewwel tick tal-istorja; `state_history` huwa meħtieġ.
num_inference_stepsmhux obbligatorju
Tipinteger
Prestabbilit4
1 – 8
Numru ta’ passi ta’ denoising ta’ Euler; il-validazzjoni tal-checkpoint użat 4 passi.
guidance_scalemhux obbligatorju
Tipnumber
Prestabbilit3
1 – 10
Saħħa tal-gwida mingħajr klassifikatur kemm għall-vidjo kif ukoll għall-azzjoni; issettja għal 1.0 biex tiddiżattiva CFG.
seedmhux obbligatorju
Tipinteger | null
Seed tat-teħid tal-kampjuni bis-settings ta’ referenza ta’ DROID: 0 u SO-101: 42. Jekk ma tispeċifikahx, jintgħażel seed bl-addoċċ.
meħtieġ

Il-parametri tal-fajls jaċċettaw URL pubbliku https://, URI data: sa 10 MB, jew file_url ta’ upload. Fajls

Output

GET /requests/req_8k2m4q7x1z9c3v5b6n0p2r4t
{
  "id": "req_8k2m4q7x1z9c3v5b6n0p2r4t",
  "object": "request",
  "model": "flux-3-action/so101",
  "status": "succeeded",
  "created_at": "2026-10-20T12:00:00Z",
  "started_at": "2026-10-20T12:00:02Z",
  "completed_at": "2026-10-20T12:00:09Z",
  "queue_position": null,
  "cost": {
    "credits": 3,
    "usd": "0.003",
    "charged": 3,
    "refunded": 0
  },
  "input": {
    "prompt": "A red fox trots through fresh snow at sunrise, soft golden light, shallow depth of field",
    "scene_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "wrist_image_url": "https://content.doitong.com/images/showcase/v3/gen_fox_cartoon.jpg",
    "state": [
      -18.94,
      134.52,
      120.15,
      28.3,
      -32.17,
      27.02
    ]
  },
  "output": {
    "actions": [
      [
        1.0
      ]
    ],
    "action_labels": [
      "string"
    ],
    "action_hz": 1.0,
    "execute_steps": 1,
    "seed": 42,
    "timings": {}
  },
  "outputs": [
    {
      "type": "file",
      "url": "https://content.doitong.com/dev-api/2026/10/20/req_8k2m4q7x1z9c3v5b6n0p2r4t/0-output.jpeg",
      "content_type": "image/jpeg",
      "file_size": 1843200,
      "stored": true
    }
  ],
  "error": null,
  "metrics": {
    "inference_seconds": 6.8
  },
  "urls": {
    "self": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t",
    "cancel": "https://vit.doitong.com/api/v1/requests/req_8k2m4q7x1z9c3v5b6n0p2r4t/cancel"
  }
}
Il-fajls tiegħek, l-għażla tiegħekKull outputs[].url huwa kopja fil-ħażna tagħna: miżmuma għal dejjem (imħallsa għal kull GB-xahar) jew 7 ijiem b’xejn, skont l-issettjar tal-kont tiegħek jew ?storage=.
L-istess struttura fuq kull mudelltype, url, content_type, width, height u duration, kemm għall-immaġnijiet kif ukoll għall-vidjo u l-awdjo. output huwa l-oġġett tar-riżultat tal-mudell innifsu.
Oqsma tal-output
actions
array of array of numberArray ta’ azzjonijiet ippreveduti b’ringieli kronoloġiċi li jirrappreżentaw passi ta’ kontroll; il-valuri mhumiex limitati, għalhekk il-limiti tal-ġonot, tal-veloċità u tal-ispazju tax-xogħol għandhom jiġu infurzati fuq ir-robot. Fi 30 Hz, SO-101 jipprovdi 42x6 kmandi assoluti fi gradi u gripper %; fi 15 Hz, DROID jipprovdi 32x8 miri assoluti tal-ġonot f’radians flimkien mal-frazzjoni magħluqa tal-gripper.
action_labels
array of stringIsmijiet li jikkorrispondu mal-kolonni tal-azzjoni.
action_hz
numberIl-frekwenza tal-kontroll għar-ringieli tal-azzjoni.
execute_steps
integerNumru ta’ azzjonijiet inizjali li għandhom jiġu eżegwiti qabel tintalab biċċa oħra.
seed
integerSeed każwali użat waqt it-teħid tal-kampjuni.
timings
objectKejl tal-ħin mis-server, espress f’sekondi.

Għall-aġenti tal-AI: din il-paġna bħala Markdown tinsab fuq https://doitong.com/mt/developers/models/flux-3-action/so101.md. Il-mudelli u l-gwidi kollha: https://doitong.com/developers/llms.txt