Számos olyan eszköz áll rendelkezésre a filmesek számára, amely segítségével finomhangolni lehet egy film vagy sorozat felvett jelenetét. Lehetőség van például arra, hogy az utómunka során eltávolítsák a felvételről jelenetbe belógó statisztákat, eszközöket, ahogy tették azt például a Trónok harca készítői is. A technológiának azonban megvannak a maga korlátai a bonyolultabb fizikai interakciók terén.
Ha a készítők például egy olyan tárgyat akarnak eltávolítani a képről, ami nekiütközött valaminek, vagy megtámasztott valamit, a megmaradt tárgy viselkedése ellentmond a fizika törvényeinek. Ha például egy karakter alól törölnek egy széket, a karakter továbbra is ülni fog, csak épp a levegőben lebegve.
A Netflix mérnökei a probléma kiküszöbölésére egy új megoldást találtak ki. Ez lett a VOID: egy új mesterséges intelligencia keretrendszer, amely nemcsak eltávolítja az elemeket egy jelenetből, hanem átírja hiányuk fizikai következményeit is. A fenti példával élve: a karakter a szék hiányában lezuhanna a padlóra. (De nagyon dulván.)
A középső dominók hiányában a sárga dominó nem dől el.
Netflix
Annak érdekében, hogy egy objektum eltávolítása realisztikusnak, ne pedig fizikai értelemben véve lehetetlennek tűnjön, a VOID a fizikai törvényszerűségeket szem előtt tartó rendszerként viselkedik – fejtik ki a technológia lényegét az arXiv preprint szerveren megjelent tanulmányban a mérnökök.
A megoldás egy háromlépéses folyamatot követ, hogy segítsen végiggondolni egy adott jelenetet. Először azonosítja azokat a területeket, amelyeket a változás érinthet, majd létrehoz egy speciális térképet, az úgynevezett quadmaszkot. Ez az a terület, ahol az árnyékoknak el kell tűnniük, vagy ahol az objektumok eltérően mozoghatnak.
Ezután létrehoz egy új videóverziót, amely figyelembe veszi ezeket a változásokat. Végül a jelenetet másodszor is átfutja, hogy finomítsa a mozgást, és biztosítsa, hogy az objektumok ne veszítsék el alakjukat, miközben különböző pályákon mozognak.
https://hvg.hu/tudomany/20260407_chip-mesterseges-intelligencia-mukodese-energiafogyasztas
A rendszert több ezer pár digitális szekvencián képezték ki, hogy segítsék megérteni az ok-okozati összefüggéseket. Ezen szimulált cselekvések megfigyelésével a mesterséges intelligencia megtanulta, jellemzően hogyan reagálnak a tárgyak, amikor eltűnnek a támaszok, valamint az ütközések során, és amikor akadállyal találkozik.
A projekt GitHub-oldalán rengeteg példavideót osztottak meg a mérnökök. A rendszer képes például törölni egy tekéző csapatot és a golyót, így a bábuk állva maradnak, de akár egy autós karambolnál is törölni tudja az esemény bekövetkeztét.
A rendszer jellemzően néhány másodperces felvételeket képes manipulálni, de a mérnökök azt remélik, hogy a jövőben nagyobb videókkal is meg tud majd birkózni.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.
