Összeengedték a mesterséges intelligenciát a kevert valósággal: itt a Microsoft SIGMA
Valós feladatok mesterséges intelligenciával segített megoldásához, elvégzéséhez fejlesztette ki a Microsoft a SIGMA nevű prototípust. Nyílt forráskódú kutatási platformról van szó, amely ugyan bárki számára elérhető, de elsősorban a kutatóknak, fejlesztőknek érdemes foglalkozniuk vele.
hvg.hu
A Microsoft bejelentette, hogy elindította a SIGMA-t (Situated Interactive Guidance Monitoring and Assistance), egy valós feladatokhoz készített nyílt forráskódú tesztelési prototípust.
Egy interaktív alkalmazásról van szó, amely jelenleg HoloLens 2 eszközön fut, számos vegyes valóságot és mesterséges intelligenciát alkalmazó technológiát ötvöz, beleértve a nagy nyelvi és látási modelleket, hogy végig vezesse a felhasználót a legkülönfélébb feladatokon. A feladatokat lépések sorozataként strukturálja, amelyek vagy előre definiálhatók manuálisan egy feladatkönyvtárban, vagy menet közben generálhatók egy nagy nyelvi modell, például a GPT-4 használatával. Az interakciók során a SIGMA nagy nyelvi modelleket tud hasznosítani, hogy megválaszolja a felhasználónak a feladatmegoldás során felmerülő nyílt végű kérdéseket. Olyan látásmodelleket is használhat, mint a Detic és a SEEM, hogy felismerje és nyomon kövesse a környezetben lévő feladathoz kapcsolódó objektumokat, és szükség szerint rámutasson a felhasználóra.
Balról jobbra: valaki a HoloLens 2-n futó SIGMA-t használja egy feladat végrehajtására. Elsőszemélyű nézet, amely a SIGMA feladat-vezető paneljét és a feladatspecifikus hologramokat mutatja. A rendszer jelenetmegértésének 3D-s megjelenítése, amely tekintetet, kéz- és fejpózt is mutat
Microsoft
A SIGMA a Microsoft tulajdonában lévő fejlesztői közösségi oldalon, a GitHubon érhető el. Bár a SIGMA-t bárki használhatja, a rendszer valójában a kutatóknak való. A Microsoft a folyamat felgyorsítása érdekében tette nyílt forráskódúvá a platformot, hogy a kutatóknak, fejlesztőknek ne az alapvető tervezéssel kelljen bajlódniuk, hanem inkább a funkciókra összpontosíthassanak.
Mindehhez hozzájárul, hogy keretrendszerének köszönhetően a SIGMA gyors prototípuskészítést tesz lehetővé, ezzel is segítve különféle mesterségesintelligencia-asszisztensek létrehozását. Architektúrája miatt a SIGMA megkerüli az eszközkorlátokat, és különféle mélység-, hang-, fej-, kéz- és tekintetkövetési információkat tartalmazó adatfolyamokat küld egy asztali szerverre. Mivel egy erősebb eszköz végzi a feldolgozást, így a jövőben esetleg más eszközökön is használhatóvá válhat a rendszer.
SIGMA is an open-source prototype system that enables researchers to explore and evaluate new approaches for physical task assistance using mixed reality and AI technologies. This video depicts two example interactions from the point-of-view of someone acting out physical task assistance scenarios with SIGMA on a HoloLens 2 headset.
Mi járhat Donald Trump fejében? Az USA és az EU mire juthat Kínával? Szijjártó Péter hozta Debrecenbe a kínai CATL-t vagy a német BMW? Pogátsa Zoltán, a Soproni Egyetem docense, és Trippon Mariann, a CIB Bank vezető elemzője volt a HVG Címlapsztori vendége. Videó.