A Pinscreen titkosított bővített valósága és a CGI

A kibővített valóság és az arc-csere úgy tűnik, hogy a következő mobilalkalmazások forró jelöltjei; nézd csak meg a Facebook vásárlását az MSQRD-ről vagy a „Buysery” beszerzéséről. De egy Pinscreen nevű AR indítás, amely jelenleg a Lux Capital és a Colopl VR Alap 1,8 millió dolláros dallamát támogatja, e téren másként kíván dolgozni. fordítottja kizárólag a Pinscreen alapítójának, Hao Li-nek beszélt arról, hogy mi lehet a titkos társaság előtt.

Lehet, hogy nem hallott a Hao Li-ről, de valószínűleg láttad ezt az USC-asszisztens professzor kutatómunkáját több blokkfilmben. A vizuális effektusok stúdiójában az Industrial Light & Magic, Li segített néhány olyan eszközt fejleszteni, amely valós idejű teljesítmény-rögzítést tett lehetővé. Az elképzelés az volt, hogy egy színész el tudott ülni egy számítógéppel egy webkamerával, cselekedni egy jelenetet, majd ezt a teljesítményt valós időben lefordítani CG karakterre.

Li kiterjedt kutatást végzett más területeken is, beleértve a valódi emberek 3D modelljeinek valós idejű feldolgozását, és hasonlóságuk fontos részeinek, különösen az arcok és a haj felvételét. Legutóbb Li megmutatta a kutatást, hogy ő és mások elvégezték a teljesítményt egyetlen személyről, és egy digitális karaktert fordítottak le.

Eleinte ez nem olyan újszerű. A fejlesztésben már számos arckövető megoldás létezik, mind a mobil alkalmazások, mind a sokkal kifinomultabb rendszerek, például a Faceshift (az Apple által 2015-ben vásárolt) rendszerek esetében. Ezek közül sokan mélységérzékelőkre támaszkodnak, amelyeket a Li technológia nem igényel. Ez a megközelítés nagyon eltérő.

„Ha mélységérzékelője van, akkor mindössze annyit kell tennie, hogy optimalizálja az arcmodell paramétereit, hogy a modell a lehető legközelebb illeszkedjen a 3D bemenethez” - magyarázza Li. „Egy tiszta RGB bemenet esetén azonban az egész világot egy olyan kétdimenziós képre vetítik, amely nem ismert kamera-paraméterekkel rendelkezik, mint például a gyújtótávolság. Tehát egy pontos 3D arcmodellre kell következtetni ebből a kivetített képből, és képesnek kell lennie a világítási körülmények széles skálájának és a különböző tárgyak megjelenésének kezelésére."

Ezért fontos Li kutatása a 3D-s avatarokkal. Az emberi arc feltérképezésekor sok térképezési program bajba kerül a vizuális akadályokkal, mint a haj és a szemüveg. A probléma elkerülése érdekében a Pinscreen „mély konvolúciós neurális hálózatot épített ki, amely megtanulhatja, hogyan szegmentálhatja az arcterületet egy teljesen korlátlan képbe.”

Szóval, mi a Pinscreen ez az őrült fejlett technológia?

„Újfajta szociális média / kommunikációs platform leszünk néhány érdekes AR képességgel” - mondja Li. „Nem lesz olyan alkalmazás, mint a webcímek vagy az MSQRD, ami a legtöbb ember számára csak néhány percig érdekes.”

Szóval, ez nem sokkal több, mint mostanában a szavak. De mélyebbre nézve, előzetes munkája azt sugallja, hogy remélni fogják, hogy képesek lesznek nyomon követni valakinek az arcát, annak ellenére, hogy bármilyen haj, szemüveg vagy más olyan tárgy van, amely akadályozza az egyetlen kamera nézetét. Adj hozzá néhány kibővített valóságot, és az égen a filmek, a közösségi média és a játékok korlátját.

Hihetetlenül hangzik, de fontos megjegyezni, hogy Li és csapata nem az egyetlen, aki ezen a területen kutat. A Disney a közelmúltban bemutatta a valós idejű arcfelvételt, és néhány más kutatót is, egy Face2Face nevű eszközzel. Továbbá a fent említett Faceshift, valamint a Facebook és a XML, akik szintén elkezdték bemutatni a termékeiket.

Tehát mi teszi különbözõvé a Pinscreen technológiáját? Li azt javasolja, hogy cége megoldása „sokkal robusztusabb és pontosabb 3D-modelleket eredményez, mivel kifejezetten kezeljük az elzárásokat.”

„Legfontosabb innovációnk olyan technológia, amely lehetővé teszi, hogy egy teljes 3D-s fejmodellt építhessünk, amely automatikusan magában foglalja a haj minden képét” - állítja. „Ez a fajta feladat hagyományosan megköveteli a képzett CG-modellezőt és a rigger-et, de ezt teljesen automatikusan generálhatjuk. A SIGGRAPH-nál (a vezető számítógépes grafika és interaktív technikák konferenciáján) bemutatott legújabb dokumentumok több bemeneti képet is igényelnek bevitelként - a minimális bemeneti igénygel, egyetlen 2D-s képpel foglalkozunk. ”

Természetesen, amíg az emberek nem látnak és nem használnak semmilyen alkalmazást a Pinscreen-ről, a zsűri marad a képességeiről. A különbség azonban az, hogy Li biztosan mögötte van a kutatás és az innováció szilárd története, különösen a digitális avatárok készítésében.

Li egyértelműen magabiztos a Pinscreen lehetőségeiről a szociális média térben. „Mivel a technikánk a 3D-s avatarok generálását demokratizálja, nyilvánvaló alkalmazásokat fog játszani a játékokban, a VR / AR alkalmazásokban a magával ragadó kommunikációban, vagy az AI ügynököknek” - mondja, „de azt hiszem, mi magunk is hozzák létre a legmenőbb alkalmazást. a szociális mediális platform, amelyet fejlesztünk.

"A legfontosabb," hozzáteszi, hogy "olyan dolgot akarunk építeni, amely lehetővé teszi az emberek számára, hogy valóban érdekes tartalmat hozzanak létre a mai drága VFX csővezeték nélkül, és igazán szórakoztató AR tartalmat használhatnak egymáshoz."

Úgy hangzik, mintha a Pinscreen magában foglalná a Li és csapata által kínált technológiákat. De azt mondja, ez csak egy része a tervnek. „A tech demo valójában csak annak a jellemzője, amit használni akarunk” - jegyzi meg. „A Pinscreen sokkal nagyobb lesz, és a tech érdekes funkció lesz az elején. Mi is más lesz, mint a többi közösségi médiaplatform. ”

Jelenleg a Pinscreen még mindig egy kis rejtély, és úgy tűnik, csak várnunk kell, hogy lássa, mi van a boltban.