Obsah

• Obmedzený rozpočet výkonu
• Šírka pásma a vysoké rozlíšenie
• Nízka latencia a zobrazovacie panely
• Audio a senzory
• Vývojári a softvér
• Zabaliť

Konečne sme sa ponorili hlboko do revolúcie, ako to niektorí môžu povedať, s hardvérovými a softvérovými produktmi, ktoré sú na trhu dosť, a prúdia zdroje, aby povzbudili inovácie. Máme však viac ako rok, odkedy sa v tomto priestore uvádza na trh hlavný produkt, a stále čakáme na túto vrahovú aplikáciu, aby sa virtuálna realita stala hlavným úspechom. Zatiaľ čo čakáme, nový vývoj naďalej robí z virtuálnej reality životaschopnejšiu komerčnú alternatívu, stále však existuje množstvo technických prekážok, ktoré treba prekonať, najmä v mobilnom VR priestore.

Obmedzený rozpočet výkonu

Najzreteľnejšou a najdiskutovanejšou výzvou, ktorej čelia mobilné aplikácie virtuálnej reality, je oveľa obmedzenejší rozpočet na energiu a tepelné obmedzenia v porovnaní s ekvivalentom stolného počítača. Spúšťanie intenzívnych grafických aplikácií z batérie znamená, že na zachovanie životnosti batérie sú potrebné komponenty s nižšou spotrebou energie a efektívne využívanie energie. Okrem toho blízkosť hardvéru na spracovanie k užívateľovi znamená, že nie je možné posunúť ani tepelný rozpočet. Pre porovnanie, mobilný telefón zvyčajne pracuje v rámci limitu nižšieho ako 4 W, zatiaľ čo grafická jednotka GPU pre stolné počítače môže ľahko spotrebovať 150 wattov alebo viac.

Všeobecne sa uznáva, že mobilný VR nebude porovnávať hardvér stolového počítača so surovou energiou, ale to neznamená, že spotrebitelia nevyžadujú pohlcujúce 3D zážitky s ostrým rozlíšením a vysokými snímkovými frekvenciami.

Všeobecne sa uznáva, že mobilný VR nebude porovnávať hardvér stolového počítača so surovou energiou, ale to neznamená, že spotrebitelia nebudú požadovať ponorné 3D zážitky v ostrom rozlíšení a s vysokými obnovovacími frekvenciami, napriek obmedzenejšiemu výkonu. rozpočet. Medzi sledovaním 3D videa, skúmaním 360 stupňov obnovených miest a dokonca aj hraním hier je stále veľa prípadov použitia vhodných pre mobilné VR.

Pri spätnom pohľade na váš typický mobilný SoC to vytvára ďalšie problémy, ktoré sa menej často oceňujú. Aj keď mobilné SoC dokážu zabaliť slušné osemjadrové procesorové usporiadanie a nejaký pozoruhodný výkon GPU, nie je možné spustiť tieto čipy pri plnom náklone, a to z dôvodu vyššie uvedenej spotreby energie a tepelných obmedzení. V skutočnosti chce procesor v inštancii mobilného VR bežať čo najmenej času, čím sa GPU uvoľní veľká časť obmedzeného rozpočtu na energiu. Nielenže to obmedzuje zdroje dostupné na hernú logiku, výpočty fyziky a dokonca aj mobilné procesy na pozadí, ale tiež zaťažuje základné úlohy VR, ako je napríklad čerpanie hovorov na stereoskopické vykreslenie.

Toto odvetvie už pracuje na riešení tohto problému, ktoré sa netýka iba mobilných telefónov. Multi-view rendering je podporovaný v OpenGL 3.0 a ES 3.0 a bol vyvinutý prispievateľmi spoločností Oculus, Qualcomm, Nvidia, Google, Epic, ARM a Sony. Multiview umožňuje stereoskopické vykreslenie iba s jedným vyvolávacím volaním, a nie jedným pre každý zorný bod, čím sa znižujú požiadavky na procesor a tiež sa zmenšuje vrcholná úloha GPU. Táto technológia môže zvýšiť výkon o 40 až 50 percent. V mobilnom priestore je funkcia Multiview už podporovaná niekoľkými zariadeniami ARM Mali a Qualcomm Adreno.

Ďalšou inováciou, ktorá sa má objaviť v pripravovaných mobilných VR produktoch, je rýchle vykreslenie. Foveating rendering sa používa v spojení s technológiou sledovania očí a odľahčuje zaťaženie GPU tým, že presne vykresľuje presný ohnisko používateľa v plnom rozlíšení a znižuje rozlíšenie objektov v periférnom videní. Príjemne dopĺňa systém ľudskej vízie a môže výrazne znížiť zaťaženie GPU, čím sa šetrí energia a / alebo uvoľňuje viac energie pre ďalšie úlohy CPU alebo GPU.

Šírka pásma a vysoké rozlíšenie

Aj keď je výpočtový výkon v situáciách mobilného VR obmedzený, platforma sa stále riadi rovnakými požiadavkami ako iné platformy virtuálnej reality, vrátane požiadaviek na zobrazovacie panely s nízkou latenciou a vysokým rozlíšením. Dokonca aj tí, ktorí si prezerali snímky VR, ktoré sa môžu pochváliť rozlíšením QHD (2560 x 1440) alebo rozlíšením náhlavnej súpravy Rift 1080 × 1200 na jedno oko, budú zrejme zrejme čistotou obrazu trochu podchytení. Aliasing je obzvlášť problematický vzhľadom na to, že naše oči sú tak blízko obrazovky, pričom hrany sa počas pohybu javia obzvlášť drsné alebo zubaté.

Aj keď je výpočtový výkon v situáciách mobilného VR obmedzený, platforma sa stále riadi rovnakými požiadavkami ako iné platformy virtuálnej reality, vrátane požiadaviek na zobrazovacie panely s nízkou latenciou a vysokým rozlíšením.

Riešením hrubej sily je zvýšenie rozlíšenia displeja, pričom 4K je ďalším logickým vývojom. Zariadenia však musia udržiavať vysokú obnovovaciu frekvenciu bez ohľadu na rozlíšenie, pričom 60 Hz sa považuje za minimum, ale oveľa výhodnejšie je 90 alebo dokonca 120 Hz. To predstavuje veľkú záťaž pre systémovú pamäť, pričom kdekoľvek sa nachádzajú dva až osemkrát viac ako súčasné zariadenia. Šírka pásma pamäte je už v mobilnom VR už obmedzenejšia ako v stolných produktoch, ktoré namiesto zdieľanej oblasti využívajú rýchlejšiu vyhradenú grafickú pamäť.

Medzi možné riešenia, ktoré môžete ušetriť na šírke pásma grafiky, patrí použitie kompresných technológií, ako je napríklad štandard ARM a AMD Adaptive Scalable Texture Compression (ASTC) alebo bezstratový formát textúry Com Ericsson, ktoré sú oficiálnymi rozšíreniami OpenGL a OpenGL ES. ASTC je tiež podporovaný v hardvéri v najnovších GPU pre GPM spoločnosti Mali, vo firmách Kepler a Maxwell Tegra od spoločnosti Nvidia a najnovších integrovaných GPU spoločnosti Intel a v niektorých scenároch môže ušetriť až 50 percent šírky pásma v porovnaní s použitím nekomprimovaných textúr.

Použitie kompresie textúry môže výrazne znížiť šírku pásma, latenciu a pamäť vyžadovanú v 3D aplikáciách. Zdroj - ARM.

Môžu sa implementovať aj iné techniky.Použitie tesselácie môže vytvoriť podrobnejšie vyzerajúcu geometriu z jednoduchších objektov, aj keď si vyžaduje niektoré ďalšie podstatné zdroje GPU. Odložené renderovanie a zabíjanie pixelov vpred sa môže vyhnúť vykresleniu uzavretých pixelov, zatiaľ čo architektúry Binning / Tiling sa dajú použiť na rozdelenie obrázka na menšie mriežky alebo dlaždice, ktoré sa vykresľujú samostatne, pričom všetky môžu ušetriť na šírke pásma.

Alternatívne, alebo výhodne navyše, môžu vývojári uskutočňovať obete v kvalite obrazu, aby sa znížilo napätie v šírke pásma systému. Hustota geometrie môže byť obetovaná alebo agresívnejšie utratenie použité na zníženie zaťaženia a rozlíšenie údajov vrcholu môže byť znížené na 16-bit, oproti tradične používanej 32-bitovej presnosti. Mnoho z týchto techník sa už používa v rôznych mobilných balíkoch a spolu môžu pomôcť znížiť zaťaženie šírky pásma.

Pamäť nie je len hlavným obmedzením v mobilnom VR priestore, ale je to tiež pomerne veľký spotrebiteľ energie, ktorý sa často rovná spotrebe procesora alebo GPU. Prenosné riešenia virtuálnej reality by vďaka úsporám na šírke pásma a využití pamäte mali mať dlhšiu výdrž batérie.

Nízka latencia a zobrazovacie panely

Keď už hovoríme o problémoch s oneskorením, doteraz sme videli iba športové náhlavné súpravy VR, ktoré sa zaoberajú zobrazovacími panelmi OLED, a to väčšinou kvôli rýchlym prepínacím dobám pixelov pod milisekundu. Z historického hľadiska bol LCD spájaný s problémami s duchmi pre veľmi rýchle obnovovacie frekvencie, čo ich robí nevhodnými pre VR. Výroba LCD panelov s veľmi vysokým rozlíšením je však stále lacnejšia ako výroba ekvivalentov OLED, takže prechod na túto technológiu by mohol pomôcť znížiť cenu náhlavných súprav VR na dostupnejšie úrovne.

Latencia pohybu na fotón by mala byť menšia ako 20 ms. To zahŕňa registráciu a spracovanie pohybu, spracovanie grafiky a zvuku a aktualizáciu displeja.

Displeje sú obzvlášť dôležitou súčasťou celkovej latencie systému virtuálnej reality a často robia rozdiel medzi zdanlivým a čiastkovým zážitkom. V ideálnom systéme by mala byť latencia pohybu - fotónu - čas, ktorý uplynie medzi pohybom hlavy a odozvou displeja - kratšia ako 20 milisekúnd. Je zrejmé, že 50ms displej tu nie je dobrý. V ideálnom prípade musia byť panely menšie ako 5 ms, aby sa prispôsobili aj snímaču a latencii pri spracovaní.

V súčasnosti existuje kompromis medzi nákladmi a výkonmi, ktorý uprednostňuje OLED, ale čoskoro sa to môže zmeniť. LCD panely s podporou vyšších obnovovacích frekvencií a nízkych časov odozvy čiernej na bielu, ktoré využívajú najmodernejšie techniky, ako je napríklad blikanie zadných svetiel, by sa mohli príjemne zmestiť. Spoločnosť Japan Display predviedla tento panel minulý rok a môžeme vidieť, že aj iní výrobcovia oznamujú podobné technológie.

Audio a senzory

Zatiaľ čo väčšina bežných tém virtuálnej reality sa točí okolo kvality obrazu, pohlcujúci VR vyžaduje tiež vysoké rozlíšenie, priestorovo presné 3D zvukové senzory a senzory s nízkou latenciou. V mobilnej oblasti sa to všetko musí urobiť v rámci rovnakého obmedzeného rozpočtu na energiu, ktorý ovplyvňuje CPU, GPU a pamäť, čo predstavuje ďalšie výzvy.

Doteraz sme sa dotýkali problémov s latenciou senzora, v ktorých musí byť pohyb zaregistrovaný a spracovaný ako súčasť limitu latencie pohybu do 20 fotónov pod 20 ms. Ak vezmeme do úvahy, že náhlavné súpravy VR používajú 6 stupňov pohybu - rotácia a vybočenie v každej z osí X, Y a Z - a nové technológie, ako napríklad sledovanie očí, je tu značné množstvo konštantných údajov, ktoré je možné zbierať a spracovať, a to všetko s minimálnymi latencia.

Riešenia na udržanie čo najnižšej latencie do značnej miery si vyžadujú prístup end-to-end, pričom hardvér aj softvér môžu tieto úlohy vykonávať súbežne. Našťastie v prípade mobilných zariadení je používanie vyhradených procesorov s nízkym príkonom a vždy zapnutá technológia veľmi bežné a tieto zariadenia pracujú s pomerne nízkym výkonom.

Pokiaľ ide o zvuk, 3D pozícia je technika, ktorá sa dlho používa na hranie hier a podobne, ale použitie prenosovej funkcie súvisiacej s hlavou (HRTF) a spracovania konvolučných reverbov, ktoré sú potrebné na realistické umiestnenie zdrojov ozvučenia, sú dosť náročné na procesor. Aj keď sa tieto dajú vykonať na CPU, vyhradený procesor digitálneho signálu (DSD) môže tieto typy procesov vykonávať oveľa efektívnejšie, a to tak z hľadiska času spracovania, ako aj energie.

Kombináciou týchto funkcií s požiadavkami na grafiku a zobrazenie, ktoré sme už spomenuli, je zrejmé, že použitie viacerých špecializovaných procesorov je najúčinnejším spôsobom, ako uspokojiť tieto potreby. Videli sme, že Qualcomm robí veľa z heterogénnych výpočtových schopností svojej vlajkovej lode a najnovších mobilných platforiem Snapdragon v strednej vrstve, ktoré kombinujú rôzne spracovateľské jednotky do jedného balíka s funkciami, ktoré pekne prispievajú k splneniu mnohých z týchto potrieb mobilného VR. Pravdepodobne uvidíme druh energie balíčkov v mnohých mobilných VR produktoch, vrátane samostatného prenosného hardvéru.

Vývojári a softvér

A konečne, žiadne z týchto hardvérových vylepšení nie sú oveľa dobré bez softvérových balíkov, herných motorov a SDK na podporu vývojárov. Koniec koncov, nemôžeme mať každého vývojára, ktorý vynáša koleso pre každú aplikáciu. Ak uvidíme širokú škálu aplikácií, je kľúčové udržiavať nízke náklady na vývoj a čo najrýchlejšie tempo.

Konkrétne súpravy SDK sú nevyhnutné na implementáciu kľúčových úloh spracovania VR, ako je asynchrónny Timewarp, korekcia skreslenia šošoviek a stereoskopické vykreslenie. Nehovoriac o riadení výkonu, teploty a spracovania v heterogénnych hardvérových nastaveniach.

Našťastie všetci hlavní výrobcovia hardvérovej platformy ponúkajú vývojárom sady SDK, hoci trh je dosť rozdrobený, čo vedie k nedostatku podpory naprieč platformami. Napríklad, Google má svoju VR SDK pre Android a vyhradenú SDK pre populárny Unity engine, zatiaľ čo Oculus má svoju Mobile SDK postavenú v spojení so spoločnosťou Samsung pre Gear VR. Dôležité je, že skupina Khronos nedávno predstavila svoju iniciatívu OpenXR, ktorej cieľom je poskytnúť API na pokrytie všetkých hlavných platforiem na úrovni úrovní zariadení a aplikácií, aby sa uľahčil ľahší vývoj naprieč platformami. OpenXR videl podporu vo svojom prvom virtuálnom realitnom zariadení niekedy pred rokom 2018.

Zabaliť

Napriek niektorým problémom sa technológia vyvíja a do určitej miery tu už spôsobuje, že mobilná virtuálna realita je použiteľná pre celý rad aplikácií. Aplikácia Mobile VR má tiež množstvo výhod, ktoré sa jednoducho nevzťahujú na ekvivalenty stolných počítačov, čo z nej urobí platformu hodnú investícií a intríg. Faktor prenosnosti robí z mobilného VR vynikajúcu platformu pre multimediálne zážitky a dokonca aj ľahké hry, bez potreby káblov pripojených k výkonnejšiemu počítaču.

Okrem toho samotný počet mobilných zariadení na trhu, ktoré sú čoraz viac vybavené funkciami virtuálnej reality, z neho robí platformu výberu pre oslovenie najväčšieho cieľového publika. Ak sa má virtuálna realita stať mainstreamovou platformou, ktorá potrebuje používateľov, a mobil je najväčšou užívateľskou základňou, na ktorú sa dá klepnúť.