Съдържание

• Ограничен бюджет за захранване
• Честотна лента и висока разделителна способност
• Панели с ниска латентност и дисплей
• Аудио и сензори
• Разработчици и софтуер
• Увиване

Най-накрая потапяме дълбоко в революцията, както някои биха казали, с хардуерни и софтуерни продукти, които са достатъчни на пазара, и ресурси се наливат, за да стимулират иновациите. Въпреки това, ние сме повече от година от пускането на основните продукти в това пространство и все още чакаме на това убийствено приложение, за да превърне виртуалната реалност в основен успех. Докато чакаме, новите разработки продължават да превръщат виртуалната реалност в по-жизнеспособна търговска опция, но все още има редица технически пречки за преодоляване, особено в мобилното VR пространство.

Ограничен бюджет за захранване

Най-очевидното и добре обсъждано предизвикателство, с което се сблъскват мобилните приложения за виртуална реалност, е много по-ограниченият бюджет на енергия и топлинните ограничения в сравнение с еквивалента на настолния компютър. Изпълнението на интензивни графични приложения от батерия означава, че за запазване живота на батерията са необходими по-ниски компоненти на енергия и ефективно използване на енергия. В допълнение, близостта на обработката на хардуера до потребителя означава, че и топлинният бюджет не може да бъде натиснат. За сравнение мобилните устройства обикновено работят в граница под 4 вата, докато настолната VR GPU лесно може да консумира 150 вата или повече.

Широко признато е, че мобилният VR няма да съответства на хардуера на десктопа за сурова мощност, но това не означава, че потребителите не изискват потапящи 3D изживявания с ясна резолюция и с висока честота на кадрите.

Широко признато е, че мобилният VR няма да съвпада с хардуера на десктопа за сурова мощност, но това не означава, че потребителите няма да изискват потапящи 3D изживявания с ясна резолюция и с висока честота на кадрите, въпреки по-ограничената мощност бюджет. Между гледането на 3D видео, изследването на места, пресъздадени на 360 градуса, и дори играта, все още има много случаи на употреба, подходящи за мобилен VR.

Поглеждайки назад към вашия типичен мобилен SoC, това създава допълнителни проблеми, които се оценяват по-рядко. Въпреки че мобилните SoCs могат да се пакетират в приличен окта-ядрен процесорен режим и известна мощност на графичния процесор, не е възможно тези чипове да се изпълняват при пълно накланяне, както поради консумацията на енергия, така и от термичните ограничения, споменати по-горе. В действителност процесорът в мобилен VR екземпляр иска да работи за възможно най-малко време, освобождавайки графичния процесор, за да изразходва по-голямата част от ограничения бюджет за мощност. Това не само ограничава наличните ресурси за логиката на играта, физическите изчисления и дори фоновите мобилни процеси, но също така натоварва важните VR задачи, като теглене на повиквания за стереоскопично изобразяване.

Индустрията вече работи за решения за това, които не се отнасят само за мобилни устройства. Мултимедийното изобразяване се поддържа в OpenGL 3.0 и ES 3.0 и е разработено от сътрудници от Oculus, Qualcomm, Nvidia, Google, Epic, ARM и Sony. Multiview позволява стереоскопично изобразяване само с едно извличане на повикване, а не едно за всяка гледна точка, намалявайки изискванията за процесора и също така свивайки задачата за върхов графичен процесор. Тази технология може да подобри производителността с между 40 и 50 процента. В мобилното пространство Multiview вече се поддържа от редица устройства ARM Mali и Qualcomm Adreno.

Друга новост, която се очаква да се появи в предстоящите мобилни VR продукти, е засилено изобразяване. Използвано в комбинация с технологията за проследяване на окото, фоветното изобразяване изсветлява натоварването на графичния процесор, като само прави точната фокусна точка на потребителя при пълна разделителна способност и намалява разделителната способност на обектите в периферното зрение. Добре допълва системата за човешко зрение и може значително да намали натоварването на графичния процесор, като по този начин спестява енергия и / или освобождава повече енергия за други CPU или GPU задачи.

Честотна лента и висока разделителна способност

Докато мощността на обработката е ограничена при мобилни VR ситуации, платформата все още се поддържа на същите изисквания като другите платформи за виртуална реалност, включително изискванията за ниска латентност, дисплейни панели с висока разделителна способност. Дори онези, които са гледали VR дисплеи, които се отличават с QHD (2560 x 1440) резолюция или с разделителна способност на слушалката Rift 1080 × 1200 на око, вероятно ще бъдат малко подкопани от яснотата на изображението. Излъчването е особено проблематично, като се има предвид, че очите ни са толкова близо до екрана, като краищата изглеждат особено грубо изглеждащи или назъбени по време на движение.

Докато мощността на обработката е ограничена при мобилни VR ситуации, платформата все още се поддържа на същите изисквания като другите платформи за виртуална реалност, включително изискванията за ниска латентност, дисплейни панели с висока разделителна способност.

Решението за груба сила е да се увеличи разделителната способност на дисплея, като 4K е следващата логична прогресия. Устройствата обаче трябва да поддържат висока скорост на опресняване, независимо от резолюцията, като 60Hz се счита за минимална, но 90 или дори 120Hz е много по-предпочитана. Това поставя голяма тежест за системната памет, като има от два до осем пъти повече от днешните устройства. Пропускателната способност на паметта вече е по-ограничена в мобилните VR, отколкото в продуктите за настолни компютри, които използват по-бърза специализирана графична памет, а не споделен пул.

Възможните решения за спестяване на графична честотна лента включват използването на технологии за компресиране, като например ARM и адаптивен скалируем текстуриран компресиран текст (ASTC) на ARM или формат за компресиране без загуба на текстура на Ericsson, като и двете са официални разширения на OpenGL и OpenGL ES. ASTC се поддържа и в хардуера в най-новите малки графични процесори на ARM, Kepler и Maxwell Tegra SoCs на Nvidia и най-новите интегрирани графични процесори на Intel и може да спести на повече от 50 процента честотна лента в някои сценарии срещу използването на некомпресирани текстури.

Използването на компресия на текстурата може значително да намали честотната лента, латентността и паметта, изисквани от 3D приложенията. Източник - ARM.

Могат да бъдат приложени и други техники.Използването на tessellation може да създаде по-подробно изглеждаща геометрия от по-прости обекти, макар и чрез изискване на други значителни ресурси на GPU. Отложеното изобразяване и пренасочване на пиксели може да избегне изобразяването на оклудирани пиксели, докато архитектурата на Binning / Tiling може да се използва за разделяне на изображението на по-малки решетки или плочки, всяка от които се изобразява отделно, всички от които могат да спестят на честотна лента.

Като алтернатива или за предпочитане допълнително, разработчиците могат да направят жертви за качеството на изображението, за да намалят стреса върху честотната лента на системата. Плътността на геометрията може да бъде жертва или по-агресивно изхвърляне, използвано за намаляване на натоварването, а разделителната способност на данните на върха може да бъде понижена до 16-битова, надолу от традиционно използваната 32-битова точност. Много от тези техники вече се използват в различни мобилни пакети и заедно могат да помогнат за намаляване на напрежението на честотната лента.

Не само паметта е основно ограничение в мобилното VR пространство, но също така е и доста голям консуматор на енергия, често равна на консумацията на процесора или графичния процесор. Чрез спестяване на пропускателна способност на паметта и използване, преносимите решения за виртуална реалност трябва да имат по-дълъг живот на батерията.

Панели с ниска латентност и дисплей

Говорейки за проблеми със закъснението, досега сме виждали само VR слушалки със спортни OLED дисплей панели и това най-вече се дължи на бързото време за превключване на пиксели под милисекунда. В исторически план LCD е свързан с проблеми с призраци с много бързи скорости на опресняване, което ги прави доста неподходящи за VR. Въпреки това, LCD панелите с много висока разделителна способност все още са по-евтини за производство от еквивалентите на OLED, така че преминаването към тази технология може да помогне да се намали цената на VR слушалки до по-достъпни нива.

Движението за закъснение на фотоните трябва да бъде под 20 ms. Това включва регистриране и обработка на движение, обработка на графика и аудио и актуализиране на дисплея.

Дисплеите са особено важна част в общата латентност на система за виртуална реалност, често правят разликата между привидното и под-номиналното преживяване. В идеална система закъснението при движение към фотон - времето, прекарано между преместването на главата и дисплея в отговор - трябва да бъде по-малко от 20 милисекунди. Ясно е, че 50-милиметровият дисплей тук не е полезен. В идеалния случай панелите трябва да са под 5 мс, за да могат да се настанят и сензорите и латентността на обработката.

Понастоящем има компромиси с ефективността на разходите, което е в полза на OLED, но това скоро може да се промени. LCD панелите с поддръжка за по-висока честота на опресняване и ниски времена на реакция на черно-бяло, които използват най-съвременните техники, като мигащи задни светлини, биха могли да се поберат добре. Японският дисплей показа точно такъв панел миналата година и може да видим, че и други производители обявяват подобни технологии.

Аудио и сензори

Докато голяма част от често срещаните теми за виртуална реалност се въртят около качеството на изображението, потапящият VR също изисква висока разделителна способност, пространствено прецизно 3D аудио и сензори с ниска латентност. В мобилната сфера всичко това трябва да се направи в рамките на същия ограничен бюджет за захранване, който засяга процесора, графичния процесор и паметта, което представлява допълнителни предизвикателства.

По-рано сме засегнали проблемите със закъсненията на сензора, в които движението трябва да бъде регистрирано и обработено като част от ограничението за забавяне на движението към фотона под 20 ms. Когато считаме, че VR слушалките използват 6 градуса на движение - въртене и прозяване във всяка от осите X, Y и Z - плюс нови технологии като проследяване на очите, има значително количество постоянни данни за събиране и обработка, всички с минимално количество латентност.

Решенията за задържане на тази латентност възможно най-ниски изискват подход от край до край, като хардуерът и софтуерът могат да изпълняват паралелно тези задачи. За щастие на мобилните устройства, използването на специализирани процесори на сензори с ниска мощност и винаги включена технология е много често срещано и те работят с доста ниска мощност.

За аудио 3D позицията е техника, използвана дълго време за игри и подобни, но използването на функция, свързана с прехвърляне на глава (HRTF) и обработка на реверберация на конволюцията, които са необходими за реалистично позициониране на източник на звук, са доста интензивни задачи на процесора. Въпреки че те могат да бъдат изпълнени на процесора, специализиран цифров сигнален процесор (DSD) може да извършва тези видове процеси много по-ефективно, както по отношение на времето за обработка, така и на мощността.

Комбинирайки тези функции с изискванията за графиката и дисплея, които вече споменахме, ясно е, че използването на множество специализирани процесори е най-ефективният начин за посрещане на тези нужди. Виждахме как Qualcomm използва голяма част от разнородните възможности за изчисляване на своя флагман и най-новите мобилни платформи Snapdragon от средната степен, които комбинират разнообразни процесорни единици в един пакет с възможности, които дават добри възможности за задоволяване на много от тези мобилни потребности от VR. Вероятно ще видим тип захранване на пакетите в редица мобилни VR продукти, включително самостоятелен преносим хардуер.

Разработчици и софтуер

И накрая, нито един от тези хардуерни подобрения не е много добър без софтуерни пакети, игрални двигатели и SDK за поддръжка на разработчици. В крайна сметка не можем да имаме всеки разработчик да изобретява колелото за всяко приложение. Поддържането на разходите за разработка на ниски и възможно най-бързите скорости е от ключово значение, ако ще видим широк спектър от приложения.

По-специално SDK са от съществено значение за изпълнение на ключови задачи за обработка на VR, като Asynchronous Timewarp, корекция на изкривяването на обектива и стереоскопично изобразяване. Да не говорим за управление на захранването, термиката и обработката в разнородни хардуерни настройки.

За щастие всички основни производители на хардуерни платформи предлагат SDK на разработчиците, въпреки че пазарът е доста фрагментиран, което води до липса на поддръжка на междуплатформата. Например Google има своя VR SDK за Android и специален SDK за популярния двигател Unity, докато Oculus има своя мобилен SDK, изграден съвместно със Samsung за Gear VR. Важното е, че групата Khronos наскоро представи своята инициатива OpenXR, която има за цел да предостави API за покриване на всички основни платформи както на устройството, така и на нивото на приложение, за да се улесни по-лесното развитие на крос платформата. OpenXR може да види подкрепа в първото си устройство за виртуална реалност някъде преди 2018 година.

Увиване

Въпреки някои проблеми, технологията е в процес на развитие и до известна степен вече тук, което прави мобилната виртуална реалност работеща за редица приложения. Mobile VR има и редица предимства, които просто не се прилагат за еквиваленти на работния плот, което ще продължи да го превръща в платформа, достойна за инвестиции и интриги. Коефициентът на преносимост превръща мобилния VR в завладяваща платформа за мултимедийни преживявания и дори леки игри, без да са необходими кабели, свързани към по-мощен компютър.

Освен това, големият брой мобилни устройства на пазара, които са все по-оборудвани с възможности за виртуална реалност, го прави платформата за избор за достигане до най-голямата целева аудитория. Ако виртуалната реалност трябва да се превърне в мейнстрийм платформа, тя се нуждае от потребители, а мобилните устройства са най-голямата база от потребители, за да се докоснете.