Съдържание
Hype за виртуална реалност със сигурност е намалял през последните няколко години, поради комбинация от скъп хардуер, толкова висока производителност и болест при движение, както и липса на потребителско съдържание. Понастоящем индустрията е заседнала в сценарий на пилешко или яйце, където липсата на потребители ограничава инвестициите във висококачествено съдържание. Ще бъде необходим по-мощен и рентабилен VR хардуер за масите, за да се прекъсне безизходицата.
Arm търси да преодолее някои от тези технологични препятствия с първия си в момента дисплей процесор (DPU), създаден специално за VR: Mali-D77. С две думи, Mali-D77 разтоварва често срещаните задачи за обработка на VR от графичния процесор, освобождавайки ресурси за по-висока честота на кадрите, като същевременно помага да се намали болестта при движение.
Вътре в ръката Mali-D77
Голяма част от Mali-D77 се основава на Mali-D71 за 2017 г. за водещи смартфони и други приложения от висок клас. Той има същия декодер за компресия, мащабиране на слоевете, поддръжка на HDR и управление на цветовете. Новият дизайн обаче е оптимизиран да поддържа 3K резолюции при 120 кадъра в секунда, с поддръжка за 4K резолюции до 90 кадъра в секунда.
Основните промени идват под формата на два чисто нови хардуерни ускорителни устройства за VR приложения. Mali-D77 поддържа корекция на обектива и асинхронен Timewarp в хардуера, вместо да изпълнява тези алгоритми на графичния процесор. Според оценките на Arm това може да освободи около 15 процента от GPU ресурси, което може да бъде насочено към повишаване на честотата на кадрите. Преминаването на това натоварване към DPU също осигурява 40-процентова икономия на честотна лента и 180mW мощност на VR слой. Ница.
Корекция на обектива е необходима в VR слушалки, за да компенсира светлинното изкривяване на обектива на слушалката. Борещо изкривяване се прилага към всяка рендерирана рамка, за да се компенсира ефектът на Pincushion distortion на лещите. Помислете за това като свръхкомпенсиране или „обратно изкривяване“, така че изкривяването на обектива всъщност да завърши, показвайки правилното изображение. Традиционно това се прави на графичния процесор, като отнема допълнителни цикли и време. Mali-D77 прави всичко това на DPU.
В допълнение, Mali-D77 извършва корекция на хроматичната аберация, използвайки подобен метод на обратното изкривяване. При прилагането на това цветовете на изображението ще се показват правилно в целия обектив, включително в ъглите, където може да се наблюдава изкривяване на цветовете.
Какво е Asynchronous Timewarp?
Корекцията на обектива е по-скоро саморазясняваща се, но Asynchronous Timewarp е малко по-ангажиран. Тук Arm използва дисплейния процесор, за да върти, изкривява и деформира изображения, за да компенсира движенията на потребителя, като същевременно смекчава всички закъснения на графичния процесор или други дисплеи.
С настоящото поколение хардуер проследяването на движението по X, Y, Z по ос се актуализира синхронизирано с графичния процесор, тъй като GPU трябва да прави промяната в изгледа всеки път, когато се движите. С Asynchronous Timewarp двамата вече не се актуализират заедно. Можете да преместите главата си между актуализациите на GPU рамката, а Mali-D77 може да деформира текущата рамка, за да съответства на движението на главата ви.
Това е едва доловим ефект, тъй като трае само част от секундата между рендерираните кадри и не премахва необходимостта от бързо изобразяване на честотата на кадрите. Това обаче значително увеличава плавността и плавността на движението и движението, тъй като актуализациите могат да се случват дори по-често от честотата на кадрите на графичния процесор. Прекъсването между вашето тяло, което се движи и вижда визуална актуализация, е водещата причина за заболяване при движение в VR, така че Mali-D77 може да помогне много в това отношение.
Данните за движение X, Y, Z по оста се подават директно към Mali-D77 от процесора, заобикаляйки изцяло графичния процесор. Това е много различен начин на правене на нещата и като такъв ще изисква разработчиците да използват нов набор от инструменти и техники за разработка. Това може би е най-голямото препятствие с D77. За щастие, Arm инженерите работят в тясно сътрудничество с инициативи като OpenXR, така че можем да видим API съобщение за опростена поддръжка за разработчици в бъдеще.
Като цяло, Arm Mali-D77 е интелигентен и логичен напредък на хетерогенната компютърна идея, за да помогне за решаването на някои от най-големите хардуерни проблеми на виртуалната реалност. Все още има други препятствия в безжичните комуникационни, проследяващи и разходни сегменти на VR, останали за решаване преди приемането на мейнстрийма да може да бъде преразгледано, но Mali-D77 помага да се разрешат някои от проблемите с производителността.
