Zawartość
Hype w wirtualnej rzeczywistości z pewnością zanikł w ciągu ostatnich kilku lat, z powodu połączenia drogiego sprzętu, tak wysokiej wydajności i choroby lokomocyjnej, a także braku treści użytkownika. Branża utknęła obecnie w scenariuszu „kurczak kontra jajko”, w którym brak konsumentów zniechęca do inwestowania w wysokiej jakości treści. Potrzeba mocniejszego i tańszego sprzętu VR dla mas, aby przełamać impas.
Arm stara się pokonać niektóre z tych przeszkód technologicznych dzięki swojemu pierwszemu procesorowi wyświetlania (DPU) zaprojektowanemu specjalnie dla VR: Mali-D77. Krótko mówiąc, Mali-D77 odciąża GPU od typowych zadań przetwarzania VR, zwalniając zasoby do zwiększenia liczby klatek na sekundę, jednocześnie pomagając zmniejszyć chorobę lokomocyjną.
Wewnątrz ramienia Mali-D77
Duża część Mali-D77 oparta jest na Mali-D71 z 2017 roku dla flagowych smartfonów i innych zaawansowanych aplikacji. Ma ten sam dekoder kompresji, skalowanie warstw, obsługę HDR i zarządzanie kolorami. Jednak nowy projekt został zoptymalizowany do obsługi rozdzielczości 3K przy 120 fps, z obsługą rozdzielczości 4K do 90 fps.
Główne zmiany mają postać dwóch zupełnie nowych jednostek akceleracji sprzętowej do aplikacji VR. Mali-D77 obsługuje sprzętowo korekcję obiektywu i asynchroniczny timewarp, zamiast uruchamiać te algorytmy na GPU. Arm szacuje, że może to zwolnić około 15 procent zasobów GPU, które można przeznaczyć na zwiększenie liczby klatek na sekundę. Przeniesienie tego obciążenia na DPU zapewnia również 40% oszczędności przepustowości i 180 mW mocy na warstwę VR. Miły.
W zestawach VR wymagana jest korekta obiektywu, aby zrównoważyć krzywiznę światła soczewek zestawu słuchawkowego. Do każdej renderowanej ramki stosuje się zniekształcenie beczki, aby zrównoważyć efekt zniekształceń poduszkowatych soczewek. Pomyśl o tym jako o nadmiernej kompensacji lub „zniekształceniu wstecznym”, tak że zniekształcenie obiektywu faktycznie wyświetla prawidłowy obraz. Tradycyjnie odbywa się to na GPU, co zajmuje więcej cykli i czasu. Mali-D77 robi to wszystko na DPU.
Ponadto Mali-D77 wykonuje korekcję aberracji chromatycznej przy użyciu podobnej metody zniekształcenia odwrotnego. Po zastosowaniu tej opcji kolory obrazu będą wyświetlane poprawnie na całej soczewce, w tym w rogach, w których mogą wystąpić zniekształcenia separacji kolorów.
Co to jest asynchroniczny timewarp?
Korekcja obiektywu jest dość oczywista, ale asynchroniczny timewarp jest nieco bardziej zaangażowany. W tym przypadku Arm używa procesora wyświetlania do obracania, pochylania i wypaczania obrazów w celu kompensacji ruchów użytkownika przy jednoczesnym ograniczeniu opóźnień GPU lub innych potoków wyświetlania.
W przypadku sprzętu obecnej generacji śledzenie ruchów osi X, Y, Z jest synchronizowane z GPU, ponieważ GPU musi wyświetlać zmianę za każdym razem, gdy się poruszasz. Dzięki Asynchronous Timewarp oba nie są już aktualizowane razem. Możesz przesuwać głowę między aktualizacjami ramki GPU, a Mali-D77 może wypaczać bieżącą ramkę, dopasowując ją do ruchu głowy.
Jest to subtelny efekt, ponieważ trwa tylko ułamek sekundy między renderowanymi ramkami i nie eliminuje potrzeby szybkiego renderowania klatek. Jednak znacznie zwiększa płynność i płynność ruchu i ruchu, ponieważ aktualizacje mogą występować nawet częściej niż częstotliwość klatek GPU. Rozłączenie między ruchem ciała a widzeniem aktualizacji wizualnej jest główną przyczyną choroby lokomocyjnej w VR, więc Mali-D77 może bardzo pomóc w tym zakresie.
Dane o ruchu osi X, Y, Z są podawane bezpośrednio z procesora do Mali-D77, całkowicie pomijając etap GPU. Jest to zupełnie inny sposób robienia rzeczy i jako taki wymagać będzie od programistów użycia nowego zestawu narzędzi i technik programistycznych. Jest to prawdopodobnie największa przeszkoda dla D77. Na szczęście inżynierowie Arm ściśle współpracują z inicjatywami takimi jak OpenXR, dlatego w przyszłości mogliśmy zobaczyć ogłoszenie API upraszczającej obsługę programistów.
Podsumowując, Arm Mali-D77 jest inteligentnym i logicznym postępem w heterogenicznej koncepcji obliczeniowej, która pomaga rozwiązać niektóre z największych problemów sprzętowych rzeczywistości wirtualnej. Pozostały jeszcze inne przeszkody w komunikacji bezprzewodowej, śledzeniu i segmentach kosztowych VR, które należy rozwiązać, zanim można będzie ponownie rozważyć przyjęcie głównego nurtu, ale Mali-D77 pomaga rozwiązać niektóre problemy z wydajnością.
