Zawartość

• Ograniczony budżet mocy
• Przepustowość i wysoka rozdzielczość
• Niskie opóźnienia i panele wyświetlacza
• Audio i czujniki
• Programiści i oprogramowanie
• Zakończyć

W końcu zanurzamy się głęboko w rewolucję, jak niektórzy mogą to ująć, z mnóstwem produktów sprzętowych i programowych na rynku oraz zasobami, które pochłaniają innowacje. Jednak minął już ponad rok, odkąd na tym rynku pojawi się główny produkt i wciąż czekamy na tę zabójczą aplikację, aby wirtualna rzeczywistość stała się głównym nurtem sukcesu. Podczas gdy czekamy, nowe osiągnięcia nadal czynią wirtualną rzeczywistość bardziej opłacalną opcją komercyjną, ale wciąż istnieje wiele technicznych przeszkód do pokonania, szczególnie w mobilnej przestrzeni VR.

Ograniczony budżet mocy

Najbardziej oczywistym i dobrze omówionym wyzwaniem stojącym przed aplikacjami mobilnej rzeczywistości wirtualnej jest o wiele bardziej ograniczony budżet mocy i ograniczenia termiczne w porównaniu z odpowiednikiem komputera stacjonarnego. Uruchamianie intensywnych aplikacji graficznych z akumulatora oznacza, że ​​wymagane są niższe komponenty mocy i wydajne zużycie energii, aby wydłużyć żywotność akumulatora. Ponadto bliskość sprzętu przetwarzającego do użytkownika oznacza, że ​​budżetu termicznego nie można zwiększyć. Dla porównania, telefon komórkowy zazwyczaj działa w ramach limitu poniżej 4 watów, podczas gdy stacjonarny procesor graficzny VR może z łatwością zużywać 150 watów lub więcej.

Powszechnie wiadomo, że mobilna VR nie będzie pasowała do komputerów stacjonarnych pod względem surowej mocy, ale nie oznacza to, że konsumenci nie wymagają wciągających wrażeń 3D w wyraźnej rozdzielczości i wysokiej częstotliwości klatek.

Powszechnie wiadomo, że mobilna VR nie będzie dorównać sprzętowi stacjonarnemu pod względem surowej mocy, ale nie oznacza to, że konsumenci nie będą wymagać wciągających wrażeń 3D w wyraźnej rozdzielczości i przy wysokiej liczbie klatek na sekundę, pomimo bardziej ograniczonej mocy budżet. Pomiędzy oglądaniem filmów 3D, eksplorowaniem odtworzonych 360 stopni lokalizacji, a nawet graniem, wciąż istnieje wiele przypadków użycia dostosowanych do mobilnej VR.

Patrząc wstecz na typową mobilną SoC, stwarza to dodatkowe problemy, które są mniej doceniane. Chociaż mobilne układy SoC mogą spakować się w przyzwoitym układzie ośmiordzeniowym i pewnej znacznej mocy GPU, nie można uruchomić tych układów z pełnym pochyleniem, zarówno ze względu na zużycie energii, jak i ograniczenia termiczne wspomniane wcześniej. W rzeczywistości procesor w mobilnej instancji VR chce działać tak krótko, jak to możliwe, uwalniając procesor graficzny, aby zużywał większość ograniczonego budżetu na energię. Nie tylko ogranicza to zasoby dostępne dla logiki gry, obliczeń fizycznych, a nawet mobilnych procesów w tle, ale także obciąża podstawowe zadania VR, takie jak rysowanie wezwań do renderowania stereoskopowego.

Branża już pracuje nad rozwiązaniami w tym zakresie, które nie dotyczą tylko urządzeń mobilnych. Renderowanie z wielu widoków jest obsługiwane w OpenGL 3.0 i ES 3.0 i zostało opracowane przez autorów z Oculus, Qualcomm, Nvidia, Google, Epic, ARM i Sony. Multiwidok pozwala na renderowanie stereoskopowe za pomocą tylko jednego wywołania losowania, a nie jednego dla każdego punktu widzenia, co zmniejsza wymagania procesora, a także zmniejsza zadanie wierzchołka GPU. Ta technologia może poprawić wydajność od 40 do 50 procent. W przestrzeni mobilnej Multiview jest już obsługiwany przez wiele urządzeń ARM Mali i Qualcomm Adreno.

Kolejną innowacją, która pojawi się w nadchodzących produktach mobilnej VR, jest udoskonalony rendering. W połączeniu z technologią śledzenia wzroku, zaawansowane renderowanie zmniejsza obciążenie procesora graficznego, renderując tylko dokładny punkt ogniskowy użytkownika w pełnej rozdzielczości i zmniejszając rozdzielczość obiektów w polu widzenia peryferyjnego. Ładnie uzupełnia system ludzkiego widzenia i może znacznie zmniejszyć obciążenie procesora graficznego, oszczędzając w ten sposób energię i / lub zwalniając więcej mocy na inne zadania związane z procesorem lub kartą graficzną.

Przepustowość i wysoka rozdzielczość

Podczas gdy moc przetwarzania jest ograniczona w sytuacjach mobilnej VR, platforma nadal spełnia te same wymagania, co inne platformy rzeczywistości wirtualnej, w tym wymagania dotyczące paneli wyświetlających o niskiej opóźnieniu i wysokiej rozdzielczości. Nawet ci, którzy oglądali wyświetlacze VR o rozdzielczości QHD (2560 x 1440) lub rozdzielczości 1080 × 1200 zestawu słuchawkowego Rift na oko, prawdopodobnie będą nieco rozczarowani klarownością obrazu. Aliasing jest szczególnie problematyczny, biorąc pod uwagę, że nasze oczy są tak blisko ekranu, a krawędzie wydają się szczególnie szorstkie lub postrzępione podczas ruchu.

Podczas gdy moc przetwarzania jest ograniczona w sytuacjach mobilnej VR, platforma nadal spełnia te same wymagania, co inne platformy rzeczywistości wirtualnej, w tym wymagania dotyczące paneli wyświetlających o niskiej opóźnieniu i wysokiej rozdzielczości.

Rozwiązaniem brutalnej siły jest zwiększenie rozdzielczości wyświetlania, przy czym 4K jest kolejnym logicznym postępem. Jednak urządzenia muszą utrzymywać wysoką częstotliwość odświeżania, niezależnie od rozdzielczości, przy 60 Hz uważanej za minimalną, ale 90 lub nawet 120 Hz jest znacznie bardziej preferowana. Obciąża to pamięć systemową - od dwóch do ośmiu razy więcej niż dzisiejsze urządzenia. Przepustowość pamięci jest już bardziej ograniczona w mobilnej rzeczywistości wirtualnej niż w produktach stacjonarnych, które wykorzystują szybszą dedykowaną pamięć graficzną niż wspólną pulę.

Możliwe rozwiązania pozwalające zaoszczędzić na przepustowości grafiki obejmują zastosowanie technologii kompresji, takich jak ARM i standard Adaptive Scalable Texture Compression (ASTC) lub bezstratny format kompresji tekstur Ericsson, które są oficjalnymi rozszerzeniami OpenGL i OpenGL ES. ASTC jest również obsługiwany sprzętowo w najnowszych procesorach graficznych Mali ARM, układach Nvidii Kepler i Maxwell Tegra SoCs oraz najnowszych zintegrowanych układach GPU Intela i może zaoszczędzić na ponad 50 procentach przepustowości w niektórych scenariuszach w porównaniu z wykorzystaniem nieskompresowanych tekstur.

Zastosowanie kompresji tekstur może znacznie zmniejszyć przepustowość, opóźnienia i pamięć wymagane przez aplikacje 3D. Źródło - ARM.

Można również zastosować inne techniki.Zastosowanie teselacji może tworzyć bardziej szczegółową geometrię z prostszych obiektów, aczkolwiek wymagając innych znacznych zasobów GPU. Odroczone renderowanie i wyprzedzające zabijanie pikseli pozwala uniknąć renderowania zablokowanych pikseli, natomiast architektury dzielenia / kafelkowania można użyć do podzielenia obrazu na mniejsze siatki lub kafelki, które są renderowane osobno, z których wszystkie mogą zaoszczędzić na przepustowości.

Alternatywnie lub najlepiej dodatkowo programiści mogą poświęcić jakość obrazu, aby zmniejszyć obciążenie pasma systemu. Gęstość geometrii można poświęcić lub zastosować bardziej agresywne ubijanie w celu zmniejszenia obciążenia, a rozdzielczość danych wierzchołków można obniżyć do 16-bitów, w porównaniu z tradycyjnie używaną 32-bitową dokładnością. Wiele z tych technik jest już używanych w różnych pakietach mobilnych i razem mogą pomóc zmniejszyć obciążenie pasma.

Pamięć jest nie tylko głównym ograniczeniem w mobilnej przestrzeni VR, ale także dość dużym odbiornikiem energii, często równym zużyciu procesora lub karty graficznej. Oszczędzając na przepustowości i zużyciu pamięci, przenośne rozwiązania rzeczywistości wirtualnej powinny mieć dłuższą żywotność baterii.

Niskie opóźnienia i panele wyświetlacza

Mówiąc o problemach z opóźnieniami, do tej pory widzieliśmy tylko zestawy VR z panelami OLED, a dzieje się tak głównie z powodu krótkich czasów przełączania pikseli poniżej milisekundy. Historycznie LCD wiązał się z problemami z duchami przy bardzo szybkich częstotliwościach odświeżania, co czyni je raczej nieodpowiednimi dla VR. Jednak panele LCD o bardzo wysokiej rozdzielczości są nadal tańsze w produkcji niż odpowiedniki OLED, więc przejście na tę technologię może pomóc obniżyć cenę zestawów VR do bardziej przystępnych poziomów.

Opóźnienie ruchu do fotonu powinno wynosić poniżej 20 ms. Obejmuje to rejestrację i przetwarzanie ruchu, przetwarzanie grafiki i dźwięku oraz aktualizację wyświetlacza.

Wyświetlacze są szczególnie istotną częścią ogólnego opóźnienia systemu wirtualnej rzeczywistości, często czyniąc różnicę pomiędzy doświadczeniem niewiarygodnym a niedostatecznym. W idealnym systemie opóźnienie ruchu do fotonu - czas między poruszeniem głową a odpowiedzią na wyświetlacz - powinno wynosić mniej niż 20 milisekund. Najwyraźniej wyświetlacz 50 ms nie jest tutaj dobry. Idealnie panele muszą być mniejsze niż 5 ms, aby uwzględnić również opóźnienie czujnika i przetwarzania.

Obecnie istnieje kompromis w zakresie wydajności, który faworyzuje OLED, ale wkrótce może się to zmienić. Panele LCD z obsługą wyższych częstotliwości odświeżania i niskim czasem reakcji od czerni do bieli, które wykorzystują najnowocześniejsze techniki, takie jak mruganie tylnych świateł, mogą ładnie pasować do rachunku. Japan Display pokazał właśnie taki panel w ubiegłym roku i możemy zobaczyć, że inni producenci również ogłaszają podobne technologie.

Audio i czujniki

Podczas gdy wiele popularnych tematów rzeczywistości wirtualnej obraca się wokół jakości obrazu, wciągająca VR wymaga także wysokiej rozdzielczości, przestrzennie dokładnego dźwięku 3D i czujników o niskim opóźnieniu. W dziedzinie mobilnej wszystko to musi odbywać się w ramach tego samego ograniczonego budżetu mocy, który wpływa na procesor, kartę graficzną i pamięć, co stwarza kolejne wyzwania.

Wcześniej poruszaliśmy problemy z opóźnieniem czujnika, w których ruch musi zostać zarejestrowany i przetworzony w ramach limitu opóźnienia ruchu do fotonu poniżej 20 ms. Gdy weźmiemy pod uwagę, że zestawy VR wykorzystują 6 stopni ruchu - obrót i odchylenie w każdej z osi X, Y i Z - oraz nowe technologie, takie jak śledzenie wzroku, istnieje znaczna ilość stałych danych do zebrania i przetworzenia, a wszystko to przy minimalnym czas oczekiwania.

Rozwiązania, które utrzymują tak niskie opóźnienie, jak to tylko możliwe, wymagają kompleksowego podejścia, przy czym zarówno sprzęt, jak i oprogramowanie mogą wykonywać te zadania równolegle. Na szczęście w przypadku urządzeń mobilnych użycie dedykowanych procesorów z czujnikami o niskiej mocy i zawsze aktywnej technologii jest bardzo powszechne, a te działają przy dość niskiej mocy.

W przypadku dźwięku pozycja 3D jest techniką od dawna używaną w grach, ale użycie funkcji przenoszenia związanej z głową (HRTF) i przetwarzania pogłosu splotowego, które są wymagane do realistycznego pozycjonowania źródła dźwięku, są dość intensywnym procesem. Chociaż można to wykonać na procesorze, dedykowany cyfrowy procesor sygnałowy (DSD) może wykonywać te typy procesów znacznie wydajniej, zarówno pod względem czasu przetwarzania, jak i mocy.

Łącząc te funkcje z wymaganiami graficznymi i dotyczącymi wyświetlania, o których już wspominaliśmy, jasne jest, że użycie wielu specjalistycznych procesorów jest najbardziej wydajnym sposobem zaspokojenia tych potrzeb. Widzieliśmy, jak Qualcomm czerpie wiele z heterogenicznych możliwości obliczeniowych swoich flagowych i najnowszych platform mobilnych Snapdragon średniej klasy, które łączą różnorodne jednostki przetwarzające w jeden pakiet z możliwościami, które dobrze spełniają wiele z tych mobilnych wymagań VR. Prawdopodobnie zobaczymy moc pakietów w wielu mobilnych produktach VR, w tym w samodzielnym przenośnym sprzęcie.

Programiści i oprogramowanie

Wreszcie żaden z tych ulepszeń sprzętowych nie jest zbyt dobry bez pakietów oprogramowania, silników gier i zestawów SDK, które mogłyby wspierać programistów. W końcu nie możemy zmusić każdego programisty do wynalezienia koła dla każdej aplikacji. Utrzymanie niskich kosztów programowania i możliwie najszybszych prędkości jest kluczowe, jeśli chcemy zobaczyć szeroki zakres aplikacji.

W szczególności zestawy SDK są niezbędne do realizacji kluczowych zadań przetwarzania VR, takich jak asynchroniczna korekcja czasu, korekcja zniekształceń obiektywu i renderowanie stereoskopowe. Nie wspominając o zarządzaniu energią, temperaturą i przetwarzaniem w heterogenicznych konfiguracjach sprzętowych.

Na szczęście wszyscy główni producenci platform sprzętowych oferują programistom pakiety SDK, chociaż rynek jest raczej rozdrobniony, co skutkuje brakiem obsługi wielu platform. Na przykład Google ma VR SDK dla Androida i dedykowany SDK dla popularnego silnika Unity, a Oculus ma swój Mobile SDK wbudowany w połączeniu z Samsungiem dla Gear VR. Co ważne, grupa Khronos zaprezentowała niedawno swoją inicjatywę OpenXR, której celem jest zapewnienie interfejsu API do obsługi wszystkich głównych platform zarówno na poziomie urządzenia, jak i poziomu aplikacji, w celu ułatwienia rozwoju między platformami. OpenXR mógł zobaczyć wsparcie w swoim pierwszym urządzeniu wirtualnej rzeczywistości przed 2018 rokiem.

Zakończyć

Pomimo pewnych problemów, technologia jest w fazie rozwoju, i do pewnego stopnia już tutaj, co sprawia, że ​​mobilna rzeczywistość wirtualna jest wykonalna dla wielu aplikacji. Mobilna VR ma również szereg zalet, które po prostu nie dotyczą ekwiwalentów komputerów stacjonarnych, dzięki czemu będzie nadal platformą godną inwestycji i intryg. Współczynnik mobilności sprawia, że ​​mobilna VR jest atrakcyjną platformą do korzystania z multimediów, a nawet lekkich gier, bez potrzeby podłączania przewodów do mocniejszego komputera.

Co więcej, sama liczba urządzeń mobilnych na rynku, które są coraz bardziej wyposażone w funkcje rzeczywistości wirtualnej, sprawia, że ​​jest to platforma z wyboru, aby dotrzeć do jak największej grupy docelowej. Jeśli rzeczywistość wirtualna ma stać się platformą głównego nurtu, potrzebuje użytkowników, a mobilna jest największą bazą użytkowników do wykorzystania.