Zawartość
Google Pixel 4 i Pixel 4 XL oferują najlepsze w historii funkcje oprogramowania i funkcje aparatu, które są możliwe częściowo dzięki włączeniu Pixel Neural Core. Ten mały układ znajduje się obok głównego procesora Pixel 4, aby efektywnie obsługiwać potężne obciążenia Google do uczenia maszynowego. Obejmują one funkcje przetwarzania obrazu, rozpoznawania głosu i transkrypcji.
Neural Core nie jest jednak pierwszym pęknięciem Google'a w wewnętrznym procesorze uczenia maszynowego dla smartfonów. Pixel 2 i 3 są dostarczane z Pixel Visual Core, zaprojektowanym do odciążania zadań związanych z obrazowaniem, takich jak HDR + w celu poprawy wydajności i efektywności energetycznej. Rdzeń neuronowy Pixela 4 opiera się na tej podstawie z ulepszonymi możliwościami i wyborem nowych przypadków użycia.
Nie przegap: oto, co może zrobić tryb Astro Pixela 4
Jak działa rdzeń neuronowy Pixela?
Google nie udostępnił jeszcze szczegółów na temat tego, co dzieje się w rdzeniu neuronowym. Wiemy jednak, jak działa Visual Core poprzedniej generacji i jakiego rodzaju techniki są zwykle używane w procesorach uczenia maszynowego (ML).
W przeciwieństwie do tradycyjnego procesora zbudowanego do obsługi szerokiego zakresu zadań obliczeniowych, procesory uczenia maszynowego (NPU), takie jak rdzeń neuronowy, są zoptymalizowane pod kątem kilku konkretnych złożonych zadań matematycznych. To sprawia, że bardziej przypominają cyfrowe procesory sygnałowe (DSP) lub procesory graficzne (GPU), ale są zoptymalizowane pod kątem określonych operacji wykorzystywanych przez algorytmy uczenia maszynowego.
Fused multiply-akumulate to bardzo częsta operacja obrazowania i głosowania ML, której nie znajdziesz na szeroką skalę w procesorze. W przeciwieństwie do nowoczesnych procesorów 32- i 64-bitowych operacje te są wykonywane na danych o wielkości zaledwie 16, 8, a nawet 4 bitów. Do obsługi tych operacji z maksymalną wydajnością wymagane są niestandardowe bloki sprzętowe.
Neural Core przyspiesza algorytmy obrazu i głosu, które działają mniej wydajnie na CPU lub GPU.
Neural Core wbudowuje dedykowane jednostki arytmetyczne w sprzęt, aby szybko obsługiwać te instrukcje przy minimalnym zużyciu energii, zamiast zajmować wiele cykli procesora. Układ najprawdopodobniej składa się z setek tych ALU w wielu rdzeniach, ze wspólną pamięcią lokalną i mikroprocesorem nadzorującym planowanie zadań.
Google prawie na pewno zoptymalizuje najnowszą konstrukcję sprzętu w oparciu o algorytmy oprogramowania asystenta, głosu i obrazowania. Zależność od możliwości ALU rdzenia neuronowego sprawia, że najnowsze funkcje fotograficzne Pixela 4 nie trafiają do starszych telefonów.
Co może zrobić rdzeń neuronowy?
Neural Core wydaje się być kluczowym składnikiem wielu nowych funkcji zawartych w Google Pixel 4 i Pixel 4 XL. Ulepszenia te dotyczą głównie przetwarzania obrazu i głosu.
Po stronie fotografii lista obejmuje kontrolę podwójnej ekspozycji, tryb astrofotografii, podgląd HDR na żywo + podgląd w nocy. Pixel 4 Google dokonuje podwójnej korekty ekspozycji i HDR + w czasie rzeczywistym, aby użytkownicy mogli zobaczyć wyniki swoich zdjęć przed naciśnięciem spustu migawki. Wskazuje to na znaczny wzrost mocy obliczeniowej obrazów w porównaniu do Pixela 3.
Ponadto telefony te wprowadzają balans bieli oparty na uczeniu się do systemu aparatu, który naprawia żółte odcienie często związane z obrazami przy słabym świetle. Wielokrotne zdjęcia, wykrywanie nieba i kombinacja zdjęć są używane w trybie Astro Night Sight, co wymaga ogromnej ilości inteligentnych metod przetwarzania i wykrywania obrazów. Wreszcie, funkcja Częste twarze w Pixel 4 identyfikuje i zaleca lepsze zdjęcia osób, które często fotografujesz.
Pixel 4 może się również pochwalić zaktualizowanym Asystentem, wyposażonym w ulepszone modele językowe, które mogą teraz działać natywnie na urządzeniu, a nie w chmurze. Nowe funkcje głosowe obejmują również ciągłe rozmowy, transkrypcję dźwięku za pomocą aplikacji Rejestrator oraz ulepszone rozpoznawanie mowy. Neural Core może również odgrywać rolę w technologii odblokowywania twarzy 3D telefonu.
Fala przyszłości
Neural Core firmy Google to najmocniejszy jak dotąd wewnętrzny krzem firmy, który umożliwia bardziej wydajną edycję obrazu w czasie rzeczywistym niż wcześniej. Google szczyci się wiodącymi w branży technologiami uczenia maszynowego, a największe zalety Pixel 4 polegają na owocach tych inwestycji.
Jednak Pixel 4 nie jest jedynym smartfonem wyposażonym w wydajny procesor uczenia maszynowego. Wszystkie smartfony wyposażone w Snapdragon 855 oferują dedykowany sprzęt do uczenia maszynowego. Chociaż Google ma wyraźnie inne potrzeby i być może nawet bardziej zaawansowane wymagania dotyczące smartfonów. Podobnie Kirin 990 Huawei oferuje dwa wewnętrzne NPU o mocy wystarczającej do efektów wideo w czasie rzeczywistym i nie tylko.
Sprzęt do uczenia maszynowego szybko staje się kamieniem węgielnym flagowego obrazu smartfona, wideo i możliwości sztucznej inteligencji. Google z Pixel 4 i Neural Core umieszcza się w górnej części zestawu.
Dalej: kamery Google Pixel wcale nie próbują być kamerami
