Zawartość
Oprócz fotografii obliczeniowej, wysokiej jakości sprzętu fotograficznego i procesorów sygnałów obrazu, najnowocześniejsza fotografia mobilna jest w coraz większym stopniu wspierana przez algorytmy uczenia maszynowego - znane również jako sztuczna inteligencja (AI). Ta technika fotograficzna obiecuje poprawić jakość w dążeniu do jakości zbliżonej do lustrzanki cyfrowej, oferując jednocześnie nowe kreatywne sposoby robienia i edytowania zdjęć i filmów.
Kluczem do uczenia maszynowego jest wykorzystanie sieci neuronowych. Jest to rodzaj algorytmu często porównywany do ludzkiego mózgu. To porównanie wynika z umiejętności trenowania sieci neuronowej poprzez wykorzystanie danych do rozpoznawania wzorców, co pozwala na dokonywanie bardzo dokładnych klasyfikacji złożonych typów danych, takich jak audio i obrazy.
Jeśli chodzi o fotografię, możliwość obserwowania, uczenia się, generowania i klasyfikowania ma szeroki zakres zastosowań. Aplikacje te mogą obejmować takie funkcje, jak korzystanie z technik fotografii obliczeniowej w celu poprawy algorytmów przetwarzania końcowego, bokeh oprogramowania w czasie rzeczywistym z wideo 4K, a nawet całkowite zmienianie kolorów ubrań, które nosisz.
Jak działają sieci neuronowe
Sieci neuronowe są niezwykle złożonym tematem, więc omówimy tutaj tylko podstawy. Bardziej zaawansowane czytanie znajdziesz w przewodnikach tutaj i tutaj.
Sieci neuronowe składają się z węzłów, co jest znaczące w przypadku wykonywania niektórych obliczeń. Każdy węzeł łączy dane wejściowe z wagą, która wzmacnia lub osłabia znaczenie tego konkretnego węzła. Kilka węzłów często działa równolegle, tworząc warstwę węzłów, która wykonuje większe zadanie. Może to być na przykład wykrywanie funkcji w obrazie. Wiele węzłów i warstw można sumować razem i przekazywać innym węzłom i warstwom, tworząc głębszą sieć o większych możliwościach.
Dane wyjściowe z każdego węzła i warstwy są skalowane jako funkcja prawdopodobieństwa. Analizując wiele różnych cech i atrybutów, sieć neuronowa może oceniać dane wejściowe jako dopasowanie prawdopodobieństwa do wszystkich oczekiwanych potencjalnych wyników. W ten sposób algorytmy wykrywania obrazu decydują, czy obraz wygląda bardziej jak kot czy pomarańcza, ale najpierw musisz powiedzieć mu, czego szukać.
Sieci neuronowe nie są zaprogramowane tak jak tradycyjne algorytmy komputerowe. Zamiast tego są szkoleni w zakresie zestawów danych, takich jak obrazy, pliki dźwiękowe itp. Wagi każdego węzła są regulowane stopniowo w czasie za pomocą pętli sprzężenia zwrotnego, w oparciu o to, jak dobrze sieć dopasowała dane wejściowe do prawidłowych wyników. To stopniowe „uczenie się” zasad wymaga znacznych przygotowań, czasu i mocy obliczeniowej, ale daje fenomenalnie dokładne wyniki.
Sieci neuronowe w smartfonie
Sieci neuronowe mogą działać na różnych komponentach sprzętowych, w tym częściach procesora i procesora graficznego wspólnych w wielu urządzeniach komputerowych, w tym na smartfonie. Niektóre sieci neuronowe mogą jednak wymagać większej mocy obliczeniowej niż te komponenty sprzętowe, a dedykowany sprzęt może zapewnić optymalne przetwarzanie.
Wewnątrz platformy mobilnej Qualcomm® Snapdragon ™ 855 znajdziesz na przykład najnowszy cyfrowy procesor sygnału Qualcomm® Hexagon ™ 690 (DSP), który oferuje ulepszone jednostki przetwarzania wektorów i nowy akcelerator Tensor specjalnie do zadań uczenia maszynowego. Inne platformy mobilne Snapdragon również zawierają komponent Hexagon DSP o różnych możliwościach. To powiedziawszy, sieci neuronowe nie ograniczają się tylko do działania na DSP na Snapdragonie i innych platformach mobilnych. Rodzaj zastosowanego procesora zależy od obciążenia.
Ulepszenia uczenia maszynowego Qualcomm Snapdragon 855 w porównaniu do poprzedniej generacji
Qualcomm Technologies udostępnia swoje możliwości DSP i uczenia maszynowego zewnętrznym programistom za pośrednictwem pakietu Qualcomm® Neural Processing SDK. Pozwala to aplikacjom na uruchamianie sieci neuronowych na dowolnym rdzeniu sprzętowym platformy mobilnej Snapdragon. Na przykład smartfony Google Pixel łączą się z Hexagon DSP i własnym Visual Core, aby przyspieszyć imponującą funkcję fotografowania HDR +. Qualcomm Technologies współpracuje z dostawcami oprogramowania, takimi jak Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho i więcej, obsługując funkcje od bokeh wideo do tworzenia awatarów za pomocą uczenia maszynowego działającego na DSP.
AI może kształtować przyszłość fotografii
Teraz, gdy wiemy, jak działają sieci neuronowe, ważne pytanie brzmi: co może zrobić dla nas i naszych zdjęć?
Sieci neuronowe służą do ulepszania szeregu popularnych algorytmów fotograficznych. Na przykład tłumienie hałasu można poprawić dzięki szkoleniom, aby zapewnić doskonałe czyszczenie obrazu dostosowane do konkretnego aparatu lub rodzaju zdjęcia. Podobnie w przypadku słabego oświetlenia sieć neuronowa może wykryć jasne i ciemne części obrazu, umożliwiając ulepszenie światła i kolorów w określonych częściach sceny.
Bardziej zaawansowane przypadki użycia są coraz powszechniejsze w fotografii na smartfonach. Zoomy o super rozdzielczości używają sieci neuronowych do łączenia wielu zdjęć w jedno ujęcie w wysokiej rozdzielczości, aby uzyskać doskonały wygląd zoomu cyfrowego. Sieci neuronowe można również wyszkolić w celu precyzyjnego łączenia wielu ekspozycji w celu uzyskania lepszego HDR i zdjęć nocnych.
Fotografia AI może obejmować powiększenie w super rozdzielczości, bokeh w czasie rzeczywistym i lepszą jakość obrazu.
Wideo może również skorzystać z przyjęcia tej technologii. Wykrywanie obiektów w czasie rzeczywistym umożliwia aplikacjom wprowadzanie programowych efektów bokeh bezpośrednio do wideo podczas nagrywania. Podobne techniki obsługują również zamianę i usuwanie obiektów w czasie rzeczywistym. Obejmuje to zamianę tła w filmie, zmianę lub usuwanie kolorów, a nawet wymianę odzieży lub nakładanie cyfrowych awatarów bezpośrednio na wideo.
Potęga sieci neuronowych i fotografii AI sięga od ulepszeń jakości, które pomagają wypełnić lukę w lustrzance cyfrowej, po potężne narzędzia kreatywne, dzięki którym tworzenie unikalnych treści jest dziecinnie proste. Tak czy inaczej, jest to potężna technologia, która ma zasadnicze znaczenie dla przyszłych ulepszeń w fotografii mobilnej.
Kolejny: Międzynarodowa gratisowa gra Google Pixel 3 XL!
Treść sponsorowana przez Qualcomm Technologies, Inc.
Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine i Qualcomm Kryo są produktami Qualcomm Technologies, Inc. i / lub jej spółek zależnych.
