Obsah

• Ako fungujú neurónové siete
• Neurónové siete vo vašom smartfóne
• AI by mohla ovplyvniť budúcnosť fotografie

Okrem výpočtovej fotografie, vysokokvalitného hardvéru fotoaparátu a procesorov obrazových signálov sú špičkové mobilné fotografie stále viac poháňané algoritmami strojového učenia - známymi tiež ako umelá inteligencia (AI). Táto fotografická technika sľubuje zlepšenie kvality v snahe dosiahnuť kvalitu podobnú DSLR a zároveň ponúka nové kreatívne spôsoby snímania a úpravy obrázkov a videa.

Kľúčom k strojovému učeniu je použitie neurónových sietí. Toto je typ algoritmu, ktorý sa často prirovnáva k ľudskému mozgu. Toto porovnanie je odvodené zo schopnosti neurónovej siete trénovať pomocou údajov rozoznávať vzory, čo jej umožňuje robiť veľmi presné klasifikácie pre zložité typy údajov, ako sú zvuk a obrázky.

Pokiaľ ide o fotografiu, schopnosť pozorovať, učiť sa, generovať a klasifikovať má širokú škálu aplikácií. Tieto aplikácie môžu zahŕňať funkcie, ako je napríklad budovanie výpočtových fotografických techník na zlepšenie algoritmov dodatočného spracovania, softvér bokeh v reálnom čase so 4K videom alebo dokonca úplné vymieňanie farieb oblečenia, ktoré máte na sebe.

Ako fungujú neurónové siete

Neurónové siete sú nesmierne zložitou témou, takže tu budeme len popisovať základy. Ak si chcete prečítať viac, prečítajte si sprievodcov tu a tu.

Neurónové siete sú tvorené uzlami, čo je ukazovateľ toho, kde sa vykonáva výpočet. Každý uzol kombinuje vstup s váhou, ktorá zosilňuje alebo zoslabuje význam tohto konkrétneho uzla. Niekoľko uzlov často pracuje súbežne a vytvára vrstvu uzlov, ktorá vykonáva väčšiu úlohu. Môže to byť napríklad detekcia prvkov v obraze. Viacero uzlov a vrstiev sa dá spojiť a preniesť do iných uzlov a vrstiev, čím sa vytvorí hlbšia sieť s výkonnejšími schopnosťami.

Výstup z každého uzla a vrstvy je upravený ako pravdepodobnostná funkcia. Pri pohľade na veľa rôznych funkcií a atribútov môže neurónová sieť hodnotiť vstup ako pravdepodobnostnú zhodu so všetkými očakávanými potenciálnymi výstupmi. Takto rozhodujú algoritmy detekcie obrazu, či obrázok vyzerá skôr ako mačka alebo oranžová, ale musíte mu povedať, čo treba hľadať ako prvé.

Neurónové siete nie sú naprogramované ako tradičné počítačové algoritmy. Namiesto toho sú trénovaní na množinách údajov, ako sú obrázky, zvukové súbory atď. Hmotnosti každého uzla sa postupne upravujú v priebehu času prostredníctvom spätnoväzbovej slučky, na základe toho, ako dobre si sieť dokázala prispôsobiť vstupy správnym výstupom. Toto postupné „učenie“ pravidiel vyžaduje značnú prípravu, čas a výpočtovú silu, ale prináša fenomenálne presné výsledky.

Neurónové siete vo vašom smartfóne

Neurónové siete môžu bežať na rôznych hardvérových komponentoch, vrátane častí CPU a GPU, ktoré sú bežné v rade výpočtových zariadení vrátane smartfónu. Niektoré neurónové siete však môžu vyžadovať viac výpočtového výkonu ako tieto hardvérové ​​komponenty môžu poskytnúť a vyhradený hardvér môže poskytnúť optimálne potrebné spracovanie.

Napríklad v mobilnej platforme Qualcomm® Snapdragon ™ 855 nájdete najnovší digitálny procesor signálov Qualcomm® Hexagon ™ 690 (DSP), ktorý sa môže pochváliť vylepšenými jednotkami na spracovanie vektorov a novým urýchľovačom Tensor špeciálne pre úlohy strojového učenia. Ostatné mobilné platformy Snapdragon sú vybavené aj komponentom Dexagon DSP s rôznymi schopnosťami. Vďaka tomu sa neurónové siete neobmedzujú len na beh na DSP na serveri Snapdragon a na iných mobilných platformách. Typ použitého procesora závisí od pracovného zaťaženia.

Vylepšenia strojového učenia Qualcomm Snapdragon 855 v porovnaní s predchádzajúcou generáciou

Qualcomm Technologies otvára svoje schopnosti DSP a strojového učenia vývojárom tretích strán prostredníctvom SDK Qualcomm® Neural Processing. To umožňuje aplikáciám spúšťať neurónové siete na ktoromkoľvek z hardvérových jadier v mobilnej platforme Snapdragon. Napríklad smartfóny Google Pixel zapadajú do Hexagon DSP a do jeho vlastného Visual Core, čím urýchľujú pôsobivú fotografickú funkciu HDR +. Spoločnosť Qualcomm Technologies spolupracuje s dodávateľmi softvéru, ako sú Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho a ďalšie. Podporuje funkcie od videa bokeh po tvorbu avataru pomocou strojového učenia bežiaceho na DSP.

AI by mohla ovplyvniť budúcnosť fotografie

Teraz vieme, ako fungujú neurónové siete, dôležitá otázka je, čo by pre nás a naše fotografie mohlo urobiť?

Neurónové siete sa používajú na zlepšenie škály bežných fotografických algoritmov. Napríklad odstránenie šumu by mohlo byť vylepšené školením tak, aby poskytovalo vynikajúce vyčistenie obrazu prispôsobené konkrétnej kamere alebo typu záberu. Podobne, pri slabom osvetlení by nervová sieť mohla zistiť svetlé a tmavé časti obrazu, čo umožňuje vylepšenie svetla a farieb v konkrétnych častiach scény.

Pri fotografovaní pomocou smartfónov sú čoraz bežnejšie prípady pokročilého použitia. Priblíženia s vysokým rozlíšením používajú neurónové siete na kombináciu viacerých obrázkov do jedného záberu s vysokým rozlíšením, aby sa dosiahol digitálny zoom s vynikajúcim vzhľadom. Neurónové siete by sa tiež mohli naučiť presne spojiť viacero expozícií fotografií pre vylepšené HDR a nočné zábery.

Fotografovanie AI by mohlo zahŕňať priblíženie so super rozlíšením, bokeh v reálnom čase a vylepšenú kvalitu obrazu.

Video by tiež mohlo mať úžitok z prijatia tejto technológie. Detekcia objektov v reálnom čase je navrhnutá tak, aby umožňovala aplikáciám zavádzať pri nahrávaní efekty softvéru priamo do videa. Podobné techniky podporujú aj výmenu a odstránenie objektov v reálnom čase. To zahŕňa výmenu videa na pozadí, zmenu alebo odstránenie farieb a dokonca aj výmenu odevov alebo vloženie digitálnych avatarov priamo do videa.

Sila neurónových sietí a AI fotografií siaha od vylepšení kvality, ktoré pomáhajú zaplniť medzeru v DSLR, až po výkonné nástroje tvorivosti, ktoré pomáhajú vyrábať jedinečný obsah hračkou. V oboch prípadoch ide o výkonnú technológiu, ktorá je nevyhnutná pre budúce zlepšenia smerujúce k mobilnej fotografii.

Ďalšie: Medzinárodné darčeky spoločnosti Google Pixel 3 XL!

Obsah sponzorovaný spoločnosťou Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine a Qualcomm Kryo sú produkty spoločnosti Qualcomm Technologies, Inc. a / alebo jej dcérskych spoločností.