Съдържание

• Как работят невронните мрежи
• Невронни мрежи във вашия смартфон
• AI може да оформи бъдещето на фотографията

В допълнение към компютърната фотография, висококачествения хардуер на камерата и процесорите за сигнални изображения, авангардната мобилна фотография все повече се задвижва от алгоритми за машинно обучение - известен също като изкуствен интелект (AI). Тази фотографска техника обещава да подобри качеството в насока към DSLR-подобно качество, като същевременно предлага нови креативни начини за заснемане и редактиране на снимки и видео.

Ключът към машинното обучение е използването на невронни мрежи. Това е вид алгоритъм, който често се оприличава на човешкия мозък. Това сравнение се основава на способността на невронната мрежа да бъде обучена чрез използване на данни, за разпознаване на модели, което й позволява да прави високо точни класификации за сложни типове данни като аудио и изображения.

Що се отнася до фотографията, възможността за наблюдение, учене, генериране и класификация има широк спектър от приложения. Тези приложения могат да включват функции като надграждане на техники за изчислителна фотография за подобряване на алгоритмите за след обработка, софтуерен боке в реално време с 4K видео или дори напълно заместване на цветовете на дрехите, които носите.

Как работят невронните мрежи

Невронните мрежи са изключително сложна тема, така че тук ще разгледаме само основните положения. За по-разширено четене, разгледайте ръководствата тук и тук.

Невронните мрежи са съставени от възли, което е означение за това, където се правят някои изчисления. Всеки възел комбинира вход с тегло, което усилва или намалява значението на този конкретен възел. Няколко възли често работят паралелно, създавайки слой от възли, който изпълнява по-голяма задача. Това може да бъде например откриване на функции в изображение. Множество възли и слоеве могат да се сумират заедно и да се предадат на други възли и слоеве, образувайки по-дълбока мрежа с по-мощни възможности.

Изходът от всеки възел и слой се мащабира като функция на вероятността. Разглеждайки много различни функции и атрибути, невронна мрежа може да оцени входа като вероятностен мач спрямо всички очаквани потенциални резултати. Ето как алгоритмите за откриване на изображения решават дали дадена снимка прилича повече на котка или оранжево, но трябва да й кажете какво да търси първо.

Невронните мрежи не са програмирани като традиционните компютърни алгоритми. Вместо това те се обучават на набори от данни, като изображения, звукови файлове и др. Теглата на всеки възел се настройват постепенно с течение на времето чрез обратна връзка, въз основа на това колко добре се е справила мрежата при съвпадение на входовете с правилните изходи. Това постепенно „изучаване” на правилата отнема значителна подготовка, време и изчислителни мощности, но дава феноменално точни резултати.

Невронни мрежи във вашия смартфон

Невронните мрежи могат да работят на различни хардуерни компоненти, включително части на процесора и графичния процесор, често срещани в редица компютърни устройства, включително вашия смартфон. Въпреки това, някои невронни мрежи могат да изискват повече мощност на обработка, отколкото тези хардуерни компоненти могат да дадат, а специалният хардуер може да осигури необходимата оптимална обработка.

Вътре в мобилната платформа на Qualcomm® Snapdragon ™ 855, например, ще намерите най-новия процесор за цифрови сигнали Qualcomm® Hexagon ™ 690 (DSP), който може да се похвали с подобрени вектори за обработка на вектори и нов ускорител за тензор специално за задачи за машинно обучение. Други мобилни платформи Snapdragon също разполагат с шестоъгълния DSP компонент, с различни възможности. С това казано, невронните мрежи не се ограничават само до стартиране на DSP на Snapdragon и други мобилни платформи. Типът на използвания процесор зависи от натоварването.

Подобрения в машинното обучение на Qualcomm Snapdragon 855 в сравнение с предишното поколение

Qualcomm Technologies отваря своите възможности за DSP и машинно обучение за разработчици на трети страни чрез своя SDK Qualcomm® Neural Processing. Това позволява на приложенията да стартират невронни мрежи в някое от хардуерните ядра в Snapdragon Mobile Platform. Например, смартфоните на Google Pixel се включват в шестоъгълния DSP и собствения му Visual Core, за да ускорят впечатляващата си HDR + фотографска функция. Qualcomm Technologies работи с доставчици на софтуер като Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho и други, поддържащи функции, вариращи от видео bokeh до създаване на аватари, използвайки машинно обучение, работещо на DSP.

AI може да оформи бъдещето на фотографията

Сега знаем как работят невронните мрежи, важният въпрос е какво би могъл да направи за нас и нашите фотографии?

Невронните мрежи се използват за подобряване на набор от общи алгоритми за фотография. Де-шумът, например, може да бъде подобрен с обучение, за да се предложи превъзходно изчистване на изображението, съобразено с конкретната камера или тип на снимката. По същия начин, при слаба осветеност, невронна мрежа може да открие ярки и тъмни части на изображението, което позволява подобряване на светлината и цвета в определени части на сцената.

По-усъвършенстваните случаи на използване са все по-често срещани при фотографията на смартфони. Мащабите със супер разделителна способност използват невронни мрежи, за да комбинират множество изображения в един кадър с висока разделителна способност за превъзходно изглеждащо цифрово увеличение. Невронните мрежи също могат да бъдат обучени за прецизно зашиване на няколко експозиции на снимки заедно за подобрени HDR и нощни снимки.

AI фотографията може да включва мащабиране със супер разделителна способност, боке в реално време и подобрено качество на изображението.

Видео може също да се възползва от възприемането на тази технология. Детекцията на обекти в реално време е проектирана така, че да позволява на приложенията да въвеждат софтуерни bokeh ефекти директно във видео, докато записвате. Подобни техники също поддържат размяна и премахване на обекти в реално време. Това включва размяна на фона във видеоклип, промяна или премахване на цветове и дори замяна на дрехи или наслагване на цифрови аватари директно във вашето видео.

Силата на невронните мрежи и AI фотографията варира от подобрения на качеството, за да се помогне за затварянето на празнината в DSLR до мощни инструменти за креативност, които помагат да се създаде уникално съдържание лесно. Така или иначе, това е мощна технология, която е основна за бъдещите подобрения, насочени към мобилната фотография.

Следващия: Международно раздаване на Google Pixel 3 XL!

Съдържание, спонсорирано от Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine и Qualcomm Kryo са продукти на Qualcomm Technologies, Inc. и / или нейните дъщерни дружества.