Что такое улучшение ии в камере
Создание не только лиц, но и личностей: как искусственный интеллект влияет на фотографию
Эксперты фотобанка Depositphotos рассказывают, какое будущее искусственный интеллект готовит для фотографии
ИИ (за)меняет фотографию
Cегодня ИИ меняет саму суть фотографии. Только представьте, что получить фото можно вообще без камеры. Это уже реально благодаря разработке Drawing Bot от компании Microsoft. Для того чтобы создать изображение, программе достаточно общего описания. Она может с нуля, пиксель за пикселем нарисовать что угодно — от пейзажа до абсолютно сюрреалистических картин. При этом каждое изображение содержит детали, которых не было в описании. Это доказывает, что ИИ не просто выполняет задачу, но и проявляет собственное воображение.
В основе этой технологии две модели машинного обучения. Одна создает изображения из текстовых описаний, а другая использует их, чтобы оценить подлинность сгенерированных картинок. Простыми словами, первая пытается создать поддельные изображения, а вторая не хочет, чтобы ее обманули. Поэтому обе постоянно совершенствуются. В результате получаются настолько реалистичные картинки, что их легко спутать с фотографиями.
Ваши удачные фото — заслуга ИИ
Развитие фотокамер движется в сторону все большей автоматизации. В первую очередь это касается камер смартфонов. Компания Apple использовала методы машинного обучения в портретном режиме для iPhone. Суть в том, что одна камера распознает людей, а вторая выделяет объект, размывая фон, в итоге получаются глубокие и выразительные кадры. И хотя технология распознавания людей с помощью машинного обучения не была новой, у обычных потребителей впервые появилась возможность применять ее в повседневной жизни с помощью своих смартфонов.
Последние модели iPhone оснащены уже полноценной ИИ-камерой. Прежде чем пользователь нажимает на кнопку, чтобы сделать фото, она снимает восемь кадров. После камера сравнивает полученные результаты и объединяет лучшие пиксели каждого из них в оптимальное изображение. В Apple эту инновационную функцию на базе нейронной сети назвали глубоким синтезом (deep fusion). Это первый раз, когда ее применили в фотосъемке.
ИИ создает новую реальность
Искусственный интеллект дает возможность буквально создать новую действительность. Компания Nvidia посвятила этому целое исследование, в ходе которого получила невероятно реалистичные фотографии фейковых знаменитостей. И хотя идея не нова, эти снимки стали самыми убедительными и детальными из когда-либо сделанных.
Современные технологии позволяют создавать не просто новые лица, но и личностей. Лил Микела — 19-летняя певица из Лос-Анджелеса и самый известный ИИ-инфлюенсер с более 1,9 млн подписчиков в Instagram. Она — творение компании Brud, которая специализируется на робототехнике и ИИ.
Как искусственный интеллект меняет фотографию
Если вас заботит вопрос о том, насколько будет хороша камера вашего следующего смартфона, то стоит обратить внимание на то, что производитель говорит о наличии искусственного интеллекта (ИИ). Если отбросить шумиху и чистый маркетинг, то нет смысла отрицать, что эта технология подняла прогресс фотографии на новый уровень за последние несколько лет и нет никаких сомнений полагать, что темп прогресса замедлятся.
Аппаратное обеспечение тоже не стоит на месте, но самые впечатляющие достижения в области фотографии за последнее время случились на программном уровне, и это во многом благодаря ИИ, который даёт понять объективам куда их навёл пользователь.
Сервис Google Фото продемонстрировал, как искусственный интеллект умеет взаимодействовать с огромными массивами снимков. До его запуска Google использовала машинное обучение для категоризации изображений в Google+, эти навыки перекочевали в Google Фото. ИИ привел в порядок миллиарды неорганизованных пользовательских библиотек в порядок.
Искусственный интеллект Google Фото основывался на предыдущей разработки компании DNNresearch, которую поисковый гигант приобрел в 2013 году. Компания создала нейронную сеть с контролируемым обучением, она могла находить визуальные подсказки на уровне пикселей, чтобы идентифицировать категорию. Со временем алгоритм научился правильно распознавать изображения с помощью шаблонов, например, по снимку панды он обучился правильно идентифицировать другие фотографии панд. Он определяет, где черный мех, а где белый, а также пропорции животного. Используя эту информацию ИИ отличает панд от коров голштинской породы. Все эти «знания» классифицируются и заносятся в базу данных, они используются для поиска снимков по абстрактным терминам, таким, как «животное» или «завтрак».
Подобный алгоритм требует много времени и вычислительной мощности, поэтому вся работа выполняется на серверах компании после того, как снимок загружается в облако. Как только фотографии попадают в центр обработки данных (ЦОД) Google начинает использование алгоритма для анализа и маркировки. Примерно через год после запуска сервиса Google Фото компания Apple анонсировала функцию поиска фотографий, которая аналогичным образом задействовала нейронные сети, но в рамках обязательств компании по обеспечению конфиденциальности категоризация выполняется процессором устройства без отправки данных на сервера. Обычно этот процесс занимает несколько дней и происходит в фоновом режиме.
Эти компоненты используются в «вычислительной» фотографии, под этот термин попадают такие явления современного мобильного фото, как эффект глубины резкости портретных режимов и алгоритмы, позволяющие создавать качественные изображения в смартфонах Pixel. Apple использует эту технологию для управления портретным режимом в смартфонах с двумя камерами. Процессор обработки изображений iPhone идентифицирует в кадре человека с помощью одной камеры, а вторая камера создает карту глубины резкости, чтобы отделить объект и размыть фон.
Google остается очевидным лидером в области «вычислительной фотографии» и превосходные результаты камер всех трех поколений Pixel тому доказательство. Режим HDR+ использует сложный алгоритм, объединяющий несколько снимков с разным уровнем экспозиции в одну фотографию. Наличие машинного обучения означает, что система продолжает улучшаться со временем. Google обучил свой искусственный интеллект огромному набору данных с помощью сервиса Google Фото и эти знания помогают камере Pixel в подборе правильной экспозиции.
Говоря о преимуществе смартфонов Google стоит упомянуть режим Night Sight, который с помощью длинных выдержек и алгоритма машинного обучения показывает впечатляющие результаты на съемках в условиях плохого освещения. Эта функция наилучшим образом реализована в Pixel 3, потому что алгоритмы разрабатывались с учетом аппаратного обеспечения этого устройства. Несмотря на это, Google сделала режим Night Sight доступным для всего модельного ряда смартфонов Pixel, даже для самых первых, в которых отсутствует оптическая стабилизация. Это решение доказывает, что программное обеспечение выходит на первый план, когда дело доходит до мобильной фотографии.
Тем не менее, аппаратная составляющая все еще имеет значение, особенно в случаях, когда она умеет взаимодействовать с искусственным интеллектом. Отдельные процессоры обработки изображения были очень важны для качества мобильной фотографии, но похоже, что чипы с ИИ будут играть более важную роль в развитии цифровой фотографии. Huawei была первой компанией, представившей систему на кристалле (SoC) с искусственным интеллектом — Kirin 970, хотя Apple Bionic A11 в конечном итоге первым добрался до пользователей. Крупнейший поставщик процессоров Qualcomm не уделяет особого внимания машинному обучению. Google разработала свой собственный чип под названием Pixel Visual Core, который помогает решать задачи связанные с ИИ. Последняя версия Apple A12 Bionic оснащена восьмиядерным нейронным движком, который может выполнять задачи в среде машинного обучения Apple до 9 раз быстрее, чем A11. Apple сообщает, что это дает камере лучшее понимание фокальной плоскости, а это помогает создавать более реалистичную глубину резкости.
Эта технология важнее для эффективного и производительного машинного обучения прямо на устройстве. Google продемонстрировала впечатляющую работу, которая снижает нагрузку на обработку с ghvhom. ЦОД, в то же время нейронные движки (Neural Engine) становятся быстрее с каждым годом. На раннем этапе развития «вычислительной» фотографии у камер смартфонов, которые разрабатывались для работы в тандеме с машинным обучением, есть реальные преимущества. Из всех возможностей искусственного интеллекта, фотография — наиболее практичная область применения. Камера — неотъемлемая часть любого смартфона, а ИИ — отличный способ её улучшить.
Фототест: как работает Искусственный Интеллект при съемке?
Что за смартфон?
Huawei nova 3 — более «молодежная» и доступная «сестра» флагманских P20 Pro и Mate 20 Pro. При этом в nova 3 используется тот же мощный топовый процессор Kirin 970 c отдельным ядром для искусственного интеллекта (аналогичный P20 Pro), отличная двойная основная камера на 24 МП + 16 МП с зумом и двойная фронталка 24 МП + 2 МП — также с поддержкой искусственного интеллекта и аппаратного боке.
В нашем обзоре мы уже отмечали, что это одна из лучших камер в среднем ценовом диапазоне. Все при ней: и двукратный зум без потерь, и качественные модули, и ночная съемка. В нашем материале — тест камеры nova 3 в самых разных условиях на протяжении 10 дней. Получилась ли замена фотоаппарату?
Жесткий свет
Для тестов камеры мы прилетели в солнечный Севастополь. Богатство местной природы позволит произвести съёмку как при ярком контрастном свете, так и в полной темноте, мы найдем пещеры, животных, насекомых. И сделаем несколько селфи — куда же без них!
Большинство фотографий в этом материале представлены в формате слайдеров. С одной стороны представлен снимок в стандартном режиме, а с другой — с включенным AI режимом.
В ночном снимке искусственный интеллект не поскупился на двойную экспозицию — слабее освещенный тротуар на «умной» фотографии высветлен и смотрится значительно ближе к тому, как это выглядело в реальности. Тот же трюк днем может пригодиться при контровом свете, например, если съемка ведется из помещения или из тени в сторону освещенной улицы.
Мягкий свет
Если камера видит зеленую растительность, нейросеть автоматически накладывает специфический фильтр, который повышает насыщенность цветов. Без AI режима сцена с сотрудником аэропорта, который поливает зеленую стену с живыми папоротниками на высоте третьего этажа смотрится не так впечатляюще.
То же касается неба — днем над морем часто бывает не очень живописная белесая дымка, из-за которой вода некрасиво сливается с небом. Но искусственный интеллект приходит на помощь. Обученный миллионами примеров алгоритм точно определяет, небо и линию горизонта и добавляет синевы, отдельно улучшая другие видимые объекты, например, зеленый лес ялтинских предгорий.
Впрочем, в пасмурную погоду это режим работает не хуже.
Как работает ИИ в камере
К слову, в отличие от моделей прошлого года, в nova 3 AI режим работает не только на основной, но и на фронтальной камере.
Благодаря точному распознаванию сцен, смартфон одним щелчком затвора делает снимки, которые потом можно спокойно выгружать в Инстаграм с хештегами #снятонаhuawei и #безобработки — и не нужны ни сторонние редакторы, ни даже встроенные фильтры самой соцсети, кадры и так смотрятся ярко и вызывают зависьть (и лайки).
Но, пожалуй, куда более практически значимой особенностью «умной» камеры Huawei nova 3 можно назвать ее способность делать отлично детализированные, четкие снимки даже при очень плохом освещении.
Тут в дело вступают несколько характеристик. Во-первых, двойная камера уже традиционно для Huawei состоит из основного цветного и второго черно-белого сенсора. Так как ч/б матрице не надо улавливать цветовые оттенки, она способна захватывать больше света, подробнее прорабатывая объекты в темноте с меньшим количеством шумов. Одновременно с этим камера делает и цветной кадр, а потом объединяет сырую информацию с двух цифровых матриц в одно резкое цветное изображение.
Но это еще не все — смартфоны Huawei 2018 года используют комбинацию оптической и «интеллектуальной» цифровой стабилизации изображения. Так называемая AIS (AI image stabilization) предугадывает (почти всегда корректно) движения объектов и направление тряски рук, чтобы снимки с длинной выдержкой меньше смазывались. Работу в темноте можно оценить на кадрах из Мраморной пещеры в горе Чатырдаг, в которой никогда не было естественного света.
А еще продвинутая стабилизация отлично проявляет себя при макросъемке на телеобъектив. С двукратным зумом эффект от всех движений камеры удваивается, и сделать качественный резкий кадр сложнее. AIS решает эту проблему, а искусственный интеллект параллельно увеличивает контрастность и проработку структуры, чтобы мелкие объекты вроде цветов и насекомых лучше выделялись из фона.
В официальной рознице Huawei nova 3 стоит 29 990 рублей с учетом целого вороха подарков для отпуска и продолжительной фото-охоты со смартфоном: внешнего аккумулятора с поддержкой быстрой зарядки Huawei Charge, фитнес-трекера Huawei Band 2 Pro и монопода-штатива.
Модуль ИИ в камере Хуавей: что это такое
11.12.2019 7,666 Просмотры
Под аббревиатурой ИИ принято понимать искусственный интеллект. В настоящее время им оснащается большое количество устройств. И смартфоны HUAWEI – не исключение. Что представляет собой данный модуль, какие возможности он предоставляет и как им пользоваться, будет рассмотрено в статье.
Что это такое
Компания ХУАВЕИ в 2019 году на слуху у всех. И это неудивительно, ведь она создала большое количество разработок, которые призваны изменить мир к лучшему. Камеры устройств, выпущенных ею, оснащены специальным процессором, используемым в ходе проведения нейросетевых вычислений. Альтернативное его наименование – ускоритель искусственного интеллекта. Этот ход компании стал прогрессивным.
Зачем это нужно
Особого внимания заслуживает камера устройства. С ее помощью можно без труда распознавать всевозможные сцены в кадре, а также осуществлять поиск и выбор оптимальных настроек. Количество этих сценариев в последнее время увеличилось. Новый показатель стал равняться 1500. Это дало пользователям возможность объединять несколько элементов в кадре и делать уровень адаптации более высоким.
Наряду с этим доступно одновременно несколько фильтров, которые делают картинку более красивой. Основной цвет при этом заметно выделяется, а фон при желании пользователя может быть размытым. Вместе с этим модуль ИИ позволяет осуществлять анализ пользовательских действий и делать соответствующие выводы.
Компания постоянно радует пользователей оригинальными новинками, в числе которых не только смартфоны, но и прочие устройства. Качество их постоянно растет, а цены остаются на приемлемом уровне.
Зачем нужен искусственный интеллект в смартфонах и что он умеет
Содержание
Содержание
Развитие систем искусственного интеллекта стало трендом в последние несколько лет. Особенно четко это прослеживается на примере смартфонов — ИИ используется для оптимизации множества задач. Давайте посмотрим, где именно он применяется и какие перспективы нас ждут в будущем.
Как работает и где используется ИИ
Чтобы понять, что такое искусственный интеллект в смартфоне, сперва нужно разобрать понятие нейросети. По сути, это упрощенная модель мозга человека. Наш мозг состоит из 90 миллиардов нейронов, то есть клеток, которые обрабатывают и передают электрический сигнал. Они связываются между собой с помощью так называемых синапсов. Только в случае нейросети, нейронами служат специальные ячейки, которым можно присваивать числовые значения.
Например, ячейке a было присвоено значение 0,4. Она передает его соседним «нейронам» — d, e, f. Стрелочки (синапсы) заданным образом изменяют это значение. Связь «a—d» увеличивает значение вдвое, поэтому по итогу получается 0,8. Какие бы сигналы не проходили через этот синапс, они всегда будут умножаться на два.
В реальном мозге происходит точно также — электрический сигнал, следуя от одного нейрона к другому, всегда будет преобразовываться одинаково. Именно поэтому нам бывает сложно побороть устойчивую привычку или адаптироваться к нестандартной ситуации. Например, читая эту статью, вы уже начинаете скучать: сигнал постепенно угасает, зато другие импульсы (посмотреть смешное видео с котиками) наоборот усиливаются. Если вы все-таки заинтересовались, каким образом обучаются нейросети, рекомендуем почитать специализированный материал. А мы перейдем к практической реализации.
Для распознавания объектов сейчас применяют так называемые сверточные нейросети. Именно с помощью них смартфон понимает, что изображено на картинке. Приложение камеры в реальном времени идентифицирует предмет или сцену (животное, человек, пейзаж) и выставляет оптимальные настройки — оптимизирует цветность, яркость и контрастность, экспозицию.
По такому же принципу работает разблокировка по лицу в большинстве смартфонов. Фронтальная камера делает снимок, а алгоритмы сравнивают его с заданным изображением по ключевым точкам. Нейросеть всегда выдает вероятность, а не точный результат: если она большая, то телефон разблокируется. Алгоритмы машинного обучения помогают, если вы надели очки или отрастили бороду. Не узнав вас, система предложит ввести пароль вручную, а затем ИИ вносит корректировки в модель, адаптируясь к изменениям внешности.
В смартфонах дорогого сегмента применяется другой способ. Например, в iPhone 12 специальная камера True Depth проецирует несколько десятков тысяч точек на лицо и строит трехмерную модель. При попытке разблокировки, система сравнивает модель лица с исходной. Этот метод более надежен — мошеннику не удастся обмануть систему, поднеся к камере фотографию лица.
По этому же принципу работает распознавание речи. Отличие лишь в том, что Google Assistant и Siri от Apple отправляют запросы на облачные серверы, где они обрабатываются гораздо быстрее, чем на вашем телефоне.
Нейросети голосовых помощников обучают при помощи огромных массивов информации: начиная от классической литературы и заканчивая живыми текстами из интернета.
Технологии обучения используют и машинные переводчики. Например, Google Translate при помощи рекуррентных двунаправленных нейронных сетей умеет переводить предложения целиком, используя контекст. Раньше это происходило пословно, поэтому в сложных смысловых конструкциях качество перевода страдало.
Также доступен мгновенный перевод при помощи камеры, но для этого нужен интернет, поскольку данные также обрабатываются на удаленном сервере.
Алгоритмы ИИ в современных смартфонах применяются для множества задач. Помимо тех, что мы упомянули, они используются, например, для отслеживания движения объектов в реальном времени (распознавание жестов и эмоций, помощь при фокусировке видео), настройки звука с учетом окружающей среды, улучшения фильтров дополненной реальности в приложениях с поддержкой AR, в системах навигации (чтобы проложить маршрут без пробок) и многих других случаях.
Железная составляющая
Искусственный интеллект также применяется для оптимизации работы самого смартфона. В процессоре обычно используется 6–8 ядер, два из которых — высокопроизводительные, а остальные — энергоэффективные и работают на более низкой частоте.
Нейросеть анализирует привычки пользователя, чтобы обеспечить оптимальное соотношение между расходом батареи и производительностью. Смартфон определяет, какие приложения используются чаще и в какие промежутки времени, затем они автоматически подгружаются в оперативную память.
При прослушивании музыки или чтении веб-страниц не требуется много ресурсов, поэтому задействуется лишь пара-тройка низкочастотных ядер. А для игр и ресурсоемких программ периодически включаются производительные ядра.
Чтобы ускорить обработку вычислений для искусственного интеллекта, производители смартфонов стали выделять под эти задачи отдельный вычислительный блок. Первым процессором с NPU (нейронным модулем) стал Kirin 970 от Huawei, выпущенный в конце 2017 года. Этот чип распараллеливает огромное количество мелких операций, которые выполняются одновременно. Центральный процессор для этого не годится — у него всего 8 ядер. Графический ускоритель содержит тысячи ядер, но потребляет слишком много энергии.
Затем подтянулись и другие гиганты индустрии. Apple применила в iPhone X процессор A11 Bionic, встроив в него Neural Engine, который способен выполнять до 600 миллиардов операций в секунду.
Компания Qualcomm реализовала аппаратную поддержку алгоритмов машинного обучения в процессорах, начиная со Snapdragon 660.
Google встроила в свои смартфоны особый чип Pixel Visual Core, который ускоряет обработку фотографий.
Благодаря ему, снимки HDR+ в фирменном приложении камеры обрабатываются в 5 раз быстрее, чем при использовании обычного ЦП. Телефон делает до 16 фото с разной экспозицией за короткий промежуток времени, а потом объединяет их, используя нейросеть.
На текущий момент самым быстрым процессором в мире является Snapdragon 888. На его презентации большое внимание уделили возможностям нового нейронного ускорителя Hexagon 780. Qualcomm заявляет, что его производительность настолько высока, что ИИ «в режиме реального времени может стереть конкретного человека из видео или вставить кого-то другого».
Перспективы будущего
Прогресс движется к тому, что на смартфонах скоро можно будет запускать даже глубокое машинное обучение (так называемое Deep Learning). Говоря проще, увеличится количество слоев нейронов — сети смогут выполнять более сложные задачи.
Например, фронтальная камера будет постоянно анализировать лицо владельца, чтобы понять его физическое состояние. Повысится точность распознавания речи, при этом NPU будет лучше понимать конкретные намерения пользователя. Распространение сетей 5G позволить быстрее взаимодействовать с облачными серверами.