что такое tof камера в смартфоне
ToF-камера — что это такое?
В связи со стагнацией продаж смартфонов на рынке производители начали привлекать к себе клиентов с помощью таких нововведений, как несколько датчиков задней камеры, камеры, встроенные в экран и выдвижные камеры.
Термин «ToF-камера» попал в заголовки новостей еще в 2019 году. Но что она собой представляет? Я сейчас все детально вам объясню.
Что такое ToF-камера?
ToF-камера – это датчик, который измеряет глубину изображения. Чтобы получить информацию о глубине, он использует инфракрасный свет (лазер, невидимый для человеческого глаза). Датчик излучает световой сигнал, который попадает на объект и возвращается обратно. Затем датчик измеряет время, которое прошло с момента излучения сигнала до момента его возвращения, и таким образом получает информацию о глубине. Такой подход дает огромное преимущество перед другими технологиями, так как позволяет точно измерять расстояния с помощью одного лазерного импульса.
По сравнению с другими доступными технологиями «сканирования диапазона 3D-глубины» (теми же сканерами или камерами с источником структурированных световых лучей), технология ToF считается относительно дешевой. Излучаемый световой сигнал может достигать скорости до 160 кадров в секунду, что означает, что такие камеры отлично подходят для работы в режиме реального времени (эффект боке или фона в видео на ходу). Еще одно преимущество – такие камеры потребляют мало энергии.
Примечание: ToF – это один из многих методов, который подпадает под категорию диапазонного отображения. Иногда ToF-камеры еще называют дальномером или 3D-датчиком.
Для чего нужна ToF-камера?
Датчик ToF-камеры можно использовать для измерения расстояния, а также для сканирования объектов, навигации в помещении, обхода препятствий, распознавания жестов и отслеживания объектов. Данные, полученные с помощью этого датчика, могут также помочь с 3D-визуализацией и улучшением опыта при использовании дополненной реальности (AR). В телефонах ToF-камеры могут быть использованы для 3D-съемки, AR и, в частности, для съемки в портретном режиме.
Теоретически, ToF-камеры позволяют лучше размывать фон в портретном режиме. Я говорю «теоретически», потому что этот процесс все еще требует и программной составляющей. Да и от производителя зависит то, как будут использоваться данные, собранные с ToF-камеры.
ToF-камеры также могут помочь в условиях низкой освещенности – поскольку датчик использует инфракрасный свет для определения «расстояния до объекта», он может помочь смартфонам сфокусироваться даже в темноте.
ToF-камеры – это какое-то нововведение?
Технология ToF не очень нова – на протяжении последнего десятилетия с ней уже успели поэкспериментировать различные компании. Microsoft, например, использовала ToF-камеры в своих устройствах Kinect второго поколения. Лидары, которые часто используются в автомобилях с автопилотом, также обычно оснащены ToF-датчиками. Их приняли на вооружение даже компании, выпускающие беспилотники – так, дрон Chouette в видео выше использует камеру TeraRanger ToF для наблюдения за виноградниками.
Поэтому, хоть технология ToF и не была изобретена вчера, она все еще считается передовой, и, благодаря своей эффективности и доступности, она быстро набирает популярность.
Одним из первых смартфонов, использующих эту технологию, был Huawei Honor View 20, который вышел в конце 2018 года. После него появилось много других флагманских смартфонов с ToF-датчиками.
Смартфоны с ToF-камерой?
Представляю вам список смартфонов с установленной ToF камерой. Не буду вдаваться в их характеристики, можете посмотреть их сами по ссылкам на Яндекс Маркет.
Huawei P30 Pro
Четверная камера этого смартфона разработана в сотрудничестве с Leica. Здесь не только реализован первый на рынке 5-кратный оптический зум – смартфон также может похвастаться стандартной и широкоугольной оптикой наряду с ToF-датчиком. Это самая «продвинутая» установка камеры, которую я видел на сегодняшний день.
Samsung Galaxy Note 10+
Сверх популярный Galaxy Note также был выпущен и в 6,8-дюймовой версии. Как вы уже поняли, но это также единственная модель в линейке, которая имеет ToF-камеру.
Oppo RX17 Pro
Oppo RX17 Pro оснащен 25-мегапиксельной селфи-камерой с диафрагмой f/2.0, в то время как основная камера состоит из трех датчик, один из которых – ToF.
Honor View 20
В смартфоне Honor со встроенной в экран селфи-камерой также установлена двойная основная камера. Она состоит из 48-мегапиксельного основного датчика и 3D-датчика ToF. Смартфон также может похвастаться светодиодной вспышкой.
LG G8S ThinQ
Основная камера LG G8S ThinQ, анонсированного на Mobile World Congress 2019, также использует технологию ToF.
Кто занимается производством ToF-камер?
Производством ToF-камер занимается Sony, и, очевидно, сейчас эта технология японской компании начинает пользоваться большим спросом.
Кроме Sony производством ToF-камер также занимаются AMS/Heptagon, ASC TigerCub, TeraRanger One, Riegl, Lucid/Helios, и AdaFruit.
Что такое ToF-камера в смартфоне
Между производителями смартфонов идет постоянное соперничество. Чтобы как-то выделиться среди конкурентов и переманить покупателей на свою сторону, компании наделяют мобильники все новыми и новыми фишками. Кто-то развивается в плане дизайна, предлагая то вырезы, то изогнутые дисплеи, а кто-то разрабатывает новые форм-факторы вроде слайдеров, выдвижных элементов и гибких дисплеев.
Один из распространенных рецептов по созданию уникального и интересного смартфона касается камеры. Поле для экспериментов в этой области широкое: в современных мобильниках используются несколько объективов. Производителю остается только выбрать, какую комбинацию установить.
Последним нововведением в мобильных камерах стал датчик ToF, или времяпролетная камера. Давайте разберемся, что это и какую пользу от нее может получить простой обыватель.
Что такое ToF-камера
Времяпролетная камера, как подсказывает ее название, измеряет время, затраченное на движение импульса света от датчика до объекта съемки и обратно. Полученные данные используются камерой для построения карты глубины, то есть объемной картинки.
Этот метод построения изображения существует давно. У него есть свои особенности, которые до недавних пор не позволяли использовать его в коммерческих целях в таких малогабаритных устройствах, как смартфон. Свет перемещается с невероятной скоростью – 299 792 458 метров в секунду, поэтому ToF-камера должна обладать технологией, способной улавливать мельчайшую разницу в показателях времени, и иметь компактный размер, чтобы уместиться в корпусе смартфона.
ToF-камера состоит из 4 основных компонентов:
Сенсор и линза – обязательные компоненты любой камеры. У времяпролетного датчика есть еще излучатель и процессор. Первый испускает поток света, второй отвечает за измерение времени. На работу ToF-камеры уходят доли секунды.
Как работает ToF-камера
Луч света, испускаемый датчиком, возвращается быстро, если объект съемки находится близко к объективу. Чем дальше расположен объект или его часть, тем больше времени уйдет на то, чтобы луч достиг его, отразился и вернулся. Показатель расстояния измеряется для каждого пикселя. Это дает подробное представление о том, как выглядит объект, какие особенности формы имеет и как далеко находится. В качестве импульса используется инфракрасный свет, невидимый для человеческого глаза.
Аналогичный подход использует Apple в камере TrueDepth для разблокировки по лицу: там тоже создается трехмерное изображение лица пользователя по точкам, только за основу взята лазерная технология LIDAR.
У мобильной ToF-камеры есть свои недостатки. Первый связан с тем, что яркое освещение может мешать работе датчика: отраженные лучи теряются в окружающем пространстве, а камере не хватает чувствительности, чтобы распознать их и не перепутать с посторонними бликами. Второй недостаток – относительно низкое разрешение по сравнению с основными камерами.
Для чего нужна ToF-камера в смартфоне
В смартфонах времяпролетные камеры используются для сбора информации о глубине кадра, которая в свою очередь нужна для построения трехмерных изображений, отделения фона от объекта съемки в портретном режиме и распознавания жестов.
До недавнего времени смартфоны могли создавать 3D-изображения с помощью программных алгоритмов или специально выделенной камеры, исполняющей роль датчика глубины (стереовидение). ToF-камера – это новая ступень в развитии мобильной фотографии, так как она способна работать в темноте, обладает более высокой точностью и сниженным энергопотреблением.
В каких смартфонах есть ToF-камера
Времпролетная камера – инновационный элемент в мобильной индустрии. Пока она доступна лишь во флагманском сегменте, но в будущем наверняка станет встречаться и в аппаратах среднеценового класса. Пока что обладателями ToF-датчика являются:
По слухам, времяпролетная камера будет включена в фотомодуль iPhone 2019.
Что такое ToF-сенсор и почему в Samsung Galaxy S21 его не будет из-за Apple
Когда-то было счастьем иметь камеру в телефоне. Только одну с одним простеньким сенсором. Иногда буквально для того, чтобы она просто была, а не для того, чтобы делала крутые фотографии. Тогда их еще называли мутировавшим потомком смайлика. Потом постепенно начали появляться вспышки, вторые сенсоры, третьи сенсоры, четвертые сенсоры, отдельные фронталки и так далее. Одним из трендов последнего времени является использование в смартфоне ToF-сенсора. Многие рады, что он у них есть, хотя реально не понимают, для чего он нужен и как он вообще работает. Интересно, что даже производители не особо торопятся объяснить это пользователям, используя принцип «есть и уже хорошо», значит продать можно.
Samsung может многое, но не все.
Что такое ToF-камера
ToF-камера или ToF-сенсор, как ее еще называют — это сокращение. Полная версия названия звучит, как Time-of-flight. Это камера, которая позволяет оценивать дистанцию до объекта и вместо пикселей выдает оценку расстояния от объектива до объекта съемки.
Определение расстояния производится за счет измерения времени движения импульса света до объекта и обратно. Так камера понимает, на каком расстоянии находится та или иная часть сцены и может в зависимости от этого менять настройки.
Samsung будет обновлять по три года даже бюджетные смартфоны на Android
Если не вдаваться в подробности технологий, то принцип работы подобной камеры выглядит именно так. Ей не надо получать детальное изображение — она нужна для получения данных объема, а за картинку отвечают уже другие сенсоры. Наверное, одним из первых случаев применения ToF в смартфонах был датчик FaceID в iPhone X.
Какое отношение Apple имеет к Samsung Galaxy S21
Казалось бы, какое отношения Apple может иметь к смартфону Samsung, который еще не вышел и который еще не факт даже, что получит такое название, но связь есть. Она может быть и косвенная, но определенное влияние на Samsung Apple все же оказывает. В данном случае в отношении сенсоров.
Какие смартфоны будут лучше и дешевле Samsung Galaxy Note 20К
Смартфоны Samsung Galaxy Note 20 и Note 20 Ultra в это году уже были анонсированы без датчиков ToF. Учитывая это, есть вероятность, что что-то подобное может произойти и с новыми смартфонами линейки Samsung Galaxy S, которые представят в следующем году. Некоторые аналитики говорят, что Samsung якобы считает, что для этой технологии недостаточно вариантов использования. Именно это по их мнению станет причиной для отказа от использования такого сенсора.
Когда сенсор глубины может сканировать лицо, это полезно для безопасности.
В качестве основной причины аналитики сходятся во мнении, что ей стала Apple. Технология, которую применяет Samsung, не так хороша, как используемая купертиновцами. Все из-за того, что Samsung использует так называемую косвенную технологию, а Apple — прямую.
Сенсоры, которые используются Apple, разрабатывает и производит Sony. Логично спросить, почему Samsung не хочет купить у Sony эти датчики и пользоваться ими в своих устройствах. На деле не все так просто. Apple имеет эксклюзивное соглашения с Sony. То есть имеет на них полные права и может запретить японцам продавать их ”на сторону”. Не стоит думать, что Sony находится в каком-то рабском положении. Наоборот, компания получает за это очень хорошие деньги и отлично себя чувствует. Ей явно лучше, чем Samsung, которой приходится искать другие решения.
По некоторой информации Samsung все же прорабатывает вариант использования ToF-камер в новых моделях своих смартфонов. Говорят даже, что для этого в ее подразделении System LSI кипит работа по разработке нового сенсора ToF. На каком этапе находятся разработки, естественно, не уточняется, но улучшение собственных наработок компании возможно.
Каким будет Samsung Galaxy S21
Как и положено, новый смартфон серии Samsung Galaxy S выйдет в феврале или марте следующего года. Конечно, отклонения возможны, но это стандартный цикл обновления модели, которого компания придерживается уже много лет.
Подобное определение расстояния очень полезно, но только тогда, когда оно правильно работает.
В чем точно не стоит сомневаться, так это в том, что новинка получит процессор Snapdragon 875. Какая маркировка будет на его аналоге под брендом Exynos, пока остается неизвестным.
Чтобы не пропускать новые смартфоны от топовых брендов, подписывайтесь на наш новостной канал в Telegram.
На какой версии Android будет работать смартфон, пока тоже не понятно, но он наверняка получит оболочку Samsung One UI. А еще все смартфоны Samsung Galaxy S21 получат защиту от воды и пыли по самому высокому стандарту. Также не стоит сомневаться в тонких рамках передней панели.
В этом году продажи Samsung идут не совсем так, как планировалось, поэтому компания должна найти золотую середину в серии Galaxy S21, чтобы превзойти продажи Galaxy S20. До запуска серии Galaxy S21 еще далеко, так что посмотрим, что будет дальше. А заодно узнаем, как она будет называться. Не хотелось бы, чтобы теперь компания начинала отсчитывать модели десятками, как Huawei. Куда интересней смотрится вариант с годом производства. В этом году S20 и Note 20, в следующем — S21 и Note 21, потом — S22 и Note 22 и так далее.
Камеры глубины. Обзор устройств.
В этой заметке мы разберемся, какие устройства для 3D сканирования доступны рядовому пользователю, и на что способны мобильные камеры глубины. Обзор инструментов, подходящих для сканирования помещений.
Есть отрасли, где геометрия объекта и понимание того, насколько далеко объекты расположены от зрителя и относительно друг друга, играет ключевую роль: протезирование, инженерия, связанные с проектированием деталей задачи, беспилотные автомобили и даже криминалистика — сканирование места преступлений. Для маркетинга и мультимедиа представление объектов в 3D расширяет границы возможностей — пример тому набравшие популярность 3D туры по музеям, оцифровка экспонатов и достопримечательностей.
При сканировании, модель и сцены создаются не художником или конструктором, а берутся из реального окружения. С помощью устройства, снабженного различными камерами и датчиками, физические свойства объекта или пространства (форма, цвет) переносятся в цифровую среду. Отсканированные модели можно использовать как основу для дальнейшей доработки или другого анализа, в том числе семантического. Такой подход будет экономить время и деньги, а силы специалистов в результате можно будет направить на решение более творческих задач — все это ведет к автоматизации, к которой мы все так стремимся.
Описание задачи
Перед нами стояла задача — быстрое и качественное сканирование помещений. Необходимо:
— иметь возможность зайти в помещение и быстро, не более чем за пару минут, получить 3D модель комнаты;
— осуществить доступ к полученной 3D модели для редактирования и отображения каких-либо данных, связанных с объектами внутри комнаты.
Задача не новая, но для нас был особенно важен следующий ее аспект — как добиться цели, не приобретая дорогой производственный 3D cканер, с наилучшим соотношением цены и качества?
Для того, чтобы построить 3D модель, нам необходимо как-то получить карту глубины. То есть помимо цветной картинки с обычной камеры, нам понадобится камера глубины, благодаря которой каждому пикселю изображения будет ставиться в соответствие число — расстояние до этого пикселя.
Чтобы получить 3D модель, необходимо провести множество сканирований с разных сторон, а затем привести результаты к общей системе координат (сделать выравнивание).
Подробно про получение данных с камер, механизм сопоставления кадров, совмещение значений цвета и глубины, а также про другие нюансы при построении непосредственно 3D модели, вы сможете прочитать во второй части статьи.
А сейчас разберемся с тем, откуда брать глубину, какие технологии и устройства доступны сейчас на рынке.
Направления развития depth камер
Основные направления развития камер глубины, с обзором принципа их работы и современного применения, хорошо описаны тут. Поэтому не будем повторяться, лишь перечислим устройства, использующие наиболее активно развивающиеся технологии датчиков глубины.
Очевидно, что RGB-D камеры становятся важной частью современного рынка устройств. Есть даже приложение в Google Play для 3D сканирования.
Structured Light камеры
Structured Light камеры основаны на сканировании структурированным светом — с помощью проектора (обычно инфракрасного) формируется проекция световой сетки на объекте, и с помощью камеры фиксируются искажения сетки.
Time of Flight камеры (ToF)
ToF основаны на измерении времени отклика лучей от поверхности объекта.
Depth from Stereo камеры
Depth from Stereo камеры схожи с принципом работы стереоскопического зрения человека — на основании различия в снимках двух камер, направленных в одном направлении, определяется расстояние до каждой точки изображения.
Примеры устройств:
С помощью стереоскопии на смартфоне не удастся сканировать помещения, но можно заметно увеличивать качество фотографий и менять глубину резкости, благодаря возможности выделения объектов на переднем плане.
Light Field камеры
С помощью массива микролинз, расположенных перед сенсором камеры, в каждой точке фиксируется двумерный массив световых лучей, в результате чего получается четырехмерный кадр. Подробнее можно прочитать здесь. Мы не будем останавливаться на этой технологии, так как на данный момент из мобильных устройств она применяется только в Google Pixel 2, для выделения объектов на переднем плане и получения стереофото.
Обзорная таблица рассмотренных устройств
Мы сделали таблицу по рассмотренным камерам глубины, которая заполнялась в ходе экспериментов и изучения технических спецификаций устройств.
В таблицу входят некоторые устройства, которые не удалось протестировать или узнать достаточно характеристик, чтобы включить в обзор: Matterport Pro2 3D Cammera, Leica Geosystems BLK360, THE DPI-8S HANDHELD 3D SCANNER. “Нет информации” в ячейках означает, что в открытых источниках информация по этому пункту недостаточно полная.
Далее мы рассмотрим каждое устройство более подробно.
Обзор камер глубины
В наш обзор войдут устройства, оснащенные камерой для получения цвета, и камерой глубины, которые будут давать возможность в риал-тайм получать облако точек (point cloud) или полигональную модель с расстояния 1–4 метра в движении.
Для дальнейшей работы нам так же необходимо выбрать SDK или приложение для выгрузки полученной модели. На основании этих требований для ряда устройств, рассмотрим следующие характеристики:
Мы отдельно обращаем внимание на наличие инфракрасного передатчика-приемника —качество построения облака точек на устройствах без этого датчика сильно зависит от качества освещения сканируемого помещения.
Хотелось бы обратить внимание на то, что выбор 3D редактора, алгоритмов постобработки и анализа сцены (например, для автоматической расстановки меток с дополнительной информацией или для выделения плоскостей стен и пола) — это тоже отдельная и важная задача, которую мы не затрагиваем в этой статье.
Внимание! Указанные цены и сравнение результатов сканирования актуальны на момент написания статьи.
Structure Sensor by Occipital
От 399$. Цена зависит от комплектации.
Сам сенсор не имеет встроенной RGB камеры. Он использует камеру устройства.
Canvas by occipital — продуктовое решение от Оccipital, позволяет сканировать помещения и получать меш без текстур (получение облака точек не предусмотрено).
Occipital SDK доступно при покупке structure sensor. Дает доступ к высокоуровневому SLAM алгоритму, который строит 3D сцену.
Intel RealSense D435
Согласно характеристикам сенсора:
В RealSense SDK 2.0 есть возможности для работы с RGB и depth кадрами. SDK открыто.
ZED mini
ZED SDK от Stereolabs дает доступ к широким возможностям по работе как с самими камерами, так и с различными алгоритмами обработки. В частности, реализован алгоритм построения 3D сцены, предусмотрены методы для получения облака точек и текстурированного меша.
Мы тестировали SDK, используя имеющуюся камеру ZED mini и тестовое приложение для 3D сканирования, написанное разработчиками SDK для С++. Результаты сканирования получились неудовлетворительными:
Такие результаты, по всей видимости, связаны с отсутствием ИК модуля на самом устройстве — информация о глубине со стереокамер выходит весьма условной. Такое решение подойдет скорее для сканирования относительно простых сред, например, фасадов домов.
Устройство сканирует медленнее, чем решения от Occipital, иногда теряет сцену, после чего уже довольно сложно продолжать сканирование. При резких движениях можно потерять позицию. Размер сканируемого пространства ограничен объёмом оперативной памяти устройства.
Нет доступа к исходным кодам SDK.
Lenovo Phab2 Pro (project Tango)
RTAB-Map — SDK и автономное приложение, которое можно использовать в построении 3D скана помещения. Полностью открытый код. Можно выбирать SLAM алгоритмы, множество настроек.
Приложение возможно использовать на устройствах project Tango. Тестировали RTAB-Map Tango на Lenovo Phab 2 Pro.
На Lenovo Phab 2 Pro удалось просканировать довольно большое помещение (
150 м²). Так же существует возможность склеить отсканированные на мобильном устройстве части помещения через RTAB-Map на компьютере, но требуется соблюдать предложенные рекомендации по сканированию.
К сожалению, в нашем распоряжении не было всех устройств, заслуживающих внимания. Выше мы описали результаты сканирования на основе наших собственных тестов, с имеющихся в распоряжении камер. Ниже перечислим ещё несколько устройств, потенциально пригодных для решения нашей задачи, исходя из примеров с сайтов производителей, технической спецификации и документации.
Structure Sensor Mark II
От 419$ (для iPad Pro)
Улучшенная версия Structure Sensor.
Используются те же SDK, что и для Structure Sensor.
Azure Kinect
Microsoft прекратил производство Kinect for Windows v2, на смену которому пришел Azure Kinect DK.
Неизвестно, будет ли в Azure Kinect Sensor SDK решение для сканирования помещений. Согласно описанию, есть возможность использовать инструменты Azure. Примеры отсутствуют, но в SDK есть функционал получения облака точек каждого кадра. Исходный код открыт.
Заключение
Из обзора можно сделать вывод, что при использовании дешевых открытых решений, качество сканирования в основном оставляет желать лучшего — для его проведения требуется соблюдение особых условий (объем сканирования, условия освещения) или доработка алгоритмов. Например, доработав алгоритм позиционирования с помощью RTAB-Map в Occipital SDK, теоретически можно добиться такого же качества, что и в закрытом решении Сanvas для того же устройства. Нам показалось, что этот вариант даст наилучший результат.
Если вы не хотите тратить время и силы на переписывание исходных кодов под свои задачи, и в приоритете использование готового решения, то Lenovo Phab 2 Pro + RTAB-Map — приемлемый вариант. Хоть Project Tango это уже давно закрытый проект, качество скана в процессе тестирования у нас получилось лучше, чем во многих других современных решениях из нашего обзора. А если сделать связку с какой-либо современной моделью телефона и RTAB-Map, качество может получиться еще лучше, но будет необходим разбор вопроса с интеграцией RTAB-Map.
В заключении хотелось бы еще раз отметить, что помимо сканирования объектов и помещений, камеры глубины активно используются в AR, распознавании жестов, распознавании лица, построении скелетной анимации. Если вам интересно почитать про другие кейсы использования устройств—ознакомьтесь с нашей статьей о создании 2.5D видео (ссылка будет добавлена немного позже).
Надеемся, что наш материал помог вам справиться с поставленной задачей! Будем рады получить фидбек или вопросы по проведенным вами экспериментами 🙂