что такое синтетические данные

Почему в машинном обучении используют «синтетические» данные

Обсуждаем мнения ИТ-сообщества и экспертов индустрии. Также рассмотрим пару проектов, в рамках которых разрабатывают инструменты для генерации «искусственных» данных. Один из них представили выходцы из Агентства национальной безопасности США и Google.

Проблема МО

Некоторым алгоритмам МО для работы требуются структурированные данные. Например, для решения задач машинного зрения их предоставляет проект ImageNet — в его БД более 14 млн изображений, разбитых на 22 тыс. категорий. Работа с таким масштабном набором приносит свои плоды. Использующие его алгоритмы ошибаются при определении объекта на фотографиях всего в 3,75% случаев. Для сравнения — у человека этот показатель превышает 5%.

Но сформировать датасеты подобные ImageNet для каждой задачи невозможно. Хотя бы потому что записи в них маркируются (или проверяются) вручную. При этом реальные данные — например, банковские или медицинские — могут быть закрыты и недоступны для всех разработчиков и дата-сайентистов. Но даже если такие данные есть, перед обработкой их необходимо анонимизировать.

С решением этих трудностей помогают синтетические данные. Они искусственные и сгенерированы компьютером, но выглядят аналогично реальным.

Кто работает в этой сфере

Проектами в этой области занимается множество университетов, ИТ-компаний и стартапов. Например, компания Gretel пишет программное обеспечение, формирующее искусственный свод данных на базе реального датасета. Фирму основала группа выходцев из Google, Amazon и Агентства национальной безопасности США (NSA).

В первую очередь их платформа анализирует имеющуюся информацию. В качестве примера инженеры использовали данные о поездках на электросамокатах Uber. Gretel распределяет их по категориям и расставляет метки, а затем анонимизирует с помощью методов дифференциальной приватности. На выходе получается «полностью искусственный датасет». Код своего решения разработчики выложили на GitHub.

Аналогичный проект реализовали в Иллинойсском университете в Урбане-Шампейне. Инженеры написали Python-библиотеку, с помощью которой можно сгенерировать синтетические данные для структурированных форматов CSV, TSV и частично структурированных JSON, Parquet и Avro. В первом случае специалисты использовали генеративно-состязательные сети, а во втором — рекуррентные нейросети.

Насколько эффективны синтетические данные

Они дают возможность дата-сайентистам и разработчикам обучать модели для проектов в тех областях, где пока еще нет big data. По словам Алекса Уотсона (Alex Watson), одного из основателей Gretel, во многих случаях достаточно значений, которые просто выглядят как реальные пользовательские.

По оценкам Gartner, к 2022 году 40% моделей МО будут натренированы на синтетических наборах данных.

Глава компании Haze, занимающейся разработкой систем ИИ, связал распространение технологии с её «гибкостью». Искусственную информацию проще дополнять и модифицировать с целью повышения эффективности обучаемой модели.

Также существует ряд задач, связанных с компьютерным зрением, где трудно использовать что-то, кроме синтетического датасета — например, в робототехнике. При проектировании промышленных роботов и беспилотных автомобилей используют обучение с подкреплением (reinforcement learning). В этом случае система искусственного интеллекта обучается, напрямую взаимодействуя с некоторой средой. В зависимости от отклика этой среды, робот корректирует свои действия.

Но беспилотник не может выехать на улицу и методом проб и ошибок определить, что «давить» пешеходов нельзя. Поэтому инженеры прибегают к синтетическим данным — они симулируют окружение в виртуальном пространстве. Например, решение для таких экспериментов предлагает Nvidia. Также проводились исследования по обучению машин при помощи движка игры Grand Theft Auto V.

Фото — Andrea Ang — Unsplash

Несмотря на все преимущества искусственных данных, у них есть свои недостатки. Они считаются менее точными — даже при условии генерации на реальных данных — и могут привести к получению моделей, генерирующих правдоподобные, но невоспроизводимые в реальном мире результаты. Однако один из резидентов Hacker News в тематическом треде отмечает, что это не такая уж большая проблема. Искусственные данные можно использовать для проверки алгоритмов интеллектуальной системы.

Другой пользователь Hacker News говорит, что подобные технологии усложняют процесс обучения моделей и увеличивают стоимость разработки. Его слова подтвердил специалист из Университета штата Иллинойс — разница может достигать 50%.

В любом случае синтетические датасеты нельзя считать «серебряной пулей». Это — лишь инструмент, способный помочь с решением определенного спектра задач. Но вполне возможно, что со временем этот спектр будет быстро расширяться.

О чем мы пишем в нашем корпоративном блоге:

Компьютер, который отказывается умирать
«Замести следы и уйти на выходные»: как удалить себя из большинства популярных сервисов
Какие инструменты помогут соответствовать GDPR
«Почти анархия»: краткая история Fidonet — проекта, которому «нет дела» до победы над интернетом

Источник

Синтетические наборы данных

Нередко возникают ситуации, когда получение реальных бизнес-процессов сложно или дорого, но при этом известны требования к таким бизнес-процессам, правила создания и законы распределения. Как правило, это происходит, когда речь идёт о чувствительных персональных данных — например, информации о банковских счетах или медицинской информации. В таких случаях необходимые наборы данных можно программно сгенерировать.

Содержание

Виды генерации [ править ]

Существует два основных подхода к генерации синтетических наборов данных.

В случае, когда реальные данные отсутствуют или их сбор невозможен (из-за большой длительности или дороговизны процесса), наборы генерируются полностью случайным образом на основе некой статистической модели, которая учитывает законы распределения реальных данных. Однако, такой подход не всегда оправдывает себя из-за того, что синтетические данные могут не учитывать весь спектр возможных случаев, и полученная с помощью такого набора модель может давать непредсказуемые результаты в крайних случаях.

Также применяется аугментация (англ. augmentation) — генерация наборов на основе имеющихся бизнес-процессов. К имеющимся данным применяются различные способы искажения: например, для изображений могут использоваться различные геометрические преобразования, искажения цвета, кадрирование, поворот, добавление шума и иные. Для числовых данных могут использоваться такие искажения, как добавление объектов с усреднёнными значениями, смешивание с объектами из другого распределения, добавление случайных выбросов.

Преимущества использования синтетических данных:

В то же время, у синтетических данных есть и недостатки:

Применение [ править ]

Сгенерированные объекты можно использовать в задаче обучения с учителем для расширения обучающего множества, сведя её к задачам частичного обучения и самообучения. Довольно распространённым подходом является обучение сначала на большом наборе синтетических данных, а затем дообучение на небольшом наборе имеющихся реальных данных. Иногда при обучении реальные данные не используются вовсе. При этом в тестовых множествах использовать синтетические наборы данных нельзя: в них должны быть только реальные объекты.

Синтетические данные активно используются при обучении алгоритмов управления автономным транспортом. Эти алгоритмы решают две задачи: сначала выявляют окружающие объекты — машины, дорожные знаки, пешеходов, а затем принимают решение о направлении и скорости дальнейшего движения. При реализации таких алгоритмов наиболее важно поведение транспортного средства в критических ситуациях, таких как помехи на дороге или некорректные показания сенсоров — от этого могут зависеть жизни людей. В реальных данных же, наоборот, в основном присутствуют штатные ситуации.

Одно из самых наглядных применений аугментации данных — алгоритмы восстановления изображений. Для работы таких алгоритмов исходный набор изображений расширяется их копиями, к которым применяются некие преобразования из фиксированного набора. На основе полученных изображений генерируется набор, в котором входными данными считаются полученные изображения, а целевыми — исходные. В самом деле, получить реальные данные для такой задачи — фотографию и её же искажённую копию — довольно затруднительно, а применение таких преобразований довольно легко автоматизируется. Таким образом, если исходные изображения достаточно хорошо описывали источник данных, то полученный набор данных можно применять для обучения алгоритма восстановления изображений, устраняющего применённые преобразования.

Также с помощью синтетических наборов данных можно упростить обучение алгоритмов компьютерного зрения, решающих задачи семантической сегментации, поиска и локализации объектов. В данном случае подходят наборы, в которых искомые объекты определённым образом наносятся на фоновое изображение. В частности, таким объектом может быть текст — тогда с помощью полученного набора может быть решена задача распознавания текста на изображении.

Синтетические данные используются и для создания алгоритмов реидентификации [на 25.01.21 не создан] — определения, действительно ли на двух изображениях один и тот же человек. Эти алгоритмы могут использоваться для нахождения людей на записях с камер, на пограничных пунктах и так далее. В этом случае реальные данные собрать довольно сложно, потому что требуется найти много фотографий одних и тех же людей в разных позах, с разных ракурсов и в разной одежде.

При генерации синтетических наборов данных необходимо учитывать специфику каждого конкретного случая, общего алгоритма, подходящего для всех случаев не существует. Как правило, общие алгоритмы наподобие добавления средних значений оказываются нерепрезентативными.

Примеры [ править ]

TextSharpener [ править ]

OmniSCV [ править ]

Нередко различные устройства оснащаются широкоугольными и панорамными камерами с углом обзора до 360°. Изображения, получаемые с таких камер, обладают довольно сильными искажениями (см. рисунок 2). Генератор изображений комнат OmniSCV [6] используется при разработке роботов для обучения алгоритмов компьютерного зрения для устранения искажений широкоугольных объективов и неидеальных условий освещённости.

Генератор умеет симулировать различные варианты бизнес-процессов — равноугольные и цилиндрические панорамы, «рыбьи глаза» и катадиоптрические системы, а также сопровождать сгенерированные изображения комнат вспомогательной информацией об окружающем пространстве и параметрах используемой камеры (см. рисунок 3).

Источник

Синтетические данные: улучшение алгоритмов восприятия и оптимизация поиска границ

Для того, чтобы охватить все краевые случаи, встречающиеся в реальном мире, критические системы восприятия нуждаются в огромных массивах данных. Один из распространенных подходов к обучению алгоритмов для беспилотных автомобилей – подбор и разметка данных о реальном вождении. На CVPR 2020 Андрей Карпатый рассказывал, что Tesla тоже использует этот подход – их автомобили адаптируют метки объектов в режиме онлайн. «Вариация и контроль» очень важны, поскольку инженеры постоянно адаптируют онтологию и методику маркировки данных, так как беспилотные автомобили постоянно сталкиваются с новыми сценариями, которые необходимо анализировать.

Впрочем, этот подход, основанный на использовании данных, имеет различные ограничения – они обусловлены масштабируемостью, стоимостью сбора данных и множеством усилией, необходимых для точной маркировки датасетов. В этом тексте команда Applied расскажет о подходе, основанном на синтетических размеченных данных. Этот подход обеспечивает ускорение и экономичность обучения и разработки критических алгоритмов для беспилотного транспорта.

Пример синтетических данных для изображений с камер с эталонной разметкой. Оригинальное RGB изображение (вверху слева), 2D-рамки (вверху справа), семантическая разметка (внизу слева) и 3D-рамки (внизу справа).

Современный подход к разметке данных и связанные с ним проблемы

На рисунке 2 представлен типичный подход к созданию размеченных датасетов. Это очень трудоемкий процесс – водители-испытатели управляют транспортными средствами, оснащенными множеством датчиков в ручном или беспилотном режиме. Во время этих поездок специальное ПО, встроенное в автомобиль, записывает сырые данные с датчиков и программные выходные данные с модулей восприятия, управления и планирования. В процессе разработки может возникнуть необходимость создания специальных автомобилей, поскольку в серийных может не хватать точных датчиков, необходимых для сбора данных. После сбора данных возникает сложная задача формирования выборки тех данных, которые будут размечены. Для этого требуется тщательно отбирать конкретные и интересные события, после чего датасеты отправляются компаниям, занимающимся разметкой (желательно минимизировать размеры датасета, чтобы экономить на его разметке). Порой сюда входит и поиск конкретных краевых случаев в логах (вроде летающего по автостраде пакета). Также повторные сбор и маркировка могут потребоваться при обновлении конфигурации какого-либо из датчиков.

Рисунок 2: Схема типичного процесса маркировки данных о езде при разработке беспилотных транспортных средств

Несмотря на то, что разметка может быть единственным способом подготовки чистых данных, необходимых для обучения алгоритмов беспилотной езды, основной недостаток этого подхода заключается в объеме инвестиций, необходимых для достаточного масштабирования. Для того, чтобы обнаружить какой-либо краевой случай водителям-испытателям может потребоваться проехать сотни или тысячи километров. У Tesla, например, есть автопарк из более чем миллиона серийных автомобилей, которые собирают огромные массивы данных: знаки остановки на разных языках, различные местоположения, проверка актуальности данных и многое другое – и все это от имени компании. У большинства OEM-производителей нет такого количества автомобилей, которое позволило бы собирать такие наборы данных. Даже если бы огромные массивы данных о езде были доступны, все равно нет гарантии, что эти данные были бы доступны в датасетах. В этом случае, для сбора таких данных необходимо проведение специальных кампаний, что повышает стоимость разработки и увеличивает сроки.

Еще один аспект – доступность и наличие конкретных условий. На момент написания этого текста в США наблюдаются экстремальные погодные условия – небо окрашивается в оранжевый (порой даже красный) цвет (рис. 3). Если в районе с такими условиями нет транспортных средств, то для сбора таких данных потребуются годы – чтобы экстремальные условия повторились. Иначе в наборе данных появятся искажения, связанные с тем, что в нем не представлены образцы таких условий.

Рисунок 3: Экстремальные условия трудно предвидеть и зафиксировать в наборах данных для беспилотного транспорта. Источник: CBS News.

Кроме того, разработчики беспилотного транспорта всегда ищут новые образцы, и для эффективной обработки данных потребуется значительная инфраструктура. Многие запросы к этим данным подразумевают, что у данных уже есть теги или разметка. Проблема в том, что если этот метод ранее не использовался, то их может и не быть. Наконец, стоимость разметки данных достаточно высока, и зачастую данные размечаются вручную. Существует большая вероятность появления ошибок и неточностей (например, когда один автомобиль перекрывает на изображении другой).

Использование синтетических данных и их преимущества

Синтетические данные дают возможность применить альтернативный подход – более масштабируемый и точный. Несмотря на то, что синтетические данные создаются на основе моделирования, достоверная информация (семантические метки транспортных средств или текст на дорожных знаках) предоставляется точно. Моделирование также может предоставлять точные данные об альбедо, глубине, обратном отражении и неровностях каждого из объектов в сцене (рисунок 4). Кроме того, у объектов есть пиксельные маски и семантические метки. Все это позволяет создавать аннотации автоматически, без необходимости вручную размечать данные с датчиков. Несмотря на то, что для создания отдельных аннотаций может потребоваться специальное ПО для извлечения данных о реальном мире, это будет единоразовое вложение, которое позволит создавать и использовать новые классы меток.

Рисунок 4: примеры различных отображений эталонных сцен в симуляторе. Сверху вниз и слева направо: итоговая сцена, базовые цвета, нормали поверхностей, карты металличности, карты шероховатости поверхностей и карта глубин.

Еще одно заметное преимущество разметки синтетических данных заключается в том, что они позволяют создавать множество вариаций одной и той же сцены без необходимости путешествовать по всему миру и полагаться на удачу. Синтетические данные также позволяют сосредоточиться на конкретных объектах, интересующих разработчиков. Если правильно настроить алгоритмы, можно смоделировать миллионы вариантов дорожных знаков за несколько часов. К этим вариантам могут относиться разные условия освещения, размещение объектов, различные преграды и повреждения (ржавчина, масляные разводы, граффити). Таким образом, синтетические данные могут дополнять данные, взятые из реального мира. Сложносоставные события реального мира могут быть использованы в качестве отправной точки, на основе которой будут созданы тысячи вариаций исходной сцены.

Разнообразие важно и с географической точки зрения. Для того, чтобы встретить иностранные дорожные знаки со специфическими модификациями, используемыми в отдельных странах, тестовым автомобилям потребуется отправляться в эти страны. Также тестовый автомобиль может проехать сотни километров, чтобы найти какой-то специфический дорожный знак, а в итоге окажется, что он был наполовину перекрыт школьным автобусом. Все эти трудности можно обойти, мгновенно создавая необходимые сцены с помощью наборов синтетических данных (рис. 5). Благодаря тому, что на основе синтетических данных можно создавать широкий спектр сценариев, можно тестировать алгоритмы на множестве краевых случаев (рис. 6). В этом посте описывается как компания Kodiak Robotics (которая занимается беспилотными грузовиками) использует синтетические симуляции для обучения алгоритмов и тестов – они проверяют, что их система Kodiak Driver адекватно обрабатывает различные краевые тестовые случаи.

Рисунок 5: примеры различных дорожных знаков в Европе и США

Рисунок 6: модификация дорожных условий и разметки в синтетических данных

Еще один важный сценарий использования: получение эталонных образцов данных, которые нельзя собрать с датчиков или добавить вручную. Типичный пример – точное извлечение глубины с камеры с одним и более объективами. Данные реального мира не сообщают нам глубину каждого отдельного пикселя, а точно вычислить их или разметить вручную невозможно.

Требования к синтетическим данным

Для того, чтобы разметка синтетических данных приносила пользу с точки зрения тестирования и обучения алгоритмов для беспилотного транспорта, данные с моделируемых датчиков и аннотации должны соответствовать определенным критериям. Как мы писали ранее в посте о моделировании датчиков, большие массивы данных с искусственных датчиков, используемых для разработки беспилотного транспорта, должны генерироваться дешево и быстро (за несколько дней). Также искусственные датчики должны моделироваться с учетом базовых физических принципов, присущих конкретным типам датчиков. Важнейшим фактором считается уровень точности создаваемых моделей. Существует компромисс между разрывом в правдоподобности (насколько по-разному алгоритмы воспринимают реальные и синтетические данные) и скоростью сбора данных. Этот разрыв может варьироваться в зависимости от типа моделируемого датчика, окружающих объектов и условий среды. Также очень важна возможность количественно оценить этот разрыв и использовать полученную оценку для формирования стратегии использования синтетических данных. В качестве примера можно взглянуть на рисунок 7, на котором показано как модель лидара реагирует на мокрую дорогу. На картинке можно увидеть, как лидар реагирует на обратные сигналы на уровне земли и брызги от транспортных средств вокруг.

Рисунок 7: визуализация модели лидара при вождении во время дождя

Еще один важный аспект, возникающий при работе с синтетическими данными – разнообразие сред и материалов, встречающихся в этих средах. Среды должны быстро генерироваться на основе реальных карт и данных – как показано на рисунке 8. Способность быстро создавать такие среды зависит от методов процедурной генерации. Возможность моделировать любые географические регионы со всего света – еще одно невероятное преимущество синтетических данных над реальными. Впрочем, хоть различные места создаются и легко, если методы настроены неправильно, то области и данные могут повторяться. В настоящее время очень важным аспектом в этой области становится поиск зависимости между повторением данных и отражением разнообразия реального мира. Разнообразие необходимо учитывать как на макроуровне (насколько может меняться дорожное покрытие на километровом отрезке пути), так и на микроуровне (например, чем могут отличаться различные материалы окружающей среды).

Важность материалов при рендеринге физически правдоподобных сред обсуждалась в предыдущем посте, хотя обычно текстуры, из которых состоят эти материалы, представляют собой сканы реальных поверхностей. Создание комбинаций и вариаций этих материалов для внесения разнообразия в генерируемые данные может иметь решающее значение как при обучении алгоритмов, так и при их тестировании.

Рисунок 8: высококачественная городская среда, сгенерированная процедурно.

Требования к аннотациям к данных зависят как от сценариев использования, так и от алгоритмов. Разновидности аннотаций данных, взятых из реального мира представлены в таблице 1.

Таблица 1: типы аннотаций для данных из реального мира

В случае с синтетическими данными, для создания аналогичных аннотаций имеется намного больше достоверной информации, которая может быть отражена в собранных данных. Базовые данные также воспроизводятся с точностью до точки/пикселя. Наконец, как данные с датчиков, так и аннотации могут обрабатываться в любой системе отсчета (мир, сама система, отдельный датчик и т.д.).

В таблице 2 представлены стандартные типы аннотаций для данных, созданных в результате моделирования. Кроме того, многие форматы и типы данных могут быть дополнительно настроены.

Таблица 2: типы аннотаций для синтетических данных

Использование всех этих дополнительных типов эталонных данных значительно ускоряет разработку алгоритмов. Масштабы имеющихся данных, их качество и объемы позволяют инженерам быстрее принимать различные решения.

Рисунок 9: Аннотированные синтетические данные, показывающие идеальные по пикселям 2D-боксы

НПП ИТЭЛМА всегда рада молодым специалистам, выпускникам автомобильных, технических вузов, а также физико-математических факультетов любых других высших учебных заведений.

У вас будет возможность разрабатывать софт разного уровня, тестировать, запускать в производство и видеть в действии готовые автомобильные изделия, к созданию которых вы приложили руку.

В компании организован специальный испытательный центр, дающий возможность проводить исследования в области управления ДВС, в том числе и в составе автомобиля. Испытательная лаборатория включает моторные боксы, барабанные стенды, температурную и климатическую установки, вибрационный стенд, камеру соляного тумана, рентгеновскую установку и другое специализированное оборудование.

Если вам интересно попробовать свои силы в решении тех задач, которые у нас есть, пишите в личку.

Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.

Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.

У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.

Источник