Транспорт и логистика

GANverse3D – приложение для моделирования автомобилей будущего от NVIDIA

~ 4 мин

Приложение преобразует плоские изображения в реалистичные 3D-модели, которые можно визуализировать и изменять в виртуальных средах. Это поможет архитекторам, а также разработчикам игр и дизайнерам легко добавлять новые объекты в свои макеты

Nvidia-1
Фото: NVIDIA

NVIDIA Research разрабатывает новый движок глубокого обучения, который создает 3D-объектные модели из стандартных 2D-изображений – и может воплотить в жизнь культовые автомобили с ИИ, такие как KITT Knight Rider (машина с искусственным интеллектом из фильма «Рыцарь дорог»), в NVIDIA Omniverse.

GANverse3D – система визуализации двухмерных изображений в 3D

Приложение GANverse3D, разработанное исследовательской лабораторией NVIDIA AI Research Lab в Торонто, преобразует плоские изображения в реалистичные 3D-модели, которые можно визуализировать и контролировать в виртуальных средах. Эта поможет архитекторам, разработчикам игр и дизайнерам легко добавлять новые объекты в свои макеты. При этом им не потребуется опыт в 3D-моделировании или большой бюджет, который обычно необходим на визуализацию. Например, всего одну фотографию автомобиля можно превратить в 3D-модель с реалистичными фарами, задними фонарями и поворотниками, которая будет ездить по виртуальной площадке.  

Чтобы создать набор данных для обучения, исследователи использовали генеративную состязательную сеть или GAN для синтеза изображений, изображающих один и тот же объект с разных точек зрения – как фотограф, который ходит вокруг припаркованного автомобиля, делая снимки с разных углов. Эти многовидовые изображения были включены в структуру рендеринга для инверсной графики, процесс вывода моделей в 3D-сетку из 2D-изображений.

После обучения на многовидовых изображениях GANverse3D требуется только одно двухмерное изображение для прогнозирования трехмерной модели сетки. Эту модель можно использовать с трехмерным нейронным рендерером, который дает разработчикам возможность настраивать объекты и менять фоны. При импорте в качестве расширения в платформу NVIDIA Omniverse и работе на графических процессорах NVIDIA RTX, GANverse3D можно использовать для воссоздания любых 2D-изображений в 3D. В предыдущих моделях инверсной графики в качестве обучающих данных использовались трехмерные формы. Вместо этого, без помощи 3D-ресурсов, модель GAN стала эффективным генератором данных.

Поскольку обучение проводилось на реальных изображениях, а не на типичном конвейере, который полагается на синтетические данные, модель ИИ лучше внедряется в реальные приложения, подчеркивают авторы проекта. Исследования  GANverse3D будет представлены на двух конференциях: International Conference on Learning Representations в мае 2021 года, и Conference on Computer Vision and Pattern Recognition в июне 2021. 

Создатели игр, архитекторы и дизайнеры полагаются на виртуальные среды, такие как платформа моделирования и совместной работы NVIDIA Omniverse, для проверки новых идей и визуализации прототипов перед созданием конечных продуктов. С помощью Omniverse Connectors разработчики используют 3D-приложения в Omniverse для моделирования сложных виртуальных миров с трассировкой лучей в реальном времени. Но не у каждого разработчика есть время и ресурсы для создания 3D-моделей каждого объекта, который они зарисовывают. Стоимость захвата количества многовидовых изображений, необходимых для визуализации автомобилей в выставочном зале или зданий на улице, может быть слишком высокой.

Приложение GANverse3D может быть использовано для преобразования стандартных изображений автомобиля, здания или даже лошади в трехмерную фигуру, которую можно настроить и анимировать в Omniverse. Чтобы воссоздать KITT, исследователи просто показывали обученной модели изображение автомобиля, позволяя GANverse3D предсказывать соответствующую трехмерную текстурированную сетку, а также различные части автомобиля, такие как колеса и фары. Затем они использовали NVIDIA Omniverse Kit и инструменты NVIDIA PhysX , чтобы преобразовать предсказанную текстуру в высококачественные материалы, которые придают KITT более реалистичный вид, и поместили ее в динамическую последовательность движения.

GAN – уникальный инструмент визуализации данных

Поскольку реальные наборы данных, которые захватывают один и тот же объект под разными углами, встречаются редко, большинство инструментов ИИ, которые конвертируют изображения из 2D в 3D, обучаются с использованием синтетических наборов данных 3D, таких как ShapeNet. 

Чтобы получить многовидовые изображения из реальных данных – например, из изображений автомобилей, доступных в Интернете, – исследователи NVIDIA обратились к модели GAN, управляя слоями нейронной сети, чтобы превратить ее в генератор данных. Команда обнаружила, что открытие первых четырех слоев нейронной сети и замораживание оставшихся 12-ти заставило GAN визуализировать изображения одного и того же объекта с разных точек обзора. Назначая вручную стандартные точки обзора, когда автомобили изображаются на определенной высоте и на определенном расстоянии от камеры, исследователи быстро создавали набор данных с несколькими ракурсами из отдельных 2D-изображений. Последняя модель, обученная на 55 тысячах изображений автомобилей, созданная GAN, превзошла сеть обратной графики, построенную на популярном наборе данных Pascal3D.

Обращайтесь к нам, чтобы внедрить такое решение в своей компании
Департамент корпоративных решений

    ;