Транспорт та логістика

GANverse3D – додаток для моделювання автомобілів майбутнього від NVIDIA

~ 4 хв

Додаток перетворює плоскі зображення на реалістичні 3D-моделі, які можна візуалізувати і змінювати у віртуальних середовищах. Це допоможе архітекторам, а також розробникам ігор і дизайнерам легко додавати нові об’єкти в свої макети

Nvidia-1
Фото: NVIDIA

NVIDIA Research розробляє новий движок глибокого навчання, який створює 3D-об’єктні моделі зі стандартних 2D-зображень – і може втілити в життя культові автомобілі з іноземними інвестиціями, такі як KITT Knight Rider (машина з штучним інтелектом з фільму «Лицар доріг»), в NVIDIA Omniverse.

GANverse3D – система візуалізації двомірних зображень в 3D

Додаток GANverse3D, розроблене дослідною лабораторією NVIDIA AI Research Lab в Торонто, перетворює плоскі зображення у реалістичні 3D-моделі, які можна візуалізувати і контролювати у віртуальних середовищах. Ця допоможе архітекторам, розробникам ігор і дизайнерам легко додавати нові об’єкти у свої макети. При цьому їм не потрібен досвід у 3D-моделюванні або великий бюджет, який зазвичай необхідний на візуалізацію. Наприклад, всього одну фотографію автомобіля можна перетворити на 3D-модель з реалістичними фарами, задніми ліхтарями і поворотниками, яка буде їздити по віртуальному майданчику.

Щоб створити набір даних для навчання, дослідники використовували генеративну змагальну мережу або GAN для синтезу зображень, що зображують один і той же об’єкт з різних точок зору – як фотограф, який ходить навколо припаркованого автомобіля, роблячи знімки з різних кутів. Ці багатовидові зображення були включені у структуру рендеринга для інверсної графіки, процес виведення моделей у 3D-сітку з 2D-зображень.

Після навчання на багатовидових зображеннях GANverse3D потрібне тільки одне двомірне зображення для прогнозування тривимірної моделі сітки. Цю модель можна використовувати з тривимірним нейронним рендерером, який дає розробникам можливість налаштовувати об’єкти та змінювати фони. При імпорті у якості розширення в платформу NVIDIA Omniverse і роботі на графічних процесорах NVIDIA RTX, GANverse3D можна використовувати для відтворення будь-яких 2D-зображень у 3D. У попередніх моделях инверсної графіки в якості навчальних даних використовувалися тривимірні форми. Замість цього, без допомоги 3D-ресурсів, модель GAN стала ефективним генератором даних.

Оскільки навчання проводилося на реальних зображеннях, а не на типовому конвеєрі, який покладається на синтетичні дані, модель ШІ краще впроваджується у реальні програми, підкреслюють автори проекту. Дослідження GANverse3D буде представлене на двох конференціях: International Conference on Learning Representations у травні 2021 року і Conference on Computer Vision and Pattern Recognition в червні 2021.

Творці ігор, архітектори і дизайнери покладаються на віртуальні середовища, такі як платформа моделювання та спільної роботи NVIDIA Omniverse, для перевірки нових ідей і візуалізації прототипів перед створенням кінцевих продуктів. За допомогою Omniverse Connectors розробники використовують 3D-додатки у Omniverse для моделювання складних віртуальних світів з трасуванням променів у реальному часі. Але не у кожного розробника є час і ресурси для створення 3D-моделей кожного об’єкта, який вони замальовують. Вартість захоплення кількості многовидових зображень, необхідних для візуалізації автомобілів у виставковому залі або будівель на вулиці, може бути занадто високою.

Додаток GANverse3D може бути використано для перетворення стандартних зображень автомобіля, будівлі або навіть коня у тривимірну фігуру, яку можна налаштувати і анімувати у Omniverse. Щоб відтворити KITT, дослідники просто показували навченої моделі зображення автомобіля, дозволяючи GANverse3D передбачати відповідну тривимірну текстуровану сітку, а також різні частини автомобіля, такі як колеса і фари. Потім вони використовували NVIDIA Omniverse Kit і інструменти NVIDIA PhysX, щоб перетворити передбачену текстуру на високоякісні матеріали, які надають KITT більш реалістичний вигляд, і помістили її у динамічну послідовність руху.

GAN – унікальний інструмент візуалізації даних

Оскільки реальні набори даних, які захоплюють один і той самий об’єкт під різними кутами, зустрічаються рідко, більшість інструментів ШІ, які конвертують зображення з 2D в 3D, навчаються з використанням синтетичних наборів даних 3D, таких як ShapeNet.

Щоб отримати багатовидові зображення з реальних даних – наприклад, із зображень автомобілів, доступних в Інтернеті, – дослідники NVIDIA звернулися до моделі GAN, керуючи шарами нейронної мережі, щоб перетворити її на генератор даних. Команда виявила, що відкриття перших чотирьох шарів нейронної мережі і заморожування 12-ти, що залишилися, змусило GAN візуалізувати зображення одного і того ж об’єкта з різних точок огляду. Призначаючи вручну стандартні точки огляду, коли автомобілі зображуються на певній висоті і на певній відстані від камери, дослідники швидко створювали набір даних із багатьма кутами з окремих 2D-зображень. Остання модель, навчена на 55 тисячах зображень автомобілів, створена GAN, перевершила мережу зворотного графіки, побудовану на популярному наборі даних Pascal3D.

Звертайтеся до нас, щоб впровадити таке рішення в своїй компанії
Департамент корпоративних рішень

    ;