Слева направо , скульптура Микеланджело, «Давид», карта нормалей Нейраланджело и вывод поверхности 3D-сетки. Фото: NVIDIA
До недавнего времени 3D-реконструкция поверхности была относительно медленным и кропотливым процессом, включающим множество проб и ошибок и ручной ввод данных. Но что, если бы вы могли снимать на смартфон видео объекта или сцены и превращать его в точную, детализированную модель, как мастер-скульптор создает шедевры из мрамора или глины? Его создатели утверждают, что метко названный Нейраланджело делает именно это благодаря силе нейронных сетей — и с субмиллиметровой точностью.
Это совместный проект исследователей факультета компьютерных наук Инженерной школы Уайтинга и технологического гиганта NVIDIA. Этот высокоточный алгоритм реконструкции нейронных поверхностей может точно воспроизводить формы повседневных предметов, знаменитых статуй, знакомых зданий и целая среда только из видео со смартфона или видеозаписи с дрона без необходимости дополнительного ввода. Их выводы были представлены на сервере препринтов arXiv.
Алгоритмы, лежащие в основе сред виртуальной реальности, автономной навигации роботов и интеллектуальных операционных, имеют одно фундаментальное требование: они должны иметь возможность обрабатывать и точно интерпретировать информацию из реального мира, чтобы работать правильно. Такого рода знания достигаются за счет трехмерной реконструкции поверхности, при которой алгоритм берет несколько двухмерных изображений с разных точек зрения, чтобы визуализировать реальную среду таким образом, чтобы другие программы могли распознавать и манипулировать ими.
Проект Neuralangelo был инициирован Чжаошуо «Макс» Ли, который в 2019 году получил степень магистра компьютерных наук в Школе Уайтинга, а затем докторскую степень. по компьютерным наукам в 2023 году — во время стажировки летом 2022 года в NVIDIA, где он сейчас работает научным сотрудником. Его целью было не только улучшить существующие методы 3D-реконструкции, но и сделать их доступными для всех, у кого есть смартфон.
Его интересовал вопрос, как мы можем достичь того же понимания трехмерной среды, что и люди, используя дешевые видеоролики, тем самым сделав эту технологию доступной для всех.
Работа с консультантами Johns Hopkins Расселом Тейлором, профессором компьютерных наук Джона С. Мэлоуна, и Матиасом Унбератом, доцентом компьютерных наук, а также исследователями NVIDIA Томасом Мюллером и Алексом Эвансом, руководителем проекта Минг-Ю Лю и наставником по стажировке. Чен-Сюань Линь и Ли решили демократизировать 3D-реконструкцию поверхности.
Первым шагом команды в создании Neuralangelo было решение проблем, с которыми сталкивались более ранние алгоритмы реконструкции при рендеринге больших областей однородных цветов, повторяющихся текстурных узоров и сильных цветовых вариаций. Поскольку традиционные алгоритмы используют аналитические градиенты, которые одновременно рассматривают и сравнивают участки локальных пикселей, они дают неточные реконструкции с «шумными» поверхностями — например, с парящими над крышей каплями — или отсутствующими, с дырами в том, что должно быть. быть прочной кирпичной стеной, говорит команда.
