Превратить любую фотографию в реалистичную 3D-модель: представлен Seed3D 1.0

ByteDance, материнская компания TikTok, представила Seed3D 1.0, и это не просто генератор моделей. Как утверждают разработчики, этот инструмент может превратить одно 2D-изображение в полноценную 3D-модель уровня симуляции с детальной геометрией, фотореалистичными текстурами и физически корректными материалами для рендеринга (PBR).

Решение построено на набирающей популярность архитектуре Diffusion Transformer, обученной на огромных наборах данных. ByteDance утверждает, что Seed3D 1.0 превосходит конкурентов как с открытым, так и с закрытым исходным кодом по качеству текстур и геометрической точности. Это достигается всего за 1,5 миллиарда параметров, что позволяет Seed3D опережать даже более крупные модели, такие как Hunyuan3D 2.1, использующая 3 миллиарда параметров.

Основная инновация заключается в сочетании мультимодального диффузионного преобразователя и пошаговой стратегии генерации. Процесс начинается с анализа изображения с помощью модели на языке визуального восприятия для извлечения объектных и пространственных сигналов. Затем генерируются отдельные 3D-модели, которые затем собираются в полноценную сцену. Это позволяет масштабировать проект от одного кресла до детально проработанного офиса или даже масштабного городского пейзажа.

Вместо использования стандартных текстур Seed3D 1.0 генерирует материалы, согласованные с видом и сохраняющие согласованность со всех ракурсов, обеспечивая как реализм, так и структурную точность для использования на уровне моделирования. Результаты предназначены не только для исследовательских целей: модели, созданные в Seed3D, можно напрямую интегрировать в платформы моделирования, такие как Isaac Sim, для обучения искусственного интеллекта.

 Источник: gizmochina, seed.bytedance, seed3d