Microsoft представила новый инструмент для создания трёхмерных моделей — нейросеть под названием Trellis. Эта открытая модель работает в двух режимах: Text to 3D (текст в 3D) и Image to 3D (изображение в 3D), что позволяет пользователям генерировать сложные трёхмерные объекты из текстовых описаний или изображений. Важно отметить, что Microsoft планирует интегрировать Trellis в свои облачные платформы Azure и Microsoft 365, что расширит возможности для бизнеса и разработчиков.
Возможности и преимущества
Trellis выделяется среди других нейросетей для создания 3D-объектов благодаря своим возможностям работать с очень сложными моделями, которые содержат множество мелких деталей. Разработчики отмечают, что нейросеть справляется с созданием высокодетализированных объектов, что является значительным шагом вперёд в области генерации трёхмерных моделей.
Кроме того, Trellis предлагает уникальную функцию редактирования моделей. Пользователи могут не только генерировать объекты с нуля, но и вносить изменения, такие как добавление деталей или изменение материалов. Это делает инструмент более гибким по сравнению с аналогичными решениями, которые не предоставляют такой возможности.
Технология на базе SLAT
Trellis использует инновационный метод Structured LATent (SLAT), который позволяет эффективно декодировать входные данные в различные форматы, включая полигональные сетки и 3D-гауссианы. Этот подход обеспечивает большую гибкость и точность при генерации трёхмерных моделей, позволяя нейросети адаптироваться к различным типам объектов.
Для обучения модели использовался крупный датасет, содержащий более 500 тысяч трёхмерных объектов, что значительно повышает качество и разнообразие генерируемых моделей. Такая база данных помогает нейросети обучаться на разнообразных примерах и создавать более точные и детализированные 3D-объекты.
Локальный запуск и системные требования
Trellis можно запускать локально на своём компьютере. Однако для этого требуется видеокарта Nvidia с минимум 16 ГБ VRAM, что обеспечит достойную производительность при обработке сложных моделей. Это ограничение связано с высокими вычислительными требованиями нейросети, которая требует мощных ресурсов для генерации высококачественных 3D-моделей.
Доступность и демо-версии
Чтобы познакомиться с возможностями Trellis, Microsoft запустила бесплатное демо на платформе Hugging Face, где пользователи могут протестировать работу нейросети. Для генерации 3D-моделей можно использовать как собственные изображения, так и те, которые подготовлены разработчиками модели. Также код нейросети доступен на GitHub, что позволяет разработчикам и исследователям ознакомиться с алгоритмами и интегрировать их в собственные проекты.
Перспективы и интеграция
Trellis имеет большой потенциал для различных отраслей, включая игровую индустрию, дизайн, архитектуру и виртуальную реальность, где создание высококачественных 3D-моделей играет ключевую роль. Интеграция с Azure и Microsoft 365 откроет новые возможности для корпоративных пользователей, которые смогут использовать нейросеть в рамках своих рабочих процессов и облачных сервисов.
🗣 Наше мнение:
Trellis — это мощный инструмент, который значительно упрощает процесс создания 3D-моделей и открывает новые горизонты в области генеративного дизайна. С уникальными возможностями для редактирования, высококачественной генерацией сложных объектов и доступностью для широкого круга пользователей, нейросеть от Microsoft обещает стать важным шагом вперёд в развитии технологий создания 3D-контента. Пора увольнять 3D скульпторов и покупать карты Nvidia? А не пытаются ли нам впарить дичь — купи больше видеокарт?
Согласны? Нет? Есть, что добавить? Поделитесь в комментариях своим мнением!