Нейромережа від FAIR відновлює 3D модель людини

PIFuHD — це нейромережева архітектура для відновлення 3D моделі людини з 2D зображення. Підхід обходить наявні моделі по реалістичності згенерованих 3D моделей. Розробкою моделі займалися дослідники з Facebook AI. PIFuHD ґрунтується на методі Pixel-Aligned Implicit Function (PIFu) та ієрархічної багаторівневої нейромережі. Нейромережа враховує глобальний і локальний контексти зображення, що дозволяє досягти високої точності в підсумковій 3D моделі. PIFuHD захоплює такі деталі, як пальці, риси обличчя і складки на одязі людини на зображенні. Попередні підходи не були здатні на таку деталізацію.

У чому проблема

Через обмеження пам'яті в поточних електронних пристроях минулі підходи частіше приймали на вхід стиснуте зображення. При цьому вони видавали менш точні передбачення або передбачення з низькою роздільною здатністю. Дослідники обходять це обмеження за допомогою дворівневої архітектури в PIFuHD. Модель враховує глобальний і локальний контексти.

Архітектура підходу

Нейромережа приймає на вхід зображення людини з роздільною здатністю 1024×1024. На виході підхід віддає 3D модель людини. Архітектура методу складається з двох рівнів PIFu модулів:

1. Базовий рівень, який фокусується на витяганні глобальних ознак з зображення. Цей модуль схожий з PIFu;
2. Уточнювальний рівень, який фокусується на отриманні інформації про локальний контекст і додавання точних деталей до 3D моделі

^{Візуалізація складових частин підходу}