PULSE — це нейромережева модель, яка генерує зображення у високій роздільній здатності з зображення в низькій роздільній здатності. Запропонована модель навчається self-supervised і генерує зображення в безпрецедентно високій роздільній здатності.
Опис проблеми
Завдання збільшення роздільної здатності зображення (super-resolution) полягає в генерації зображення у високій роздільній здатності з зображення з низькою роздільною здатністю. Минулі підходи, які, в основному, є supervised, використовують цільову функцію під час навчання, яка вимірює по піксельну відстань між згенерованим і цільовим зображеннями. Оптимізація таких метрик призводить до того, що модель залишає деталізовані зображення розмитими.
Дослідники пропонують інакше формулювати завдання підвищення роздільної здатності зображення. Ідея в тому, що б модель генерувала зображення у високому дозволі, що при зниженні роздільної здатності максимально схоже з вхідним. PULSE (Photo Upsampling via Latent Space Exploration) обходить попередні підходи.
Що всередині моделі
Замість того, що б додавати деталізацію до вхідного зображення в низькому дозволі, PULSE шукає такі зображення у високому дозволі, які збігаються з вхідним при масштабуванні. В архітектурі моделі це формалізується за допомогою спеціальної функції втрат (downscaling loss), яка спрямовує дослідження прихованого простору генеративної моделі. Простір пошуку у моделі обмежений, щоб гарантувати реалістичність згенерованих зображень.
PULSE використовує StyleGAN як генеративну модель. На виході нейромережа генерує набір зображень у високій роздільній здатності, які при зниженні роздільної здатності збігаються з вхідним. При цьому модель не вимагає розмічених даних для навчання.
Ще немає коментарів