PULSE: нейромережа що депіксилізує фото обличчя людини

Alex Alex 29 червня 2020
PULSE: нейромережа що депіксилізує фото обличчя людини

PULSE — це нейромережева модель, яка генерує зображення у високій роздільній здатності з зображення в низькій роздільній здатності. Запропонована модель навчається self-supervised і генерує зображення в безпрецедентно високій роздільній здатності.

Опис проблеми

Завдання збільшення роздільної здатності зображення (super-resolution) полягає в генерації зображення у високій роздільній здатності з зображення з низькою роздільною здатністю. Минулі підходи, які, в основному, є supervised, використовують цільову функцію під час навчання, яка вимірює по піксельну відстань між згенерованим і цільовим зображеннями. Оптимізація таких метрик призводить до того, що модель залишає деталізовані зображення розмитими.

Дослідники пропонують інакше формулювати завдання підвищення роздільної здатності зображення. Ідея в тому, що б модель генерувала зображення у високому дозволі, що при зниженні роздільної здатності максимально схоже з вхідним. PULSE (Photo Upsampling via Latent Space Exploration) обходить попередні підходи.

Що всередині моделі

Замість того, що б додавати деталізацію до вхідного зображення в низькому дозволі, PULSE шукає такі зображення у високому дозволі, які збігаються з вхідним при масштабуванні. В архітектурі моделі це формалізується за допомогою спеціальної функції втрат (downscaling loss), яка спрямовує дослідження прихованого простору генеративної моделі. Простір пошуку у моделі обмежений, щоб гарантувати реалістичність згенерованих зображень.

PULSE: нейромережа депикселизирует фото обличчя людини
Візуалізація процесу пошуку з прихованого простору генеративної моделі

PULSE використовує StyleGAN як генеративну модель. На виході нейромережа генерує набір зображень у високій роздільній здатності, які при зниженні роздільної здатності збігаються з вхідним. При цьому модель не вимагає розмічених даних для навчання.

Коментарі (0)

    Ще немає коментарів

Щоб залишити коментар необхідно авторизуватися.