Нейромережева модель від FAIR додає людину на фотографію

Alex Alex 22 червня 2020
Нейромережева модель від FAIR додає людину на фотографію

У FAIR розробили нейромережу, яка додає людину на фотографію. Модель приймає на вхід цільове зображення і маску людини, яку необхідно додати на цільове зображення. На виході модель віддає модифіковану цільову фотографію з доданою людиною. За результатами експериментів, модель генерує правдоподібні зображення у високій роздільній здатності.

Архітектура моделі

Підхід складається з трьох підмереж:

  • Essence Generation Network (EGN) генерує семантичну карту нової людини, враховуючи пози людей на цільовому зображенні;
  • MCRN рендерить пікселі нової людини та маску для додавання на цільове зображення;
  • Третя мережа уточнює згенерований вираз обличчя нової людини, щоб воно збігалося з виразами облич людей на цільовому зображенні

Моделі навчалися на датасеті MultiHuman Parsing.

Нейромережева модель від FAIR додає людини на фотографію Візуалізація структурних частин EGN моделі Нейромережева модель від FAIR додає людини на фотографію Візуалізація структурних частин MCRN моделі

Оцінка роботи моделі

Дослідники окремо оцінювали підмережі в запропонованому підході на окремих завданнях. Так, MCRN обходить state-of-the-art моделі що існують в перенесенні пози на датасеті DeepFashion.

Нейромережева модель від FAIR додає людини на фотографію Оцінка перенесення пози з допомогою методів, заснованих на DensePose (DP) і keypoint (KP)

Коментарі (0)

    Ще немає коментарів

Щоб залишити коментар необхідно авторизуватися.