NVIDIA навчила нейромережу прибирати шум з фотографій

2 хв. читання

Розробники з NVIDIA створили нейромережу, здатну прибирати шум з фотографій. Важлива відмінність цього алгоритму від схожих розробок полягає в тому, що його навчали тільки на фотографіях, на яких вже був шум.

Коли зйомка відбувається в умовах поганого освітлення фотоапарат компенсує його нестачу більшою чутливістю, що призводить до появи великої кількості шуму на зображенні. Група розробників під керівництвом Тімо Айло (Timo Aila) з дослідницького підрозділу NVIDIA припустила, що в деяких умовах алгоритм можна навчити відновлювати сигнал в місці шуму, використовуючи тільки зображення з шумом, тобто не надаючи йому доступ до шуканої частини зображення.

Замість навчання на парах зображень, одне з яких чисте, дослідники застосували навчання на парі зображень з випадковим шумом. По суті це аналогічно тому, як фотоапарат на довгій витримці в темряві створює відносно чисте зображення з безлічі зображень з низькою витримкою і низьким співвідношенням сигнал-шум.

Для навчальної вибірки було використано 50 тисяч зображень з роздільною здатністю 256 на 256 пікселів. До всіх зображеннях додавали штучний шум, причому для кожної пари зображень рівень шуму був теж випадковим щоб нейромережа враховувала це при очищенні зображення.

Нейромережа навчалася впродовж декількох сотень та тисяч епох (проходів по навчальній вибірці), після чого її роботу порівнювали з алгоритмами, що навчалися на парах чистих зображень і зображень з шумом, а також з вихідними зображеннями. В результаті дослідникам вдалося підтвердити гіпотезу, згідно з якою алгоритм можна навчити відновлювати сигнал, не маючи доступу до вихідного зображення.

У компанії відзначають, що після навчання нейромережа зможе допомагати, наприклад, вченим, які вивчають космічні знімки. Або лікарям, які працюють з результатами МРТ.

NVIDIA навчила нейромережу прибирати шум з фотографій
Знімок МРТ до та після обробки

Однак фотографи стурбовані цією інновацією. Річ у тому, що, навчаючись видаленню шумів, поступово нейромережа навчилася прибирати з фотографій водяний знак, та й взагалі будь-який текст. Тож тепер фотографи побоюються, що нейромережа Nvidia ще більше ускладнить захист їх прав у мережі.

Помітили помилку? Повідомте автору, для цього достатньо виділити текст з помилкою та натиснути Ctrl+Enter
Codeguida 6.2K
Приєднався: 7 місяців тому
Коментарі (0)

    Ще немає коментарів

Щоб залишити коментар необхідно авторизуватися.

Вхід / Реєстрація