VTAB: завдання для перевірки якості уявлень зображень

Alex Alex 08 листопада 2019
VTAB: завдання для перевірки якості уявлень зображень

Google AI опублікували тестові задачі для оцінки моделей, які генерують представлення зображень. VTAB (The Visual Task Adaptation Benchmark) складається з 19 датасетов. Результати моделей фіксуються на публічному лидерборде.

Опис проблеми

Зараз нейромережі вивчають інформативні представлення зображень з сирих пікселів. Ці уявлення далі використовуються для вирішення завдання. Навчання уявлень з нуля зазвичай вимагає сотень тисяч розмічених прикладів. Це обмеження можна обійти за допомогою предобученных уявлень. Однак дослідники стикаються з проблемою вибору моделі. Наприклад, для завдання добування ознак з зображень існує більш 100 моделей. Щоб вибрати модель із списку, необхідно оцінити їх якість. VTAB — це завдання для оцінки моделей, які генерують представлення зображень.

Мета моделей уявлень — вивчити подання за один раз без необхідності додаткового довчання моделі для кожної підзадачі. Це скоротить необхідність у даних для задач комп'ютерного зору. VTAB необхідний для порівняння моделей, які вивчають представлення зображень. Датасет базується на тому, що модель працює краще, якщо вона видають інформативні подання раніше невідомих даних.

З чого складається VTAB

VTAB складається з 19 задач комп'ютерного зору, які повинна вирішити модель. Серед завдань — Caltech101, CIFAR-100, CLEVR distance prediction, CLEVR counting та інші. Модель може використовувати предобученные представлення зображень і повинна слідувати двом вимогам:

  1. Алгоритм не повинен бути предобучен на даних, які використовуються в задачах;
  2. Забороняється вручну описувати логіку вирішення завдань усередині алгоритму. Моделі не повинні бачити дані з завдань для оцінки

Процес оцінки моделі починається із застосування алгоритму до завдань. Завдання охоплюють широкий спектр проблем в комп'ютерному зорі. Підсумкова оцінка алгоритму розраховується як середня оцінка за всі завдання.

Завдання в VTAB об'єднує одна характеристика: людина може їх розв'язати, маючи лише кілька прикладів рішень. Кожне завдання складається з 1000 прикладів.

Source: neurohive.io

Коментарі (0)

    Ще немає коментарів

Щоб залишити коментар необхідно авторизуватися.