Які помилки найчастіше роблять при тренуванні нейромереж

Alex Alex 07 листопада 2019
Які помилки найчастіше роблять при тренуванні нейромереж

Дослідники з USI виділили основні проблеми, з якими стикаються розробники при навчанні нейромереж. Вибірка складалася з 1059 проблем і комітів ML-репозиторіїв на GitHub, які були вручну проаналізовані. Щоб валідувати виділений список проблем, дослідники опитали 21 розробника.

Зрослий інтерес до нейромереж робить аналіз помилок при їх навчанні актуальним полем для досліджень. У своїй статті дослідники привели таксономію помилок, які розробники роблять у нейромережних проєктах. Дослідники вручну проаналізували репозиторії ML-проєктів на GitHub і класифікували виділені помилки. Репозиторії проєктів відбиралися за критерієм використання одного з популярних DL-фреймворків: TensorFlow, Keras або PyTorch. Крім цього, в якості даних для аналізу відбиралися пости на StackOverflow. Потім були зібрані 20 інтерв'ю ML-розробників, які описували досвід розробки нейромереж. Проаналізовані дані дослідники агрегировали в карту помилок. Щоб провалидировать список помилок, дослідники додатково опитали 21 розробника. За результатами опитування, як 13 з 15 категорій помилок зустрічалися як мінімум у половини опитаних.

Класифікація проблем

Виділені проблеми об'єдналися в загальні теми: модель, тензори/вхідні дані, навчання, API.

Класифікація помилок

Валідація виділених категорій

Щоб перевірити повноту списку помилок, дослідники опитали 21 ML-розробника. Опитування включили категорії помилок з описом типів помилок, які вони представляють. Учасників опитування попросили зазначити ті категорії помилок, з якими вони стикалися під час навчання нейромережевих моделей. Жодна з категорій помилок не залишилася не відзначеної. Сама низькочастотна категорія зустрічалася у 24% розробників.

Дослідники відзначають, що дані інтерв'ю допомогли виділити дві категорії помилок і 27 помилок. Виділені помилки залишилися не врахованими, якби дослідники спиралися виключно на дані GitHub.

Source: neurohive.io

Коментарі (0)

    Ще немає коментарів

Щоб залишити коментар необхідно авторизуватися.