Разработан новый метод взвешивания множественных потерь с коэффициентом вариации

Разработан новый метод взвешивания множественных потерь с коэффициентом вариации Источник фото: pixabay.com

Ученые продемонстрировали метод взвешивания множественных потерь с коэффициентом вариации и доказали достоверность этого подхода эмпирически для различных задач на нескольких наборах данных.

Они предложили метод, который автоматически и динамически настраивает веса потерь на протяжении всего обучения специально для однозадачных задач с несколькими потерями. Метод включает меру неопределенности для компенсации потерь.

Многие интересные задачи в области машинного обучения и компьютерного зрения решаются путем оптимизации целевой функции, определяемой как взвешенная линейная комбинация нескольких потерь.

Окончательная производительность зависит от выбора правильных (относительных) весов этих потерь. Нахождение хорошего набора весов часто осуществляется путем их включения в набор гиперпараметров, которые задаются с помощью обширного поиска по сетке.

Это дорого с точки зрения вычислений. В новом исследовании веса определяли на основе свойств, наблюдаемых при обучении модели, включая конкретные потери партии, средние потери и дисперсию для каждой из потерь.

Дополнительным преимуществом такого подхода является то, что определенные веса меняются во время тренировки вместо использования статических весов потерь. В литературе взвешивание потери в основном используется в условиях многозадачного обучения, где разные задачи имеют разный вес.

Ученые показали, что некоторые многозадачные подходы не работают с отдельными задачами. Вместо этого они предложили метод, который автоматически и динамически настраивает веса потерь на протяжении всего обучения специально для однозадачных задач с множественными потерями. Он включает меру неопределенности для компенсации потерь.

Источник: arxiv.org