Новости из мира науки, технологий и авто
Источник фото: pixabay.com Результаты исследований ученых демонстрируют, что новую методологию, разработанную для изучения ландшафтов молекулярной энергии, можно использовать для расширения наших знаний о машинном обучении.
Глубокие нейронные сети на данный момент обладают впечатляющими возможностями прогнозирования во многих сложных сферах и задачах, но остается неясным, почему они работают в тех или иных непредсказуемых направлениях.
Обучение нейронных сетей включает в себя минимизацию сложной, многомерной, невыпуклой функции потерь, однако эмпирически оказывается возможным создавать полезные модели без строгой глобальной оптимизации.
Чтобы лучше понять это наблюдение, специалисты проанализировали структуру ландшафта функции потерь глубоких нейронных сетей и показали, что она имеет либо единственную воронку, либо низкие барьеры между минимумами функций. Такие ландшафты относительно легко оптимизировать, а сами они качественно отличаются от энергетических ландшафтов предыдущих структур.
Новая организация отличается от иерархических структурных ландшафтов и объясняет, почему процедуры минимизации, используемые сообществом машинного обучения, могут успешно перемещаться по ландшафту функции потерь (LFL) и достигать низколежащих решений.
