Новости из мира науки, технологий и авто
Источник фото: pixabay.com В эпоху МООК миллионы кандидатов сдают экзамены в режиме онлайн, и получение коротких ответов является неотъемлемой частью процесса. Становится трудно оценить их человеческими категориями.
Все приходит к тому, что нужно разработать и развернуть универсальную автоматизированную систему, способную оценивать эти ответы. Ученые занялись этим и представили быстрый, масштабируемый и точный подход к автоматизированной оценке коротких ответов (SAS).
Они предложили и объяснили проектирование и разработку системы для SAS, а именно AutoSAS. Получив вопрос вместе с оцененными образцами, AutoSAS может научиться успешно оценивать его.
Исследователи рассказали о таких функциях, как лексическое разнообразие, Word2Vec, подсказки и перекрытие контента, которые играют ключевую роль в построении предлагаемой модели.
Также была представлена методология указания факторов, ответственных за оценку ответа. Обученная модель оценивается на широко используемом общедоступном наборе данных, а именно на призовой системе автоматической оценки учащихся за короткие ответы (ASAP-SAS).
AutoSAS демонстрирует самую современную производительность и достигает более высоких результатов более чем на 8% в некоторых подсказках с вопросами, измеренными с помощью квадратично-взвешенного каппа (QWK), демонстрируя производительность, сопоставимую с человеческой.
