Выявление релевантных дискурсивных признаков для решения задач анализа текстовых данныхInformative discourse feature selection for analysis of textual data

В настоящее время область обработки естественного языка напрямую связана с большими предобученными языковыми моделями, работающими на базе архитектуры Трансформер, которые превзошли все существующие до этого методы решения задач обработки естественного языка. Однако, подобные результаты связаны, в первую очередь, с хорошей обобщающей способностью этих моделей, обученных на больших корпусах текстов на естественном языке, а не с их пониманием лингвистической информации. Исследования показывают, что обеспечение моделей дополнительными знаниями о языке, которыми обладают лингвисты, может улучшить качество решения ряда сложных задач обработки естественного языка, например, позволит более точно находить ответы на вопросы в тексте, генерировать более разнообразный и логически-связанный текст. В данной работе исследуется возможность добавления информации о дискурсивной структуре текста в предобученную языковую модель BERT за счет обучения модели на новой модифицированной задаче маскированного языкового моделирования, а также за счет добавления в модель дискурсивно-обусловленного механизма внимания. Также в диссертации предлагается новый подход для интерпретации результатов работы языковых моделей посредством анализа дискурсивной структуры текста. Проведенные экспериментальные исследования показали, что дискурсивно-обогащенные модели превосходят стандартные модели при решении задач оценки аргументированности текстов, понимания прочитанного текста, а также извлечения текстовых обоснований для объяснения результатов работы моделей.