Новая российская программа изучит язык в динамике и сделает его лучше
ПО анализирует динамику изменений словарного запаса русского языка
В России в Мурманске ученые разработали цифровой инструмент, который анализирует, как меняется словарный состав русского языка. Программа уже обработала сотни миллионов слов и выявила устойчивые тенденции.
«Цифровое сито» для слов
Проект реализовали исследователи Мурманского арктического университета. В основе системы лежит метод «цифрового сита». Алгоритм автоматически подсчитывает частоту употребления слов и фиксирует появление новых терминов.
Для анализа использовали данные Национального корпуса русского языка. Он содержит более 250 миллионов слов и способов их употреблений. Исследование охватило все три периода нашей истории: досоветский, советский и постсоветский. При этом программа приводила слова к первоначальной форме (а слова имеют свойство со временем видоизменяться), чтобы корректно сравнивать частоту их употребления в динамике.
Это позволяет работать не с отдельными словами, а с целыми массивами данных. По сути, это полноценная лингвистическая аналитика на базе технологий обработки больших данных.
Результат интересен
Исследователи зафиксировали интересный эффект. Приток новых слов постепенно сокращается, но активный словарный запас продолжает расти. Язык не беднеет, а просто перераспределяет ресурсы.
Из употребления уходят термины вроде «псевдогаллюцинация». При этом появляются и закрепляются слова «транслит», «лизинговый», «внедорожник». Кроме того, в современных текстах увеличивается количество числовых обозначений.
Развитие языка можно прогнозировать
Разработчики считают, что собранные данные помогут прогнозировать развитие языка. Это важно не только для лингвистов, но и для систем искусственного интеллекта, которые работают с текстами.
На основе таких моделей можно точнее настраивать алгоритмы обработки естественного языка, улучшать поисковые системы и обучать нейросети учитывать реальные изменения лексики.
