У «Яндекса» появились тесты для оценки нейросетей
Исследователи технологической компании «Яндекс» и студенты Школы анализа данных (ШАД) придумали, как проверить качество рассуждений нейросетей. Они представили MTGBench – набор тестов для нейросетей, который позволяет оценить их способность рассуждать при выполнении сложных многоэтапных задач. Сейчас инструмент уже появился в открытом доступе на GitHub, а научная статья о нем была принята организаторами EMNLP 2026 – одной из ведущих международных конференций в области обработки естественного языка и вычислительной лингвистики.
По прогнозам экспертов, это цифровое решение будет востребовано: MTGBench поможет игрокам рынка более точно подбирать рассуждающие ИИ-модели под определенные задачи, тестировать их способности и сравнивать сильные и слабые стороны.
Умения и навыки покажут игры
Как пояснили разработчики MTGBench, пользователи часто уточняют свои вопросы нейросетям, добавляя новые детали. Так, во время планирования поездки человек к своему запросу может дополнительно сообщить даты и бюджет путешествия, а нейросеть должна учитывать всю информацию целиком – как прошлые запросы, так и новые сведения. Эффективнее всего проверять качество работы этих нейросетей с помощью игр, где каждый следующий шаг зависит от предыдущего. Именно такие задания стали базой нового набора тестов.
По замыслу исследователей, в нем оценивается не только качество и глубина конечного ответа нейросети, но и то, за сколько шагов она к нему пришла. По плану авторов цифрового решения, MTGBench насчитывает семь тестовых игр, которые состоят из десяти шагов. В их числе – «Поле чудес», «Данетки», «Элиас» и Wordle. Игры показывают, может ли ИИ-модель рассуждать логически, применять новую информацию, продумывать следующие шаги и не противоречить своим прежним ответам. При этом в четырех играх правильность решений проверяют алгоритмы, а в остальных – ИИ-судья, качество его работы ранее оценили специалисты-люди. Задания в наборе тестов даются на русском и английском языках.
Вердикт 16 нейросетям
Особая «фишка» цифрового решения «Яндекса» – использование многоходовых игровых сценариев, когда можно наблюдать за поведением модели на протяжении нескольких шагов. Благодаря этому выявляются проблемы, которые не всегда заметны при оценке отдельных ответов. С помощью MTGBench ИТ-специалисты проверили 16 нейросетей – от компактной версии Qwen до Gemini и GPT. Как показало исследование, эффективность режима рассуждений зависит от типа задачи. Больше всего рассуждения приносят пользу в заданиях, где нужно работать с буквами и символами, анализировать подсказки и отбрасывать неверные варианты.
Результаты разных нейросетей менялись в зависимости от заданий, поскольку высокий балл в одном типе игры вовсе не гарантировал успех в другом. Интересно, что задания на русском языке нейросеть выполняет хуже, чем на английском. Ради эксперимента разработчики предложили людям пройти русскоязычные задания MTGBench. Все участники хорошо справились с буквенными играми, но сильнейшие ИИ-модели с включённым режимом рассуждений показали более высокие средние баллы во всех семи играх.
Кому пригодится набор тестов?
Благодаря тому, что MTGBench опубликовали в свободном доступе, у российских разработчиков, исследователей и предпринимателей появилась возможность самостоятельно сравнивать ИИ-модели и выбирать более подходящие под собственные задачи. Для бизнеса это особенно ценно, ведь перед внедрением в клиентские сервисы и корпоративные системы есть возможность протестировать возможности различных ИИ-моделей и избежать необоснованных трат. В перспективе цифровое решение MTGBench повысит качество работы виртуальных ассистентов, автоматизированных систем поддержки и образовательных сервисов, поскольку программа будет находить слабые места моделей, а разработчики смогут их вовремя доработать.
Также новый инструмент пригодится научным организациям и университетам, которые будут применять его для изучения больших языковых моделей и подготовки новых методов оценки.
Для российской ИТ-отрасли решение «Яндекса» – возможность развивать собственные методы оценки моделей, независимые от зарубежных разработчиков и использовать при создании более надёжных интеллектуальных сервисов. В будущем такие разработки могут стать основой экспорта российского программного обеспечения и экспертизы в области оценки качества искусственного интеллекта. Однако перед успешным стартом на глобальном рынке потребуется признание российских методик международным сообществом и подтверждение практической ценности MTGBench.
