«Сбер» и «Сколтех» научили ИИ распознавать собственные галлюцинации
Исследователи Центра практического искусственного интеллекта «Сбера» и «Сколтеха» разработали метод TOHA, который выявляет недостоверные ответы больших языковых моделей, работающих с внешними источниками.
Идея в том, чтобы искать ошибку не в самом тексте ответа, а во «внутренней кухне» модели – топологической структуре карт внимания. Такой подход не требует обучения отдельных классификаторов и обходится минимальным объемом размеченных данных, а по вычислительным затратам выгоднее конкурирующих методов вроде SelfCheckGPT, которому для проверки нужны множественные генерации ответа.
Метод был протестирован на задачах вопросов-ответов и суммаризации текста – на нескольких тестовых наборах TOHA показал результаты на уровне современных аналогов. Технологию уже встроили в открытую библиотеку SIRIN, поэтому она доступна для корпоративных ассистентов, работающих с базами знаний. Разработку представили на конференции ACL 2026.
