Представлена компактная модель Pollux для проверки ответов нейросетей
Исследователи управления экспериментальных систем машинного обучения «Сбербанка» представили открытую компактную ИИ-модель Pollux.
Она оценивает качество ответов нейросетей по критериям, которые задает пользователь. Обычно для такой проверки применяют большие языковые модели, а массовые проверки требуют значительных вычислительных ресурсов. Pollux запускается локально и снижает затраты. Модель-судья содержит 4 млрд параметров и работает с русским и английским языками. Пользователь сам определяет критерии и шкалы. Разработка анализирует многоходовые диалоги, результаты RAG-систем с внешними источниками и последовательности вызовов инструментов ИИ-агентами.
Ожидается, что разработка ускорит выявление ошибок в ответах нейросетей и повысит качество и безопасность систем искусственного интеллекта.
