В России учёные научились оценивать работу ИИ в области химии
Новый инструмент позволит точнее оценивать, насколько хорошо нейросети решают реальные задачи в области химии, от анализа реакций до создания лекарств
Российские учёные из Института AIRI представили первый отечественный эталон для оценки качества работы химических нейроязыковых моделей, способных рассуждать как профессиональные химики.
Бенчмарк имитирует многоступенчатый процесс, с которым сталкиваются специалисты при разработке катализаторов или лекарств. Модель должна не просто воспроизводить факты, а выстраивать логические связи между этапами — от реакции до анализа биологической активности вещества.
Путь к объединению универсальных и профильных моделей ИИ
Для тестирования использовались как универсальные большие языковые модели, так и специализированные, обученные на химических данных. Результаты показали, что профильные модели точнее отвечают на профессиональные запросы, а универсальные лучше справляются с рассуждениями в свободной форме. Это открывает путь к созданию новых гибридных систем, сочетающих оба подхода.
По словам научного сотрудника AIRI Кузьмы Храброва, бенчмарк станет инструментом для дальнейших исследований в области автоматизации химических рассуждений и ускорения разработки лекарственных средств. Работа российских специалистов показывает, что ИИ всё активнее входит в фундаментальную науку, помогая объединять интеллект человека и вычислительную мощь технологий.
