В МГУ предложили способ оценки ответов медицинского ИИ
Предложенный подход может использоваться при разработке и сравнении систем поддержки врачебных решений.
Специалисты Центра ИИ Московского государственного университета приняли участие в проекте по созданию способа оценки диагностических ответов искусственного интеллекта, который учитывает различия во мнениях врачей. Новая методика заключается в сравнении заключений, которые выдают большие языковые модели с мнением «живых» медиков. Для этого используются два относительных показателя и алгоритм определения совпадающих формулировок.
Проверка на 360 диалогах с участием 7 врачей и 8 языковых моделей показала, что согласованность моделей с экспертами сопоставима с согласованностью врачей между собой. При этом специалисты предупреждают, что сходство мнений не означает абсолютную безошибочность диагноза.
Предложенный подход может использоваться при разработке и сравнении систем поддержки врачебных решений, которые анализируют текстовые диалоги и предлагают возможные диагнозы.
