В МГУ научились оценивать медицинские советы ИИ с учетом мнений врачей

Исследователи Центра искусственного интеллекта МГУ приняли участие в проекте AIRI и НМИЦ им. В.А. Алмазова, посвященном разработке нового способа оценки диагностических ответов искусственного интеллекта. Предложенный подход учитывает не только заключения врачей, но и степень согласия между ними, сообщает пресс-служба МГУ. Работа опубликована в журнале Scientific Reports в 2026 году

Оценить точность медицинских ответов ИИ непросто. Даже если врачи изучают одно и то же описание симптомов, они могут предположить разные диагнозы. Поэтому, если сравнивать ответ языковой модели с заключением только одного специалиста, результат проверки будет зависеть от того, чье именно мнение выбрали для сравнения.

Еще одна трудность связана с формулировками. Один и тот же диагноз может быть записан разными словами, поэтому простое сравнение текстов не всегда позволяет определить, совпадают ли диагностические предположения по смыслу.

Чтобы решить эти задачи, авторы разработали два относительных показателя. Они позволяют сравнить, насколько ответы языковой модели согласуются с заключениями врачей, и сопоставить этот результат с тем, насколько сами специалисты согласны друг с другом.

Кроме того, исследователи создали алгоритм, который помогает определять, какие формулировки диагнозов можно считать совпадающими. Для этого он объединяет оценки языковых моделей, сведения из Международной классификации болезней и анализ сходства текстов.

Исследование провели на 360 русскоязычных диалогах, имитирующих сбор информации о состоянии пациента.

В половине случаев разговоры разыгрывали медицинские специалисты. Остальные диалоги представляли собой беседы актеров, выступавших в роли пациентов, с языковой моделью.

Каждый диалог независимо оценивали семь врачей-ординаторов. Затем их заключения сравнили с диагностическими предположениями восьми языковых моделей.

В ходе эксперимента несколько моделей в среднем согласовывались с экспертами не хуже, чем сами эксперты между собой. При этом различия в степени согласованности между врачами оказались больше, чем между большинством моделей и специалистами.

Результаты показывают, что при оценке диагностических систем важно учитывать не только совпадение ответов ИИ с заключением отдельного врача, но и то, насколько единодушны сами специалисты.

Однако согласованность ответов еще не означает, что диагноз правильный.

«Если врачи расходятся во мнениях, оценка ИИ по ответу одного специалиста может дать неполную картину. Мы предлагаем учитывать и ответы модели, и степень согласия между самими врачами. Это помогает понять, насколько выводы системы соответствуют экспертным оценкам. Однако такая проверка не заменяет оценку правильности диагнозов и безопасности применения системы в клинической практике», – отметил старший научный сотрудник Центра ИИ МГУ Петр Анохин.

Предложенный подход может использоваться при разработке и сравнении систем поддержки врачебных решений, которые анализируют текстовые диалоги и предлагают возможные диагнозы.

Пока метод проверили только на смоделированных разговорах на русском языке. Для его применения к другим языкам, видам медицинских данных и условиям работы необходимы дополнительные исследования.