Польза искусственного интеллекта при диагностике зависит от квалификации пользователя

Искусственный интеллект способен повысить точность распознавания заболеваний кожи, однако характер его влияния зависит от медицинской подготовки пользователя и способа представления рекомендаций. К такому выводу пришли авторы исследования, опубликованного в журнале Nature Medicine.

Ученые провели два крупных эксперимента с участием 623 человек без медицинской подготовки и 153 врачей первичной медико-санитарной помощи. Дополнительно для сравнения привлекли 320 студентов медицинских вузов. Неспециалисты по изображениям отличали меланому от доброкачественного невуса, а врачи и студенты составляли дифференциальный диагноз для нескольких заболеваний кожи. 

Испытуемым предлагали четыре варианта поддержки: диагностический прогноз ИИ, тепловую карту значимых участков изображения, подборку похожих клинических случаев либо текстовое объяснение, сформированное мультимодальной языковой моделью. В группе неспециалистов помощь ИИ повышала среднюю точность распознавания меланомы и невуса с 69,7% до 75,8%. Наибольший прирост обеспечивали текстовые объяснения: при правильной рекомендации модели результат улучшался на 13,4 процентного пункта. Однако ошибочный прогноз, сопровождавшийся убедительным текстовым обоснованием, снижал точность на 21,1 процентного пункта - сильнее, чем другие способы представления данных.

Врачи использовали рекомендации ИИ более критично. Наибольшую пользу им приносил базовый вариант, содержавший диагностический прогноз и показатель уверенности модели, без развернутого текстового объяснения. По данным авторов, поддержка ИИ увеличила точность первого варианта диагноза на 21,4 процентного пункта, а попадание правильного заболевания в тройку предполагаемых диагнозов - на 43,5 процентного пункта. Ошибочные рекомендации модели при этом не оказали статистически значимого влияния на итоговые решения врачей. Студенты-медики чаще следовали ошибочным подсказкам, что дополнительно указывает на значение клинического опыта.

Исследователи считают, что универсальный формат медицинских систем ИИ может быть неэффективным и потенциально небезопасным. Для неспециалистов развернутые и убедительно сформулированные объяснения способны усиливать чрезмерное доверие к ошибочному прогнозу. 

Источник: Nature Medicine - Divergent impacts of explainable AI for dermatological diagnosis on clinicians versus lay people.