ChatGPT и другие модели ИИ верят медицинской дезинформации в соцсетях

Новое исследование показало, что крупные языковые модели (LLM), которые все активнее применяются в медицине для ответов на вопросы и помощи пользователям, остаются уязвимыми к медицинской дезинформации. В работе, опубликованной в журнале The Lancet Digital Health, говорится, что современные ИИ-системы могут воспроизводить ложные сведения о здоровье, если они поданы убедительно и оформлены в виде реалистичных медицинских записей или обсуждений.

Ученые проанализировали более миллиона запросов к разным языковым моделям, чтобы выяснить: будет ли модель повторять неправдивое медицинское утверждение, если оно звучит правдоподобно, или распознает его как ошибочное. Авторы подчеркивают, что ИИ действительно может быть полезен врачам и пациентам – ускорять поиск информации и помогать в принятии решений. Однако для безопасного использования необходимы встроенные механизмы проверки медицинских утверждений перед тем, как представить их как факт.

Исследователи из системы здравоохранения Маунт-Синай в Нью-Йорке протестировали 20 моделей, включая ChatGPT от OpenAI, Llama от Meta, Gemma от Google, Qwen от Alibaba, Phi от Microsoft, Mistral AI и их специализированные медицинские версии. В качестве тестов моделям предлагали заведомо ложные утверждения: фрагменты с ошибочной информацией, встроенные в реальные медицинские карты, популярные медицинские мифы с Reddit и смоделированные клинические ситуации. В среднем модели принимали вымышленную информацию примерно в 32% случаев, однако результаты различались. Небольшие и менее продвинутые модели "верили" ложным данным более чем в 60% случаев, тогда как более мощные системы, например ChatGPT-4o, ошибались примерно в 10% случаев.

Также выяснилось, что модели, специально дообученные под медицинские задачи, в ряде случаев показывали худшие результаты, чем универсальные языковые модели. Исследователи также изучили, как языковые модели реагируют на информацию, поданную через логические уловки – убедительные по форме, но неверные по сути аргументы. Например, утверждение "все так считают, значит, это правда" (апелляция к популярности).

Выяснилось, что в целом такие формулировки помогали моделям чаще распознавать сомнительность информации и относиться к ней критичнее. Однако два типа логических ошибок, наоборот, делали ИИ более склонным доверять ложным утверждениям: апелляция к авторитету и эффект "скользкой дорожки". Если в тексте встречалась фраза вроде "эксперт утверждает, что это правда", модели принимали неверные сведения в 34,6% случаев. А когда утверждение строилось по схеме "если произойдет X, это приведет к катастрофе", системы соглашались с ложной информацией в 33,9% случаев.