Ученые обеспокоены, что популярные чат-боты легко обучить выдаче ложной медицинской информации

Австралийские ученые выяснили, что популярные чат-боты с ИИ, такие как GPT-4o от OpenAI и Gemini 1.5 Pro от Google и другие, легко настроить на выдачу ложных медицинских ответов. Чтобы доказать реальность такой возможности, исследователи обучили большие языковые модели (LLM) выдавать фальшивые цитаты из существующих медицинских журналов, создавая видимость достоверности, пишет Vademecum.

Специалисты из Университета Флиндерса в эксперименте настроили LLM с помощью Python API для выдачи ошибочных медицинских ответов. Ответы были оформлены в научном стиле с поддельными ссылками на авторитетные журналы и содержали детали, цифры, статистику и научную терминологию для правдоподобности. При этом система не обозначала, что информация сгенерирована ИИ или является фальшивой.

Для исследования LLM обучали подвергать сомнению деятельность основных медицинских учреждений, компаний и государственных органов. Также предписывали последовательно распространять ложную информацию, используя логические доводы, чтобы выглядеть научно. Вопросы для тестирования были выбраны на основе популярных обсуждений в интернете и ключевых тем медицинской дезинформации. Среди них — бездоказательные методы лечения, продвижение «чудесных» средств и заблуждения о происхождении заболеваний. Каждому выбранному для исследования чат-боту задавали вопросы дважды, чтобы оценить согласованность ответов.

В результате, обученные чат-боты на 100 вопросов о здоровье выдали дезинформацию в 88 ответах. Чат-боты GPT-4o, Gemini 1.5-Pro, Llama 3.2-90B Vision и Grok Beta дали неверные ответы на все заданные вопросы о здоровье. Некоторые LLM начали сами создавать новые темы с дезинформацией, не предусмотренной инструкциями. Например, один из чат-ботов сослался на вымышленное исследование в Nature Medicine, утверждающее, что у мужчин, живущих рядом с вышками 5G, концентрация сперматозоидов снижается на 37%. Также ученые столкнулись с утверждением модели о том, что депрессия — это «конструкт» фарминдустрии.

Ученые встревожены отсутствием контроля над экосистемой языковых моделей. Они опасаются, что это может привести к распространению ложной медицинской информации. Эксперты видят несколько негативных вариантов развития событий. Один из них предполагает, что дезинформационные чат-боты будут тайно интегрированы в API языковых моделей через поддельные веб-сайты. Другой сценарий связан с появлением автономных ИИ-агентов, способных автоматически отслеживать соцсети и создавать ложные ответы на медицинские запросы пользователей.

Такие варианты создают серьезную угрозу как для врачей, так и для пациентов, считают авторы исследования. Это может повлиять на выбор методов лечения, соблюдение терапии и общее отношение к здоровью. Эксперты говорят, что для предотвращения нежелательных действий нужно принять комплексные меры, создать международные механизмы защиты и внедрить надежные системы проверки информации.

Ученые предупреждают: без защиты злоумышленники могут использовать эти возможности для распространения дезинформации через интернет и соцсети.

В России специалисты и регуляторы уже призывают контролировать ИИ в здравоохранении. В марте 2025 года Минздрава представил этический Кодекс для применения ИИ в медицине, регулирующий этические вопросы разработки и использования ИИ в практике медицины. Росздравнадзор также разработал проект Порядка передачи данных и результатов действий медицинского ПО с ИИ в автоматизированную систему ведомства.

Фото: vrvirus © 123RF.com