Нейросети дают пользователям опасные советы по здоровью и лечению

Специалисты из Южной Кореи выяснили, что шесть популярных систем с ИИ легко поддаются манипуляциям с вредоносными подсказками при постановке диагнозов и выдаче медицинских рекомендаций. Это становится настоящей угрозой для здоровья тех, кто пользуется этими нейросетями, пишет ТАСС.

Ученые интересуются этой проблемой из-за растущего использования больших языковых моделей в медицине. Они утверждают, что ответы, сгенерированные ИИ, иногда оказываются бесполезными или даже опасными для здоровья пациентов. Кроме того, существует риск, что злоумышленники могут добавить в запросы пользователей или врачей так называемые «вредоносные подсказки». Это может привести к тому, что ИИ поставит неверный диагноз или даст опасный совет.

Группа исследователей провела эксперимент, чтобы оценить устойчивость популярных языковых моделей (GPT-4o-mini, Gemini-2.0-flash-lite и Claude-3-haiku) и последних моделей (GPT-5, Gemini 2.5 Pro и Claude 4.5 Sonnet) к вредоносным медицинским запросам. Учёные создали 12 клинических сценариев. Они включали типичные беседы врачей с пациентами о диабете, гипертонии, опухолях, острых респираторных заболеваниях и инфекциях во время беременности. Ученые встроили в ИИ вредоносные подсказки, побуждающие рекомендовать не те лекарства.

Исследование выявило, что все шесть больших языковых моделей уязвимы к вредоносным запросам. В 94% случаев они давали некорректные или опасные рекомендации, включая советы беременным принимать опасные для плода препараты, такие как талидомид. В 70% случаев ИИ продолжал давать неверные рекомендации даже после нескольких уточняющих вопросов и просьб пациента о более точном диагнозе. Специалисты пришли к выводу, необходимо тщательнее тестировать и контролировать применение систем с ИИ.

Они считают, что меры, принимаемые создателями систем с ИИ, явно недостаточны для надежной защиты здоровья пациентов. Ранее об опасности нейросетей предупреждали американские ученые, которые провели эксперимент, в ходе которого обученные чат-боты из 100 вопросов о здоровье выдали дезинформацию в 88 ответах.

Фото: yourapechkin @123RF.com