Профессора Института медицинского образования НМИЦ им. Алмазова приняли выпускной экзамен на врача у отечественной нейросети GigaChat. Компетентная комиссия рассмотрела результаты тестирования, подобного тому, который проходят студенты поcле шести лет обучения. И хотя ученые удовлетворены результатами, но считают, что врача, по ряду причин, ИИ заменить пока не сможет, пишут «Известия».
Экзамен для получения квалификации «врач-лечебник» сдавала нейросеть GigaChat от «Сбера». Экзаменационная комиссия состояла из профессоров института Алмазова по направлениям: терапия, хирургия, акушерства и гинекология. Искусственный интеллект прошел тестирование и ответил на вопросы билета.
По словам президента Российского кардиологического общества Евгения Шляхто, гендиректора НМИЦ им. Алмазова, обучение большой языковой модели Giga Chat знаниям на уровне выпускника медвуза стал для ученых большим вызовом. Над проектом работали сотни специалистов Центра, а также ординаторы и студенты в течение шести месяцев. Для обучения нейросети использовали датасет из 42 Гб информации, включающей учебники медвузов, монографии, научные статьи, методические рекомендации и обезличенные медицинские данные.
Ученые считают, что любая нейросеть — это, прежде всего, скоростная система анализа огромного массива данных. Но основной ее недостаток, по словам Руслана Пермякова, замдиректора Центра компетенций НТИ «Технологии доверенного взаимодействия» на базе ТУСУР, в том, что ИИ не может делать выводы, которые не заложены разработчиками системы.
Типичный экзаменационный билет в медвузе предполагает решение трех задач по терапии, хирургии, акушерству и гинекологии и ряд дополнительных вопросов. В частности, нужно указать возможный диагноз, предложить план лечения, определить необходимые обследования и прочее. Во время тестирования нейросеть набрала 82% (при допустимых 70%), отвечая на 100 вопросов.
По мнению Марии Ведуновой, директора Института биологии и биомедицины ННГУ, несмотря на высокий результат, технология с ИИ не заменит врача, поскольку сдача стандартных тестов — для нее несложная задача. Но подобные системы не способны принимать решения за пределами конкретной информации, которую в них заложили. Поэтому все рекомендации нейросети должен анализировать врач.
«Допустим, у нас есть система, которая была разработана для классификации яблок и груш. (…) Эта система будет точнее и быстрее человека определять яблоко или грушу и указывать стадию его спелости и качество. Но если ей предложить проанализировать баклажан, то результат будет непредсказуем и, можно сказать со 100%-ной уверенностью, неверным, потому что эту систему не научили говорить «я не знаю». В этом слабость всех существующих систем ИИ», — объяснил Руслан Пермяков. Специалисты сходятся во мнении, что в будущем подобные системы будут полезны в качестве помощников врача, чтобы освободить его от рутинной работы. Нейросеть распознает заболевания на снимках КТ и МРТ, рекомендует, на какие детали обратить внимание при сборе анамнеза, какие дополнительно назначить анализы.
Результаты проделанной работы ученых удовлетворили, но они продолжат обучать систему. В этом году Центр начнет вместе со «Сбером» на основе GigaChat разработку линейки решений для медучреждений, врачей и пациентов.
Ранее в октябре 2023 года Национальная ассоциация медицинских и фармацевтических организаций рассказала о тестировании «на врача» первой медицинской нейросети ииМед. Проверялись умения обрабатывать информацию и принимать решения. Тест, разработанный в Сеченовке, состоял из 80 вопросов с четырьмя вариантами ответов. Нейросеть правильно ответила на 66 вопросов.
