Г.С. Лебедев1, Э.Н. Фартушный2, О.А. Новикова3, И.В. Фомина4

1–3 ФГАОУ ВО Первый МГМУ им. И.М. Сеченова Минздрава России (Сеченовский Университет) (Москва, Россия)

1,4 ФГБУ «ЦНИИОИЗ» Минздрава России (Москва, Россия)

1lebedev_g_s@staff.sechenov.ru, 2fartushniy_e_n@staff.sechenov.ru, 3novikova_o_a@staff.sechenov.ru, 4fomina@inbox.ru

Постановка проблемы. Фонд НТИ проводит серию конкурсов UpGreid на поддержку прорывных технологий в РФ. В области ИИ это два конкурса AI`M Doctor и AI`M Finder. Суть конкурсов заключается в том, чтобы определить лучшее решение в области медицинского искусственного интеллекта (ИИ), позволяющее ставить точный диагноз. Центр цифровой медицины Сеченовского Университета, являясь партнером конкурса, разработал метод проведения этих соревнований, который включает в себя математический аппарат оценки достижений каждого решения, математический аппарат сравнения решений, методику формирования дата-сетов для обучения и проведения соревнований.

Цель. Предложить метод, включающий в себя теоретическую и практическую базу для оценки и сравнения систем ИИ в медицине.

Результаты. Дано описание метода и обсуждены возможности его использования для развития ИИ в медицине. Созданы требования к диагностическим дата-сетам в медицине. Определены подходы к оценке и сравнению диагностических систем ИИ, включая доказательные решения для расчета пороговых значений.

Практическая значимость. Полученные результаты могут быть использованы для обоснованного выбора системы ИИ для применения в клинической практике, для определения показателей регистрации систем ИИ как медицинских изделий, для формирования репозитория медицинских дата-сетов.

Лебедев Г.С., Фартушный Э.Н., Новикова О.А., Фомина И.В. Метод проведения соревнований систем искусственного интеллекта в медицине // Информационно-измерительные и управляющие системы. 2024. Т. 22. № 5. С. 97−104. DOI: https://doi.org/10.18127/j20700814-202405-11

1. Технологический конкурс Фонда НТИ AI`M Doctor https://ai4med.upgreat.one.
2. Центр цифровой медицины Сеченовского Университета https://www.sechenov.ru/univers/structure/nauchno-tekhnologicheskiy-park-biomeditsiny/institut-biodizayna-i-modelirovaniya-slozhnykh-sistem/tsentr-tsifrovoy-meditsiny/.
3. Федеральный закон от 21.11.2011 г. № 326-ФЗ «Об основах охраны здоровья граждан в Российской Федерации».
4. Постановление Правительства Российской Федерации от 27.12.2012 г. № 1416 «Об утверждении правил регистрации медицинских изделий».
5. Соглашение о единых принципах и правилах обращения медицинских изделий (изделий медицинского назначения и медицинской техники) в рамках Евразийского экономического союза от 23.12.2014 г.
6. Решение Совета Евразийской экономической комиссии от 12.02.2016 г. № 29 «О правилах проведения клинических и клинико-лабораторных испытаний (исследований) медицинских изделий».
7. Приказ Минздрава России от 30.08.2021 г. № 885Н «Об утверждении «Порядка проведения оценки соответствия медицинских изделий в форме технических испытаний, токсикологических исследований, клинических испытаний в целях государственной регистрации медицинских изделий».
8. Приказ Минздрава России от 06.06.2012 г. № 4н «Об утверждении номенклатурной классификации медицинских изделий».
9. ГОСТ Р ИСО 14155-2014 «Клинические исследования. Надлежащая клиническая практика». (Приказ Федерального агентства по техническому регулированию и метрологии от 4 июня 2014 г. № 497-ст).
10. ГОСТ Р 59921.1-2022. Системы искусственного интеллекта в клинической медицине. Часть 1. Клиническая оценка.
11. ГОСТ Р 59921.5-2022. Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов.