Метод проведения соревнований систем искусственного интеллекта в медицине

Г.С. Лебедев; Э.Н. Фартушный; О.А. Новикова; И.В. Фомина

doi:10.18127/j20700814-202405-11

Метод проведения соревнований систем искусственного интеллекта в медицине

Г.С. Лебедев¹, Э.Н. Фартушный², О.А. Новикова³, И.В. Фомина⁴

научная статья УДК 004.89 Страницы: 97-104 doi.org/10.18127/j20700814-202405-11

¹ ФГАОУ ВО Первый МГМУ им. И.М. Сеченова Минздрава России (Сеченовский Университет) (Москва, Россия); ФГБУ «ЦНИИОИЗ» Минздрава России (Москва, Россия)
^2,3 ФГАОУ ВО Первый МГМУ им. И.М. Сеченова Минздрава России (Сеченовский Университет) (Москва, Россия)
⁴ ФГБУ «ЦНИИОИЗ» Минздрава России (Москва, Россия)

Ключевые слова: Системы ИИ в медицине клиническая оценка систем ИИ диагностические дата-сеты сравнение систем ИИ

Аннотация

Постановка проблемы. Фонд НТИ проводит серию конкурсов UpGreid на поддержку прорывных технологий в РФ. В области ИИ это два конкурса AI`M Doctor и AI`M Finder. Суть конкурсов заключается в том, чтобы определить лучшее решение в области медицинского искусственного интеллекта (ИИ), позволяющее ставить точный диагноз. Центр цифровой медицины Сеченовского Университета, являясь партнером конкурса, разработал метод проведения этих соревнований, который включает в себя математический аппарат оценки достижений каждого решения, математический аппарат сравнения решений, методику формирования дата-сетов для обучения и проведения соревнований.

Цель. Предложить метод, включающий в себя теоретическую и практическую базу для оценки и сравнения систем ИИ в медицине.

Результаты. Дано описание метода и обсуждены возможности его использования для развития ИИ в медицине. Созданы требования к диагностическим дата-сетам в медицине. Определены подходы к оценке и сравнению диагностических систем ИИ, включая доказательные решения для расчета пороговых значений.

Практическая значимость. Полученные результаты могут быть использованы для обоснованного выбора системы ИИ для применения в клинической практике, для определения показателей регистрации систем ИИ как медицинских изделий, для формирования репозитория медицинских дата-сетов.

Поступила: 26.08.2024
Одобрена: 09.09.2024
Принята: 27.09.2024

Для цитирования

Лебедев Г.С., Фартушный Э.Н., Новикова О.А., Фомина И.В. Метод проведения соревнований систем искусственного интеллекта в медицине // Информационно-измерительные и управляющие системы. 2024. Т. 22. № 5. С. 97−104. DOI: https://doi.org/10.18127/j20700814-202405-11

Список источников

Технологический конкурс Фонда НТИ AI`M Doctor https://ai4med.upgreat.one.
Центр цифровой медицины Сеченовского Университета https://www.sechenov.ru/univers/structure/nauchno-tekhnologicheskiy-park-biomeditsiny/institut-biodizayna-i-modelirovaniya-slozhnykh-sistem/tsentr-tsifrovoy-meditsiny/.
Федеральный закон от 21.11.2011 г. № 326-ФЗ «Об основах охраны здоровья граждан в Российской Федерации».
Постановление Правительства Российской Федерации от 27.12.2012 г. № 1416 «Об утверждении правил регистрации медицинских изделий».
Соглашение о единых принципах и правилах обращения медицинских изделий (изделий медицинского назначения и медицинской техники) в рамках Евразийского экономического союза от 23.12.2014 г.
Решение Совета Евразийской экономической комиссии от 12.02.2016 г. № 29 «О правилах проведения клинических и клинико-лабораторных испытаний (исследований) медицинских изделий».
Приказ Минздрава России от 30.08.2021 г. № 885Н «Об утверждении «Порядка проведения оценки соответствия медицинских изделий в форме технических испытаний, токсикологических исследований, клинических испытаний в целях государственной регистрации медицинских изделий».
Приказ Минздрава России от 06.06.2012 г. № 4н «Об утверждении номенклатурной классификации медицинских изделий».
ГОСТ Р ИСО 14155-2014 «Клинические исследования. Надлежащая клиническая практика». (Приказ Федерального агентства по техническому регулированию и метрологии от 4 июня 2014 г. № 497-ст).
ГОСТ Р 59921.1-2022. Системы искусственного интеллекта в клинической медицине. Часть 1. Клиническая оценка.
ГОСТ Р 59921.5-2022. Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов.

[1] Технологический конкурс Фонда НТИ AI`M Doctor https://ai4med.upgreat.one.

[2] Центр цифровой медицины Сеченовского Университета https://www.sechenov.ru/univers/structure/nauchno-tekhnologicheskiy-park-biomeditsiny/institut-biodizayna-i-modelirovaniya-slozhnykh-sistem/tsentr-tsifrovoy-meditsiny/.

[3] Федеральный закон от 21.11.2011 г. № 326-ФЗ «Об основах охраны здоровья граждан в Российской Федерации».

[4] Постановление Правительства Российской Федерации от 27.12.2012 г. № 1416 «Об утверждении правил регистрации медицинских изделий».

[5] Соглашение о единых принципах и правилах обращения медицинских изделий (изделий медицинского назначения и медицинской техники) в рамках Евразийского экономического союза от 23.12.2014 г.

[6] Решение Совета Евразийской экономической комиссии от 12.02.2016 г. № 29 «О правилах проведения клинических и клинико-лабораторных испытаний (исследований) медицинских изделий».

[7] Приказ Минздрава России от 30.08.2021 г. № 885Н «Об утверждении «Порядка проведения оценки соответствия медицинских изделий в форме технических испытаний, токсикологических исследований, клинических испытаний в целях государственной регистрации медицинских изделий».

[8] Приказ Минздрава России от 06.06.2012 г. № 4н «Об утверждении номенклатурной классификации медицинских изделий».

[9] ГОСТ Р ИСО 14155-2014 «Клинические исследования. Надлежащая клиническая практика». (Приказ Федерального агентства по техническому регулированию и метрологии от 4 июня 2014 г. № 497-ст).

[10] ГОСТ Р 59921.1-2022. Системы искусственного интеллекта в клинической медицине. Часть 1. Клиническая оценка.

[11] ГОСТ Р 59921.5-2022. Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов.