«FDA approved» или «FDA cleared» – есть ли разница для медицинского ИИ?
Хотя по-русски оба термина можно перевести как «Одобренные FDA», их суть разная. Рассказываем, что об этом думает American College of Radiology
Статьи Ключевые слова / keywords: FDA, Искусственный интеллект, Исследования, Клинические исследования, Онкология, Онконастороженность, FDA, Artificial Intelligence, Clinical study, Oncology, Cancer alertness
Алгоритмы искусственного интеллекта для медицинской визуализации, о которых мы привыкли читать, чаще всего не являются «FDA approved». Согласно FDA, устройства (включая программное обеспечение как медицинское устройство) классифицируются в соответствии с риском. Чтобы устройство было «FDA approved», оно должно быть одобрено через предпродажную заявку как устройство класса III, «демонстрируя с достаточными достоверными научными данными, что устройства безопасны и эффективны для предполагаемого использования». С другой стороны, алгоритмы «FDA cleared» должны только продемонстрировать «существенную эквивалентность» предикатному устройству (a predicate device).
Таким образом, в этих двух терминах задействовано гораздо больше, чем семантика. Процессы FDA очень разные. Получить «FDA approved» намного сложнее, чем «FDA cleared».
Американский колледж радиологии (ACR) собирает каталог продуктов на основе искусственный интеллекта (ИИ) с информацией обо всех FDA для лучевой диагностики. Однако, важно знать:
- Только 18% (17 из 94) алгоритмов в каталоге подвергались обновлениям или изменениям, в то время как остальные остались неизменными с момента подачи документов в FDA (данные на (на 1 июня 2021 г.).
- Недавний опрос Института науки о данных ACR показал, что 95% нынешних пользователей ИИ считают алгоритмы «FDA cleared» не имеющими постоянную точность (ожидаемую воспроизводимость) при тестировании на их собственных данных.
К сожалению, невозможно узнать, будет ли алгоритм работать в вашем учреждении, просто просматривая детали разрешения от FDA, но это может дать вам некоторые подсказки. Например, исследования показали, что алгоритмы лучше всего работают с изображениями, полученными с помощью сканера того же производителя, на котором был обучен алгоритм. Обычно эта информация включается в сводку FDA, и вы можете сравнить ее с типом используемых вами сканеров.
- 94 ИИ-продукта представляют всего 65 компаний, работающих в этой сфере. Таким образом, крупные технологические компании еще не доминируют в этой области. Подавляющее большинство компаний являются стартапами только с одним ИИ-продуктом.
- Ни один из «FDA cleared» не получил «FDA approved» (ни один из продуктов в каталоге не прошел более строгий процесс предпродажного утверждения – класс III. 108 ИИ-продуктов прошли процесс 510K (уведомительная регуляторная процедура, направленная на получение одобрения FDA), но они не являются легально продаваемыми медицинскими устройствами.
Мы с нетерпением ждем момента, когда производители ИИ-алгоритмов предоставят более надежную информацию о процессе проверки своих продуктов. Лучшее понимание параметров обучения и валидации поможет пользователям понять потенциальные ошибки и ловушки, которые могут возникнуть при клиническом использовании, что приведет к улучшению пользовательского опыта в целом. Институт науки о данных надеется планирует предоставить информацию о проверке и обучении через каталог, когда он будет доступен, чтобы помочь сообществу медицинской визуализации лучше понять, какие алгоритмы приносят наибольшую пользу пациентам.
Источник: Exploring FDA-Cleared Algorithms // ECR Buletin
Текст: Виктор Гомболевский, к.м.н., ведущий научный сотрудник Института искусственного интеллекта AIRI, Станислав Самбурский, руководитель отдела интернет-коммуникаций, эксперт акселератора Спринт