Ультразвуковая симуляция для обучения нейросети в навигационной системе робот-ассистированного медицинского комплекса

Введение и методы

Ультразвуковая диагностика - популярный метод диагностики в современной медицине. Это обусловлено такими ее преимуществами, как безопасность в сравнении с методиками, которые используют рентгеновское или ионизирующее излучение; минимальная инвазивность, широкая доступность, как следствие невысокой стоимости и мобильности, а также визуализация в реальном времени. Кроме того, УЗИ можно проводить многократно и в любом возрасте, включая новорожденных и беременных пациентов. Однако данная технология обладает и рядом недостатков: ограниченная глубина проникновения, что может вызвать проблемы с визуализацией глубоко расположенных органов, особенно у пациентов с ожирением, и ограниченная визуализация вследствие того, что звуковые волны не проходят через воздух, газы в кишечнике и твердые ткани. Но самая важная проблема - это качество изображения. Ультразвуковые изображения отличаются большой зашумленностью и размытостью. В одной из работ авторы описывают показательный эксперимент: 10 специалистов проходили курс, который состоял из изучения 200 случаев ультразвуковой диагностики, при этом после каждых 50 случаев они сдавали экзаменационный тест по полученным компетенциям. При этом средние значения в определении анатомических структур выросли с 33% после 50 изученных случаев до 56,5% после 200 изученных случаев. Таким образом, интерпретация результатов во многом зависит от квалификации и опыта специалиста, проводящего исследование. В совокупности с не самым качественным изображением высока вероятность неверной интерпретации результатов и, как следствие, неверная постановка диагноза.

Вероятно, самой сложной задачей в процессе подготовки ультразвукового диагноста является умение визуально сегментировать анатомические структуры на ультразвуковом изображении. Очевидно, что данное умение приходит с опытом работы, однако современные технологии, в том числе глубокое обучение, готовы предложить различные алгоритмы сегментации изображений. Конкурс ImageNet Large Scale Visual Recognition Challenge - это ежегодное соревнование в области компьютерного зрения, которое проводится с 2010 года. Уровень точности в задаче классификации, достигнутый человеком и составляющий около 95,2%, был превзойден в 2015 году нейронной сетью ResNet от команды из Университета Торонто под руководством Джеффри Хинтона. С тех пор было представлено множество нейронных сетей, которые реализуют задачу сегментации изображений.

В области компьютерного зрения выделяют два вида сегментации: семантическая сегментация (Semantic Segmentation) и сегментация экземпляров (Instance Segmentation). Препятствием для использования нейронных сетей, обучаемых на изображениях окружающего мира, в решении задач сегментации медицинских диагностических данных является узкая специализация: такие сети изначально обучаются на изображениях, которые весьма далеки и от ультразвуковых изображений, и от изображений компьютерной и магнитно-резонансной томографии. Кроме того, изображения, получаемые с помощью средств медицинской диагностики, как правило, имеют один цветовой канал, что также усложняет работу для нейронных сетей.

Первые попытки сегментации диагностических медицинских данных были основаны на данных компьютерной и магнитно-резонансной томографии. Проект MONAI (Medical Open Network for Artificial Intelligence) достиг значимых успехов в этой области. Значимым прорывом в области сегментации именно медицинских изображений стала разработка исследователями из Фрайбургского Университета архитектуры U-Net в 2015 году. Модификации CMU-Net и CMUNeXt показывают на данный момент одни из самых лучших результатов в отношении семантической сегментации среди специализированных в данной области нейронных сетей. Метрика IoU (Intersection over Union) - это один из основных показателей, используемых для оценки качества сегментации изображений и обнаружения объектов; она измеряет степень совпадения между предсказанной и истинной областью. На специализированных ультразвуковых датасетах описанные выше сети достигают результата 60-70% точности.

Разработанная компанией Meta нейронная сеть Segment Anything Model 2 (SAM2) показывает очень хорошие результаты в отношении сегментации изображений окружающего мира, а возможность осуществления дообучения (Transfer Learning) открывает большие перспективы в плане улучшения качества ее работы в узкоспециализированных областях, в том числе и в отношении сегментации медицинских данных. На основе открытой сети SAM создано несколько открытых проектов для сегментации медицинских данных: MedSAM, MedSAM2 и UltraSAM. Оригинальная архитектура Segment Anything Model имеет три режима работы: автоматическое сегментирование и два режима работы с подсказками - в виде координат одного пикселя изображения, который принадлежит к искомому объекту, либо координат прямоугольной зоны поиска (ROI - Region of Interest). Данные подсказки решают сразу две проблемы: скорость работы и точность обнаружения различных анатомических структур сложной формы.

Принципиально все нейронные сети, описанные выше, в процессе своего дообучения используют открытые наборы медицинских данных, а потому их результаты крайне похожи по качеству работы - это еще одна проблема узкой специализации. Поскольку разметка датасета является затратной с точки зрения вычислительных ресурсов и труда специалиста, а для качественного обучения нейронной сети таких изображений должно быть в наличии как минимум несколько сотен, количество датасетов в свободном доступе конечно и весьма ограничено. Технология Data Augmentation позволяет обходить данное ограничение, однако является лишь вспомогательной и не в состоянии заменить полноценный репрезентативный набор данных.

Решением данной проблемы может являться применение синтетических данных - симулированных ультразвуковых изображений. Симуляция ультразвукового изображения - это процесс получения изображения, максимально приближенного по качеству к изображению, которое выдает аппарат ультразвуковой диагностики. Данная методика применяется как для разработки новых трансдьюсеров для ультразвуковых аппаратов, так и для обучения молодых специалистов. Современное программное обеспечение для симуляции УЗИ, такое как MUST (MatLAB UltraSound Toolbox) и Field II, симулирует ультразвуковое изображение на основе данных, полученных с помощью других средств медицинской диагностики, таких как, например, компьютерная томография, учитывая при этом такие физические характеристики, как частота работы трансдьюсера, количество элементов трансдьюсера и их физические размеры.

Результаты

Предлагаемый авторами подход заключается в создании персонализированной нейронной сети для сегментации ультразвукового изображения в реальном времени, при этом результат работы нейронной сети может использоваться как для удобства визуализации медицинских данных в режиме реального времени, так и для применения в навигационной системе робот-ассистированного комплекса. Задача персонализации решается путем дообучения нейронной сети на данных каждого конкретного пациента за счет формирования для него собственного набора обучающих данных с размеченными анатомическими структурами. Источниками таких персонализированных данных для дообучения нейронной сети могут быть: фактические данные, записанные во время предоперационной ультразвуковой диагностики и размеченные вручную квалифицированным специалистом; синтетические (симулированные) данные, полученные в результате предварительно проведенной компьютерной или магнитно-резонансной томографий.

Процесс разметки реальных данных - операция трудоемкая, однако на этапе предварительного планирования операции становится возможным определить углы обзора трансдьюсера и анатомические структуры, которые будут вызывать во время операции основной интерес, что в разы снижает объем данных, подлежащих разметке. Второй источник данных - симуляция ультразвуковых изображений на основе результатов компьютерной или магнитно-резонансных томографий. Такое предварительно проведенное исследование подлежит процессу ручной либо автоматизированной сегментации, а полученные результаты сегментации являются входными данными для симулятора ультразвуковых изображений. Данная технология позволяет получать практически неограниченные объемы размеченных данных, которые впоследствии станут обучающими для персонализированной нейронной сети. После обучения данная сеть становится готовой к использованию на реальном видеопотоке данных ультразвукового аппарата. При этом предлагаемый подход дополнительно может задействовать методику подсказок, описанную выше.

Описанная авторами ранее навигационная система комплекса робот-ассистированной хирургии имеет возможность смешивания изображений разных модальностей - наложение на реальное ультразвуковое изображение соответствующего среза данных компьютерной или магнитно-резонансной томографии. В виду того, что данные томографии были размечены ультразвуковым диагностом на этапе планирования операций, становится возможным определять границы зоны интереса, что, в свою очередь, позволяет задействовать систему подсказок для нейронной сети в виде координат пикселей определенной анатомической структуры, либо координат границ этой анатомической структуры, взятых с определенным допуском.

Результатом работы нейронной сети является набор координат для изображения-маски, которая позволяет выделить на изображении определенную структуру. Предлагаемый подход предусматривает два способа применения результатов: применение полученных изображений-масок для удобной визуализации анатомических структур на отдельных устройствах визуализации, в том числе и на устройствах дополненной реальности, и применение найденных координат контуров анатомических структур для системы навигации, в том числе для процесса отслеживания перемещений множества анатомических структур. При этом прототип системы, реализующий данный подход, имеет возможность отслеживания перемещений как с помощью конвенциональных алгоритмов технического зрения, так и с помощью алгоритмов отслеживания, использующих нейронные сети.

Эксперимент. Для проверки работоспособности способа был собран испытательный стенд. В качестве его элементов использовалось следующее оборудование: 1. УЗИ-аппарат Philips Affiniti 50; 2. Вычислительный сервер (Intel i7-13700K, ОЗУ 64 Гб, nVidia RTX 4090 24 Гб). Было вынесено предположение, что персонализированная нейронная сеть должна отличаться более высокой точностью распознавания на изображении контуров сложных анатомических структур.

Для подтверждения данного предположения был проведен эксперимент. На начальном этапе эксперимента было разработано соответствующее программное обеспечение: модуль симуляции ультразвуковых изображений, программное обеспечение для анализа массивов результатов, а также развернуты виртуальные окружения для разметки данных, дообучения и применения нейронных сетей. Для разработки программного обеспечения были использованы открытые библиотеки PyTorch, ArrayFire и OpenCV. На следующем этапе была обучена нейронная сеть. Для этого при помощи компьютерного томографа Siemens Definition AS 128 были получены DICOM-изображения многомодального фантома абдоминальной зоны человека. На основе сегментированных данных компьютерной томографии, с учетом такой информации, как глубина сканирования ультразвукового аппарата, физические характеристики используемого трансдьюсера и возможные его положения в пространстве, заранее определенные медицинским персоналом, был в автоматизированном режиме сохранен массив изображений соответствующих срезов компьютерной томографии. При этом каждое изображение из данного массива было дополнено изображением-маской, автоматически созданным на основе данных сегментации.

Полученный массив срезов компьютерной томографии был загружен в программный модуль симуляции ультразвукового изображения, что позволило получить массив симулированных ультразвуковых изображений с учетом физических параметров трансдьюсера. Массив изображений-масок компьютерной томографии был преобразован с учетом физических параметров трансдьюсера, таких как, например, угол обзора для конвексного трансдьюсера, что позволило иметь для каждого симулированного ультразвукового изображения соответствующие изображения-маски, содержащие информацию о расположении анатомических структур на симулированном изображении. Затем массив симулированных изображений вместе с соответствующими изображениями-масками был разбит на обучающий и проверочный датасеты, на которых происходило дообучение и проверка нейронной сети на базе описанного выше проекта SAM2.

На основном этапе эксперимента была осуществлена проверка работы обученной нейронной сети на записи потока фактических видеоданных ультразвукового аппарата. Кадры данной записи в количестве 50 штук были сегментированы квалифицированными диагностами, а затем проведено сравнение работы с нейронными сетями проектов UltraSAM, MedSAM2 и CMUNeXt.

Результаты эксперимента (метрика IoU, %): CMUNeXt - 64,52; UltraSAM - 71,93; MedSAM2 - 72,19; предложенный подход - 74,25. Данный эксперимент подтвердил возможность повышения качества результатов работы нейронных сетей за счет персонализации их обучения для конкретного пациента.

Обсуждение

Предложенный подход, комбинируя в себе несколько современных технологий обработки медицинских данных, позволяет решить несколько задач: использование результатов работы персонализированной нейронной сети для сегментации в системах навигации; повышение удобства визуализации анатомических структур; возможность применения алгоритмов отслеживания движения анатомических структур на видеопотоке ультразвуковых данных в режиме реального времени. Персонализация обучения нейронной сети на данных конкретного пациента, за счет комбинирования реальных и симулированных на основе КТ/МРТ данных, позволила предложенному подходу превзойти по точности сегментации (метрика IoU) как специализированную медицинскую сеть CMUNeXt, так и дообученные на медицинских данных версии общей архитектуры Segment Anything Model - UltraSAM и MedSAM2.

Заключение

Предложенный подход, комбинируя в себе несколько современных технологий обработки медицинских данных, позволяет решить несколько задач: использование результатов работы персонализированной нейронной сети для сегментации в системах навигации; повышение удобства визуализации анатомических структур; возможность применения алгоритмов отслеживания движения анатомических структур на видеопотоке ультразвуковых данных в режиме реального времени.