Мультиспектральная визуализация оксигенации тканей в реальном времени
Мультиспектральная визуализация позволяет получать значительно больше информации об исследуемом объекте, чем обычная цветная съёмка. Помимо пространственного изображения система регистрирует интенсивность отражённого излучения в нескольких спектральных диапазонах. Анализ этих данных может использоваться для определения оптических и физиологических характеристик биологических тканей, в том числе насыщения крови кислородом.
Исследователи Линчёпингского университета продемонстрировали метод визуализации насыщения крови кислородом (SO₂) в микроциркуляторном русле кожи практически в реальном времени. В основе метода – snapshot-мультиспектральная камера и искусственная нейронная сеть, обученная на синтетических данных, полученных посредством моделирования распространения света в ткани методом Монте-Карло.
Snapshot-съёмка динамических процессов
Во многих гиперспектральных и мультиспектральных системах спектральный куб формируется посредством последовательного сканирования – по пространственной координате или по длинам волн. Такой подход хорошо подходит для статичных объектов, однако создаёт ограничения при исследовании быстро изменяющихся процессов.
Если состояние или положение объекта меняется непосредственно во время сканирования, в спектральных данных могут возникать пространственные и спектральные артефакты.
Snapshot-технология позволяет регистрировать несколько спектральных каналов одновременно в одном кадре, без последовательного сканирования. Это особенно важно при исследовании биологических тканей, поскольку микроциркуляция, кровоток и насыщение гемоглобина кислородом непрерывно изменяются.
В экспериментальной установке использовалась мультиспектральная snapshot-камера с 16 спектральными каналами в диапазоне 470–650 нм. Интерференционные фильтры Фабри–Перо располагались непосредственно на CMOS-сенсоре в виде повторяющейся мозаики 4 × 4. После обработки исходного изображения формировался мультиспектральный куб размерностью 16 × 512 × 272 пикселей.
Точная спектральная калибровка камеры
Одним из важных этапов исследования стала калибровка спектрального отклика камеры. Характеристики отдельных каналов зависят не только от самого сенсора, но и от используемой оптики, апертуры объектива и дополнительных фильтров.
Поэтому исследователи выполнили собственную калибровку камеры непосредственно с установленными оптическими компонентами. Для этого использовались перестраиваемый жидкокристаллический фильтр, белый источник излучения, эталон диффузного отражения Spectralon и калиброванный спектрометр.
Полученные экспериментально спектральные отклики отличались от паспортных характеристик производителя. Это подтвердило, что для точных количественных измерений необходимо учитывать параметры всей оптической системы, а не только номинальные характеристики сенсора.
Рисунок 1 – Схема калибровки мультиспектральной камеры. Схема экспериментальной установки для определения спектрального отклика 16 каналов мультиспектральной камеры с использованием перестраиваемого источника излучения и калиброванного спектрометра.
От спектрального изображения к оценке SO₂
Получение мультиспектрального изображения – только первый этап. Для практического применения необходимо определить, какие характеристики ткани соответствуют зарегистрированному спектру.
Спектральный отклик кожи зависит сразу от множества параметров: содержания меланина, количества крови в ткани, насыщения гемоглобина кислородом, диаметра сосудов, толщины эпидермиса и характеристик светорассеяния. Кроме того, на результат измерения влияют спектральный отклик сенсора, характеристики источника освещения и шум детектора.
Поэтому задача определения SO₂ представляет собой сложную обратную задачу, которую нельзя свести к анализу интенсивности одного или двух спектральных каналов.
В качестве высокоточного метода исследователи использовали моделирование распространения света методом Монте-Карло. Была создана двухслойная модель кожи, состоящая из эпидермиса и дермы. Для эпидермиса учитывались толщина и содержание меланина, а для дермы – содержание крови, насыщение крови кислородом и диаметр сосудов. Дополнительно моделировались характеристики рассеяния света.
Метод Монте-Карло позволяет достаточно точно описать распространение и поглощение света в биологической ткани и считается одним из наиболее точных подходов к анализу спектроскопических данных. Однако решение обратной задачи требует большого количества вычислений, что существенно ограничивает скорость обработки мультиспектральных изображений.
Нейронная сеть вместо длительного итерационного анализа
Для ускорения обработки авторы предложили использовать искусственную нейронную сеть (ANN).
Вместо выполнения трудоёмкого обратного моделирования для каждого измеренного спектра нейронная сеть предварительно обучается устанавливать соответствие между мультиспектральными данными и уровнем насыщения крови кислородом.
Для каждого сеанса обучения использовался набор из 50 000 синтетических MSI-спектров, сформированных на основе модели распространения света. При генерации данных изменялись физиологически значимые характеристики ткани: содержание меланина и крови, SO₂, диаметр сосудов, толщина эпидермиса и параметры светорассеяния.
Модель также учитывала реальные особенности измерительной системы: спектральный отклик камеры, спектр источника освещения, его изменение во времени и в зависимости от угла, а также шум детектора. Это позволило сделать синтетические данные максимально близкими к реальным измерениям.
Рисунок 2 – Моделирование MSI-данных и нейросетевая обработка. Принцип определения насыщения крови кислородом (SO₂) по мультиспектральным данным. Модель учитывает спектральный отклик камеры, характеристики освещения, оптические свойства ткани и результаты моделирования методом Монте-Карло. Синтетические данные используются для обучения нейронной сети, которая затем выполняет быструю оценку SO₂.
Проверка метода in vivo
Для проверки разработанного подхода был проведён эксперимент с временной окклюзией среднего пальца. Мультиспектральные изображения регистрировались до перекрытия кровотока, во время окклюзии и после её снятия.
После восстановления кровотока наблюдалась фаза реперфузии – быстрое увеличение уровня оксигенации ткани.
Полученные мультиспектральные данные анализировали двумя независимыми методами:
- Обратным моделированием Монте-Карло;
- Предварительно обученной искусственной нейронной сетью.
Результаты практически совпали. Среднее абсолютное расхождение оценки SO₂ составило 1,3 процента, а коэффициент корреляции между методами достиг 0,999.
Рисунок 3 – Сравнение ANN и обратного метода Монте-Карло. Сравнение динамики SO₂, рассчитанной искусственной нейронной сетью (ANN) и обратным методом Монте-Карло. Полученные временные зависимости практически совпадают: среднее абсолютное расхождение составляет 1,3.
Обработка мультиспектрального куба за 0,11 секунды
Одним из главных результатов работы стало значительное увеличение скорости анализа.
Полная обработка одного MSI-куба, включающая коррекцию тёмного сигнала, демозаикизацию, нормировку по белому эталону, нормировку интенсивности и нейросетевой анализ, занимала около 0,11 секунды при реализации на GPU.
По оценке авторов, это как минимум в 10 000 раз быстрее, чем обработка с использованием обратного метода Монте-Карло. Такая производительность позволяет перейти от анализа отдельных спектров к построению динамических пространственных карт SO₂.
Во время экспериментальной окклюзии уровень насыщения кислородом снижался практически до нуля. После восстановления кровотока наблюдалось быстрое увеличение SO₂, которое в пике реперфузии достигало примерно 85 %.
Рисунок 4 – Пространственные карты насыщения крови кислородом. Карты насыщения крови кислородом SO₂, полученные методом мультиспектральной визуализации и нейросетевой обработки: слева – состояние ткани во время окклюзии, справа – после восстановления кровотока (реперфузии). Цветовая шкала отображает уровень SO₂ от 0 до 100 %.
Перспективные области применения
Сочетание snapshot-мультиспектральной съёмки и алгоритмов машинного обучения представляет интерес для задач, в которых необходимо одновременно наблюдать пространственное распределение параметров ткани и их изменение во времени.
В частности, спектральная визуализация может применяться для исследования микроциркуляции и тканевой оксигенации, оценки ишемических состояний и периферических сосудистых нарушений, мониторинга диабетической стопы, ран и язв, а также контроля жизнеспособности тканей при реконструктивных операциях.
От регистрации спектра к количественной визуализации
Результаты исследования демонстрируют важное направление развития спектральных систем. Мультиспектральная камера может использоваться не только для регистрации изображений в нескольких диапазонах длин волн, но и как инструмент количественного картирования физических и физиологических параметров объекта.
Snapshot-регистрация обеспечивает получение спектральных данных динамических объектов без последовательного сканирования. Физическое моделирование позволяет связать измеренный спектр с характеристиками ткани, а нейронная сеть выполняет эту сложную обратную задачу с высокой скоростью.
В результате система способна практически сразу преобразовать зарегистрированный мультиспектральный куб в пространственную карту интересующего параметра – в данном случае насыщения крови кислородом.
При точном моделировании как биологической ткани, так и характеристик измерительной системы искусственная нейронная сеть способна обеспечить результаты, сопоставимые с обратным моделированием Монте-Карло, при скорости обработки, достаточной для визуализации SO₂ в реальном времени.
Источник изображений и материалов: M. Larsson et al., Artificial neural networks trained on simulated multispectral data for real-time imaging of skin microcirculatory blood oxygen saturation, Journal of Biomedical Optics, Vol. 29(S3), S33304, 2024. DOI: 10.1117/1.JBO.29.S3.S33304. © The Authors, CC BY 4.0.
