en

Бесконтактные методы быстрой визуализации микрообъема на основе интерферометрии малой когерентности

Исследования проводятся в рамках проекта "Бесконтактные методы быстрой визуализации микрообъема на основе интерферометрии малой когерентности" при поддержке Российского научного фонда (грантовое соглашение № 19-79-10118). Срок выполнения  проекта: 2019 - 2022 гг.

 

Аннотация проекта

 

Для многих областей науки и современных технологий необходима информация о структуре объектов. Долгое время единственным доступным методом визуализации такой информации являлось ее представление в виде плоского (двумерного) изображения, содержащего информацию о распределении интенсивности света в плоскости объекта (сцены). С появлением методов дополнения этой информации (например, методов определения расстояния до каждой точки, методов термографии и других) возникла необходимость ее визуализации. В рамках двумерного подхода это возможно, например, с использованием псевдоцветов или с помощью дополнительного двумерного изображения, содержащего, например, информацию о расстоянии до каждой точки сцены. Развитие вычислительной техники позволило реализовать алгоритмы визуализации псевдотрехмерных объектов (поверхностей) на плоском экране. Использование возможностей современных графических процессоров позволяет визуализировать "полноценные" трехмерные изображения (яркость в каждом вокселе), однако методы получения информации при трехмерном представлении являются весьма времяемкими. Долгое время потребность в визуализации такой информации была не высока, особенно для задач, предполагающих субъективный (экспертный) анализ изображений. Например, в медицине, при ультразвуковом исследовании врачу в каждый момент времени доступно изображение поперечного среза (B-скана) исследуемого объекта по глубине, и нет необходимости одновременно получать полную информацию о трехмерной структуре ввиду сложности ее совокупного анализа человеком. Тем не менее, методы одномоментной визуализации трехмерной структуры актуальны для задач, когда, например, структура объекта изменяется во времени. Также методы регистрации трехмерной видеоинформации необходимы для повышения устойчивости и достоверности систем автоматического анализа данных при диагностике состояния объекта.

 

Оптическая когерентная томография (ОКТ) является одним из перспективных и востребованных в медицине и ряде технических приложений методов получения информации о внутренней микроструктуре объектов. В большинстве коммерческих систем спектральной ОКТ обычно отображается лишь один В-скан (как в ультразвуковом исследовании), в результате чего теряется возможность одновременной визуализации трехмерной структуры объекта. Использование источников с перестраиваемой длиной волны и двумерных фотоприемных матриц (видеокамер) потенциально позволяет работать в режиме полного поля и отображения трехмерной микроструктуры объекта, однако быстродействие современных матричных фотоприемников недостаточно для быстрой визуализации объема с приемлемым разрешением и большим полем зрения. Например, в группе Дж. Изатта (Sci. Rep., 2016, 6:31689) для задачи визуализации in vivo во время офтальмологической операции такая система позволила визуализировать объем с частотой порядка 1 Гц при условии использования высокопроизводительной аппаратной обработки данных. При этом стоимость систем с перестраиваемой длиной волны остается весьма высокой. В системах корреляционной ОКТ, основанных на интерферометре малой когерентности и  использующих сканирование по глубине объекта, а не в вертикальной плоскости, используются в основном алгоритмы обработки данных в режиме off line, что также затрудняет динамическую визуализацию объема.

 

В научной группе Международного научно-технического центра "Вычислительная оптика, фотоника и визуализация изображений" Университета ИТМО в течение ряда лет ведется активная работа по созданию методов и алгоритмов динамической обработки данных в системах корреляционной ОКТ, а также имеется необходимое оборудование и программное обеспечение для реализации таких систем. При этом к настоящему моменту разработаны и исследованы алгоритмы динамического анализа каждого А-скана на основе стохастических фильтров калмановского типа. Однако, ввиду случайной природы объектов и, как следствие, регистрируемых данных, результат обработки соседних А-сканов может различаться, ввиду чего результат визуализации объема может быть неудовлетворительным. В рамках проекта предполагается разработка и исследование методов динамической обработки данных в корреляционной ОКТ, предполагающих совместную обработку набора А-сканов на основе методов многомерной стохастической фильтрации. Планируется разработка лабораторного макета системы ОКТ и апробация на нем программного обеспечения, реализующего эффективные алгоритмы, что позволит визуализировать объемную структуру объекта с частотой не ниже 1 Гц (как в аналогичных системах спектральной ОКТ), при обеспечении повышенной разрешающей способности (в несколько раз лучше, чем в спектральной ОКТ) и существенно более низкой цене прибора (по сравнению с упомянутым аналогом с источником излучения с перестраиваемой длиной волны). Следует отметить, что в предлагаемой системе частота "трехмерного видео" в 1 Гц, как показали предварительные оценки, ограничивается пропускной способностью современных интерфейсов передачи данных с видеокамеры. Указанное быстродействие можно обеспечить при использовании видеокамер и передаче данных около 12 мегавокселов в секунду. С учетом этого, предлагается разработать систему с переменным полем зрения, позволяющую выполнять быстрое экспресс исследование микрообъема с невысоким боковым разрешением, но с большим полем зрения, а затем, исследование областей интереса с высоким боковым разрешением на малом поле зрения. При этом для обработки данных предполагается использовать возможности современных графических процессоров и алгоритмы на основе параллельных вычислений. Научная новизна работы состоит в создании вычислительных методов и алгоритмов для обеспечения возможности одномоментной визуализации исследуемого микрообъема в динамическом режиме, заменяющих используемые сейчас технологические решения (в частности, весьма дорогостоящие источники излучения) при требуемых функциональных характеристиках систем оптической томографии.

 

 

Результаты 1 этапа

 

На первом этапе работ по Проекту были выполнены теоретические исследования, направленные на разработку и оптимизацию параметров системы корреляционной оптической когерентной томографии (ОКТ), разработана пилотная версия экспериментального макета системы корреляционной ОКТ, а также разработаны и исследованы новые быстродействующие и помехоустойчивые алгоритмы обработки интерферометрических сигналов малой когерентности.

 

Выполнено определение оптимальной пропускной способности электронного канала регистрации видеоинформации в зависимости от разрешающей способности системы и размера поля зрения. Дополнительно выполнено сравнительное исследование режима полного поля и линейного поля освещения с учетом энергетических параметров регистрируемого излучения при исследовании случайно-неоднородных рассеивающих сред. Проведено моделирование процесса формирования регистрируемого сигнала в ОКТ-системах полного и линейного поля в пакете ZEMAX в непоследовательном режиме. Моделирование выполнялось для системы ОКТ на основе модифицированной схемы микроинтерферометра Линника. Исследование показало энергетическую эффективность схемы с линейным полем освещения, на основе чего в ходе продолжения работ по Проекту целесообразно использование режима полного поля для получения данных о микрообъеме и режима линейного поля освещения для задач визуализации микроструктуры с повышенным быстродействием и/или в условиях высокого рассеяния образца с возможностью получения информации о микрообъеме при дополнительном боковом сканировании.

 

Разработан экспериментальный макет системы корреляционной ОКТ. Важной особенностью макета является возможность изменения поля зрения при использовании микрообъективов с различным увеличением, что позволяет варьировать оптическое разрешение системы. Созданный макет универсален с точки зрения возможности использования различных оптических компонентов, таких, как микрообъективы с разными параметрами резьбового соединения, источников излучения с волоконным выводом излучения и непосредственно с телом излучателя (нитью накала лампы, кристаллом светодиода или суперлюминесцентного диода), тубусных линз с различным фокусным расстоянием. Установка масштабируема и позволяет изменять длину ее плеч наращиванием стержневых крепежных компонентов. Варьируемость характеристик системы обеспечивает возможность исследования на следующем этапе работ по Проекту и оптимизации характеристик ОКТ-системы, как предельных, так и оптимальных с точки зрения быстродействия и разрешения при исследовании отдельных классов объектов (слоистые среды, рассеивающие среды, биологические ткани in vivo и т.п.). С помощью макета обеспечено получение набора экспериментальных данных, необходимых для исследования алгоритмов их обработки и оптимизации режимов функционирования ОКТ-системы.

 

При использовании разработанного макета было выполнено экспериментальное исследование режимов регистрации данных с асинхронным сканированием и проведена оптимизация соотношения показателей разрешающей способности и быстродействия. В качества критериев оптимизации режимов регистрации данных использовались отношение сигнал/шум и информационный критерий. Показано, что регистрация видеоданных в асинхронном режиме сканирования объекта с выбором оптимального соотношения скорости сканирования и поля зрения позволяет достичь расчетной разрешающей способности.

 

Выполнен сравнительный анализ двух основных подходов к решению поставленных задач на основе теории стохастических систем и сигналов: адаптивной фильтрации Винера (ФВ) и фильтрации Калмана (ФК). Проведены исследования характеристик адаптивного ФВ, реализуемого при малом количестве одновременно обрабатываемых отсчетов (три отсчета), априорно не известном размере шага дискретизации (задаваемого в оптико-механической системе), существенно изменяющейся фоновой (некогерентной) составляющей сигнала в условиях влияния шума наблюдения. Получены результаты определения огибающей модельных и экспериментальных интерферометрических векторных сигналов, полученные при совместной обработке набора А-сканов. Показано, что алгоритм обеспечивает требуемую помехоустойчивость. Показана возможность определения огибающей интерференционных полос и шага дискретизации интерферометрического сигнала по фазе с использованием полученных коэффициентов адаптивного ФВ по критерию минимума дисперсии ошибки по отношению к сформированному опорному сигналу.

 

Разработан и исследован алгоритм обработки интерферометрических сигналов малой когерентности на основе расширенного фильтра Калмана, который позволяет детектировать положения и амплитуду соседних максимумов огибающей сигнала, расстояние между которыми меньше, чем длина когерентности излучения источника. Особенностью алгоритма, позволяющей добиться высокого разрешения по глубине, является использование информации о спектральных характеристиках освещения (форме огибающей модуля функции когерентности), а также о количестве слоев в исследуемом объекте и их предполагаемых оптических свойствах. Апробация алгоритма выполнена для анализа модельных сигналов, а также для анализа экспериментальных данных, полученных при измерении пленочных покрытий. Проведено сравнение результатов анализа указанных сигналов с помощью разработанного алгоритма на основе расширенного фильтра Калмана с результатами, полученными методом итерационной параметрической подгонки модели. Показано, что разрешающая способность по глубине, обеспечиваемая при использовании предложенного алгоритма, составляет величину примерно 60–70 нм, что существенно меньше длины когерентности излучения источника (порядка 1 мкм).

 

Таким образом, в результате работ по Проекту достигнуты все запланированные результаты и создан задел для успешного выполнения работ, запланированных на последующие этапы.

 

Результаты, полученные в ходе первого этапа работ по Проекту, представлены на двух международных научных конференциях и оформлены в виде трех полнотекстовых научных статей и одних тезисов докладов на конференции.

 

 

Результаты 2 этапа

 

На втором этапе работ по Проекту выполнены доработка и исследование лабораторного образца ОКТ-системы, доработка алгоритмов обработки интерферометрических сигналов, проведены экспериментальные исследования внутренней микроструктуры объектов различной природы, а также выполнена программная реализация высокоскоростной регистрации, обработки и визуализации данных (в том числе на графических процессорах).
 
Обеспечена возможность использования различных источников излучения с целью учета спектральных и структурных свойств исследуемых объектов при доработке и исследованиях характеристик лабораторного образца ОКТ-системы. Для предварительного анализа спектральных свойств, используемых источников излучения и исследуемых объектов, собран стенд, с помощью которого уточнены характеристики источников излучения, а также спектральные свойства исследуемых объектов. Выполнена серия экспериментов для определения влияния скорости сканирования на отношение сигнал-шум. Показано, что в разработанной системе при частоте кадров до 1600 к/с величина ПОСШ составляет не менее 40 дБ. Проанализированы пути повышения контраста интерференционных полос. Выполнены экспериментальные томографические исследования частично прозрачных слоистых тест-объектов, растительных биологических объектов, кожи и ногтевого ложа пальца человека, а также предметов искусства на примере произведений станковой темперной живописи.
 
В качестве основного алгоритма обработки данных был выбран адаптивный фильтр Винера ввиду его некоторого преимущества по быстродействию в сравнении с расширенным фильтром Калмана и существенного преимущества в простоте настроек фильтра оператором-исследователем, не являющимся специалистом в методах обработки интерферометрических сигналов. Алгоритм обработки данных ОКТ-системы реализован на графических процессорах на платформе OpenCL. Выполнено сравнительное исследование работы алгоритма на различных видеокартах, а также проведено сравнение с быстродействием того же алгоритма при распараллеливании процесса обработки с использованием технологии OpenMP на процессорах различной архитектуры. Показано, что достигнутая высокая скорость обработки многократно превышает заявленные в Проекте показатели даже при использовании видеокарт «среднего уровня». В полном времени выполнения основную часть составляет не обработка, а передача данных. С учётом передачи данных скорость обработки заметно снижается, но даже на современных видеокартах «среднего уровня» составляет более 2 Гвокс/с. Время обработки трехмерного изображения размером около 1,4 гигавокселей с использованием разработанного алгоритма для графических процессоров составило менее одной секунды. Для дальнейшего повышения быстродействия планируется оптимизировать передачу данных, в частности, исследовать возможность использования интерфейсов interoperability графических API.
 
Для реализации динамической визуализации микрообъема потребовалась разработка алгоритма сшивки микрообъемов, зарегистрированных в различные моменты времени в режиме асинхронной регистрации видеокадров при сканирования образца. Динамическая визуализация реализована в двух вариантах: на мониторе компьютера (разработано ПО, обеспечивающее визуализацию отдельных В-сканов и микрообъема в процессе сканирования) и с помощью шлема виртуальной реальности Pimax 8K Plus, что является наиболее перспективным вариантом с учетом возможностей экспертной оценки результатов исследования объектов методом ОКТ.
 
Таким образом, при выполнении работ по Проекту на втором этапе достигнуты все запланированные результаты и создан значительный задел для успешного выполнения работ, предусмотренных на заключительном этапе Проекта.
 
Результаты, полученные в ходе второго этапа работ по Проекту, представлены на семи международных научных конференциях и оформлены в виде пяти полнотекстовых научных статей и трех тезисов докладов на научных конференциях.
 

 

Результаты 3 этапа

 

На третьем этапе работ по Проекту проведено расширение функциональности лабораторного образца ОКТ-системы, а именно выполнена разработка и реализация системы дополнительного сканирования объектов в латеральной плоскости (XY) для задач исследования статических (неподвижных) объектов большой площади, а также реализован режим функционирования лабораторного образца ОКТ-системы с освещением в ближней ИК области спектра. В модифицированном лабораторном образце сканирование в латеральной плоскости может осуществляться по площади до 10 × 10 кв. см. Предусмотрено два режима: режим перемещения объекта в позицию с заданными латеральными координатами и режим исследования области большой площади путем сканирования и объединения небольших смежных областей с перекрытием поля зрения (для этого режима разработан и реализован метод пространственного совмещения данных на основе алгоритма 3D-SIFT). Возможность перехода к освещению в ближней ИК области спектра предусмотрена путем замены источника излучения, светоделительного блока, тубусной линзы и видеокамеры (все четыре элемента могут быть заменены оператором без специальных требований к его квалификации, так как сменные элементы для режима ИК-освещения выполнены с той же оснасткой, что использовалась в ранее разработанном варианте лабораторного образца).
 
Выполнена доработка программного обеспечения, включающая оптимизацию программного обеспечения на этапах ввода, обработки и визуализации данных, а также интеграцию отдельных программных компонентов в единое программное обеспечение с целью сокращения потребляемых вычислительных ресурсов и повышения удобства работы оператора. В результате перехода с платформы OpenCL на Vulkan Сompute на отдельных аппаратных конфигурациях был получен прирост скорости вычислений до 78% и увеличение скорости передачи данных до 120%.
 
Проведены экспериментальные исследования объектов различной природы. В статическом режиме выполнено исследование объектов живописи (икона и выкраска). В динамическом режиме выполнено исследование биологических объектов (лягушка озерная) in-vivo с динамическим контролем компрессии биотканей покровным стеклом. Выполнен анализ параметров интерферометрических сигналов малой когерентности при исследовании движущихся объектов, моделирующих эритроцитарный поток в плоскости наблюдения, без механического аксиального сканирования. Проведенные модельные эксперименты показали возможность анализа распределения скоростей потоков рассеивающих частиц с помощью разработанного лабораторного образца. Создана информационная система для хранения экспериментальных трехмерных томограмм и дистанционного обмена ими на базе сетевого хранилища общим объемом 36 ТБ (с защитой потери данных за счет использования массива RAID 1), к которому организован доступ как по локальной сети в лаборатории, так и дистанционный доступ по сети Интернет через протоколы https и ftp.
 
В рамках работ по определению путей коммерциализации разработанной системы и программного обеспечения разработаны подходы к созданию мобильной версии системы корреляционной ОКТ, проведены два мастер-класса по работе с разработанным лабораторным образцом системы ОКТ и системой визуализации данных на основе технологий виртуальной реальности, выполнен анализ путей коммерциализации разработанного программного обеспечения в виде патентного исследования, в результате чего проведена государственная регистрация разработанного программного обеспечения. Разработан план создания малого инновационного предприятия на базе «ИТМО Хайпарк» с целью оказания услуг по анализу внутренней микроструктуры объектов различной природы с помощью разработок, созданных в ходе выполнения Проекта, а также продолжения научных исследований в данном направлении на принципах частичной или полной самоокупаемости.
 
Опубликованы три научные статьи. Полученные результаты представлены в десяти докладах на российских и международных научных конференциях.
 
Таким образом, при выполнении работ по Проекту на третьем (заключительном) этапе достигнуты все запланированные результаты.

 

Результаты 2 этапа

 

На втором этапе рабо