СПОСОБ ПОСТРОЕНИЯ СИНТЕТИЧЕСКИХ ИЗОБРАЖЕНИЙ КТ НА ОСНОВЕ ДАННЫХ ИЗОБРАЖЕНИЙ МРТ Российский патент 2022 года по МПК G16H50/00 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области вычислительной техники, в частности к способу построения синтетических изображений компьютерной томографии (далее - КТ) на основе данных изображений магнитно-резонансной томографии (далее - МРТ).

УРОВЕНЬ ТЕХНИКИ

Одним из известных из уровня техники и зарекомендовавших себя способов решения задачи синтеза изображений КТ из МРТ с использованием спаренных данных является метод на основе патчей. Метод заключается в следующем: из пар снимков вырезаются трехмерные патчи (линейный размер ~ 3-5 вокселя, при линейном размере снимка ~ 180 вокселей) и составляется большая "база данных" пар (патч из МРТ, соответствующий ему патч из КТ). При синтезе из исходного изображения выделяются патчи того же размера, затем в базе данных ищутся несколько наиболее подходящих ему по структуре, и в качестве сгенерированного патча выдается их взвешенная, в зависимости от степени близости по I2 норме, сумма. Подробнее этот метод изложен в [1]. Там же приводится сравнение метода на основе патчей, с другими популярными на тот момент методами на основе анатомических атласов и алгоритмов корегистрации изображений. Логическое продолжение этого метода изложено в [2], где предлагается использовать комбинацию методов на основе анатомических атласов, алгоритмов корегистрации и методов на основе патчей.

Альтернативный подход состоит в использовании генеративных состязательных сетей, что позволяет проводить обучение на основе непарных данных (то есть снимках КТ и МРТ от разных пациентов). Подобный метод позволяет существенно увеличить объемы обучающих выборок и используется, например, в [3], где авторы сравнивают ряд подходов к обучению подобных сетей.

Ключевое ограничение обоих подходов состоит в том, что для оценки качества модели используется реконструированное КТ изображения. Вместе с тем, ключевая характеристика КТ - это исходная синограмма, связанная с реконструкцией с помощью преобразования Радона. Именно синограмма регистрируется компьютерным томографом при выполнении исследования и определяет финальное изображение. Это ограничение представляется достаточно принципиальным, поскольку использование двух доменов (синограмм и реконструкций) хорошо изучено в родственной задаче подавления артефактов на КТ и показывает принципиально лучшие результаты, чем каждый из доменов по отдельности (например, [4]).

Таким образом, в существующих решениях не используются синограммы исходных изображений, что приводит к существенному недоиспользованию доступной структурной информации при синтезе.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное техническое решение, является создание способа построения синтетических изображений КТ на основе данных изображений МРТ, который охарактеризован в независимом пункте формулы. Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения.

Технический результат заключается в повышении качества построения синтетических изображений КТ на основе данных изображений МРТ.

Заявленный результат достигается за счет осуществления способа построения синтетических изображений КТ на основе данных изображений МРТ, содержащий:

Подготовительный этап, на котором:

осуществляют предобработку набора данных;

обучают генеративно-состязательную сеть с двумя дискриминаторами, для получения синтетических изображений КТ,

первый дискриминатор принимает на вход предобработанные изображение из набора данных, а второй - синограммы изображений КТ;

осуществляют регистрацию полученного изображения КТ на исходное изображение МРТ, с помощью жесткого преобразования, с использованием взаимной информации как целевой метрики качества совмещения;

Рабочий этап, на котором:

на вычислительное устройство поступает Т1-взвешенное изображение МРТ;

осуществляют валидацию формата полученного изображения;

осуществляют генерацию изображений КТ на основе изображений МРТ посредством цикличных генеративно-состязательных сетей;

осуществляют вывод результата, посредством модуля вывода.

В частном варианте реализации предлагаемое решение, набор данных состоит из КТ-изображений и МРТ-изображений.

В другом частном варианте реализации предлагаемое решения, предобработку КТ-изображений производят два раза.

В другом частном варианте реализации предлагаемое решения, изображение МРТ поступает в формате NIFTI.

В другом частном варианте реализации предлагаемое решения, изображение КТ поступает в формате NIFTI.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

Фиг. 1 иллюстрирует пример предобработки данных.

Фиг. 2 иллюстрирует пример общей схемы вычислительного устройства.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Способ построения синтетических изображений КТ на основе данных изображений МРТ включает подготовительный этап (этап обучения генеративно-состязательной сети) и рабочий этап.

На подготовительном этапе осуществляют предобработку набора данных. Набор данных состоит из тестовой выборки данных изображений КТ и изображений МРТ. Изображения КТ отличаются от МРТ наличием на изображении стола и других элементов диагностического оборудования. Для того, чтобы стандартизировать изображения КТ (фиг.1 1.1.) и убрать все части, которые невозможно синтезировать из МРТ, выполняются следующие шаги. Производится обнуление всех значений менее 750 единиц Хаунсфилда (tresholding), затем удаляются крупные (>1000 вокселей) компоненты связности, кроме самой головы (фиг.1 1.2), и производится посрезовое открытие (эрозия с последующим наращиванием), в конце посрезово берется выпуклая оболочка (фиг.1 1.3). В результате получается трехмерная бинарная маска, по которой потом из исходного снимка обнуляются все воксели внутри маски (фиг.1 1.4).

Описанной выше предобработки данных иногда оказывается недостаточно - на некоторых снимках могут оставаться маленькие части рамок. В связи с этим осуществляют повторную предобработку.

Осуществляют обучение генеративно-состязательной нейронной сети с двумя дискриминаторами, для получения синтетических изображений КТ, первый дискриминатор принимает на вход предобработанные изображение из набора данных, а второй - синограммы исходных изображений КТ. Использование второго дискриминатора позволяет наложить структурные ограничения на результат работы генератора и получить более близкие к реальным изображения.

При обучении генеративно-состязательной нейронной сети с двумя дискриминаторами в задаче МРТ->КТ используется функция ошибки с адаптивным выбором относительных весов: на первых итерациях первый дискриминатор имеет вес 95% (второй, соответственно, 5%), затем веса линейно изменяются до пропорции 50%-50% на 30-й эпохе обучения. Такой подход позволяет на первых эпохах настроить генератор на генерацию достаточно реалистичных КТ изображений и затем уже переходить к учету структуры, задаваемой синограммой. Синограммой называют - двумерное распределение одномерных проекций слоя объекта как функция угла проекции. Угол проекции расположен по оси ординат. Линейная проекция расположена по оси абсцисс.

Для ускорения обучения синограммы реальных КТ изображений были предпосчитаны заранее, а синограммы синтезируемых изображений подсчитывались только для 10% срезов, случайно выбираемых на каждой итерации обучения, с помощью дифференцируемого преобразования Радона, имплементированного в виде дополнительного слоя генератора сети.

Последним шагом подготовительного этапа является регистрация синтезированного изображения на исходное изображение МРТ с помощью жесткого (rigid) преобразования, с использованием взаимной информации как целевой метрики качества совмещения.

На рабочем этапе на вычислительное устройство поступает Т1-взвешенное изображение МРТ в формате NIFTI, осуществляют валидацию формата полученного изображения. Если формат входных данных не соответствуют спецификации, то посредством модуля вывода, выводят пользователю сообщение об ошибке. Осуществляют генерацию изображений КТ на основе изображений МРТ посредством цикличных генеративно-состязательных сетей и выводят сгенерированные изображения КТ в формате NIFTI, посредством модуля вывода.

Разработанный метод для построения генеративной модели демонстрирует среднюю абсолютную ошибку в 104.38 ± 22.03 HU в сравнении с реальным КТ-изображением. Референсная модель позволяет синтезировать КТ-изображения со средней абсолютной ошибкой в 146.46 ± 18.21 HU.

На Фиг. 2 далее будет представлена общая схема вычислительного устройства (200), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

В общем случае устройство (200) содержит такие компоненты, как: один или более процессоров (201), по меньшей мере одну память (202), средство хранения данных (203), интерфейсы ввода/вывода (204), средство В/В (205), средства сетевого взаимодействия (206).

Процессор (201) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (200) или функциональности одного или более его компонентов. Процессор (201) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (202).

Память (202), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.

Средство хранения данных (203) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (203) позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.

Интерфейсы (204) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.

Выбор интерфейсов (204) зависит от конкретного исполнения устройства (200), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств В/В данных (205) в любом воплощении системы, реализующей описываемый способ, должна использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (206) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (205) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты устройства (200) сопряжены посредством общей шины передачи данных (210).

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Источники информации

[1] Daniel Andreasen, Koen Van Leemput, Rasmus H. Hansen, Jon A. L. Andersen, and Jens M. Edmund. Patch-based generation of a pseudo CT from conventional MRI sequences for MRI-only radiotherapy of the brain. Medical Physics, 42(4):1596-1605, mar 2015.

[2] Junghoon Lee, Aaron Carass, Amod Jog, Can Zhao, and Jerry L. Prince. Multi-atlas-based CT synthesis from conventional MRI with patch-based refinement for MRI-based radiotherapy planning. In Martin A. Styner and Elsa D. Angelini, editors, Medical Imaging 2017: Image Processing. SPIE, feb 2017

[3] Синтез медицинских изображений с помощью циклических генеративно-состязательных сетей Кондратенко Владимир, Пимкин Артем, Писов Максим, Беляев Михаил. Информационные технологии и системы. 2018. С. 76-84.

[4] Lin, W.A., Liao, H., Peng, C., Sun, X., Zhang, J., Luo, J., Chellappa, R. and Zhou, S.K., 2019. Dudonet: Dual domain network for ct metal artifact reduction. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 10512-10521).

Изобретение относится к области вычислительной техники, в частности к способу построения синтетических изображений компьютерной томографии на основе данных изображений магнитно-резонансной томографии. Предложен способ построения синтетических изображений компьютерной томографии (КТ) на основе данных изображений магнитно-резонансной томографии (МРТ), содержащий: подготовительный этап, на котором осуществляют предобработку набора данных, состоящего из тестовой выборки данных изображений КТ и изображений МРТ, заключающуюся в удалении частей на изображениях КТ, которые нельзя синтезировать из МРТ; обучают генеративно-состязательную сеть с двумя дискриминаторами, для получения синтетических изображений КТ, первый дискриминатор принимает на вход предобработанные изображение из набора данных, а второй – синограммы изображений КТ; осуществляют регистрацию полученного изображения КТ на исходное изображение МРТ, с помощью жесткого преобразования, с использованием взаимной информации как целевой метрики качества совмещения; рабочий этап, на котором: на вычислительное устройство поступает Т1-взвешенное изображение МРТ; осуществляют валидацию формата полученного изображения; осуществляют генерацию изображений КТ на основе изображений МРТ посредством цикличных генеративно-состязательных сетей; осуществляют вывод результата посредством модуля вывода. Изобретение обеспечивает повышение качества построения синтетических изображений КТ на основе данных изображений МРТ. 4 з.п. ф-лы, 2 ил.

1. Компьютерно-реализуемый способ построения синтетических изображений компьютерной томографии (КТ) на основе данных изображений магнитно-резонансной томографии (МРТ), содержащий:

подготовительный этап, на котором:

осуществляют предобработку набора данных, состоящего из тестовой выборки данных изображений КТ и изображений МРТ, заключающуюся в удалении частей на изображениях КТ, которые нельзя синтезировать из МРТ;

обучают генеративно-состязательную сеть с двумя дискриминаторами, для получения синтетических изображений КТ,

первый дискриминатор принимает на вход предобработанные изображение из набора данных, а второй – синограммы изображений КТ;

осуществляют регистрацию полученного изображения КТ на исходное изображение МРТ, с помощью жесткого преобразования, с использованием взаимной информации как целевой метрики качества совмещения;

рабочий этап, на котором:

на вычислительное устройство поступает Т1-взвешенное изображение МРТ;

осуществляют валидацию формата полученного изображения;

осуществляют генерацию изображений КТ на основе изображений МРТ посредством цикличных генеративно-состязательных сетей;

осуществляют вывод результата, посредством модуля вывода.

2. Способ по п.1, отличающийся тем, что набор данных состоит из КТ-изображений и МРТ-изображений.

3. Способ по п.1, отличающийся тем, что предобработку КТ-изображений производят два раза.

4. Способ по п.1, отличающийся тем, что изображение МРТ поступает в формате NIFTI.

5. Способ по п.1, отличающийся тем, что изображение КТ поступает в формате NIFTI.