СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ И НОСИТЕЛЬ ДАННЫХ Российский патент 2019 года по МПК G01N23/04 A61B6/03 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Варианты осуществления настоящего изобретения относятся к радиационной визуализации и, в частности, к способу обработки изображений, устройству обработки изображений и носителю данных.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

Системы визуализации методом рентгеновской компьютерной томографии (КТ) широко используются в таких областях, как терапевтическое лечение, проверка безопасности, неразрушающий контроль в промышленности и т.д. Рентгеновские источники и детекторы собирают ряд проекционных данных в соответствии с определенной траекторией, и путем восстановления с использованием алгоритма реконструкции изображений может быть получено трехмерное пространственное распределение коэффициентов линейного ослабления объекта, подлежащего обследованию. Процесс реконструкции изображения КТ заключается в восстановлении распределения коэффициентов линейного ослабления на основе данных, собранных детекторами. В настоящее время в практических применениях в основном используют такие алгоритмы аналитической реконструкции, как фильтрованная обратная проекция, алгоритм Фельдкампа-Девиса-Кресса (FDK) и т.д., а также такие итеративные способы реконструкции, как метод алгебраической реконструкции (ART), метод максимальной апостериорной гипотезы (MAP) и т.д.

С увеличением разнообразия спроса на визуализацию методом рентгеновской КТ все выше и выше становятся требования к уменьшению дозы облучения. Были предложены методики реконструкции изображения КТ с использованием сверточной нейронной сети. Однако способы реконструкции с использованием сверточных нейронных сетей требуют обучения с учителем в процессе обучения нейронных сетей. Этот способ требует маркировки большого объема данных.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Согласно вариантам осуществления настоящего изобретения предлагается способ обработки изображений, устройство обработки изображений и носитель данных, а также обученная нейронная сеть, способная повышать качество реконструированного изображения.

Согласно одному аспекту настоящего изобретения предлагается способ обработки изображений, включающий: сбор системой сканирования методом компьютерной томографии (КТ) данных объекта в проекционной области; и обработку с использованием сверточной нейронной сети данных в проекционной области с целью сбора оценочного изображения объекта; при этом сверточная нейронная сеть содержит: сеть проекционной области для обработки входных данных в проекционной области с целью получения обработанных данных в проекционной области; слой сети аналитической реконструкции для выполнения аналитической реконструкции в отношении обработанных данных в проекционной области с целью получения реконструированного изображения; и сеть области визуализации для обработки реконструированного изображения с целью получения оценочного изображения, при этом способ дополнительно включает обучение сверточной нейронной сети путем: настройки сети области визуализации с использованием функции стоимости априорной модели на основе оценочного изображения, и выполнение обратного распространения градиента через слой сети аналитической реконструкции с целью корректировки параметров сверточного ядра сети проекционной области; и выполнение операции проецирования в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом КТ с целью получения результата проецирования, и корректировку параметров сверточных ядер сети области визуализации и сети проекционной области с использованием функции стоимости непротиворечивости на основе результата проецирования, оценочного изображения и функции правдоподобия, отражающей распределение вероятностей данных в проекционной области.

Согласно одному варианту осуществления настоящего изобретения обучение сверточной нейронной сети включает: построение функции стоимости непротиворечивости с использованием слоя обратного проецирования, и построение функции стоимости априорной модели с использованием априорных знаний для совместного обучения нейронной сети.

Согласно варианту осуществления настоящего изобретения функция стоимости априорной модели содержит по меньшей мере одно или комбинацию следующего: полная вариация локальных условий, априорная модель марковского поля, априорная модель текстуры и разреженность пространства признаков, где - оценочное изображение.

Согласно одному варианту осуществления настоящего изобретения способ дополнительно включает: определение функции стоимости априорной модели с использованием априорной ошибки в виде .

Согласно одному варианту осуществления настоящего изобретения λ используется для корректировки сети области визуализации в соответствии со значимостью каждой функции стоимости априорной модели в процессе обратной связи для компенсации ошибки.

Согласно одному варианту осуществления настоящего изобретения в слое сети аналитической реконструкции априорная ошибка слоя сети аналитической реконструкции обратно распространяется согласно следующему соотношению:

где входные данные в проекционной области сети проекционной области выражены в виде выходные данные сети проекционной области выражены в виде , где М'≥М, после взвешивания выходных данных получают , после выполнения обратного проецирования взвешенных выходных данных, выходные данные слоя аналитической реконструкции имеют вид , где верхний индекс Т представляет транспонирование матрицы, h - сверточное ядро с дискретной пилообразной функцией, H_R - матрица системы для M'×N - мерной реконструкции, и W₁, W₂, ……, W_M представляют весовые коэффициенты.

Согласно одному варианту осуществления настоящего изобретения функция стоимости непротиворечивости выражена в виде соотношения переноса ошибки из функции стоимости непротиворечивости имеют вид и , где β - параметр множителя Лагранжа, и способ дополнительно включает: совместное распространение в сеть проекционной области с целью обновления параметров различных слоев.

Согласно одному варианту осуществления настоящего изобретения способ дополнительно включает: сбор данных объекта в проекционной области при помощи системы сканирования методом КТ с использованием одного из следующих способов: сканирование с промежуточной частотой выборки детектора, сканирование под промежуточными углами, сканирование с внутренней реконструкцией, сканирование с ограниченным углом и сканирование по прямолинейной траектории.

Согласно одному варианту осуществления настоящего изобретения сеть проекционной области содержит множество параллельных ветвей сверточной нейронной сети.

Согласно одному варианту осуществления настоящего изобретения сеть области визуализации содержит U-образную сверточную нейронную сеть.

Согласно еще одному аспекту настоящего изобретения предлагается устройство обработки изображений, содержащее: запоминающее устройство, выполненное с возможностью хранения команд и данных, и процессор, выполненный с возможностью исполнения команд с целью: приема данных объекта в проекционной области, собранных системой сканирования методом компьютерной томографии (КТ); и обработки с использованием сверточной нейронной сети данных в проекционной области с целью получения оценочного изображения объекта; при этом процессор также выполнен с возможностью построения сверточной нейронной сети, содержащей: сеть проекционной области для обработки входных данных в проекционной области с целью получения обработанных данных в проекционной области; слой сети аналитической реконструкции для выполнения аналитической реконструкции в отношении обработанных данных в проекционной области с целью получения реконструированного изображения; и

сеть области визуализации для обработки реконструированного изображения с целью получения оценочного изображения, при этом процессор также выполнен с возможностью обучения сверточной нейронной сети путем: настройки сети области визуализации с использованием функции стоимости априорной модели на основе оценочного изображения, и выполнения обратного распространения градиента через слой сети аналитической реконструкции с целью корректировки параметров сверточного ядра сети проекционной области; и выполнения операции проецирования в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом компьютерной томографии (КТ) с целью получения результата проецирования, и корректировки параметров сверточных ядер сети области визуализации и сети проекционной области с использованием функции стоимости непротиворечивости на основе результата проецирования, оценочного изображения и функции правдоподобия, отражающей распределение вероятностей данных в проекционной области.

Согласно одному варианту осуществления настоящего изобретения процессор также выполнен с возможностью построения функции стоимости непротиворечивости с использованием слоя обратного проецирования и построения функции стоимости априорной модели с использованием априорных знаний с целью совместного обучения нейронной сети.

Согласно еще одному аспекту настоящего изобретения предлагается машиночитаемый носитель данных, содержащий хранящиеся в нем компьютерные команды, которые при их исполнении процессором реализуют вышеописанный способ.

При помощи решений согласно вышеописанным вариантам осуществления настоящего изобретения можно обучить нейронную сеть в отсутствие учителя, что, таким образом, обеспечивает возможность реконструкции изображения более высокого качества.

КРАТКОЕ ОПИСАНИЕ СОПРОВОДИТЕЛЬНЫХ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Для лучшего понимания вариантов осуществления настоящего изобретения варианты осуществления настоящего изобретения будут описаны более подробно со ссылкой на нижеследующие сопроводительные графические материалы:

на фиг. 1 представлена принципиальная конструктивная схема устройства КТ согласно одному варианту осуществления настоящего изобретения;

на фиг. 2 представлена принципиальная конструктивная схема устройства управления и обработки данных в устройстве КТ, представленном на фиг. 1;

на фиг. 3 представлен пример синограммы проекционных данных, полученных устройством согласно одному варианту осуществления настоящего изобретения;

на фиг. 4 представлена принципиальная схема данных, содержащихся в синограмме, при разных режимах сканирования;

на фиг. 5 представлена принципиальная схема сканирующего устройства, в котором реализованы выборка и режим сканирования под промежуточными углами, согласно одному варианту осуществления настоящего изобретения;

на фиг. 6 представлена общая конструктивная схема искусственной нейронной сети согласно одному варианту осуществления настоящего изобретения;

на фиг. 7 представлена схема, иллюстрирующая изображения, обработанные различными модулями в архитектуре нейронной сети, представленной на фиг. 6;

на фиг. 8 представлена конструктивная схема сети проекционной области в устройстве согласно одному варианту осуществления настоящего изобретения;

на фиг. 9 представлена конструктивная схема слоя сети аналитической реконструкции, используемого в устройстве согласно одному варианту осуществления настоящего изобретения;

на фиг. 10 представлена принципиальная схема U-образной сверточной нейронной сети, используемой сетью области визуализации в устройстве согласно еще одному варианту осуществления настоящего изобретения;

на фиг. 11 представлена конструктивная схема сверточного ядра с гладкой условной функцией, используемого в сверточной нейронной сети согласно одному варианту осуществления настоящего изобретения;

на фиг. 12А, 12В и 12С представлена схема размеров фильтрующих элементов, используемых в устройстве согласно одному варианту осуществления настоящего изобретения;

на фиг. 13А представлена принципиальная схема последовательности операций, иллюстрирующая способ обработки изображений согласно одному варианту осуществления настоящего изобретения;

на фиг. 13В представлена принципиальная схема последовательности операций, иллюстрирующая способ обучения нейронной сети согласно одному варианту осуществления настоящего изобретения;

на фиг. 14 представлена принципиальная схема сканирующего устройства, в котором реализовано сканирование методом КТ с ограниченным углом, согласно еще одному варианту осуществления настоящего изобретения;

на фиг. 15 представлена принципиальная схема сканирующего устройства, в котором реализован способ сканирования с внутренней реконструкцией, согласно еще одному варианту осуществления настоящего изобретения;

на фиг. 16 представлена принципиальная схема сканирующего устройства, в котором реализован способ сканирования с промежуточной частотой выборки детектора, согласно еще одному варианту осуществления настоящего изобретения;и

на фиг. 17 представлена принципиальная схема сканирующего устройства, в котором реализовано сканирование методом КТ по прямолинейной траектории согласно еще одному варианту осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

Ниже подробно описаны конкретные варианты осуществления настоящего изобретения. Следует отметить, что варианты осуществления, описанные в данном документе, используются только для иллюстрации, без ограничения вариантов осуществления настоящего изобретения. В приведенном ниже описании, для обеспечения лучшего понимания вариантов осуществления настоящего изобретения, разъяснено множество конкретных подробностей. Однако специалистам в данной области техники очевидно, что варианты осуществления настоящего изобретения могут быть реализованы и без этих конкретных подробностей. В других случаях хорошо известные схемы, материалы или способы не описаны конкретно, для того чтобы не затруднять понимание вариантов осуществления настоящего изобретения.

По всему этому описанию ссылка на «один вариант осуществления», «вариант осуществления», «один пример» или «пример» означает, что конкретные признаки, конструкции или свойства, описанные в связи с данным вариантом осуществления или примером, включены в по меньшей мере один вариант осуществления настоящего изобретения. Поэтому выражения «в одном варианте осуществления», «в варианте осуществления», «в одном примере» или «в примере», встречающиеся в различных местах всего этого описания, необязательно относятся к одному и тому же варианту осуществления или примеру. Кроме того, в одном или более вариантах осуществления или примерах конкретные признаки, конструкции или свойства могут быть скомбинированы в любой подходящей комбинации и/или подкомбинации. Более того, специалистам в данной области техники следует понимать, что используемый в данном документе термин «и/или» означает любую или все комбинации одного или более перечисляемых предметов.

В виду проблем, существующих в известном уровне техники, в вариантах осуществления настоящего изобретения предлагается способ обработки изображений, в котором входные данные в проекционной области обрабатывают с использованием сверточной нейронной сети с целью получения оценочного изображения объекта. Сверточная нейронная сеть содержит сеть проекционной области, слой сети аналитической реконструкции и сеть области визуализации. Сеть проекционной области используется для обработки входных данных в проекционной области с целью получения обработанных данных в проекционной области. Слой сети аналитической реконструкции используется для выполнения аналитической реконструкции в отношении обработанных данных в проекционной области с целью получения реконструированного изображения. Сеть области визуализации используется для обработки реконструированного изображения с целью получения оценочного изображения. Сеть области визуализации настраивается путем использования функции стоимости априорной модели на основе оценочного изображения, а для корректировки параметров сверточного ядра сети проекционной области выполняется обратное распространение градиента через слой сети аналитической реконструкции. Операция проецирования выполняется в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом компьютерной томографии (КТ) с целью получения результата проецирования, и параметры сверточных ядер сети области визуализации и сети проекционной области корректируются с использованием функции стоимости непротиворечивости на основе результата проецирования, оценочного изображения и функции правдоподобия, отражающей распределение вероятностей данных в проекционной области. При помощи решений согласно вышеописанным вариантам осуществления настоящего изобретения обученной сетью при наличии дефекта в проекционных данных может быть реконструировано изображение более высокого качества.

На фиг. 1 представлена принципиальная конструктивная схема устройства КТ согласно одному варианту осуществления настоящего изобретения. Как показано на фиг. 1, устройство КТ согласно настоящему варианту осуществления содержит рентгеновский источник 10, устройство 50 механического перемещения, систему 20 детектора и сбора данных, и устройство 60 управления и обработки данных для выполнения сканирования методом КТ и обработки данных, относящихся к объекту 40, подлежащему обследованию, например, с целью обучения нейронной сети и реконструкции изображения с помощью обученной сети.

Рентгеновский источник 10, например, может представлять собой рентгеновский аппарат, и, в соответствии с разрешающей способностью визуализации, может быть выбран подходящий размер фокуса рентгеновского аппарата. В других вариантах осуществления вместо использования рентгеновского аппарата пучок рентгеновских лучей может формироваться с использованием линейного ускорителя.

Устройство 50 механического перемещения содержит платформу, рейку, систему управления и т.д. Платформа может поступательно перемещаться для регулировки положения центра вращения. Рейка может поступательно перемещаться для выравнивания рентгеновского источника (рентгеновского аппарата) 10, детектора и центра вращения. В настоящем варианте осуществления описание осуществляется в соответствии с круговой траекторией сканирования или спиральной траекторией вращающейся платформы и неподвижной рейки. Так как движение платформы относительно рейки представляет собой относительное движение, способ согласно настоящему варианту осуществления также может быть реализован при помощи неподвижной платформы и вращающейся рейки.

Система 20 детектора и сбора данных содержит рентгеновский детектор, схему сбора данных и т.д. В качестве рентгеновского детектора может быть использован твердотельный детектор, газовый детектор или другие детекторы; однако варианты осуществления настоящего изобретения ими не ограничиваются. Схема сбора данных содержит схему считывания, схему запуска сбора данных, схему передачи данных и т.д.

Устройство 60 управления и обработки данных содержит, например, вычислительное устройство, на котором установлена программа управления и программа обработки данных, и оно отвечает за выполнение управления процессом функционирования системы КТ, в том числе механическим вращением, электрическим управлением, управлением предохранительной блокировкой и т.д., обучение нейронной сети и реконструкцию изображения КТ из проекционных данных с использованием обученной нейронной сети и т.д.

На фиг. 2 представлена принципиальная конструктивная схема устройства 200 управления и обработки данных, например устройства 60 управления и обработки данных, представленного на фиг. 1. Как показано на фиг. 2, данные, собранные системой 20 детектора и сбора данных, сохраняются в устройстве 210 хранения данных посредством устройства 270 сопряжения и шины 280. Постоянное запоминающее устройство (ROM) 220 содержит информацию о конфигурации и программы вычислительного устройства обработки данных, хранящиеся в нем. Оперативное запоминающее устройство (RAM) 230 выполнено с возможностью временного хранения различных данных во время работы процессора 250. В дополнение, в устройстве 210 хранения данных также хранятся компьютерные программы для выполнения обработки данных, такие как программа для обучения нейронной сети, программа для реконструкции изображения КТ и т.д. Устройство 210 хранения данных, постоянное запоминающее устройство 220, оперативное запоминающее устройство 230, устройство 240 ввода, процессор 250, дисплейное устройство 260 и устройство 270 сопряжения соединены посредством внутренней шины 280.

После ввода пользователем рабочей команды через такое устройство 240 ввода, как клавиатура, мышь и т.д., коды команд компьютерной программы дают процессору 250 команду на исполнение алгоритма обучения нейронной сети и/или алгоритма реконструкции изображения КТ. После получения результата реконструкции происходит отображение результата реконструкции на таком дисплейном устройстве 260, как жидкокристаллический дисплей и т.д., или вывод результата обработки непосредственно в форме документальной копии, например, при помощи печати и т.д.

Согласно одному варианту осуществления настоящего изобретения сканирование методом КТ выполняется в отношении объекта, подлежащего обследованию, с использованием вышеописанного устройства с целью получения проекционных данных. Обычно эти проекционные данные могут быть отображены в форме двумерного изображения. На фиг. 3 представлен пример проекционных данных, полученных согласно одному варианту осуществления настоящего изобретения. Направление горизонтальной оси синограммы, показанной на фиг. 3, представляет последовательность пикселей детектора (например, от 1 до 256), а вертикальная ось синограммы, показанной на фиг. 3, представляет угол (например, от 1 до 360 градусов). Процессор 250 в устройстве управления затем исполняет программу реконструкции для обработки данных в проекционной области с использованием обученной нейронной сети с целью получения обработанных данных в проекционной области, для того чтобы в дальнейшем выполнить операцию обратного проецирования в отношении обработанных данных в проекционной области с целью получения реконструированного изображения и в дальнейшем обработать реконструированное изображение с целью получения конечного изображения. Например, реконструированное изображение обрабатывается с использованием обученной сверточной нейронной сети для получения характеристических изображений в различных масштабах, которые совмещаются с целью получения результирующего изображения.

В вариантах осуществления настоящего изобретения проекционные данные обрабатываются с использованием обученной сверточной нейронной сети в проекционной области, а затем, с целью реконструкции изображения КТ, выполняется операция обратного проецирования. Сверточная нейронная сеть может содержать сверточные слои, слои подвыборки и полносвязные слои. Каждый сверточный слой определяет свойства набора входных данных, и каждый сверточный слой имеет операцию нелинейной функции активации. Свойства уточняются при помощи слоев подвыборки, и типичные операции включают усредняющую подвыборку и максим из ационную подвыборку. Один или более полносвязных слоев реализуют операцию нелинейного синтеза сигнала высокого порядка, и каждый полносвязный слой также содержит нелинейную функцию активации. Обычно используемые нелинейные функции активации включают Sigmoid, Tanh, ReLU и т.д.

Несмотря на то, что в приведенное выше описание главным образом представлено для случая 360-градусного кругового сканирования с целью получения полных проекционных данных, специалисты в данной области техники должны понимать, что приведенное выше решение может быть применено и в случае неполных проекционных данных, например, в случае промежуточной частоты выборки детектора, выборки под промежуточными углами, с ограниченным углом, с внутренней реконструкцией, сканирования по прямолинейной траектории и т.д.

На фиг. 4 представлена принципиальная схема данных, содержащихся в синограмме, при разных режимах сканирования. Как показано на фиг. 4, неполными являются все проекционные данные, полученные при сканировании методом КТ с выборкой под промежуточными углами, сканировании методом КТ с ограниченным углом, сканировании методом КТ с промежуточной частотой выборки детектора и сканировании методом КТ с внутренней реконструкцией. И, несмотря на то, что эти проекционные данные являются неполными, при помощи вышеописанных решений из этих неполных проекционных данных может быть реконструировано изображение более высокого качества.

На фиг. 5 представлена принципиальная схема сканирующего устройства, в котором реализованы выборка и режим сканирования под промежуточными углами согласно одному варианту осуществления настоящего изобретения. Как показано на фиг. 5, после прохождения рентгеновских лучей, испущенных источником 10 излучения, сквозь объект 40, подлежащий обследованию, в поле 45 зрения рентгеновские лучи принимает детектор 30, и они преобразуются в электрический сигнал, который в дальнейшем преобразуется в цифровой сигнал, указывающий значение ослабления в качестве проекционных данных, подлежащих реконструкции компьютером. При помощи вышеописанных решений нейронной сетью, обученной с использованием способа согласно настоящему изобретению, может быть реконструировано изображение более высокого качества, даже если сканирование методом КТ выполнено в отношении объекта 40, подлежащего обследованию, во множестве положений вращения (например, в шести положениях). Таким образом, изображение более высокого качества может быть реконструировано из неполных проекционных данных, даже если в отношении объекта, подлежащего обследованию, выполнено сканирование методом КТ под промежуточными углами.

На фиг. 6 представлена общая конструктивная схема искусственной нейронной сети согласно одному варианту осуществления настоящего изобретения. Как показано на фиг. 6, входные данные обученной без учителя нейронной сети для реконструкции изображения, полученного методом рентгеновской КТ, представляют собой данные в проекционной области, полученные путем сканирования методом КТ. Нейронная сеть может в основном содержать сеть 610 проекционной области, слой 620 сети аналитической реконструкции и сеть 630 области визуализации.

На фиг. 7 представлена принципиальная схема, иллюстрирующая изображения, обработанные различными модулями в архитектуре нейронной сети, представленной на фиг. 6. Как показано на фиг. 7, входные данные в проекционной области выражены в виде g, данные, полученные после обработки сетью проекционной области, выражены в виде , данные, полученные после обработки слоем сети аналитической реконструкции, выражены в виде , и данные, полученные после обработки сетью области визуализации, выражены в виде .

Сеть 610 проекционной области используется для восстановления данных в проекционной области и оценки недостающих данных в проекционной области с целью получения полных данных в проекционной области с высоким качеством. Слой 620 сети аналитической реконструкции содержит множество слоев, построенных на основе математического описания алгоритма аналитической реконструкции в данной области. Сеть 630 области визуализации используется для уменьшения количества артефактов и ошибок в реконструированном изображении, за счет чего повышается качество реконструированного изображения. Слои 660, 670, 680 априорных моделей составляют конечную функцию стоимости сети, и она может состоять из одного или нескольких параллельных слоев априорных моделей (также именуемых ограничениями). На фиг. 6 для примера приведено три слоя априорных моделей. Параметры λ используются для регулировки интенсивности и значимости априорных моделей, или ограничений. Слой 640 статистической модели составляет еще одну ветвь стоимости сети, и он предназначен для описания статистической флуктуации во время сбора проекционных данных, которая представляет собой функцию относительной стоимости максимального правдоподобия, которой удовлетворяют собранные данные рентгеновской КТ и реальные данные в соответствии со статистической моделью. Проекционный слой 650 выполняет операцию проецирования в отношении оценочного изображения с использованием проекционной матрицы системы и строит согласующуюся с проекцией функцию стоимости, аналогичную функции стоимости ART.

Последовательность операций всей сети в прямом направлении показана на фиг. 6 сплошными стрелками. Данные, собранные системой, выражены в виде и выходные данные сети 610 проекционной области выражены в виде , где обычно М'≥М. После прохождения выходных данных сети 610 проекционной области через слой взвешивания получается , где W₁, W₂, ……, W_M' представляют весовые коэффициенты. После прохождения взвешенных данных через слой фильтрации получается , где h - сверточное ядро с дискретной пилообразной функцией, например фильтр RL или SL. После прохождения фильтрованных данных через слой обратного проецирования, выходные данные слоя аналитической реконструкции получаются в виде , где верхний индекс Т представляет транспонирование матрицы, H_R - матрица системы для M'×N - мерной реконструкции, и, аналогично прямой проекционной матрице Н, она определяется архитектурой системы КТ и методом сканирования, и выполняет процесс обратного проецирования, в частности, процесс взвешенного обратного проецирования в соответствии со сканированием веерным пучком или коническим пучком. После прохождения через сеть реконструкции продолжает распространяться в прямом направлении для прохождения вперед через сеть области визуализации с целью получения оценочного изображения сканированного объекта. Выходные данные каждого слоя априорной модели представляют собой функцию стоимости . может представлять собой естественную комбинацию, например, полной вариации локальных условий, априорной модели марковского поля, априорной модели текстуры, разреженности пространства признаков и т.д.

Ошибка всей сети распространяется обратно, что указано на фиг. 6 штриховыми стрелками. Обратное распространение делится на две основные линии, представляющие собой стоимость непротиворечивости модели данных и стоимость совпадения априорных моделей. Априорная ошибка определяется как в соответствии с функцией стоимости совпадения для априорных моделей. Значимость каждой в процессе обратной связи для компенсации ошибки, т.е. значимость априорных моделей в пространстве визуализации, определяется параметром λ. Ошибка стоимости совпадения априорных моделей распространяется в сеть области визуализации, и, в соответствии с правилом прямого цепного дифференцирования для каждого слоя, относительно функции стоимости вычисляются производные входных данных и параметры каждого слоя. Затем ошибка априорной модели слоя аналитической реконструкции распространяется обратно через слой аналитической реконструкции следующим образом:

Стоимость непротиворечивости модели данных состоит из двух частей. По определению статистической модели сигнала, для вычисления функции правдоподобия (отрицательное значение которой получается в соответствии с системой минимизации ошибки) можно использовать распределение гауссового шума, распределение пуассоновских вероятностей, смешанное распределение пуассоновских и гауссовых вероятностей и т.д.; а также разность между результатом предыдущей оценки и результатом после выполнения проекции через проекционный слой. Функция стоимости непротиворечивости модели данных выражена в виде:

Таким образом, соотношения переноса ошибки из непротиворечивости модели данных имеют вид:

где β - параметр множителя Лагранжа, и совместно распространяются в сеть проекционной области для обновления параметров различных слоев. распространяется в сеть области визуализации и передается в сеть проекционной области через слой реконструкции.

Согласно одному варианту осуществления настоящего изобретения в соответствии с набором обучающих данных, с использованием средств имитационного моделирования формируется имитационная модель, охватывающая сценарий применения, и, в соответствии с параметрами фактической системы КТ и фактического способа сканирования, формируется набор проекционных данных. Объект подвергается сканированию в фактической системе с целью получения данных сканирования методом КТ. Одна часть данных сканирования методом КТ вводится в сеть для дальнейшего обучения, а другая часть данных сканирования методом КТ собирается с целью испытания результата обучения сети.

На фиг. 8 представлена конструктивная принципиальная схема сверточной нейронной сети проекционной области, которая применяется к промежуточным углам в устройстве согласно одному варианту осуществления настоящего изобретения. Сеть 610 проекционной области выполняет предварительную обработку, например, отрицательное логарифмическое преобразование и т.д. в отношении собранных необработанных проекционных данных и использует эти предварительно обработанные данные в проекционной области в качестве входных данных. Сеть проекционной области дополняет недостающие данные с использованием сверточной нейронной сети. Входные данные параллельных сетей, показанных на фиг. 8, представляют собой данные, собранные в случае промежуточных углов, причем оценочные данные недостающих углов делятся на множество групп, и каждая группа данных представляет собой данные, имеющие такой же масштаб, как масштаб угла сбора, и имеющие постоянный угол относительно угла сбора. Для каждой группы имеющиеся в наличии данные проекционной области используются в качестве входных данных, и в отношении этих входных данных сцепленными сверточными слоями (Conv), содержащими функцию активации, выполняется многоуровневое извлечение признаков, и в полносвязном слое (который может быть реализован с использованием сверточного слоя размера 1×1) получаются недостающие данные проекционной области.

В сети 610 проекционной области каждое из 2-мерных сверточных ядер во всех масштабах имеет два измерения, первое из которых определено здесь как направление детектора, и второе - как направление угла сканирования. Каждое из сверточных ядер необязательно имеет одинаковую длину в двух измерениях. Обычно сверточное ядро имеет больший масштаб в направлении детектора, чем в направлении угла сканирования, например сверточное ядро представляет собой сверточное ядро размера 3*1, 5*3, 7*3 или 9*3. Сверточное ядро также может иметь размер, определяемый в соответствии с пропорциональным соотношением между двумя измерениями проекционной карты. Для каждого масштаба может иметься в наличии множество наборов сверточных ядер. За сверточным слоем следует функция активации.

Например, основная роль сети проекционной области заключается в повышении разрешающей способности проекционных данных в угловом направлении. Проекционная сеть состоит из четырех параллельных ветвей, показанных на фиг. 8. Каждая ветвь содержит семь слоев сверточной нейронной сети. По причине пропорционального соотношения между несколькими детекторами и несколькими проекциями (фиг. 12А, 12В и 12С), в качестве центральной части используется прямоугольное сверточное ядро. Для достижения полного соединения в направлении карты признаков, каждое сверточное ядро в последнем слое имеет размер 1*1, и в качестве нелинейной функции активации используется функция ReLU. В ходе процесса свертки граничные данные дополняются с использованием периодичности свертки в угловом направлении так, что карта признаков имеет размер, который всегда совпадает с таковым у входных данных.

Как показано на фиг. 8, после обработки семью слоями сети, соответственно, и прохождения через слой интерполяции, четыре группы недостающих оценок проекции комбинируются с собранной проекцией с образованием оценочной проекционной карты с высокой плотностью углов в пределах 360 градусов, которая распространяется в слой аналитической реконструкции. Несмотря на то, что на фиг. 8 показана сверточная сеть, содержащая множество параллельных ветвей, специалисты в данной области техники должны принять во внимание, что технические решения согласно настоящему изобретению также могут быть реализованы сетями другой формы. Несмотря на то, что в вышеописанном варианте осуществления сеть проекционной области используется для восстановления недостающих данных, т.е. сеть проекционной области применяется в случае, когда при использовании сканирования методом КТ получаются неполные данные, специалистам в данной области техники должно быть понятно, что вышеописанная сеть проекционной области может обрабатывать и полные проекционные данные, за счет чего повышается качество данных в проекционной области.

На фиг. 9 представлена конструктивная принципиальная схема слоя сети аналитической реконструкции, используемого в устройстве согласно одному варианту осуществления настоящего изобретения. Слой 620 сети аналитической реконструкции может состоять из (необязательного) слоя взвешивания, (необязательного) слоя фильтрации с использованием пилообразной функции и слоя обратного проецирования. Слой взвешивания выполняет косинусное взвешивание каждого элемента данных. Слой фильтрации с использованием пилообразной функции выполняет операции фильтрации с использованием пилообразной функции традиционным способом аналитической реконструкции. Слой обратного проецирования выполняет обратное проецирование из проекционной области в область визуализации (взвешенное по расстоянию обратное проецирование для слоя обратного проецирования КТ с веерным пучком и слоя обратного проецирования КТ с коническим пучком). Обычно слой сети аналитической реконструкции рассчитан и реализован в соответствии с архитектурой системы визуализации методом КТ, и в процессе обучения сети ни один параметр не изменяется.

Например, сеть 620 аналитической реконструкции в явном виде добавляет в структуру сети алгоритм аналитической реконструкции, за счет чего упрощается обучение системы необходимым законам физики. Сеть 620 аналитической реконструкции содержит три слоя.

Первый слой представляет собой слой взвешивания, который в настоящей заявке выполняет косинусную нормализацию в отношении данных в направлении детектора в соответствии с геометрическими параметрами сканирования методом КТ с использованием косинусного обратного вектора размера 216*1 с целью выполнения точечного умножения на оценочную проекцию, и распространение этого вектора, подвергнутого косинусной нормализации, в угловом направлении с целью получения весовой матрицы W размера 216*360, в которой значения в каждом столбце W равны. После прохождения через слой W проекционная карта выражается в виде .

Второй слой представляет собой слой фильтрации с использованием пилообразной функции, который выполняет операцию дискретной фильтрации в отношении проекционной карты в направлении детектора, т.е. в настоящей заявке выполняется фильтрация в отношении вектора из 216 откликов детектора под каждым углом, что можно описать как матричное умножение, с целью формирования матрицы F фильтрации размера 216*216. Для выполнения процесса фильтрации, в отношении матрицы F фильтрации и взвешенных проекционных данных выполняется матричное умножение в соответствии с уравнением .

Третий слой представляет слой обратного проецирования, который реконструирует фильтрованную проекцию в изображение в соответствии с геометрическим соотношением, которое в настоящей заявке формирует матрицу взвешенного по расстоянию обратного проецирования в соответствии с геометрическими параметрами с использованием метода движения пикселей. Фильтрованное изображение подвергается обратному проецированию с целью получения реконструированного изображения в области визуализации.

На фиг. 10 представлена принципиальная схема U-образной сверточной нейронной сети, используемой в устройстве согласно еще одному варианту осуществления настоящего изобретения. Сеть области визуализации выполняет подавление артефактов и шума в области визуализации и может содержать сверточную нейронную сеть, например, U-образную сеть, показанную на фиг. 10.

Например, путем обработки реконструированного изображения с использованием сверточной нейронной сети, показанной на фиг. 10, могут быть получены карты признаков в различных масштабах, и они могут быть скомбинированы с целью получения результирующего изображения. Конкретнее, карты признаков во множестве масштабов объединяются послойно с использованием операции повышающей дискретизации, для того чтобы в конечном итоге получить результирующее изображение объекта, подлежащего обследованию. Например, сеть 630 области визуализации дополнительно применяет априорные знания для устранения артефактов на основе аналитической реконструкции оценочной проекции. В настоящем варианте осуществления для сети 630 области визуализации в данном примере принята структура U-образной сети (как показано на фиг. 10), и в отношении реконструированного изображения размера 200*200 четыре раза выполняется подвыборка для постепенного уменьшения размера карт признаков с целью усиления глобальных признаков обучающего изображения в области принятия. Затем карты признаков постепенно расширяются и объединяются с картами признаков такого же размера без понижающей дискретизации во избежание потерь информации, вызываемых понижающей дискретизацией, для того чтобы в конечном итоге восстановить изображение размера 200*200, которое обрабатывается сетью с целью окончательной реконструкции изображения. Каждое сверточное ядро в различных слоях в области визуализации имеет размер 3*3. В процессе понижающей дискретизации изображения по мере уменьшения размера карт признаков постепенно увеличивается количество карт признаков. В процессе повышающей дискретизации по мере уменьшения размера карт признаков уменьшается и количество карт признаков.

Несмотря на то, что на фиг. 10 показана U-образная сеть, специалисты в данной области техники должны принять во внимание, что технические решения согласно настоящему изобретению также могут быть реализованы сетями другой формы.

Согласно варианту осуществления настоящего изобретения, для всех сверточных ядер сети 610 проекционной области и сети 630 области визуализации необходимо определить параметры, которые могут быть инициализированы случайным образом, или они могут быть обновлены с использованием других результатов предварительного обучения, полученных другими способами в ходе процесса обучения сети. В дополнение, сеть обрабатывает входные данные в проекционной области и в области визуализации, соответственно, с целью оптимизации целевой функции (часто именуемой функцией потерь в области глубокого обучения) до достижения оптимального результата. Поскольку смежные пиксели в проекционной области и области визуализации обладают разными геометрическими взаимосвязями, сверточный слой проекционной области и сверточный слой области визуализации могут дополнять друг друга.

Согласно одному варианту осуществления настоящего изобретения в области визуализации данное вычисление может быть выполнено с использованием фиксированного сверточного ядра w₀ на основе априорных знаний о непрерывности изображения с ограничениями подобия окрестности. На фиг. 11 представлена конструкция сверточного ядра размера 3*3. Так, функция стоимости для сглаживания изображения используется в качестве целевой функции для оптимизации, которая может быть выражена в виде Для конструкции функции стоимости непротиворечивости Ψ для модели данных в данном примере, собранные проекционные данные g представляют собой набор отсчетов, согласующихся с независимым гауссовым распределением, и имеют среднее значение, представляющее собой интеграл коэффициентов линейного ослабления сканированного объекта на соответствующей траектории луча. Первый член в ограничениях представляет собой функцию стоимости максимального правдоподобия гауссовой модели, которая выполняет ограничения оценки максимального правдоподобия от дискретных значений g к истинным значениям распределения и является применимой только к сети с частичным шумоподавлением за счет данных проекции, собранных под промежуточными углами, и второй член в ограничениях представляет ограничения непротиворечивости между проекцией и изображением и является применимым к каждой части проекционной сети.

где g - данные проекции, собранные под промежуточными углами, - оценочное значение на траектории луча, соответствующей проекционным данным, собранным под промежуточными углами, - оценочное изображение, выведенное сетью, Σ - диагональная матрица, диагональные элементы которой представляют собой расхождения проекционных данных, Н - проекционная матрица системы, и β - параметр множителя Лагранжа.

Функция стоимости в области визуализации подергается обратному распространению следующим образом:

Получается изображение, выведенное сетью, и градиент обратно распространяется через слой аналитической реконструкции, а затем применяется к сверточным ядрам сети в проекционной области.

При условии ограничения верности передачи данных Ψ, имеется как , так и и градиент обратно распространяется одновременно с обновлением проекционной сети и распространением в сеть визуализации.

Набор данных моделирования представляет собой высококачественную КТ-томограмму человека. В соответствии с механической геометрией, проекционные данные моделирования формируют под углами от 3 до 358 градусов с угловым интервалом 5 градусов и количеством фотонов, равным 105. Был получен набор проекционных данных моделирования в масштабе 216*72. 4/5 набора использовали для обучения сети без учителя, и 1/5 набора использовали в качестве контрольного набора для контроля влияния нормализации сети.

Набор фактических данных может представлять собой проекции, сформированные путем сканирования фантомного тела на платформе для спиральной КТ веерным пучком с угловым интервалом 5 градусов с использованием матрицы из 216 детекторов с целью контроля времени, в течение которого формируется ток разряда в трубке, достигающий нормальной дозы. Другую группу фантомных тел подвергали сканированию аналогичным образом для получения проекций в виде испытательного набора, который используют для испытания воздействия сети после завершения обучения.

В процессе прямого обучения весовые коэффициенты для сверточных ядер проекционной сети и сети области визуализации инициализируются случайным образом. В первую очередь, набор данных моделирования получали при помощи вышеописанного способа обучения. После обучения при помощи набора данных моделирования до достижения сходимости, для точной настройки и обучения использовали набор фактически собранных данных. После завершения обучения результат обучения сети проверяли при помощи другого набора фактически собранных данных в качестве испытательного набора.

Результаты вспомогательных процессов предварительного обучения группировали. Затем, в фазе моделирования данных, могут быть сформированы проекционные данные высокого качества. В первую очередь, с целью выполнения обучения с учителем в отношении, соответственно, параллельных сетей оценки проекции, с использованием данных моделирования формируют полные проекционные данные под углами 360 градусов. После завершения обучения, значения сети оценки проекции использовали в качестве исходных значений всей проекционной сети, а затем эту сеть обучали в целом способом прямого обучения.

В фактическом процессе сканирования методом КТ собранные данные представляют собой ввод в вышеописанный процесс обучения для получения обученной сети (в это время параметры сети являются фиксированными) с целью получения реконструированного изображения.

На фиг. 13А представлена принципиальная схема последовательности операций, иллюстрирующая способ обработки изображений согласно одному варианту осуществления настоящего изобретения. Как показано на фиг. 13А, на этапе S131 система сканирования методом КТ собирает данные объекта в проекционной области. На этапе S132 данные в проекционной области обрабатывают с использованием сверточной нейронной сети с целью получения оценочного изображения объекта.

Нейронная сеть согласно данному варианту осуществления настоящего изобретения содержит сеть проекционной области, слой сети аналитической реконструкции и сеть области визуализации. Сеть проекционной области используется для обработки входных данных в проекционной области с целью получения обработанных данных в проекционной области. Слой сети аналитической реконструкции выполняет аналитическую реконструкцию в отношении обработанных данных в проекционной области с целью получения реконструированного изображения. Сеть области визуализации обрабатывает реконструированное изображение с целью получения оценочного изображения.

Способ обработки изображений согласно варианту осуществления настоящего изобретения может дополнительно включать обучение нейронной сети. На фиг. 13 В представлена принципиальная схема последовательности операций, иллюстрирующая способ обучения нейронной сети согласно одному варианту осуществления настоящего изобретения. Как показано на фиг. 13В, на этапе S1321 сеть области визуализации настраивают путем использования функции стоимости априорной модели на основе оценочного изображения, и обеспечивают обратное распространение градиента через слой сети аналитической реконструкции для корректировки параметров сверточных ядер сети проекционной области. На этапе S1322 операцию проецирования выполняют в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом КТ с целью получения результата проецирования, и параметры сверточных ядер сети области визуализации и сети проекционной области корректируют с использованием функции стоимости непротиворечивости на основе результата проецирования, оценочного изображения и функции правдоподобия, отражающей распределение вероятностей данных в проекционной области. Более конкретная реализация может быть известна в отношении варианта осуществления, описанного выше в связи со структурой сети, показанной на фиг. 6, и ее подробности здесь описываться не будут.

Несмотря на то, что выше приведены выборка и сканирование под промежуточными углами и т.д., специалисты в данной области техники могут понять, что способ обучения согласно настоящему изобретению также может быть использован в системе сканирования методом КТ с ограниченным углом, системе сканирования с внутренней реконструкцией, системе сканирования с промежуточной частотой выборки детектора и системе сканирования методом КТ по прямолинейной траектории. На фиг. 14 представлена принципиальная схема сканирующего устройства, в котором реализовано сканирование методом КТ с ограниченным углом согласно еще одному варианту осуществления настоящего изобретения. Как показано на фиг. 14, после прохождения рентгеновских лучей, испущенных источником 10 излучения, сквозь объект 40, подлежащий обследованию, в поле 45 зрения рентгеновские лучи принимает детектор 30, и они преобразуются в электрический сигнал, который в дальнейшем преобразуется в цифровой сигнал, указывающий значение ослабления в качестве проекционных данных, подлежащих реконструкции компьютером. При помощи вышеописанных решений можно, используя обученную нейронную сеть, реконструировать изображение более высокого качества даже тогда, когда в отношении объекта 40, подлежащего обследованию, выполняется сканирование с ограниченным углом (например, 130 градусов).

На фиг. 15 представлена принципиальная схема сканирующего устройства, в котором реализуется способ сканирования с внутренней реконструкцией согласно еще одному варианту осуществления настоящего изобретения. Как показано на фиг. 15, после прохождения рентгеновских лучей, испущенных источником 10 излучения, сквозь часть объекта 40, подлежащего обследованию, в поле 45 зрения рентгеновские лучи принимает детектор 30, и они преобразуются в электрический сигнал, который в дальнейшем преобразуется в цифровой сигнал, указывающий значение ослабления в качестве проекционных данных, подлежащих реконструкции компьютером. При помощи вышеописанных решений можно, используя обученную нейронную сеть, реконструировать изображение более высокого качества даже тогда, когда в отношении объекта 40, подлежащего обследованию, выполняется сканирование методом КТ с внутренней реконструкцией.

На фиг. 16 представлена принципиальная схема сканирующего устройства, в котором реализован способ сканирования с промежуточной частотой выборки детектора согласно еще одному варианту осуществления настоящего изобретения. Как показано на фиг. 16, после прохождения рентгеновских лучей, испущенных источником 10 излучения, сквозь объект 40, подлежащий обследованию, в поле 45 зрения рентгеновские лучи принимает детектор 30, и они преобразуются в электрический сигнал, который в дальнейшем преобразуется в цифровой сигнал, указывающий значение ослабления в качестве проекционных данных, подлежащих реконструкции компьютером. В данном примере для детектора 30 задана промежуточная частота выборки, например промежуточная частота выборки реализована путем разнесения различных элементов детектора на предварительно определенное расстояние. Таким образом, при помощи вышеописанных решений можно, используя обученную нейронную сеть, реконструировать изображение более высокого качества даже тогда, когда в отношении объекта 40, подлежащего обследованию, выполняется сканирование методом КТ с промежуточной частотой выборки детектора.

На фиг. 17 представлена принципиальная схема сканирующего устройства, в котором реализовано сканирование методом КТ по прямолинейной траектории согласно еще одному варианту осуществления настоящего изобретения. Как показано на фиг. 17, после прохождения рентгеновских лучей, испущенных источником 10 излучения, сквозь объект 40, подлежащий обследованию, в поле зрения рентгеновские лучи принимает детектор 30, и они преобразуются в электрический сигнал, который в дальнейшем преобразуется в цифровой сигнал, указывающий значение ослабления в качестве проекционных данных, подлежащих реконструкции компьютером. В данном примере объект 40, подлежащий обследованию, перемещается по прямолинейной траектории на конвейерной ленте параллельно детекторам. Полевой угол лучевого источника, образуемый детекторами в горизонтальном направлении, является максимально большим, и детекторы охватывают объект в вертикальном направлении. Например, для получения проекционных данных путем сканирования методом КТ по прямолинейной траектории, массив детекторов размещают на противоположной стороне от источника, и необходимо, чтобы горизонтальный полевой угол θ лучей был больше 90 градусов. При помощи вышеописанных решений можно, используя обученную нейронную сеть, реконструировать изображение более высокого качества даже тогда, когда в отношении объекта 40, подлежащего обследованию, выполняется сканирование методом КТ по прямолинейной траектории.

В вариантах осуществления настоящего изобретения предлагается способ выполнения обучения нейронной сети без учителя. Например, в способе обучения согласно вариантам осуществления настоящего изобретения для обучения без учителя могут быть использованы истинные значения данных моделирования, или данных моделирования используются для предварительного обучения без учителя, а затем для обучения без учителя используются истинные данные. В качестве другого примера, для обучения без учителя может быть использовано множество истинных данных. Таким образом, информация данных глубоко анализируется для образования сверточной нейронной сети и характеристических параметров системы с целью получения эффективного способа реконструкции изображений КТ.

Способ согласно настоящему изобретению можно гибко применять к различным режимам сканирования методами КТ и различным архитектурам системы, а также его можно использовать в областях медицинской диагностики, неразрушающего контроля в промышленности и проверки безопасности.

В предшествующем подробном описании посредством использования схем, блок-схем и/или примеров изложены различные варианты осуществления способа и устройства для обучения нейронной сети. В том случае, если такие схемы, блок-схемы и/или примеры содержат одну или более функций и/или операций, специалистам в данной области техники будет понятно, что каждая функция и/или операция в таких схемах, блок-схемах или примерах может быть реализована отдельно и/или совместно посредством широкого диапазона конструкций, аппаратного обеспечения, программного обеспечения, программно-аппаратного обеспечения или практически любой их комбинации. В одном варианте осуществления несколько частей предмета изобретения, описанного в вариантах осуществления настоящего изобретения, могут быть выполнены при помощи специализированных интегральных схем (ASIC), логических матриц, программируемых пользователем (FPGA), процессоров цифровой обработки сигналов (DSP) или других встроенных форматов. Однако специалистам в данной области техники будет понятно, что некоторые аспекты вариантов осуществления, раскрытых в данном документе, полностью или частично, могут быть эквивалентным образом реализованы в интегральных схемах, в виде одной или более компьютерных программ, выполняемых на одном или более компьютерах (например, в виде одной или более программ, выполняемых в одной или более компьютерных системах), в виде одной или более программ, выполняемых одним или более процессорами (например, в виде одной или более программ, выполняемых одним или более микропроцессорами), в виде программно-аппаратного обеспечения или практически любой их комбинации, и что разработка схем и/или написание кода для программного обеспечения, и/или для программно-аппаратного обеспечения также будет находиться в пределах навыков специалистов в данной области техники в свете данного описания. В дополнение, специалисты в данной области техники примут во внимание, что механизмы предмета изобретения, описанного в данном документе, могут распространяться в виде программного продукта в большом разнообразии форм, и что примерный вариант осуществления предмета изобретения, описанного в данном документе, применим вне зависимости от конкретного типа носителя сигнала, используемого для фактического осуществления его распространения. Примеры носителей сигнала включают, без ограничения, следующее: носитель с возможностью записи, такой как гибкий диск, накопитель на жестких дисках, компакт-диск (CD), многоцелевой компакт-диск (DVD), магнитная лента для цифровой записи, компьютерная память и т.д.; и носитель для передачи данных, такой как цифровое и/или аналоговое средство передачи данных (например, волоконно-оптический кабель, волновод, канал проводной передачи данных, канал беспроводной передачи данных и т.д.).

Несмотря на то, что варианты осуществления настоящего изобретения были описаны со ссылкой на несколько типичных вариантов осуществления, специалистам в данной области техники очевидно, что термины используются с целью иллюстрации и разъяснения, а не ограничения. Варианты осуществления настоящего изобретения могут применяться на практике без выхода за пределы сути, или сущности, вариантов осуществления настоящего изобретения. Следует понимать, что варианты осуществления не ограничены какой-либо из вышеописанных подробностей, и их следует интерпретировать в широком смысле в пределах сущности и объема, ограниченных нижеследующей формулой изобретения. Поэтому все модификации и альтернативы, находящиеся в пределах объема формулы изобретения или ее эквивалентов, подлежат охвату приложенной формулой изобретения.

Использование: для обработки изображений. Сущность изобретения заключается в том, что способ обработки изображений включает обработку входных данных в проекционной области с использованием сверточной нейронной сети. Нейронная сеть содержит сеть проекционной области, слой сети аналитической реконструкции и сеть области визуализации. Сеть проекционной области может обрабатывать данные в проекционной области с целью восстановления возможных недостающих данных, за счет чего повышается качество проекции. Сеть области визуализации обрабатывает реконструированное изображение с целью получения оценочного изображения. Сеть области визуализации настраивается путем использования функции стоимости априорной модели на основе оценочного изображения, а для корректировки параметров сверточного ядра сети проекционной области выполняется обратное распространение градиента через слой сети аналитической реконструкции. Операция проецирования выполняется в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом КТ с целью получения результата проецирования. Технический результат: обеспечение возможности повышения качества реконструированного изображения. 3 н. и 8 з.п. ф-лы, 20 ил.

1. Способ обработки изображений, включающий:

сбор системой сканирования методом компьютерной томографии (КТ) данных объекта в проекционной области и

обработку данных в проекционной области с использованием сверточной нейронной сети с целью получения оценочного изображения объекта;

причем сверточная нейронная сеть содержит:

сеть проекционной области для обработки входных данных в проекционной области с целью получения обработанных данных в проекционной области;

слой сети аналитической реконструкции для выполнения аналитической реконструкции в отношении обработанных данных в проекционной области с целью получения реконструированного изображения и

сеть области визуализации для обработки реконструированного изображения с целью получения оценочного изображения,

причем способ дополнительно включает обучение сверточной нейронной сети путем:

настройки сети области визуализации путем использования функции стоимости априорной модели на основе оценочного изображения и выполнения обратного распространения градиента через слой сети аналитической реконструкции с целью корректировки параметров сверточного ядра сети проекционной области; и

выполнения операции проецирования в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом КТ с целью получения результата проецирования и корректировки параметров сверточных ядер сети области визуализации и сети проекционной области с использованием функции стоимости непротиворечивости на основе результата проецирования, оценочного изображения и функции правдоподобия, отражающей распределение вероятностей данных в проекционной области.

2. Способ по п. 1, отличающийся тем, что обучение сверточной нейронной сети дополнительно включает: построение функции стоимости непротиворечивости с использованием слоя обратного проецирования и построение функции стоимости априорной модели с использованием априорных знаний с целью совместного обучения нейронной сети.

3. Способ по п. 1, отличающийся тем, что функция стоимости априорной модели содержит по меньшей мере одно или комбинацию следующего: полная вариация локальных условий, априорная модель марковского поля, априорная модель текстуры и разреженность пространства признаков, где - оценочное изображение.

4. Способ по п. 3, отличающийся тем, что дополнительно включает: определение функции стоимости априорной модели с использованием априорной ошибки в виде .

5. Способ по п. 3 или 4, отличающийся тем, что дополнительно включает настройку сети области визуализации в соответствии со значимостью λ каждой функции стоимости априорной модели в процессе обратной связи для компенсации ошибки.

6. Способ по п. 4, отличающийся тем, что в слое сети аналитической реконструкции происходит обратное распространение априорной ошибки слоя сети аналитической реконструкции в соответствии со следующим соотношением:

,

где входные данные в проекционной области сети проекционной области выражены в виде , выходные данные сети проекционной области выражены в виде , где М'≥М, после взвешивания выходных данных получают , после выполнения обратного проецирования взвешенных выходных данных, выходные данные слоя аналитической реконструкции имеют вид , где верхний индекс Т представляет транспонирование матрицы, h - сверточное ядро с дискретной пилообразной функцией, H_R - матрица системы для M'×N - мерной реконструкции и W₁, W₂, ……, W_M представляют весовые коэффициенты.

7. Способ по п. 6, отличающийся тем, что функция стоимости непротиворечивости выражена в виде , соотношения переноса ошибки из функции стоимости непротиворечивости имеют вид и , где β - параметр множителя Лагранжа, и

способ дополнительно включает: совместное распространение в сеть проекционной области с целью обновления параметров различных слоев.

8. Способ по п. 1, отличающийся тем, что дополнительно включает: сбор данных объекта в проекционной области при помощи системы сканирования методом КТ с использованием одного из следующих способов: сканирование с промежуточной частотой выборки детектора, сканирование под промежуточными углами, сканирование с внутренней реконструкцией, сканирование с ограниченным углом и сканирование по прямолинейной траектории.

9. Способ по п. 1, отличающийся тем, что сеть проекционной области содержит множество параллельных ветвей сверточной нейронной сети.

10. Способ по п. 1, отличающийся тем, что сеть области визуализации содержит U-образную сверточную нейронную сеть.

11. Устройство обработки изображений, содержащее:

запоминающее устройство, выполненное с возможностью хранения команд и данных, и

процессор, выполненный с возможностью исполнения команд с целью:

приема данных объекта в проекционной области, собранных системой сканирования методом компьютерной томографии (КТ); и

обработки данных в проекционной области с использованием сверточной нейронной сети с целью получения оценочного изображения объекта;

причем процессор дополнительно выполнен с возможностью построения сверточной нейронной сети, содержащей:

сеть проекционной области для обработки входных данных в проекционной области с целью получения обработанных данных в проекционной области;

слой сети аналитической реконструкции для выполнения аналитической реконструкции в отношении обработанных данных в проекционной области с целью получения реконструированного изображения и

сеть области визуализации для обработки реконструированного изображения с целью получения оценочного изображения,

причем процессор дополнительно выполнен с возможностью обучения сверточной нейронной сети путем:

настройки сети области визуализации путем использования функции стоимости априорной модели на основе оценочного изображения и выполнения обратного распространения градиента через слой сети аналитической реконструкции с целью корректировки параметров сверточного ядра сети проекционной области; и

выполнения операции проецирования в отношении оценочного изображения с использованием проекционной матрицы системы сканирования методом компьютерной томографии (КТ) с целью получения результата проецирования и корректировки параметров сверточных ядер сети области визуализации и сети проекционной области с использованием функции стоимости непротиворечивости на основе результата проецирования, оценочного изображения и функции правдоподобия, отражающей распределение вероятностей данных в проекционной области.

12. Устройство по п. 11, отличающееся тем, что процессор дополнительно выполнен с возможностью построения функции стоимости непротиворечивости с использованием слоя обратного проецирования и построения функции стоимости априорной модели с использованием априорных знаний с целью совместного обучения нейронной сети.

13. Машиночитаемый носитель данных, содержащий машинные команды, хранящиеся в нем, которые, при их исполнении процессором, реализуют способ по любому из пп. 1-10.