УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ, СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ И НОСИТЕЛЬ ДАННЫХ Российский патент 2020 года по МПК A61B6/00 G06T7/60 

Предпосылки создания изобретения

Область техники изобретения

[0001] Настоящее изобретение относится к устройству обработки изображений, способу обработки изображений и носителю данных для выделения поля облучения рентгенограммы.

Описание предшествующего уровня техники

[0002] В последние годы в медицинских учреждениях широко используются устройства радиационной визуализации, и рентгенограммы получаются в виде цифровых сигналов, подвергаются обработке изображений, а затем отображаются устройством отображения и используются для постановки диагноза.

[0003] При радиационной визуализации облучение области, отличной от представляющей интерес области (далее называемой «полем облучения»), которая необходима для диагностики, обычно предотвращается путем сужения поля облучения (облучаемого поля) с использованием коллиматора для того, чтобы подавить влияние излучения на область, отличную от поля облучения, предотвратить рассеяние снаружи поля облучения и предотвратить уменьшение контраста.

[0004] Что касается изображений, полученных при сужении поля облучения, для того, чтобы выполнять обработку изображений на поле облучения, которое является представляющим интерес для диагностики полем, были предложены различные типы технологий для выделения поля облучения.

[0005] Например, в выложенном японском патенте №2015-123157 предложена технология для выделения поля облучения путем получения множества контуров на основе интенсивности края на изображении и выполнения определения правильности. Кроме того, в выложенном японском патенте №04-261649 предлагается технология для ввода данных изображения в нейронную сеть и вывода поля облучения в качестве результата.

[0006] Однако человеческое тело, которое является субъектом, может включать в себя структуру, такую как кость, имплант или т.п., которая имеет сильную краевую составляющую и которую трудно отличить от контуров, используемых для сужения поля облучения, и может иметь место случай, когда поле облучения не может быть распознано с использованием технологии, раскрытой в выложенном японском патенте №2015-123157.

[0007] Технология, раскрытая в выложенном японском патенте №04-261649, позволяет определять поле облучения на основе всесторонних характеристик большего числа изображений с использованием нейронной сети, но может иметь место случай, когда трудно классифицировать область в качестве поля облучения с использованием только нейронной сети.

[0008] Настоящее изобретение было выполнено с учетом вышеуказанных проблем и обеспечивает технологию обработки изображений, которая позволяет выделять поле облучения.

Сущность изобретения

[0009] В соответствии с одним аспектом настоящего изобретения предложено устройство обработки изображений, выполненное с возможностью выделять поле облучения из изображения, полученного путем радиационной визуализации, содержащее: блок предположения (логического выведения), выполненный с возможностью получать кандидата на поле облучения на изображении на основе обработки предположения; блок выделения контура, выполненный с возможностью выделять контур поля облучения на основе обработки выделения контура, выполненной на кандидате на поле облучения; и блок выделения поля, выполненный с возможностью выделять поле облучения на основе контура.

[0010] В соответствии с другим аспектом настоящего изобретения предложен способ обработки изображений для выделения поля облучения из изображения, полученного в ходе радиационной визуализации, содержащий этапы: получения кандидата на поле облучения на изображении на основе обработки предположения; выделения контура поля облучения на основе обработки выделения контура, выполненной на кандидате на поле облучения; и выделения поля облучения на основе контура.

[0011] Согласно настоящему изобретению может быть предоставлена технология обработки изображений, которая позволяет выделять поле облучения.

[0012] Дополнительные признаки настоящего изобретения станут очевидны из последующего описания примерных вариантов осуществления (со ссылкой на прилагаемые чертежи).

Краткое описание чертежей

[0013] Фиг. 1А является блок-схемой, показывающей примерную базовую конфигурацию системы радиационной визуализации, которая включает в себя устройство обработки изображений в соответствии с вариантом осуществления.

[0014] Фиг. 1В является блок-схемой, иллюстрирующей примерную базовую конфигурацию блока распознавания поля облучения.

[0015] Фиг. 2А является блок-схемой последовательности операций, иллюстрирующей последовательность операций, выполняемых блоком распознавания поля облучения.

[0016] Фиг. 2В является схемой, показывающей изображения, которые обрабатываются при обработке, выполняемой блоком распознавания поля облучения.

[0017] Фиг. 3A является иллюстративной схемой, показывающей концепцию обучения нейронной сети.

[0018] Фиг. 3B является иллюстративной схемой, показывающей концепцию предположения нейронной сетью.

[0019] Фиг. 4А является блок-схемой последовательности операций, иллюстрирующей ход обработки выделения контура.

[0020] Фиг. 4В является примерной схемой, показывающей изображение, которое обрабатывается при обработке выделения контура.

[0021] Фиг. 4С является схемой, показывающей пример преобразования изображения в пространство полярных координат.

[0022] Фиг. 5А является блок-схемой последовательности операций, иллюстрирующей ход обработки выделения контура.

[0023] Фиг. 5В является схемой, показывающей изображения, которые обрабатываются при обработке выделения контура.

[0024] Фиг. 6 является блок-схемой, показывающей примерную базовую конфигурацию системы радиационной визуализации, которая включает в себя устройство обработки изображений в соответствии с вариантом осуществления.

Описание вариантов осуществления

[0025] Далее со ссылкой на чертежи подробно описаны примерные варианты осуществления настоящего изобретения. Следует отметить, что излучение в настоящем изобретении включает в себя не только обычно используемые рентгеновские лучи, но также α-лучи, β-лучи, γ-лучи и т.п., которые представляют собой лучи, состоящие из частиц (включая фотоны), которые испускаются в ходе радиоактивного распада, а также пучки (например, пучки частиц и космические лучи), которые имеют по существу эквивалентные или более высокие уровни энергии. Далее описывается примерный случай, когда в качестве излучения используются рентгеновские лучи.

[0026] Первый вариант осуществления: прямоугольный коллиматор

Сначала со ссылкой на фиг. 1А и 1В будет описана примерная конфигурация устройства обработки изображений в соответствии с первым вариантом осуществления настоящего изобретения. Фиг. 1А является блок-схемой, показывающей примерную базовую конфигурацию системы радиационной визуализации, которая включает в себя устройство обработки изображений по первому варианту осуществления.

[0027] Система 100 радиационной визуализации включает в себя устройство 101 генерирования излучения, которое генерирует излучение, кровать 103, на которой расположен субъект 102, устройство 104 детектирования (FPD), которое детектирует излучение и выводит данные изображения, соответствующие излучению, которое прошло через субъект 102, устройство 105 управления, которое управляет привязкой по времени генерированием излучения и условиями генерирования излучения устройства 101 генерирования излучения, устройство 106 сбора данных, которое собирает различные типы цифровых данных, и устройство 107 обработки информации, которое выполняет обработку изображения и управляет всем устройством в соответствии с командами от пользователя. Следует отметить, что конфигурация системы 100 радиационной визуализации также может называться устройством радиационной визуализации.

[0028] Устройство 107 обработки информации включает в себя устройство 108 обработки изображений, которое включает в себя блок 109 распознавания поля облучения и блок 110 обработки диагностического изображения, CPU (ЦП - центральный процессор) 112, память 113, панель 114 управления, устройство 115 хранения и устройство 116 отображения, и они электрически соединены друг с другом через шину 111 ЦП.

[0029] Различные типы данных и т.п., которые необходимы для обработки, выполняемой в ЦП 112, хранятся в памяти 113, и память 113 включает в себя рабочую память, которая используется ЦП 112. ЦП 112 выполнен с возможностью управлять операциями всего устройства, используя память 113 в соответствии с командами, вводимыми пользователем через панель 114 управления.

[0030] Фиг. 1В является блок-схемой, показывающей пример базовой функциональной конфигурации блока 109 распознавания поля облучения в устройстве обработки изображений по первому варианту осуществления. Блок 109 распознавания поля облучения включает в себя, в качестве функциональных блоков, блок 120 предварительной обработки, блок 121 предположения, блок 122 выделения контура и блок 123 выделения поля.

[0031] Система 100 радиационной визуализации начинает последовательность визуализации субъекта 102 в соответствии с командой, подаваемой пользователем через панель 114 управления. Устройством 101 генерирования излучения в соответствии с заданными условиями генерируется излучение, и устройство 104 детектирования облучается излучением, которое прошло через субъект 102. Здесь устройство 105 управления управляет устройством 101 генерирования излучения на основе условий генерирования излучения, таких как напряжение, ток, период облучения и т.п., и побуждает устройство 101 генерирования излучения генерировать излучение при заданных условиях.

[0032] Устройство 104 детектирования детектирует излучение, которое прошло через субъект 102, преобразует детектированное излучение в электрический сигнал и выводит сигнал в виде данных изображения, которые соответствуют излучению. Данные изображения, выводимые из устройства 104 детектирования, собираются в качестве цифровых данных изображения устройством 106 сбора данных. Устройство 106 сбора данных передает данные изображения, собранные из устройства 104 детектирования, в устройство 107 обработки информации. В устройстве 107 обработки информации данные изображения передаются через шину 111 ЦП в память 113 под управлением, выполняемым ЦП 112.

[0033] Устройство 108 обработки изображений применяет различные типы обработки изображений к данным изображения, хранящимся в памяти 113, для выделения поля облучения из изображения, полученного в ходе радиационной визуализации. После того, как область субъекта выделена блоком 109 распознавания поля облучения, блок 110 обработки диагностического изображения устройства 108 обработки изображений применяет обработку диагностического изображения, такую как обработка градации, обработка улучшения или обработка шумоподавления, с созданием подходящего для диагностики изображения. Устройство 108 обработки изображений сохраняет результат обработки, выполненной блоком 110 обработки диагностического изображения, в устройстве 115 хранения и отображает результат на устройстве 116 отображения.

[0034] Далее со ссылкой на фиг. 2А и 2В будет описана обработка, которая выполняется блоком 109 распознавания поля облучения. Фиг. 2A является блок-схемой последовательности операций, показывающая ход обработки, которая выполняется блоком 109 распознавания поля облучения, а фиг. 2B является примерной схемой, показывающей примеры изображений, которые обрабатываются при обработке, выполняемой блоком 109 распознавания поля облучения. Ниже приведено описание примера, в котором с использованием прямоугольного коллиматора визуализируется рука субъекта 102. Однако настоящее изобретение не ограничено визуализируемой частью и формой коллиматора, описанными в первом варианте осуществления, и также может применяться к другим частям субъекта 102, таким как грудь или живот, или любой форме для сужения поля облучения, например, такой как в случае использования кругового коллиматора.

[0035] На этапе S201 блок 120 предварительной обработки выполняет предварительную обработку входного изображения. За счет этой предварительной обработки входное изображение преобразуется в формат, с помощью которого может быть эффективно выполнена последующая обработка предположения, которая выполняется с использованием нейронной сети. Здесь блок 120 предварительной обработки может преобразовывать входное изображение в изображение того же типа, что и изображения, которые используются для обучения блока 121 предположения, например, обучения нейронной сети. В качестве одного примера предварительной обработки, выполняемой блоком 120 предварительной обработки, блок 120 предварительной обработки может выполнять обработку удаления сетки, обработку уменьшения рассеянных лучей, обработку шумоподавления, обработку логарифмического преобразования и обработку нормализации, а затем выполнять обработку для увеличения или уменьшения до размера изображения, который подходит для нейронной сети, которая используется при обработке предположения, выполняемой блоком 121 предположения.

[0036] Хотя может использоваться любой размер изображения, если изображение, введенное в блок 120 предварительной обработки, имеет соотношение сторон по длине и ширине (аспектное отношение) 1:1, такое как 112×112 пикселей или 224×224 пикселей, то, например, может быть улучшена способность обобщения для вращения. Кроме того, в качестве одного примера обработки нормализации блок 120 предварительной обработки может нормализовать уровень сигнала так, чтобы сигнал входного изображения изменялся от 0 до 1. Блок 120 предварительной обработки получает предварительно обработанное изображение 211 путем выполнения вышеупомянутой обработки. Как показано на фиг. 2В, предварительно обработанное изображение 211 включает в себя поле 212 облучения и область 213 коллиматора в данном соотношении.

[0037] На этапе S202 блок 121 предположения получает, на основе обработки предположения, кандидата на поле облучения на изображении, полученном в ходе радиационной визуализации. Блок 121 предположения выполняет обработку предположения (например, обработку предположения с использованием нейронной сети) на предварительно обработанном изображении 211, которое было предварительно обработано, с получением кандидата на поле облучения из изображения, полученного в ходе радиационной визуализации. Блок 121 предположения выполняет обработку предположения на основе обучения, выполняемого с использованием набора данных, который включает в себя изображения, полученные в ходе радиационной визуализации, в качестве входного сигнала и полей облучения в качестве выходного сигнала. Блок 121 предположения выполняет обработку предположения на основе результата обучения, который включает в себя обучение нейронной сети. Например, блок 121 предположения может использовать нейронную сеть, которая заранее выполнила обучение, в качестве нейронной сети, используемой при обработке предположения. Детали обучения нейронной сети и обработки предположения с использованием нейронной сети будут описаны позже. Следует отметить, что обработка предположения не ограничивается обработкой, выполняемой с использованием нейронной сети, и блок 121 предположения также может использовать блок обработки, который создается за счет машинного обучения, выполняемого, например, с использованием метода опорных векторов или бустирования.

[0038] Блок 121 предположения получает в качестве кандидата на поле облучения карту 214 вероятности, которая указывает вероятность того, что «является полем облучения» или «не является полем облучения (т.е. является областью коллиматора)» для каждого пикселя входного изображения. Здесь обработка предположения, выполняемая с использованием нейронной сети, использует большое количество признаков, которые не могут быть получены человеком, и позволяет определять поле облучения, используя всесторонние характеристики изображения, которые не ограничиваются краевыми признаками, но иногда трудно классифицировать область в качестве поля облучения только за счет этой обработки. Например, на карте 214 вероятностей, показанной на фиг. 2В, получены область 215, которая весьма вероятно является полем облучения, и область 216, которая весьма вероятно является коллиматором, но возможен случай, когда карта вероятности включает в себя область 217 ошибочного детектирования, которая фактически не является областью коллиматора, но определяется как область коллиматора.

[0039] На этапе S203 блок 122 выделения контура выделяет контуры поля облучения на основе кандидата на поле облучения. Блок 122 выделения контура выделяет контуры поля облучения на основе обработки выделения контура, выполненной на кандидате на поле облучения. Блок 122 выделения контура выполняет обработку выделения контура на карте 214 вероятностей (кандидат на поле облучения), полученной на этапе S202, путем выделения контуров 218, исходя из формы коллиматора.

[0040] Блок 122 выделения контура выполняет обработку выделения контура для кандидата на поле облучения путем выделения контуров, исходя из формы коллиматора. Блок 122 выделения контура изменяет обработку выделения контура в соответствии с формой коллиматора. Например, блок 122 выделения контура способен выполнять обработку выделения прямоугольного контура, когда форма коллиматора является прямоугольной, и выполнять обработку выделения кругового контура, когда форма коллиматора является круговой. Блок 122 выделения контура способен выбирать обработку выделения контура для коллиматора прямоугольной формы и обработку выделения контура для коллиматора круговой формы.

[0041] В первом варианте осуществления предполагается, что коллиматор (прямоугольный коллиматор) имеет прямоугольный контур, и блок 122 выделения контура выделяет прямые линии в качестве кандидатов на контур, выполняя обработку выделения прямоугольного контура. Таким образом, блок 122 выделения контура выполняет обработку выделения контура для получения из карты 214 вероятностей не более четырех прямых линий в качестве контурных линий, которые составляют контуры коллиматора на основе прямоугольной формы коллиматора. Затем окончательные контуры устанавливаются на основе обработки подтверждения правильности, которая выполняется для кандидатов на выделенный контур. Детали этой обработки выделения контура будут описаны позже.

[0042] На этапе S204 блок 123 выделения поля выделяет поле облучения на основе контуров 218. В частности, блок 123 выделения поля выполняет обработку выделения поля облучения, получая изображение 219 разделенной области, которое является изображением, полученным путем разделения входного изображения на поле 221 облучения и область 220 коллиматора. Здесь блок 123 выделения поля выделяет область внутри контуров 218 в качестве поля 221 облучения. Область внутри контуров 218 является областью, которая окружена контурами 218. Т.е. блок 123 выделения поля выделяет область, окруженную контурами 218, в качестве поля 221 облучения на основе информации, относящейся к контурам 218, выделенным на этапе S203, и выделяет область, отличную от этой области (т.е. область, которая не окружена контурами 218) в качестве области 220 коллиматора. В ходе обработки выделения поля облучения, выполняемой блоком 123 выделения поля, поле 221 облучения может быть выделено с устраненной областью 217 ошибочного детектирования, включенной в результат обработки предположения, выполненной с использованием нейронной сети.

[0043] Следует отметить, что блок 123 выделения поля может выполнять обработку выделения поля облучения путем выделения поля облучения на основе области, в которой поле облучения, которое предполагается из контуров 218, перекрывается с полем облучения, которое предполагается из карты 214 вероятности. Таким образом, блок 123 выделения поля может выделять в качестве поля облучения область, в которой коэффициент перекрытия между полем облучения, предполагаемым из контуров 218, и полем облучения, предполагаемым из карты 214 вероятности, является по меньшей мере установленным значением. Например, блок 123 выделения поля может выполнять обработку выделения поля облучения на основе информации, относящейся к контурам 218 (S203), и информации, относящейся к карте 214 вероятности (S202), путем выделения, в качестве поля 221 облучения, области, в которой коэффициент перекрытия между областью, которая может быть образована контурами 218, и областью 215, которая весьма вероятно будет полем облучения на карте 214 вероятностей, является по меньшей мере заданным опорным значением (например, 75%).

[0044] В ходе обработки, выполняемой на вышеуказанных этапах S201-S204, блок 109 распознавания поля облучения может выделять поле облучения с высокой точностью.

[0045] Далее со ссылкой на фиг. 3A и 3B будут описаны подробности обработки, выполняемой блоком 121 предположения. Фиг. 3A является иллюстративной схемой, показывающей концепцию обучения нейронной сети, а фиг. 3В является иллюстративной схемой, показывающей концепцию предположения с помощью нейронной сети.

[0046] Обучение нейронной сети выполняется с использованием набора входных данных 301 и соответствующего набора обучающих данных 305.

[0047] Сначала, для набора входных данных 301 выполняется обработка предположения с использованием нейронной сети 302, которая находится в процессе обучения, с выводом набора результатов 304 предположения. Затем из набора результатов 304 предположения и набора обучающих данных 305 вычисляется функция потерь. В качестве функции потерь может использоваться любая функция, такая как функция квадратичной ошибки или функция ошибки перекрестной энтропии. Дополнительно, для обновления группы параметров нейронной сети 302 в процессе обучения выполняется обратное распространение, начиная с функции потерь. Обучение нейронной сети 302 в процессе обучения может быть расширено путем повторения вышеупомянутой обработки при изменении набора входных данных 301 и набора обучающих данных 305.

[0048] Предположение нейронной сети обрабатывается для применения обработки предположения, которая выполняется с использованием обученной нейронной сети 307, с вводом данных 306 и выводом результата 308 предположения.

[0049] В первом варианте осуществления набор обучающих данных 305 устанавливается таким образом, чтобы в наборе входных данных 301 поле облучения было представлено как «1», а область коллиматора как «0». Набор обучающих данных 305 может быть соответствующим образом создан путем ручного ввода или может быть получен блоком 109 распознавания поля облучения от внешнего источника. В качестве альтернативы, блок 109 распознавания поля облучения может автоматически создавать стандартные обучающие данные в соответствии с визуализируемой частью.

[0050] Здесь нейронная сеть 302 имеет структуру, в которой большое количество блоков 303 обработки случайным образом соединены друг с другом. Примеры блоков 303 обработки выполняют обработку, в том числе вычисление свертки, обработку нормализации, такую как пакетная нормализация, и обработку, выполняемую с использованием функции активации, такой как ReLU или Sigmoid, и блоки обработки имеют группы параметров для описания содержания обработки. Например, эти блоки обработки, которые выполняют обработку в порядке из, например, вычисления свертки, нормализации и функции активации, располагаются в от трех до нескольких сотнях слоев и соединены друг с другом и могут образовывать структуру, называемую сверточной нейронной сетью или рекуррентной нейронной сетью.

[0051] Следует отметить, что входной сигнал и выходной сигнал нейронной сети 302 имеют форму изображения, которое было обработано блоком 120 предварительной обработки. Можно использовать конфигурацию, в которой выходное изображение имеет то же разрешение, что и входное изображение, и указывает вероятность для каждого пикселя быть полем облучения. В другом примере разрешение выходного изображения может быть установлено ниже, чем у входного изображения. В этом случае период обработки обучения и предположения может быть уменьшен, но, как компромисс, точность всей обработки, включая последующую обработку, также может быть уменьшена.

[0052] Далее со ссылкой на фиг. 4A, 4B и 4C будут описаны подробности обработки выделения контура, выполняемой блоком 122 выделения контура. Фиг. 4А является блок-схемой последовательности операций, показывающей ход обработки выделения контура, фиг. 4B является примерной схемой, показывающей изображение, которое обрабатывается при обработке выделения контура, и фиг. 4C является схемой, показывающей пример преобразования изображения в пространство полярных координат. Блок 122 выделения контура выделяет контуры поля облучения из изображения, полученного из карты 214 вероятности, и включает в себя края, которые указывают границы между полем облучения и областью коллиматора.

[0053] На этапе S401 блок 122 выделения контура выделяет из карты 214 вероятности края, которая указывает границы между областью 215, которая весьма вероятно является полем облучения, и областью 216, которая весьма вероятно является коллиматором. Хотя способ выделения краев не ограничен, края могут быть выделены путем применения дифференциального фильтра, например, такого как фильтр Sobel, к карте 214 вероятности. Хотя для каждого пикселя карты 214 вероятности установлена вероятность от 0 до 1, также возможно выполнять двоичную кодированную обработку на основе предварительно установленного порогового значения (например, 0,5) и выполнять обработку для выделения пикселей, имеющих по меньшей мере пороговое значение, для того, чтобы упростить обработку выделения края. В ходе вышеупомянутой обработки может быть получено изображение 411, включающее края 412, которые включают в себя границы между полем облучения и областью коллиматора.

[0054] На этапе S402 блок 122 выделения контура применяет преобразование Хафа к изображению 411. Здесь точка на изображении 411, которая представлена как (x, y) в прямоугольной системе координат, преобразуется в пространство полярных координат из угла θ и расстояния ρ с использованием формулы 1. Здесь θ - это угол между осью x и линией, проведенной от начала координат перпендикулярно прямой линии, проходящей через (x, y), а ρ - длина линии, проведенной из начала координат перпендикулярно прямой линии, проходящей через (x, y). Когда преобразование выполняется в диапазоне, например, от -90°<θ≤90°, распределение в полярных координатах пространства получается, как показано на фиг. 4C. Здесь пара (θ, ρ), которая принимает локальное максимальное значение в пространстве полярных координат, указывает на высокую вероятность существования прямой линии на изображении в прямоугольной системе координат. Используя эту функцию, контуры прямоугольного коллиматора, который имеет линейную структуру, могут быть легко выделены путем применения преобразования Хафа.

Формула 1

ρ=xcosθ+ysinθ

[0055] На этапе S403 блок 122 выделения контура выделяет самую длинную прямую линию 413 в качестве кандидата на контур из изображения 411. На этом этапе блок 122 выделения контура осуществляет поиск по всему пространству полярных координат и выделяет прямую линию, которая образована парой (θ, ρ) 417, которая принимает максимальное значение в пространстве полярных координат.

[0056] На этапе S404 блок 122 выделения контура выделяет прямую линию 414, которая противоположна и параллельна прямой линии 413, в качестве кандидата на контур. Предполагая, что коллиматор имеет прямоугольную форму, считается, что существует одна сторона, которая проходит в направлении, параллельном другой стороне. На основании этого предположения блок 122 выделения контура осуществляет поиск в пространстве полярных координат локального максимального значения в области 421, где θ находится в заданном диапазоне по отношению к паре (θ, ρ) 417, которая соответствует прямой линии 413. Диапазон θ может быть установлен примерно от 5° до 15° относительно θ=-90° или около -(от 5° до 15°) относительно θ=90°. Таким образом, блок 122 выделения контура может выделять пару (θ, ρ) 418 в качестве локального максимального значения, отличного от пары (θ, ρ) 417, и прямую линию 414, соответствующую паре 418.

[0057] На этапе S405 блок 122 выделения контура выделяет прямую линию 415, которая пересекает прямую линию 413 и перпендикулярна ей, в качестве кандидата на контур. Предполагая, что коллиматор имеет прямоугольную форму, считается, что есть одна сторона, которая проходит в направлении, перпендикулярном другой стороне. Исходя из этого предположения, блок 122 выделения контура осуществляет поиск пространства полярных координат для пары (θ, ρ) в области 422, где θ находится в заданном диапазоне в пространстве полярных координат относительно пары (θ, ρ) 417, соответствующей прямой линии 413. Диапазон поиска может быть установлен на любой диапазон, который составляет около ±15° относительно θ=0°, который имеет разность фаз +90° от θ (=-90°) опорной пары 417. Таким образом, блок 122 выделения контура может выделить пару (θ, ρ) 419 в качестве точки, в которой пересекают друг друга волнообразная кривая 431, проходящая через пару (θ, ρ) 417, и волнообразная кривая 432, проходящая через пару (θ, ρ) 418, и прямую линию 415, соответствующую паре 419.

[0058] На этапе S406 блок 122 выделения контура выделяет прямую линию 416, которая противоположна и параллельна прямой линии 415, в качестве кандидата на контур. Аналогично этапу S404, блок 122 выделения контура осуществляет поиск для пары (θ, ρ) из области 423 в пространстве полярных координат, находя сторону, которая проходит в направлении, параллельном прямой линии 415. Область 423, используемая в качестве диапазона поиска, может быть установлена более узкой, чем область 422, из которой была выделена пара (θ, ρ) 419. Блок 122 выделения контура выделяет пару (θ, ρ) 420, в которой пересекают друг друга волнообразная кривая 433, проходящая через пару (θ, ρ) 417, и волнообразная кривая 434, проходящая через пару (θ, ρ) 418, и прямую линию 416, соответствующую паре 420 из области 423. Следует отметить, что, если прямая линия не обнаружена ни на одном из этапов S403-S406, обработку на этом этапе можно пропустить, предполагая, что прямой линии нет.

[0059] На этапе S407 блок 122 выделения контура подтверждает, действительно ли прямые линии 413-416, которые являются кандидатами на контур, выделенными на этапах S403-S406, соответствуют контуру поля облучения и области коллиматора. Например, блок 122 выделения контура может определять, являются ли выделенные прямые линии длиннее заданной длины. На основе этого определения блок 122 выделения контура выделяет из прямых линий, выделенных в качестве кандидатов на контур, прямые линии, которые длиннее заданной длины, в качестве контуров.

[0060] В качестве альтернативы, блок 122 выделения контура может определять, действительно ли область, которая образована выделенными прямыми линиями, перекрывается и хорошо согласуется с областью 215, которая весьма вероятно будет полем облучения на карте 214 вероятности, например, действительно ли коэффициент перекрытия, который указывает коэффициент перекрытия между этими областями, составляет по меньшей мере пороговое значение. Если коэффициент перекрытия, который указывает коэффициент перекрытия между областью, основанной на кандидатах на контур (областью, основанной на выделенных прямых линиях 413-416), и полем облучения, предполагаемым из карты 214 вероятности, составляет по меньшей мере пороговое значение, то блок 122 выделения контура выделяет кандидатов на контур (прямые линии 413-416) в качестве контуров.

[0061] Что касается подтверждения достоверности контуров, блок 122 выделения контура может выполнять обработку определения, которая сопоставляет признаки изображения, полученного путем радиационной визуализации, такого как визуализируемая часть субъекта. Если достоверность прямой линии не подтверждена на этом этапе, блок 122 выделения контура исключает прямую линию, выполняет другой поиск, по мере необходимости, и выводит группу оставшихся прямых линий в качестве конечных контуров. В ходе обработки, выполняемой на вышеуказанных этапах S401-S407, блок 122 выделения контура может выделять контуры с высокой точностью.

[0062] Согласно первому варианту осуществления, может быть обеспечена технология обработки изображений, с помощью которой может быть точно выделено поле облучения, даже если поле облучения включает в себя структуру, которая имеет сильный краевую составляющую и которую трудно отличить от контуров, используемых для сужения поля облучения.

[0063] Второй вариант осуществления: круговое поле облучения

Далее будет описан второй вариант осуществления настоящего изобретения. Во втором варианте осуществления будет описана примерная конфигурация случая, когда для сужения поля облучения используется круговой коллиматор. Примеры конфигураций системы 100 радиационной визуализации и устройства обработки изображений аналогичны таковым в первом варианте осуществления. Второй вариант осуществления отличается от первого варианта осуществления тем, что блок 122 выделения контура выполняет обработку выделения кругового контура, предполагая использование кругового коллиматора. Во втором варианте осуществления блок 122 выделения контура выделяет окружность или эллипс в качестве кандидата на контур путем выполнения обработки выделения кругового контура.

[0064] Подробности обработки выделения контура, выполняемого блоком 122 выделения контура, будут описаны со ссылкой на фиг. 5А и 5В. Фиг. 5А является блок-схемой последовательности операций, показывающей ход обработки выделения контура во втором варианте осуществления, а фиг. 5В является схематичной диаграммой, показывающей изображения, которые обрабатываются при обработке выделения контура во втором варианте осуществления.

[0065] Предположим, что в блок 109 распознавания поля облучения вводится изображение 511, которое получается при сужении поля облучения с использованием кругового коллиматора, а блоком 121 предположения выводится карта 512 вероятности. На карте 512 вероятности получают область 515, которая весьма вероятно является полем облучения, и область 516, которая весьма вероятно является коллиматором, но может иметь место случай, когда карта вероятности включает в себя область 517 ошибочного детектирования, которая на самом деле не является областью коллиматора, но определяется как область коллиматора.

[0066] На этапе S501 блок 122 выделения контура получает из карты 512 вероятностей изображение 513, которое включает в себя края, указывающие границы между областью 515, которая весьма вероятно является полем облучения, и областью 516, которая весьма вероятно является коллиматором. Эта обработка эквивалентна этапу S401 на фиг. 4A.

[0067] На этапе S502 блок 122 выделения контура применяет преобразование Хафа к изображению 513. Здесь точка на изображении 513, которая представлена как (x, y) в прямоугольной системе координат, преобразуется в трехмерное пространство Хафа из центральной точки (центр X, центр Y) и радиуса r окружности с использованием формулы 2.

Формула 2

r²=(x-центр X)²+(y-центр Y)²

[0068] В качестве альтернативы, предполагая, что коллиматор имеет эллиптический контур, блок 122 выделения контура может преобразовать точку на изображении 513, которая представлена как (x, y) в прямоугольной системе координат, в четырехмерное пространство Хафа из центральной точки (центр X, центр Y) эллипса и большой оси a и малой оси b эллипса с использованием формулы 3.

Формула 3

[0069] На этапе S503 блок 122 выделения контура выделяет круговой контур 514, выбирая координаты в пространстве Хафа, которые соответствуют круговому контуру 514, из результата преобразования Хафа.

[0070] На этапе S504 блок 122 выделения контура подтверждает, действителен ли круговой контур 514, выделенный на этапе S503, в качестве контура поля облучения и области коллиматора. Например, блок 122 выделения контура может определять, включены ли положение координат центра выделенной окружности (или эллипса) и ее радиус (или большая ось и малая ось) в заданный диапазон. Например, блок 122 выделения контура выделяет в качестве контура окружность, которая выделяется в качестве кандидата на контур и для которой положение координат центра и радиус включены в заданный диапазон. В качестве альтернативы, блок 122 выделения контура выделяет в качестве контура эллипс, который выделяется в качестве кандидата на контур и для которого положение координат центра, а также большая ось и малая ось включены в заданный диапазон.

[0071] Альтернативно, блок 122 выделения контура может определять, действительно ли область, которая образована выделенной окружностью (или эллипсом), перекрывает и хорошо согласуется с областью 515, которая весьма вероятно будет полем облучения на карте 512 вероятностей, например, составляет ли коэффициент перекрытия, который указывает коэффициент перекрытия между этими областями, по меньшей мере опорное значение. Если коэффициент перекрытия, который указывает коэффициент перекрытия между областью, основанной на кандидате на контур (областью, основанной на выделенном круговом контуре 514), и полем излучения, предполагаемым из карты 512 вероятности, составляет по меньшей мере пороговое значение, то блок 122 выделения контура выделяет кандидата на контур (круговой контур 514) в качестве контура.

[0072] Что касается подтверждения правильности контура, блок 122 выделения контура может выполнять обработку определения, которая сопоставляет признаки изображения, полученного путем радиационной визуализации, такого как визуализируемая часть субъекта.

[0073] С помощью обработки, выполняемой на вышеуказанных этапах S501-S504, блок 122 выделения контура может выделять контуры с высокой точностью, даже когда для сужения поля облучения используется круговой коллиматор.

[0074] Следует отметить, что, если и примеры прямоугольных коллиматоров, и примеры круговых коллиматоров (включая эллиптические коллиматоры) включены в обучающие данные, используемые при обучении блоком 121 предположения, то блок 121 предположения может получать карту 512 вероятности независимо от того, имеет коллиматор прямоугольную или круговую форму. Используя эти свойства, можно использовать конфигурацию, в которой, в соответствии с формой полученной карты вероятностей, наиболее подходящий блок 122 выделения контура может быть выбран из такого для прямоугольных контуров, описанных в первом варианте осуществления, или для круговых контуров, описанных во втором варианте осуществления.

[0075] Например, может использоваться конфигурация, в которой пользователь выполняет выбор через панель 114 управления, или может использоваться конфигурация, в которой блок 122 выделения контура выполняет как обработку для прямоугольных контуров, так и обработку для круговых контуров, и блок 123 выделения поля автоматически выделяет, в качестве поля облучения 221, область, в которой коэффициент перекрытия между областью, образованной выделенными контурами, и областью, которая весьма вероятно будет полем облучения на карте вероятностей, составляет по меньшей мере заданное опорное значение.

[0076] Третий вариант осуществления: механизм обучения в расположении пользователя

Далее будет описан третий вариант осуществления. Фиг. 6 является блок-схемой, показывающей примерную базовую конфигурацию системы радиационной визуализации, которая включает в себя устройство обработки изображений по третьему варианту осуществления. Конфигурация третьего варианта осуществления отличается от конфигурации по первому варианту осуществления тем, что в дополнение к тем же элементам, что и в первом варианте осуществления, в устройство 107 обработки информации включено устройство 601 обучения.

[0077] В первом и втором вариантах осуществления система 100 радиационной визуализации сконфигурирована таким образом, что блок 121 предположения выполняет только обработку предположения с использованием нейронной сети, а обучение нейронной сети выполняется заранее.

[0078] В третьем варианте осуществления система 100 радиационной визуализации сконфигурирована таким образом, что изображения, которые получены в среде использования пользователя, и ряд наборов данных поля облучения накапливаются в устройстве 115 хранения. В результате того, что устройство 601 обучения электрически соединено с шиной 111 ЦП в устройстве 107 обработки информации, в устройстве 107 обработки информации системы 100 радиационной визуализации также может выполняться обработка обучения. Блок 121 предположения выполняет обработку предположения на основе результата обучения, в котором изображения, полученные в среде использования пользователя, и ряд наборов данных поля облучения добавляются вновь, и выполненного заранее результата обучения. Таким образом, обработка дополнительного обучения с использованием устройства 601 обучения может быть выполнена с использованием ряда наборов данных, сохраненных в устройстве 115 хранения, в качестве новых данных обучения с обновлением группы параметров в блоке 121 предположения. Следует отметить, что в качестве устройства 601 обучения может использоваться блок вычисления, который имеет высокую производительность параллельной работы, такой как GPU (графический процессор).

[0079] В качестве момента времени для выполнения дополнительного обучения может быть выбран любой момент, такой как, когда в устройстве 115 хранения накапливается по меньшей мере заданное количество наборов данных, которые служат в качестве новых обучающих данных, или накапливается по меньшей мере заданное количество наборов данных, которые получены в ходе модификации результатов распознавания поля облучения пользователем. Кроме того, обучение передачи может быть выполнено путем установки группы параметров, которая использовалась перед обучением в качестве значений по умолчанию для группы параметров нейронной сети при выполнении блоком 121 предположения дополнительного обучения.

[0080] Устройство 115 хранения и устройство 601 обучения не обязательно должны быть непосредственно установлены в устройстве 107 обработки информации и могут быть предоставлены на облачном сервере, который подключен к устройству 107 обработки информации через сеть. В этом случае наборы данных, которые получены множеством систем 100 радиационной визуализации, могут быть собраны и сохранены на облачном сервере, и с использованием этих наборов данных также может быть выполнено дополнительное обучение.

[0081] Как описано выше, в соответствии с третьим вариантом осуществления может быть предоставлена технология обработки изображений, которая не только достигает эффектов первого и второго вариантов осуществления, но также позволяет более точно выделять поле облучения путем оптимизации обработки распознавания поля облучения для согласования с окружением использования пользователя.

[0082] Хотя некоторые варианты осуществления настоящего изобретения были описаны, само собой разумеется, что настоящее изобретение не ограничено этими вариантами осуществления и может быть осуществлено с различными изменениями и модификациями в пределах объема сущности настоящего изобретения.

[0083] Другие варианты осуществления

Вариант(ы) осуществления настоящего изобретения могут также быть реализованы компьютером системы или устройства, которая(-ое) считывает и выполняет исполняемые компьютером инструкции (например, одну или более программ), записанные на носителе хранения информации (данных) (который также может называться более полно как «невременный считываемый компьютером носитель данных»), осуществляя функции одного или более из вышеописанных варианта(ов) осуществления, и/или которая(ое) включает в себя одну или более схем (например, специализированную интегральную схему (ASIC)) для выполнения функций одного или более из вышеописанного варианта(ов) осуществления, и с помощью способа, выполняемого компьютером системы или устройства, например, путем считывания исполняемых компьютером инструкций с носителя данных и их выполнения с осуществлением функций одного или более из вышеописанных варианта(ов) осуществления, и/или путем управления одной или более схемами, с осуществлением функций одного или более из вышеописанных варианта(ов) осуществления. Компьютер может содержать один или более процессоров (например, центральный процессор (ЦП), микропроцессор (MPU)) и может включать в себя сеть отдельных компьютеров или отдельных процессоров для считывания и исполнения исполняемых компьютером инструкций (команд). Исполняемые компьютером инструкции могут быть предоставлены компьютеру, например, из сети или с носителя данных. Носитель данных может включать в себя, например, одно или более из жесткого диска, оперативного запоминающего устройства (RAM), постоянного запоминающего устройства (ROM), хранилища распределенных вычислительных систем, оптического диска (такого как компакт-диск (CD), цифрового многофункционального диска (DVD) или диска Blu-ray (BD)™), устройства флэш-памяти, карты памяти и т.п.

[0084] В то время как настоящее изобретение было описано со ссылкой на примерные варианты осуществления, должно быть понятно, что изобретение не ограничено раскрытыми примерными вариантами осуществления. Объем последующей формулы изобретения должен соответствовать самой широкой интерпретации для охвата всех таких модификаций и эквивалентных структур и функций.

Группа изобретений относится к медицине. Устройство обработки медицинских изображений, выполненное с возможностью выделения поля облучения из изображения, полученного в ходе радиационной визуализации, содержащее: блок предположения, выполненный с возможностью получать кандидата на поле облучения на изображении на основе обработки предположения; блок выделения контура, выполненный с возможностью выделять контур поля облучения на основе обработки выделения контура, выполненной на кандидате на поле облучения; и блок выделения поля, выполненный с возможностью выделять поле облучения на основе упомянутого контура. Причем блок предположения получает в качестве кандидата на поле облучения карту вероятностей, которая указывает для каждого пикселя изображения вероятность того, что он является полем облучения, или вероятность того, что он не является полем облучения. Причем блок предположения выполняет обработку предположения на основе обучения, выполненного с использованием набора данных, который включает в себя упомянутое изображение в качестве входного сигнала и упомянутое поле облучения в качестве выходного сигнала. Причем блок предположения выполняет обработку предположения на основе результата обучения, которое включает в себя обучение нейронной сети. Носитель данных, на котором хранится программа, побуждающая компьютер выполнять каждый этап в способе обработки медицинских изображений. Применение данной группы изобретений позволит улучшить определение поля облучения. 3 н. и 15 з.п. ф-лы, 6 ил.

1. Устройство обработки медицинских изображений, выполненное с возможностью выделения поля облучения из изображения, полученного в ходе радиационной визуализации, содержащее:

блок предположения, выполненный с возможностью получать кандидата на поле облучения на изображении на основе обработки предположения;

блок выделения контура, выполненный с возможностью выделять контур поля облучения на основе обработки выделения контура, выполненной на кандидате на поле облучения; и

блок выделения поля, выполненный с возможностью выделять поле облучения на основе упомянутого контура,

причем блок предположения получает в качестве кандидата на поле облучения карту вероятностей, которая указывает для каждого пикселя изображения вероятность того, что он является полем облучения, или вероятность того, что он не является полем облучения,

причем блок предположения выполняет обработку предположения на основе обучения, выполненного с использованием набора данных, который включает в себя упомянутое изображение в качестве входного сигнала и упомянутое поле облучения в качестве выходного сигнала,

причем блок предположения выполняет обработку предположения на основе результата обучения, которое включает в себя обучение нейронной сети.

2. Устройство обработки медицинских изображений по п. 1,

причем блок выделения контура выделяет контур поля облучения из изображения, которое получено из карты вероятностей и включает в себя край, который указывает границу между полем облучения и областью коллиматора.

3. Устройство обработки медицинских изображений по п. 1,

причем блок выделения контура выполняет на кандидате на поле облучения обработку выделения контура для выделения контура, исходя из формы коллиматора.

4. Устройство обработки медицинских изображений по п. 3,

причем блок выделения контура изменяет обработку выделения контура в соответствии с упомянутой формой.

5. Устройство обработки медицинских изображений по п. 3,

причем блок выделения контура выполняет обработку выделения прямоугольного контура, если упомянутая форма является прямоугольной, и выполняет обработку выделения кругового контура, если упомянутая форма является круговой.

6. Устройство обработки медицинских изображений по п. 5,

причем блок выделения контура способен выбирать обработку выделения прямоугольного контура для прямоугольной формы и обработку выделения кругового контура для круговой формы.

7. Устройство обработки медицинских изображений по п. 5,

причем блок выделения контура выделяет прямую линию в качестве кандидата на контур в ходе обработки выделения прямоугольного контура.

8. Устройство обработки медицинских изображений по п. 7,

причем блок выделения контура выделяет в качестве контура прямую линию, которая длиннее заданной длины, из прямых линий, каждая из которых выделена в качестве кандидата на контур.

9. Устройство обработки медицинских изображений по п. 5,

причем блок выделения контура выделяет окружность или эллипс в качестве кандидата на контур в ходе обработки выделения кругового контура.

10. Устройство обработки медицинских изображений по п. 9,

причем блок выделения контура выделяет в качестве контура окружность, которая выделена в качестве кандидата на контур и для которой положение координат центра окружности и радиус окружности включены в заданный диапазон.

11. Устройство обработки медицинских изображений по п. 9,

причем блок выделения контура выделяет в качестве контура эллипс, который выделен в качестве кандидата на контур и для которого положение координат центра эллипса и большая ось и малая ось эллипса включены в заданный диапазон.

12. Устройство обработки медицинских изображений по п. 7,

причем, если коэффициент перекрытия, который указывает коэффициент перекрытия между областью на основе кандидата на контур и предполагаемым из карты вероятностей полем облучения, составляет по меньшей мере пороговое значение, блок выделения контура выделяет упомянутого кандидата на контур в качестве контура.

13. Устройство обработки медицинских изображений по п. 1,

причем блок выделения поля выделяет область внутри контура в качестве поля облучения.

14. Устройство обработки медицинских изображений по п. 1,

причем блок выделения поля выделяет поле облучения на основе области, в которой предполагаемое из контура поле облучения перекрывается с предполагаемым из карты вероятностей полем облучения.

15. Устройство обработки медицинских изображений по п. 14,

причем блок выделения поля выделяет в качестве поля облучения область, в которой коэффициент перекрытия между предполагаемым из контура полем облучения и предполагаемым из карты вероятностей полем облучения составляет по меньшей мере заданное значение.

16. Устройство обработки медицинских изображений по п. 1,

причем блок предположения выполняет обработку предположения на основе результата обучения, который вновь добавлен на основе изображений, полученных в среде использования пользователя, и ряда наборов данных поля облучения, и результата выполненного заранее обучения.

17. Способ обработки медицинских изображений для выделения поля облучения из изображения, полученного в ходе радиационной визуализации, содержащий:

получение кандидата на поле облучения на изображении на основе обработки предположения;

выделение контура поля облучения на основе обработки выделения контура, выполненной на кандидате на поле облучения; и

выделение поля облучения на основе упомянутого контура,

причем в качестве кандидата на поле облучения получают карту вероятностей, которая указывает для каждого пикселя изображения вероятность того, что он является полем облучения, или вероятность того, что он не является полем облучения,

причем обработку предположения выполняют на основе обучения, выполняемого с использованием набора данных, который включает в себя упомянутое изображение в качестве входного сигнала и упомянутое поле облучения в качестве выходного сигнала,

причем обработку предположения выполняют на основе результата обучения, которое включает в себя обучение нейронной сети.

18. Носитель данных, на котором хранится программа, побуждающая компьютер выполнять каждый этап в способе обработки медицинских изображений по п. 17.