УСТРОЙСТВО ОБЪЕДИНЕНИЯ МЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ Российский патент 2017 года по МПК G06T5/00 

Предлагаемое изобретение относится к вычислительной технике и может быть использовано для формирования медицинских изображений, полученных в рентгенографии, томографии, флюорографии и др. медицинских исследованиях. Техническим результатом является объединенное изображение со сглаженными границами перехода. Полученный результат панорамного совмещения достигается в условиях неточного наложения контрольных точек при равномерной освещенности. Для этого в способе автоматически выделяются контуры на перекрывающихся изображениях, находится кривая совмещения, по найденным контурам производится создание маски для каждого изображения, формируется объединенное изображение с использованием масок. На фиг. 1 представлен пример объединения изображений.

Упрощенная математическая модель результата объединения изображений в представляется в виде:

где - первое изображение с областью объединения;

- второе изображение с областью объединения;

- первое изображение;

- второе изображение;

- область объединения.

Подставляя выражения для и в формулу (1) и введя параметр объединения, получаем следующий вид математической модели:

где α - коэффициент смешивания областей.

Основная решаемая задача - получение объединенного изображения со сглаженными границами перехода.

Подобная задача может возникнуть: 1) в рентгенографии; 2) в томографии; 3) в генетике; 4) в флюорографии.

В тех случаях, когда изображения имеют большое количество текстур мелких деталей, чаще всего на практике применяют методы совмещения изображений с использованием детекторов обнаружения углов (SURF, SIFT, RANSAC). В результате простого совмещения такими методами появляются дополнительные границы объектов (двойные контуры), появление границы из-за неравномерной освещенности, или размытие.

Решение проблемы, связанной с появлением двойных контуров, достигается при использовании детекторов границ для удаления ненужных областей. Использование смешивания с помощью наложения масок на объединяемые изображения позволяет устранить неравномерность освещенности и размытие объединяемых изображений в области перекрытия.

Известен способ автоматического последовательного планирования MP-сканирования [Бергманс Корнелис Й.Ф.М (NL), Бистров Даниель (NL), Хес Харальд С. (NL), Каувенховен Марк (NL), Ден Хардер Йохан М. (NL), Симонетти Арьян В. (NL), Де Кок Венди (NL). Класс МПК: G06T 11/20, А61В 6/00, патент №2533626, 20.11.2014]. Изобретение относится к области автоматического получения данных клинических МРТ-изображений.

Способ содержит: получение первого осмотрового изображения с первым полем наблюдения, первое осмотровое изображение имеет первое пространственное разрешение, определение местоположения первой области, представляющей интерес, и по меньшей мере одного анатомического ориентира в первом осмотровом изображении, стадия содержит: создание трехмерного объема, определение набора контуров в трехмерном объеме, идентификацию одного или нескольких анатомических ориентиров в трехмерном объеме, автоматическое сегментирование трехмерного объема; определение положения и ориентации первой области, представляющей интерес, используя анатомический ориентир, положение и ориентацию первой области используют для планирования второго осмотрового изображения; получение второго осмотрового изображения со вторым полем наблюдения, второе осмотровое изображение имеет второе пространственное разрешение, второе пространственное разрешение выше, чем первое пространственное разрешение; создание планирования геометрии для анатомической области, представляющей интерес, используя второе осмотровое изображение; и получение диагностического изображения анатомической области, представляющей интерес, используя планирование геометрии.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: поиск контуров, планирование геометрии.

Недостатками известного устройства являются:

- невозможность работать в условиях отсутствия установленных ориентиров;

- большие вычислительные затраты.

Причины, препятствующие достижению требуемого технического результата, заключается в следующем:

- если расчет матриц преобразования изображений будет неправильным, то появится удвоение границ объектов на изображении.

Известен способ составного формирования изображения [Толстая Екатерина Витальевна (RU). Класс МПК: G06T 7/00, G06K 9/44, патент №2421814, 20.06.2011], который формирует составное изображение из нескольких частично перекрывающихся изображений, захваченных такими планшетными устройствами, как сканер или многофункциональное периферийное устройство. Техническим результатом является повышение скорости процесса совмещения изображений. Указанный технический результат достигается тем, что: анализируют составные элементы изображения и выявляют дескрипторы совместимых точек; выполняют попарное совмещение дескрипторов; совмещают дескрипторы с конечным изображением и восстанавливают параметры вращения/смещения; поочередно включают составные элементы в конечное изображение на основе восстановленных параметров вращения/смещения.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: при объединении изображений в составное изображение на перекрывающихся участках текущего объединяемого изображения и составного изображения определяют оптимальную границу, проходящий через расположенные на перекрывающихся участках пиксели, имеющие минимальные различия.

Недостатками известного устройства являются:

- появление границы между изображениями в результате объединения;

- отсутствует предварительная обработка, которая сильно влияет на ошибку в определении базовых точек на изображении;

- появление двойных контуров объединяемых изображений.

Причины, препятствующие достижению требуемого технического результата, заключается в следующем:

- если изображения имеют разную контрастность, то граница будет видимой;

- присутствие на изображениях шумовой составляющей осложняют процесс поиска базовых точек и в ряде случаев увеличивают количество ложных соответствий;

- если расчет матриц преобразования изображений будет неправильным, то появится удвоение границ объектов на изображении.

Известен способ подавления неравномерности распределения яркости изображений при получении панорамных изображений медицинских микропрепаратов [Никитаев Валентин Григорьевич (RU), Проничев Александр Николаевич (RU), Комаров Владимир Владимирович (RU), Чистов Кирилл Сергеевич (RU), Филиппов Антон Александрович (RU). Класс МПК: G06K 9/36, патент №2390842, 27.05.2010]. Техническим результатом данного изобретения является увеличение эффективности определения пороговых значений яркости пикселов и корреляция значений до заданных пределов.

Способ сглаживания неравномерности распределения яркости изображений при получении панорамных изображений медицинских микропрепаратов состоит в том, что от внешнего устройства получают изображение неравномерно подсвеченного стекла предметного столика микроскопа на изображении фона без микропрепарата; определяют неравномерность значений яркости изображения стекла без микропрепарата (разделяют изображение на составляющие участки, фиксируют среднюю яркость каждого участка, фиксируют абсолютную и относительную разницу показателей яркости среди участков); затем с камеры производят захват изображения микропрепарата; разделяют полученное изображение на составляющие участки, фиксируют среднюю яркость каждого участка, фиксируют абсолютную и относительную разницу показателей яркости среди участков, для каждого участка изображения исследуемого микропрепарата производят непосредственное вычитание найденной ранее неравномерности значений яркости и с учетом этого сглаживают кромки исследуемого изображения.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: сглаживания неравномерности распределения яркости изображений при получении панорамных изображений.

Недостатками известного устройства являются:

- в случае получения пары кадров при смещении камеры фиксации повышается ошибка в наложении пар изображений;

- появление двойных контуров объединяемых изображений;

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

в результате смещения фиксирующей камеры требуются дополнительные операции, проводимые над полученными кадрами для компенсации искажений;

- если расчет матриц преобразования изображений будет неправильным, то появится удвоение границ объектов на изображении.

Наиболее близким к изобретению является устройство объединения изображений в единую композицию с плавным переходом контрастности (патент №2571574, МПК G06T 5/00, 20.12.2015).

Рассматриваемое устройство-прототип содержит регистр хранения входной реализации 1, регистр хранения входной реализации 2, тактовый генератор 3, блок поиска контрольных точек 4, блок поиска контрольных точек 5, блок поиска наилучших точек 6, блок вычисления матриц преобразования 7, блок преобразования матрицы первого изображения 8, блок преобразования матрицы второго изображения 9, блок заполнения нулями 10, блок выделения контуров 11, блок вычисления кривой 12, блок нахождения маски 13, блок нахождения маски 14, блок выделения области объединения изображений 15, блок нахождения шва 16, блок удаления ненужных областей 17, блок наложения маски на первое изображение 18, блок наложения маски на второе изображение 19, блок объединения изображений 20, регистр хранения выходной реализации 21.

Устройство объединения изображений в единую композицию с плавным переходом контрастности состоит в том, что значения входной реализации поступают на входы устройства и записываются в регистр хранения входной реализации. В блоках поиска контрольных точек находится соответствие между входными данными с помощью детектора обнаружения углов, находятся наилучшие соответствия и вычисляются матрицы преобразования. Затем матрицы преобразуются и заполняются нулями в недостающих фрагментах и поступают в блоки нахождения маски. Находится область объединения и шов, выделяются контуры, по которым определяется кривая с целью удаления ненужных фрагментов относительно кривой. Происходит наложение маски на каждое изображение и объединение. Результат записывается в регистр хранения выходной реализации и поступает на выход устройства.

Недостатками известного устройства-прототипа являются:

- невозможность реализации известного способа, если изображения низкого разрешения;

- появление шумовой составляющей на изображениях повышают ошибку в определении базовых точек и определении их соответствий на паре изображений;

- большие вычислительные затраты.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- для использования способа необходимо запоминать всю входную реализацию.

Устройство объединения медицинских изображений является двух канальным устройством, которое представлено на фиг. 2 и содержит первый вход и второй вход, являющиеся информационными входами устройства, которые подключены к входу регистра хранения входной реализации первого изображения 1 и к входу регистра хранения входной реализации второго изображения 2 соответственно; выход регистра хранения входной реализации первого изображения 1 подключен к входу блока фильтрации первого изображения 5, выход которого подключен к входу блока восстановления границ первого изображения 4, выход которого подключен к третьему входу блока объединения изображений 17, к третьему входу блока наложения градиента первого изображения 15, второму входу блока преобразования матрицы первого изображения 10 и к первому входу блока поиска контрольных точек на первом изображении и соответствий 8, выход которого подключен к второму входу блока поиска контрольных точек на втором изображении и соответствий 9 и к первому входу блока преобразования матрицы первого изображения 10, выход которого подключен к второму входу блока наложения градиента первого изображения 15 и к первому входу блока выделения контуров на изображениях 12, выход которого подключен к входу блока нахождения границы объединения изображений 13, выход которого подключен к входу блока исключения неперекрывающихся областей на изображениях 14, выход которого подключен в первому входу блока наложения градиента второго изображения 16 и к первому входу блока наложения градиента первого изображения 15, выход которого подключен к первому входу блока объединения изображений 17, выход которого подключен к регистру хранения выходной реализации 18, выход которого является информационным выходом устройства; выход регистра хранения входной реализации второго изображения 2 подключен к входу блока фильтрации второго изображения 6, выход которого подключен к входу блока восстановления границ второго изображения 7, выход которого подключен к четвертому входу блока объединения изображений 17, к третьему входу блока наложения градиента второго изображения 16, к второму входу блока преобразования матрицы второго изображения 11 и к первому входу блока поиска контрольных точек на втором изображении и соответствий 9, выход которого подключен к второму входу блока поиска контрольных точек на первом изображении и соответствий 8 и к первому входу блока преобразования матрицы второго изображения 11, выход которого подключен к второму входу блока выделения контуров на изображениях 12 и к второму входу блока наложения градиента второго изображения 16, выход которого подключен к второму входу блока объединения изображений 17; синхронность работы устройства задается тактовым генератором 3.

Устройство объединения медицинских изображений реализуется следующим образом. Значения пары входных изображений, обладающих областью перекрытия единой сцены, поступают на входы устройства и записываются в регистр хранения входной реализации первого и второго изображения. На следующем шаге производится предварительная обработка изображений, при которой производится фильтрация высокочастотной помехи, например, устройством для обработки изображений на основе двумерного способа размножения оценок (патент РФ №2406130 С1, МПК G06F 17/17, заявитель и патентообладатель ГОУ ВПО «ЮРГУЭС». №2009121964/08; заявлено 08.06.2009; опубликовано 10.12.2010, Бюл. №34). Предварительное уменьшение действия шумовой составляющей повышает точность последующей обработки, связанной с поиском соответствий на изображениях. На следующем этапе производится восстановление границ объектов, смазанных на предыдущем этапе или полученных в результате фиксации, например, рентгенаппаратом. Восстановление границ объектов может быть осуществлено способом восстановления границ, например, восстановления четкости на основе анализа нескольких изображений (Agrawal A., Xu Y., Raskar R. Multi-image deblurring: патент США 8229244 - 2012.). На следующем шаге на паре изображений производится поиск контрольных точек, обладающих высокой локальной информативностью, и их соответствий на паре исследуемых изображений, например, методом SURF (Bay Н., Tuytelaars Т., Van Gool L. SURF: Speeded up robust features // Computer vision-ECCV 2006. - Springer Berlin Heidelberg, 2006. - C. 404-417.). На следующем шаге по анализу положения базовых точек, производятся проективные преобразования над изображениями. Коэффициенты изменяются до тех пор, пока не произойдет частичное (на величину не более 2 пикселей) или полное совмещение 5 точек в области перекрытия. На следующем шаге производится поиск контуров объектов на изображениях. Данная операция может быть выполнена, любым детектором границ, например методом Канни (Canny. J., A computational approach to edge detection / J. Canny. // IEEE Transaction on Pattern Analysis and Machine Intelligence, 8(6):679-698, 1986.) или устройством выделения контуров объектов на текстурированном фоне при обработке цифровых изображений (патент РФ №2522044 С1, МПК G06K 9/48, G06T 7/60, заявитель и патентообладатель ГОУ ВПО «ЮРГУЭС». №2013101106/08; заявлено 09.01.2013; опубликовано 10.07.2014, Бюл. №19). На следующем этапе производится определение границы совмещения пары изображений. Данная операция основана на поиске кривой, находящейся близко к центру области перекрытия и разделяющая объекты расположенные на кадрах проходя по их границам. Далее производится исключение областей левее области перекрытия и области фиксирующей сцену, для первого изображения, а также правее области перекрытия и области, фиксирующей сцену, для второго изображения, граница исключения установлена по кривой определенной на предыдущем этапе. По анализу яркости и контрастности производится определение градиентов цветового перехода для каждого изображения, данная операция может быть осуществлена, например, программной реализаций алгоритма объединения изображений «Альфа-смешивание» (Свидетельство о государственной регистрации программ для ЭВМ: РОСПАТЕНТ, 2013 г. - №2013611413). На заключительном этапе производится совмещения пары медицинских изображений в единый контент, объединения пары измененных входных изображений и их запись в регистр хранения выходной реализации для дальнейшей передачи на выход устройства.

Устройство объединения медицинских изображений работает следующим образом. Значения пары входных изображений обладающих областью перекрытия единой сцены поступают на входы устройства и записываются в регистр хранения входной реализации первого изображения 1 и регистр хранения входной реализации второго изображения 2. На следующем шаге производится предварительная обработка изображений, при которой производится параллельная фильтрация высокочастотной помехи блок фильтрации первого изображения 5 и блок фильтрации второго изображения 6. На следующем этапе производится восстановление границ объектов смазанных на предыдущем этапе или полученных в результате фиксации блоком восстановления границ первого изображения 4 и блоком восстановления границ второго изображения 7, например, рентген аппаратом. На следующем шаге на паре изображений производится поиск контрольных точек обладающих высокой локальной информативностью и их соответствий между изображениями, блоком поиска контрольных точек на первом изображении и соответствий 8 и блоком поиска контрольных точек на втором изображении и соответствий 9. На следующем этапе по анализу положения базовых точек, производятся проективные преобразования над изображениями блоком преобразования матрицы первого изображения 10 и блоком преобразования матрицы второго изображения 11. Коэффициенты изменяются до тех пор, пока не произойдет частичное (на величину не более 2 пикселей) или полное совмещение 5 точек в области перекрытия. На следующем шаге производится поиск контуров объектов на изображениях, блоком выделения контуров на изображениях 12. Данная операция может быть выполнена, любым детектором границ. На следующем этапе производится определение границы совмещения пары изображений, блоком нахождения границы объединения изображений 13. Данная операция основана на поиске кривой находящейся близко к центру области перекрытия и разделяющая объекты проходя по их границам. Далее производится исключение областей левее области перекрытия и области фиксирующей сцену, для первого изображения, а также правее области перекрытия и области фиксирующей сцену, для второго изображения блоком исключения неперекрывающихся областей на изображениях 14, граница исключения установлена по кривой определенной на предыдущем этапе. По анализу яркости и контрастности производится определение градиентов цветового перехода для каждого изображения, блоком наложения градиента первого изображения 15 и блоком наложения градиента второго изображения 16, данная операция может быть осуществлена любым алгоритма объединения изображений. На заключительном этапе производится совмещения пары медицинских изображений в единый контент, блоком объединения изображений 17, объединения пары измененных входных изображений и их запись в регистр хранения выходной реализации 18 для дальнейшей передачи на выход устройства.

Изобретение относится к информационно-измерительным устройствам и может быть использовано в вычислительной технике, в системах управления и обработки сигналов. Техническим результатом является обеспечение объединенного изображения со сглаженными границами перехода. Устройство содержит: регистр хранения входной реализации первого изображения, регистр хранения входной реализации второго изображения, тактовый генератор, блок восстановления границ первого изображения, блок фильтрации первого изображения, блок фильтрации второго изображения, блок восстановления границ второго изображения, блок поиска контрольных точек на первом изображении и соответствий, блок поиска контрольных точек на втором изображении и соответствий, блок преобразования матрицы первого изображения, блок преобразования матрицы второго изображения, блок выделения контуров на изображениях, блок нахождения границы объединения изображений, блок исключения неперекрывающихся областей на изображениях, блок наложения градиента первого изображения, блок наложения градиента второго изображения, блок объединения изображений, регистр хранения выходной реализации. 2 ил.

Устройство объединения медицинских изображений, содержащее регистр хранения входной реализации первого изображения и регистр хранения входной реализации второго изображения, входы которых являются информационными входами устройства, регистр хранения выходной реализации, выход которого является информационным выходом устройства, отличающееся тем, что выход регистра хранения входной реализации первого изображения подключен к входу блока фильтрации первого изображения, выход которого подключен к входу блока восстановления границ первого изображения, выход которого подключен к третьему входу блока объединения изображений, к третьему входу блока наложения градиента первого изображения, второму входу блока преобразования матрицы первого изображения и к первому входу блока поиска контрольных точек на первом изображении, выход которого подключен к второму входу блока поиска контрольных точек на втором изображении и к первому входу блока преобразования матрицы первого изображения, выход которого подключен к второму входу блока наложения градиента первого изображения и к первому входу блока выделения контуров на изображениях, выход которого подключен к входу блока нахождения границы объединения изображений, выход которого подключен к входу блока исключения неперекрывающихся областей на изображениях, выход которого подключен к первому входу блока наложения градиента второго изображения и к первому входу блока наложения градиента первого изображения, выход которого подключен к первому входу блока объединения изображений, выход которого подключен к регистру хранения выходной реализации, выход которого является информационным выходом устройства; выход регистра хранения входной реализации второго изображения подключен к входу блока фильтрации второго изображения, выход которого подключен к входу блока восстановления границ второго изображения, выход которого подключен к четвертому входу блока объединения изображений, к третьему входу блока наложения градиента второго изображения, к второму входу блока преобразования матрицы второго изображения и к первому входу блока поиска контрольных точек на втором изображении, выход которого подключен к второму входу блока поиска контрольных точек на первом изображении и к первому входу блока преобразования матрицы второго изображения, выход которого подключен к второму входу блока выделения контуров на изображениях и к второму входу блока наложения градиента второго изображения, выход которого подключен к второму входу блока объединения изображений; синхронность работы устройства задается тактовым генератором.