ТРЕХМЕРНЫЙ ТЕНЕВОЙ УКАЗАТЕЛЬ МЫШИ Российский патент 2013 года по МПК G06F3/48 

Область техники

Настоящее изобретение относится к области человеко-машинного взаимодействия и более конкретно к визуализации указателя в проекции трехмерной области.

Уровень техники

В некоторых приложениях, таких как маркировка повреждений, сегментация и выполнение измерений, пользователю необходимо указывать трехмерное (3D) местоположение на интересующей структуре, показанной на проекции трехмерной области. Часто существует множество структур на проекции, так что передвижение указателя по направлению к местоположению на интересующей структуре может быть затруднительным. В некоторых приложениях визуализация указателя на проекции трехмерной области улучшается с помощью наложения тени, также называемой отпечатком, на видимую структуру на проекции трехмерной области. Тень обеспечивает пользователю обратную связь по местоположению указателя. Проблема, связанная с таким подходом, заключается в том, что тень может указывать как интересующую структуру, так и структуру на заднем плане, когда тень слишком большая, или в том, что тень почти не видна, когда тень слишком маленькая.

Сущность изобретения

На проекции, содержащей множество структур различных размеров, невозможно определить один универсальный размер тени, соответствующий размерам всех структур. Кроме того, для анизотропной, например, удлиненной структуры тень также должна быть анизотропной, например удлиненной и ориентированной для того, чтобы соответствовать ориентации структуры.

Было бы полезно иметь систему, способную определять обратную связь, которая повышает четкость и снижает неопределенность указания трехмерного местоположения на интересующей структуре.

Для того чтобы лучше решить эту задачу, в одном аспекте настоящего изобретения система определения обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения содержит:

блок отображения для вычисления проекции трехмерной области для отображения на устройстве отображения;

блок указателя для вычисления двухмерного местоположения указателя на проекции трехмерной области на основе входного сигнала местоположения указателя;

блок местоположения для вычисления трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области; и

блок тени для определения множества двухмерных местоположений для отображения тени на проекции трехмерной области, причем множество двухмерных местоположений для отображения тени содержит двухмерное местоположение указателя на проекции трехмерной области и множество трехмерных местоположений, вычисленное на основе множества двухмерных местоположений для отображения тени, является связанным, таким образом определяя обратную связь по трехмерному местоположению указателя в трехмерной области данных изображения.

Блок тени выполнен с возможностью генерации возможных двухмерных местоположений для отображения тени на проекции трехмерной области и использования блока местоположения для вычисления трехмерного местоположения возможных двухмерных местоположений, называемых далее возможными трехмерными местоположениями. Возможные двухмерные местоположения содержат двухмерное местоположение указателя. Трехмерное местоположение указателя, вычисленное на основе двухмерного местоположения указателя, также содержится во множестве возможных трехмерных местоположений. Блок тени, кроме того, выполнен с возможностью определения связанного множества возможных трехмерных местоположений, содержащего трехмерное местоположение указателя. Обычно связанное множество возможных трехмерных местоположений, содержащее трехмерное местоположение указателя, содержится в структуре, указанной с помощью указателя. Возможное двухмерное местоположение, такое что возможное трехмерное местоположение, вычисленное на основе упомянутого возможного двухмерного местоположения, содержится в упомянутом связанном множестве возможных трехмерных местоположений, принадлежит множеству двухмерных местоположений для отображения тени на проекции трехмерной области. Следовательно, система выполнена с возможностью подбирать размер и форму тени под размер и форму структуры, отображаемой на проекции трехмерной области, таким образом определяя обратную связь по трехмерному местоположению указателя на проекции трехмерной области данных изображения, что повышает четкость и снижает неопределенность указания трехмерного местоположения на структуре.

В одном варианте осуществления системы множество двухмерных местоположений для отображения тени является связанным. В принципе, если отбросить условие, что множество двухмерных местоположений для отображения тени является связанным, то тогда возможно, чтобы множество возможных двухмерных местоположений, которые отображаются на связанное множество возможных трехмерных местоположений, содержало множество компонентов связанности. Наличие упомянутого условия гарантирует, что множество двухмерных местоположений для отображения тени на проекции трехмерной области является связанным.

В одном варианте осуществления системы множество двухмерных местоположений для отображения содержится в окружности с центром в двухмерном местоположении указателя на проекции трехмерной области. Длина диаметра окружности определяет максимальный размер тени. Возможные двухмерные местоположения могут быть с легкостью определены как местоположения внутри окружности.

В одном варианте осуществления системы блок местоположения выполнен с возможностью вычисления трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области с использованием значения глубины двухмерного местоположения на проекции трехмерной области, сохраненной в буфере глубины. Использование буфера глубины обеспечивает быстрый способ вычисления трехмерного местоположения на основе двухмерного местоположения с помощью графического аппаратного обеспечения.

В одном варианте осуществления системы блок местоположения выполнен с возможностью вычисления трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области с использованием отслеживания лучей. Использование отслеживания лучей обеспечивает более распространенный способ вычисления трехмерного местоположения на основе двухмерного местоположения, чем использование буфера глубины.

В одном варианте осуществления системы блок тени дополнительно выполнен с возможностью определения цвета тени для отображения тени на основе характеристики множества двухмерных местоположений или на основе характеристики множества трехмерных местоположений. Например, блок тени может быть дополнительно выполнен с возможностью вычисления трехмерного тензора моментов инерции множества трехмерных местоположений. Если отношение наибольшего главного значения к наименьшему главному значению больше, чем заданное пороговое значение, то можно считать, что тень указывает удлиненную структуру и может быть показана в первом цвете. В противном случае можно считать, что тень указывает овальную структуру и может быть показана во втором цвете.

В дополнительном аспекте изобретения система в соответствии с настоящим изобретением содержится в устройстве захвата изображения.

В дополнительном аспекте изобретения система в соответствии с настоящим изобретением содержится в рабочей станции.

В дополнительном аспекте изобретения способ определения обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения содержит:

этап отображения для вычисления проекции трехмерной области для отображения на устройстве отображения;

этап указателя для вычисления двухмерного местоположения указателя на проекции трехмерной области на основе входного сигнала местоположения указателя;

этап местоположения для вычисления трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области; и

этап тени для определения множества двухмерных местоположений для отображения тени на проекции трехмерной области, причем множество двухмерных местоположений для отображения тени содержит двухмерные местоположения указателя на проекции трехмерной области и множество трехмерных местоположений, вычисленное на основе множества двухмерных местоположений для отображения тени, является связанным, таким образом определяя обратную связь по трехмерному местоположению указателя в трехмерной области данных изображения.

В дополнительном аспекте изобретения компьютерный программный продукт, предназначенный для загрузки компьютерным устройством, содержит инструкции для определения обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения, причем компьютерное устройство содержит блок обработки и память, причем компьютерный программный продукт, после того как он загружен, позволяет упомянутому блоку обработки выполнять следующие задачи:

вычисление проекции трехмерной области для отображения на устройстве отображения;

вычисление двухмерного местоположения указателя на проекции трехмерной области на основе входного сигнала местоположения указателя;

вычисление трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области; и

определение множества двухмерных местоположений для отображения тени на проекции трехмерной области, причем множество двухмерных местоположений для отображения тени содержит двухмерное местоположение указателя на проекции трехмерной области и множество трехмерных местоположений, вычисленное на основе множества двухмерных местоположений для отображения тени, является связанным, таким образом определяя обратную связь по трехмерному местоположению указателя в трехмерной области данных изображения.

Модификации и их разновидности устройства захвата изображения рабочей станции, способа и/или компьютерного программного продукта, который соответствует описываемым модификациям системы и их разновидностям, могут быть выполнены специалистами на основе настоящего описания.

Специалисту будет понятно, что способ можно применять для данных трехмерных и четырехмерных изображений, полученных с помощью различных модальностей захвата, например, но не ограничиваясь этим, компьютерной томографии (CT), отображения магнитного резонанса (MRI), ультразвука (US), томографии, основанной на методе позитронной эмиссии (PET), компьютерной томографии на основе эмиссии одного фотона (SPECT) и ядерной медицины (NM).

Краткое описание чертежей

Эти и другие аспекты изобретения станут очевидны и будут разъяснены в отношении вариантов осуществления и модификаций, описанных далее со ссылкой на прилагаемые чертежи, на которых:

на фиг. 1 показана условно структурная схема примера варианта осуществления системы;

на фиг. 2 показана проекция трехмерной области данных изображения, содержащая пример структуры и иллюстрирующая пример обратной связи по трехмерному местоположению указателя в трехмерной области;

на фиг. 3 показаны две идентичные проекции трехмерной области данных изображения, содержащие кровеносный сосуд и зашумленную структуру и иллюстрирующие два примера обратных связей по трехмерным местоположениям указателя в трехмерной области;

на фиг. 4 показана проекция трехмерной области данных изображения, содержащая тонкий кровеносный сосуд поверх занятого фона и иллюстрирующая пример обратной связи по трехмерному местоположению указателя в трехмерной области;

на фиг. 5 показана схема последовательности операций примера осуществления способа;

на фиг. 6 показан условно пример варианта осуществления устройства захвата изображения; и

на фиг. 7 показан условно пример варианта осуществления рабочей станции.

Одинаковые цифровые обозначения используются для обозначения аналогичных частей по всем фигурам.

Подробное описание вариантов осуществления

На фиг. 1 показана условно структурная схема примера варианта осуществления системы 100 определения обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения, причем система 100 содержит:

блок 110 отображения для вычисления проекции трехмерной области для отображения на устройстве отображения;

блок 115 указателя для вычисления двухмерного местоположения указателя на проекции трехмерной области на основе входного сигнала местоположения указателя;

блок 120 местоположения для вычисления трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области; и

блок 125 тени для определения множества двухмерных местоположений для отображения тени на проекции трехмерной области, причем множество двухмерных местоположений для отображения тени содержит двухмерное местоположение указателя на проекции трехмерной области и множество трехмерных местоположений, вычисленное на основе множества двухмерных местоположений для отображения тени, является связанным.

Пример варианта осуществления системы 100 дополнительно содержит следующие необязательные блоки:

блок 160 управления для управления последовательностью операций в системе 100;

блок 170 памяти для сохранения данных.

В одном варианте осуществления системы 100 имеется три входных соединителя 181, 182 и 183 для входящих данных. Первый входной соединитель 181 выполнен с возможностью принимать данные, поступающие от средства хранения данных, например, но не ограничиваясь этим, от жесткого диска, магнитной ленты, флэш-памяти или оптического диска. Второй входной соединитель 182 выполнен с возможностью принимать данные, поступающие от пользовательского входного устройства, например, но не ограничиваясь этим, от мыши (манипулятора) или сенсорного экрана. Третий входной соединитель 183 выполнен с возможностью принимать данные, поступающие от пользовательского входного устройства, такого как клавиатура. Входные соединители 181, 182 и 183 соединены с входным блоком 180 управления.

В одном варианте осуществления системы 100 имеется два выходных соединителя 191 и 192 для исходящих данных. Первый выходной соединитель 191 выполнен с возможностью выводить данные на устройство хранения данных, например на жесткий диск, магнитную ленту, флэш-память или оптический диск. Второй выходной соединитель 192 выполнен с возможностью выводить данные на устройство отображения. Выходные соединители 191 и 192 принимают соответствующие данные через выходной блок 190 управления.

Специалисту будет понятно, что существует много способов соединения входных устройств с входными соединителями 181, 182 и 183 и соединения выходных устройств с выходными соединителями 191 и 192 системы 100. Эти способы включают в себя, но не ограничиваются этим, проводное и беспроводное соединение, цифровую сеть, например, но не ограничиваясь этим, локальную сеть (LAN), глобальную сеть (WAN), интернет, цифровую телефонную сеть и аналоговую телефонную сеть.

В одном варианте осуществления системы 100 система 100 содержит блок 170 памяти. Система 100 выполнена с возможностью принимать входные данные от внешних устройств через любой из входных соединителей 181, 182 и 183 и сохранять принятые входные данные в блоке 170 памяти. Загрузка входных данных в блок 170 памяти позволяет получить быстрый доступ к существенным частям данных с помощью блоков системы 100. Входные данные могут включать в себя, например, данные изображения. Блок 170 памяти может быть реализован с помощью различных устройств, например, но не ограничиваясь этим, микросхемы оперативного запоминающего устройства (RAM), микросхемы постоянного запоминающего устройства (ROM) и/или накопителя на жестких дисках и жесткого диска. Блок 170 памяти может быть дополнительно выполнен с возможностью сохранения выходных данных. Выходные данные включают в себя, например, проекцию трехмерной области данных изображения. Блок 170 памяти также выполнен с возможностью принимать данные от и передавать данные к блокам системы 100, блоку 110 отображения, блоку 115 указателя, блоку 120 местоположения, блоку 125 тени и блоку 160 управления посредством шины 175 памяти. Блок 170 памяти дополнительно выполнен с возможностью делать выходные данные доступными внешним устройствам посредством любого из выходных соединителей 191 и 192. Сохранение данных из блоков системы 100 в блоке 170 памяти может выгодно улучшить производительность блоков системы 100, а также повысить скорость передачи выходных данных из блоков системы 100 к внешним устройствам.

Альтернативно, система 100 может не содержать блок 170 памяти и шину 175 памяти. Входные данные, используемые системой 100, могут быть предоставлены, по меньшей мере, одним внешним устройством, например внешней памятью или процессором, соединенными с блоками системы 100. Аналогично, выходные данные, формируемые системой 100, могут быть предоставлены, по меньшей мере, одному внешнему устройству, например внешней памяти или процессору, соединенным с блоками системы 100. Блоки системы 100 могут быть выполнены с возможностью принимать данные друг от друга через внутренние соединители или шину данных.

В одном варианте системы 100 система 100 содержит блок 160 управления для управления последовательностью операций в системе 100. Блок управления может быть выполнен с возможностью принимать управляющие данные от и передавать управляющие данные к блокам системы 100. Например, после приема новых входных данных местоположения указателя блок 115 указателя может быть выполнен с возможностью посылать управляющие данные - «новые принятые входные данные местоположения указателя» в блок 160 управления, а блок 160 управления, в свою очередь, может быть выполнен с возможностью передавать управляющие данные - «получить новое двухмерное местоположение указателя» в блок 125 тени, запрашивая блок 125 тени принять новое двухмерное местоположение указателя от блока 115 указателя. Альтернативно, функция управления может быть реализована в другом блоке системы 100.

Данные трехмерного изображения содержат элементы, причем каждый элемент (x, y, z, I) данных содержит трехмерное местоположение (x, y, z), типично представляемое с помощью трех координат x, y, z прямоугольной системы координат в системе координат данных изображения и яркости I в этом местоположении. Объем данных трехмерного изображения может быть определен как объем, содержащий все местоположения (x, y, z), содержащиеся в элементах (x, y, z, I) данных изображения. Элемент данных может быть интерпретирован как воксель, маленький объем, типично куб или кубоид, расположенный в местоположении (x, y, z), которое, например, может быть местоположением вершины или центра вокселя. Объем изображения может быть интерпретирован как объединение всех вокселей.

Проекция трехмерной области данных изображения может быть вычислена и отображена на устройстве отображения. Проекция трехмерной области данных изображения может быть интерпретирована как совокупность элементов данных двухмерного изображения, где каждый элемент данных двухмерного изображения характеризуется двумя координатами (i, j) в системе координат устройства отображения и яркостью в этом местоположении, возможно, несколькими яркостями для цветных изображений. Специалисту будет понятно, что элемент данных двухмерного изображения может быть интерпретирован как пиксель, то есть маленькая область устройства отображения, как правило, квадрат или прямоугольник, описанная посредством местоположения пикселя, например, координатами (i, j) вершины или центра пикселя и яркостью пикселя, возможно, несколькими яркостями в случае цветных изображений.

Существует много способов вычисления проекции трехмерной области данных изображения. Проекция может быть вычислена с использованием, например, метода проекции максимальной интенсивности (MIP), метода проекции изоповерхности (ISP) и метода прямой объемной визуализация (DVR). В MIP находят трехмерное местоположение максимальной яркости вдоль луча проецирования. Отслеживание луча выполняется от плоскости наблюдения. Яркость пикселя на плоскости наблюдения может быть установлена в значение найденной максимальной яркости вдоль луча. В ISP лучи проецирования прерываются, когда они пересекают интересующую изоповерхность. Изоповерхность определяют как множество уровня функции яркости, то есть как множество всех вокселей, имеющих одинаковую яркость. Более подробную информацию по MIP и ISP можно найти в книге авторов Barthold Lichtenbelt, Randy Crane, Shaz Naqvi, озаглавленной «Introduction to Volume Rendering», опубликованной Hewlett - Packard Professional Books, Prentice Hall; Bk&CD-Rom edition (1998). В DVR функция передачи назначает визуализируемое свойство, например непрозрачность, яркостям, содержащимся в данных изображения. Осуществление DVR описано в статье авторов T. Heet et al, озаглавленной «Generation of Transfer Functions with Stochastic Search Techniques», опубликованной в Proceedings of IEEE Visualization, страницы 227-234, 1996.

Объекты, такие как изоповерхности, могут быть идентифицированы в данных изображения и могут быть использованы для определения объектов в системах координат модели графического процессора. Графический конвейер графического процессора может быть использован для вычисления проекции объектов, содержащихся в системах координат модели. Графический конвейер описан в книге авторов J.D. Foley et al., озаглавленной «Computer graphics: Principles and practice», 2^nd Ed., опубликованной Addison - Wesley, Reading, Massachusetts, USA, 1996, далее именуемой как ссылочный документ 1. Специалисту будет понятно, что существует много способов, которые могут быть применены для вычисления проекции трехмерной области данных изображения. Выбор способа вычисления проекции трехмерной области данных изображения не ограничивает объем изобретения.

Блок 110 отображения системы 100 выполнен с возможностью вычисления проекции трехмерной области для отображения на устройстве отображения с использованием способа визуализации изображения. Например, блок отображения может быть спроектирован и выполнен с возможностью применения DVR.

Блок 115 указателя системы 100 выполнен с возможностью вычисления двухмерного местоположения указателя на проекции трехмерной области на основе входного сигнала местоположения указателя. Входной сигнал местоположения указателя может быть получен от навигационного устройства указателя, такого как, но не ограничиваясь этим, мышь, трекбол (шаровой манипулятор), зрительное устройство слежения, сенсорный экран. Специалисту будут понятны способы вычисления двухмерного местоположения указателя на проекции трехмерной области на основе входного сигнала местоположения указателя.

Блок 120 местоположения системы 100 выполнен с возможностью вычисления трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области. Для каждого двухмерного местоположения, например для каждого пикселя, на проекции трехмерной области существует трехмерное местоположение, например воксель, в трехмерной области, соответствующее упомянутому двухмерному местоположению. В одном варианте осуществления системы 100 блок 120 местоположения выполнен с возможностью вычисления трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области с использованием значения глубины двухмерного местоположения на проекции трехмерной области, сохраненного в буфере глубины. Значение z(i,j) глубины двухмерного местоположения (i,j) содержит координату z соответствующего трехмерного местоположения. Обычно это координата z в так называемой системе нормализованных координат устройства (NDC). В этом варианте осуществления блок местоположения выполнен с возможностью преобразования трех координат (i,j,z(i,j)) обратно в так называемую мировую (внешнюю) или универсальную систему координат с использованием преобразований графического конвейера, описанного, например, в ссылочном документе 1.

Альтернативно, в одном варианте осуществления системы 100 блок 120 местоположения выполнен с возможностью вычисления трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области с использованием отслеживания лучей. Например, в изображении, визуализированном с использованием MIP, яркость в двухмерном местоположении на плоскости обзора устанавливается в значение максимальной яркости вдоль луча, отслеживаемого от упомянутого двухмерного местоположения на плоскости обзора в направлении, по существу, перпендикулярном плоскости обзора. Вычисления, как правило, выполняются в мировой системе координат. Плоскость обзора отображается на устройстве отображения для отображения проекции трехмерной области на устройстве отображения. Таким образом, трехмерное местоположение в трехмерной области, вычисленное на основе двухмерного местоположения на проекции трехмерной области, причем двухмерное местоположение на проекции трехмерной области соответствует местоположению на плоскости обзора, является трехмерным местоположением максимальной яркости на луче, отслеживаемом от двухмерного местоположения на плоскости обзора, по существу, перпендикулярной плоскости обзора.

Специалисту также будет понятно, что существует много способов вычисления трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области, и то, что описанные способы, если они не заявлены в качестве признака варианта осуществления, иллюстрируют изобретение без ограничения объема формулы изобретения.

Блок 125 тени системы 100 выполнен с возможностью вычисления множества двухмерных местоположений для отображения тени на проекции трехмерной области, причем множество двухмерных местоположений для отображения тени содержит двухмерные местоположения указателя на проекции трехмерной области и множество трехмерных местоположений, вычисленное на основе множества двухмерных местоположений для отображения тени, является связанным, таким образом определяя обратную связь по трехмерному местоположению указателя в трехмерной области данных изображения. При работе блок 125 тени выполнен с возможностью принимать двухмерное местоположение указателя. Блок 125 тени выполнен с возможностью определять множество возможных двухмерных местоположений для отображения тени на проекции трехмерной области. Блок 120 местоположения выполнен с возможностью вычисления трехмерных местоположений возможных двухмерных местоположений, далее именуемых возможными трехмерными местоположениями. Блок 125 тени дополнительно выполнен с возможностью получения множества вычисленных возможных трехмерных местоположений, содержащих трехмерное местоположение указателя. Используя определение связанности, блок 125 тени определяет связанное множество возможных трехмерных местоположений, содержащих трехмерное местоположение указателя. Например, если интерпретировать возможные трехмерные местоположения как воксели, то может быть определено наибольшее 26-связаное множество возможных вокселей. Два кубовидных вокселя являются 26-связанными, если они делят, по меньшей мере, одну общую вершину. Возможные двухмерные местоположения, соответствующие возможным трехмерным местоположениям, содержащимся в наибольшем связанном множестве возможных трехмерных местоположений, содержащих трехмерное местоположение указателя, определяют множество двухмерных местоположений для отображения тени на проекции трехмерной области.

Специалисту будет понятно, что существует множество подходящих определений связанности, которые могут быть применены в вариантах осуществления системы 100. Описанная система 100, использующая 26-связанность, иллюстрирует вариант осуществления системы 100 и ее не следует понимать как ограничивающую объем изобретения.

Тень может быть создана, например, с помощью изменения яркости и/или цвета пикселей, соответствующих двухмерным местоположениям из определенного множества двухмерных местоположений для отображения тени на проекции трехмерной области.

Система 100 также может быть выполнена с возможностью дополнительного отображения обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения. Например, система 100 может быть дополнительно выполнена с возможностью отображения двухмерного местоположения указателя и координат трехмерного местоположения указателя.

В одном варианте осуществления системы 100 множество двухмерных местоположений для отображения тени является связанным. В принципе, возможно, чтобы множество возможных двухмерных местоположений не было связанным, в то время как множество возможных трехмерных местоположений, вычисленное на основе этих возможных двухмерных местоположений, являлось бы связанным множеством. Такая ситуация скорее всего имеет место тогда, когда размер вокселей, например длина грани кубического вокселя, намного больше, например в 5 раз больше, чем размер пикселей, например чем длина стороны квадратного пикселя. Для обеспечения того, чтобы множество двухмерных местоположений было связанным, блок 125 тени может быть выполнен с возможностью сохранять только один связанный компонент множества двухмерных местоположений для отображения тени на проекции трехмерной области. Критерий связанности может быть, например, критерием 4-связанности. Два пикселя являются 4-связанными, если они делят одну общую сторону.

Специалисту будет понятно, что существуют дополнительные условия, которые могут быть наложены на множество двухмерных местоположений для отображения тени и/или на множество трехмерных местоположений, вычисленных на основе двухмерных местоположений. Объем формулы изобретения не зависит от этих дополнительных условий.

В одном варианте осуществления системы 100 множество двухмерных местоположений для отображения тени содержится в окружности с центром в двухмерном местоположении указателя на проекции трехмерной области. Длина диаметра окружности определяет максимальный размер тени. Возможные двухмерные местоположения являются местоположениями внутри окружности. Радиус окружности может быть определен заранее или может быть определен системой 100, например, на основе свойства отображаемой проекции или на основе входных данных пользователя. Специалисту будет понятно, что формы, отличные от окружности, также могут быть приняты в рассмотрение.

В одном варианте осуществления системы 100 блок 125 тени дополнительно выполнен с возможностью определения цвета тени на основе характеристики множества двухмерных местоположений для отображения тени или на основе характеристики множества трехмерных местоположений. Например, блок 125 тени дополнительно может быть выполнен с возможностью вычисления трехмерного тензора моментов инерции множества трехмерных местоположений. Если отношение наибольшего главного значения к наименьшему главному значению больше заданного порогового значения, например больше 3, то можно считать, что тень указывает удлиненную структуру и может быть показана в первом цвете. В противном случае можно считать, что тень указывает овальную структуру и может быть показана во втором цвете. В другом варианте осуществления цвет тени может быть основан на отношении главных компонентов тензора двухмерной структуры, вычисленной в двухмерном местоположении указателя. Определение, вычисление и свойства тензоров структуры, полученных из данных изображения, описываются в статье «A tensor approach for local structure analysis in multi-dimensional images» авторов H. Haubecker и B. Jahne, опубликованной в «3D Image Analysis and Synthesis' 96», под редакцией B. Girod et al., Sankt Augustin 1996, 171 - 178. Другие характеристики, например кривизна поверхности, определенная на основе множества трехмерных местоположений, средняя яркость трехмерных местоположений, содержащихся во множестве трехмерных местоположений, также могут быть применены для определения цвета тени.

На фиг. 2 показана проекция трехмерной области данных изображения, содержащая пример структуры, и проиллюстрирован пример обратной связи по трехмерному местоположению указателя в трехмерной области. Местоположение указателя указывается с помощью символа креста и таблички M1. Ниже указателя также отображается глубина “1232.3 (3D)” трехмерного местоположения указателя. Интересующая структура, указанная с помощью указателя M1, является кровеносным сосудом 1. Отображаемая тень 2 четко и однозначно показывает, что структура, указанная с помощью указателя, является кровеносным сосудом 1.

На фиг. 3 показаны две идентичные проекции трехмерной области данных изображения, содержащие кровеносный сосуд и зашумленную структуру, и проиллюстрированы два примера обратных связей по двум трехмерным местоположениям указателя в трехмерной области. На обеих проекциях местоположение указателя указано с помощью символа креста и таблички M1. Ниже каждого указателя также отображается глубина трехмерного местоположения каждого указателя. Интересующая структура является кровеносным сосудом 1. Однако несколькими сантиметрами выше кровеносного сосуда также находится шум и, таким образом, с трудом видимая структура. На первой проекции 31 не видно никакой тени вокруг символа креста, указывающего позицию указателя. Это происходит потому, что указатель не указывает кровеносный сосуд 1, а указывает небольшую часть 3 зашумленной структуры выше кровеносного сосуда 1. На второй проекции 32 тень 2, отображаемая на кровеносном сосуде 1, четко и однозначно указывает местоположение указателя. Небольшая часть 3 зашумленной структуры также может быть видна. Этот пример иллюстрирует то, что обратная связь тени очень полезна для выбора интересующей структуры, например, с помощью щелчка мышью, когда указатель указывает интересующую структуру. Без обратной связи тени было бы трудно определить, что структура, указанная на первой проекции 31, является небольшой частью 3 зашумленной структуры, а не кровеносным сосудом 1. Это могло бы привести к выбору неверной структуры.

На фиг. 4 показана проекция трехмерной области данных изображения, содержащей тонкий кровеносный сосуд поверх занятого фона, и проиллюстрирован пример обратной связи по трехмерному местоположению указателя в трехмерной области. Местоположение указано символом креста и табличкой M1. Ниже указателя также отображается глубина “145.0 (3D)” трехмерного местоположения указателя. Интересующая структура, указанная с помощью указателя, является тонким кровеносным сосудом 1, отображаемым поверх занятого фона, содержащего множество структур. Отображаемая тень 2 четко и однозначно показывает, что структура, указанная с помощью указателя, является кровеносным сосудом 1. Размер тени больше, чем в двух предыдущих примерах, для того чтобы лучше визуализировать интересующую структуру.

Специалисту также будет понятно, что другие варианты осуществления системы 100 также возможны. В числе прочего также возможно переопределить блоки системы и перераспределить их функции. Например, в одном варианте осуществления системы 100 функции блока 120 местоположения могут быть объединены с функциями блока 125 тени. В еще одном варианте осуществления системы 100 блок 125 тени может быть разделен на блок генерации для генерирования возможных двухмерных местоположений для отображения тени и на блок оценки для оценки возможных двухмерных местоположений для отображения тени. В еще одном варианте осуществления системы 100 может быть множество блоков тени, заменяющих блок 125 тени. Каждый блок тени из множества блоков тени может быть выполнен с возможностью применения различных критериев связанности.

Блоки системы 100 могут быть реализованы с использованием процессора. Обычно их функции выполняются под управлением программного продукта программного обеспечения. При выполнении программный продукт программного обеспечения обычно загружается в память, подобную RAM, и выполняется оттуда. Программа может быть загружена из фоновой памяти, подобной ROM, жесткого диска или магнитного и/или оптического хранилища или может быть загружена через сеть наподобие интернета.

Дополнительно, интегральная схема, специфичная для приложения, может обеспечить описанную функциональность.

На фиг. 5 показана схема последовательности операций примера осуществления способа 500 определения обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения. Способ 500 начинается с этапа 510 отображения для вычисления проекции трехмерной области для отображения на устройстве отображения. После этапа 510 отображения способ начинает цикл обратной связи и переходит к этапу 515 указателя для вычисления двухмерного местоположения указателя на проекции трехмерной области на основе входного сигнала местоположения указателя. После этапа 515 указателя способ переходит к этапу 525 тени для определения множества двухмерных местоположений для отображения тени на проекции трехмерной области, причем множество двухмерных местоположений для отображения тени содержит двухмерное местоположение указателя и множество трехмерных местоположений, вычисленное на основе множества двухмерных местоположений для отображения тени, является связанным. При определении множества двухмерных местоположений для отображения тени способ 500 выполняет этап 520 местоположения для того, чтобы вычислить трехмерные местоположения возможных двухмерных местоположений. Множество двухмерных местоположений для отображения тени определяют на основе вычисленных трехмерных местоположений возможных двухмерных местоположений. После определения множества двухмерных местоположений для отображения тени способ 500 ожидает появления нового входного сигнала местоположения указателя и затем переходит к этапу 515 указателя. Альтернативно, после приема команды выйти из цикла обратной связи способ завершается.

Порядок этапов в способе 500 не является обязательным, поэтому специалист может поменять порядок следования некоторых этапов или выполнить некоторые этапы одновременно с использованием моделей поточной обработки, мультипроцессорных систем или множества процессоров без отступления от идеи настоящего изобретения. Дополнительно, два или более этапов способа 500 настоящего изобретения могут быть объединены в один этап. Дополнительно, этап способа 500 настоящего изобретения может быть разделен на множество этапов.

На фиг. 6 схематически показан пример варианта осуществления устройства 600 захвата изображения, использующего систему 100, причем упомянутое устройство 600 захвата изображения содержит блок 610 захвата изображения, связанный посредством внутренней связи с системой 100, входным соединителем 601 и выходным соединителем 602. Эта компоновка повышает возможности устройство 600 захвата изображения, обеспечивая упомянутое устройство 600 захвата изображения преимущественными возможностями системы 100 определения обратной связи по трехмерному местоположению в трехмерной области данных изображения. Примеры устройства захвата изображения включают в себя, но не ограничиваясь этим, систему CT (компьютерная томография), рентгенографическую систему, систему MRI (отображение магнитного резонанса), систему US (ультразвук), систему PET (томография на основе метода позитронной эмиссии), систему SPECT (томография на основе эмиссии одного фотона), систему MN (ядерная медицина).

На фиг. 7 показан пример варианта осуществления рабочей станции 700. Рабочая станция содержит системную шину 701. Процессор 710, память 720, дисковый входной/выходной (I/O) адаптер 730 и пользовательский интерфейс (UI) 740 оперативно соединены с системной шиной 701. Дисковое устройство 731 хранения оперативно соединено дисковым адаптером 730 I/O. Клавиатура 741, мышь 742 и устройство 743 отображения оперативно связаны с UI 740. Система 100 согласно настоящему изобретению, реализованная в виде компьютерной программы, сохраняется на дисковом устройстве 731 хранения. Рабочая станция 700 выполнена с возможностью загрузки программы и входных данных в память 720 и выполнения программы на процессоре 710. Пользователь может вводить информацию в рабочую станцию 700, используя клавиатуру 741 и/или мышь 742. Рабочая станция выполнена с возможностью выводить информацию на устройство 743 отображения и/или на диск 731. Специалисту будет понятно, что существует множество других вариантов осуществления рабочей станции 700, известных в уровне техники, и что настоящий вариант осуществления служит для иллюстрации настоящего изобретения и его не следует воспринимать в качестве ограничивающего изобретение.

Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение, и что специалисты смогут разработать альтернативные варианты осуществления без отклонения от объема изобретения, определяемого прилагаемой формулой изобретения. В формуле изобретения любые ссылочные символы, помещенные в скобки, не должны пониматься как ограничивающие изобретение. Термин «содержащий» не исключает наличия элементов или этапов, не перечисленных в формуле изобретения или в описании. Указание элементов в единственном числе не исключает возможности наличия множества таких элементов. Изобретение может быть реализовано с помощью аппаратных средств, содержащих несколько различных элементов, и с помощью средств программируемого компьютера. В пунктах формулы изобретения, перечисляющих несколько блоков, некоторые из этих блоков могут быть реализованы с помощью одного и того же средства аппаратного или программного обеспечения. Использование терминов первый, второй, третий и так далее не указывает на наличие какого-либо порядка. Эти термины следует понимать в качестве обозначений.

Изобретение относится к визуализации указателя в проекции трехмерной области. Техническим результатом является повышение четкости и снижение неопределенности указания трехмерного местоположения на структуре. Система (100) определения обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения содержит блок (110) отображения для вычисления проекции трехмерной области для отображения на устройстве отображения; блок (115) указателя для вычисления двухмерного местоположения указателя на проекции трехмерной области на основе входного сигнала местоположения указателя; блок (120) местоположения для вычисления трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области и блок (125) тени для определения множества двухмерных местоположений для отображения тени на проекции трехмерной области, причем множество двухмерных местоположений для отображения тени содержит двухмерные местоположения указателя на проекции трехмерной области и множество трехмерных местоположений, вычисленных на основе множества двухмерных местоположений для отображения тени, является связанным. Как правило, связанное множество возможных трехмерных местоположений, содержащих трехмерное местоположение указателя, содержится в структуре, указанной с помощью указателя. 5 н. и 6 з.п. ф-лы, 7 ил.

1. Система (100) определения обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения, содержащая:
блок (110) отображения для вычисления проекции трехмерной области для отображения на устройстве отображения;
блок (115) указателя для вычисления двухмерного местоположения указателя на проекции трехмерной области на основе входного сигнала местоположения указателя;
блок (120) местоположения для вычисления трехмерного местоположения в трехмерной области на основе и согласно двухмерному местоположению на проекции трехмерной области и
блок (125) тени для (i) определения множества возможных двухмерных местоположений для отображения тени на проекции трехмерной области, причем множество возможных двухмерных местоположений основано на и содержит двухмерное местоположение указателя, (ii) вычисления, с использованием блока местоположения, множества возможных трехмерных местоположений на основе множества возможных двухмерных местоположений, (iii) определения, на основе определения связанности, связанного подмножества из множества возможных трехмерных местоположений, содержащего возможные трехмерные местоположения, которые связаны в трехмерной области, (iv) установления соответствующего подмножества из множества возможных двухмерных местоположений, содержащего возможные двухмерные местоположения, которые соответствуют возможным трехмерным местоположениям связанного подмножества, и (v) отображения тени на проекции трехмерной области на основе возможных двухмерных местоположений соответствующего подмножества для предоставления обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения.

2. Система (100) по п.1, в которой связанное подмножество из множества возможных трехмерных местоположений является наибольшим связанным подмножеством из множества возможных трехмерных местоположений.

3. Система (100) по п.1, в которой множество двухмерных местоположений для отображения тени является связанным.

4. Система (100) по п.1, в которой множество двухмерных местоположений для отображения тени содержится в окружности с центром в двухмерном местоположении указателя на проекции трехмерной области.

5. Система (100) по п.1, в которой блок (120) местоположения выполнен с возможностью вычисления трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области с использованием значения глубины двухмерного местоположения на проекции трехмерной области, сохраненного в буфере глубины.

6. Система (100) по п.1, в которой блок (120) местоположения выполнен с возможностью вычисления трехмерного местоположения в трехмерной области на основе двухмерного местоположения на проекции трехмерной области с использованием отслеживания лучей.

7. Система (100) по п.1, в которой блок (125) дополнительно выполнен с возможностью определения цвета тени на основе характеристики множества двухмерных местоположений для отображения тени или на основе характеристики множества трехмерных местоположений.

8. Устройство (600) захвата изображения, содержащее систему (100) по п.1.

9. Рабочая станция (700), содержащая систему (100) по п.1.

10. Способ (500) определения обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения, содержащий следующие этапы:
этап (510) отображения, на котором вычисляют проекцию трехмерной области для отображения на устройстве отображения;
этап (515) указателя, на котором вычисляют двухмерное местоположение указателя на проекции трехмерной области на основе входного сигнала местоположения указателя;
этап (520) определения местоположения, на котором вычисляют трехмерное местоположение в трехмерной области на основе и согласно двухмерному местоположению на проекции трехмерной области; и
этап (525) тени, на котором (i) определяют множество возможных двухмерных местоположений для отображения тени на проекции трехмерной области, причем множество возможных двухмерных местоположений основано на и содержит двухмерное местоположение указателя, (ii) вычисляют, с использованием этапа определения местоположения, множество возможных трехмерных местоположений на основе множества возможных двухмерных местоположений, (iii) определяют, на основе определения связанности, связанное подмножество из множества возможных трехмерных местоположений, содержащее возможные трехмерные местоположения, которые связаны в трехмерной области, (iv) устанавливают соответствующее подмножество из множества возможных двухмерных местоположений, содержащее возможные двухмерные местоположения, которые соответствуют возможным трехмерным местоположениям связанного подмножества, и (v) отображают тень на проекции трехмерной области на основе возможных двухмерных местоположений соответствующего подмножества для предоставления обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения.

11. Компьютерно-читаемый носитель, содержащий сохраненные на нем инструкции, которые, при исполнении компьютерным устройством, предписывают компьютерному устройству выполнять способ определения обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения, причем компьютерное устройство содержит блок обработки и память, причем инструкции, после того как они загружены в память, обеспечивают упомянутому блоку обработки возможность выполнять способ, содержащий:
этап отображения, на котором вычисляют проекции трехмерной области для отображения на устройстве отображения;
этап указателя, на котором вычисляют двухмерное местоположение указателя на проекции трехмерной области на основе входного сигнала местоположения указателя;
этап определения местоположения, на котором вычисляют трехмерное местоположение в трехмерной области на основе и согласно двухмерному местоположению на проекции трехмерной области; и
этап (525) тени, на котором (i) определяют множество возможных двухмерных местоположений для отображения тени на проекции трехмерной области, причем множество возможных двухмерных местоположений основано на и содержит двухмерные местоположения указателя, (ii) вычисляют, с использованием этапа определения местоположения, множество возможных трехмерных местоположений на основе множества возможных двухмерных местоположений, (iii) определяют, на основе определения связанности, связанное подмножество из множества возможных трехмерных местоположений, содержащее возможные трехмерные местоположения, которые связаны в трехмерной области, (iv) устанавливают соответствующее подмножество из множества возможных двухмерных местоположений, содержащее возможные двухмерные местоположения, которые соответствуют возможным трехмерным местоположениям связанного подмножества, и (v) отображают тень на проекции трехмерной области на основе возможных двухмерных местоположений соответствующего подмножества для предоставления обратной связи по трехмерному местоположению указателя в трехмерной области данных изображения.