ГОЛОГРАФИЧЕСКИЕ ПОЛЬЗОВАТЕЛЬСКИЕ ИНТЕРФЕЙСЫ ДЛЯ МЕДИЦИНСКИХ ПРОЦЕДУР Российский патент 2017 года по МПК G03H1/04 A61B1/00 

Перекрестная ссылка на родственные заявки

По настоящей заявке испрашивается приоритет предварительной заявки США номер 61/549273, поданной 20 октября 2011 г., полное раскрытие которой настоящим включено в настоящее описание посредством ссылки во всей полноте.

Область техники, к которой относится изобретение

Настоящее раскрытие относится к медицинским системам, устройствам и способам и, более конкретно, к системам, устройствам и способам, относящимся к интеграции данных голографических изображений с другой информацией для повышения точности и эффективности в медицинских применениях.

Уровень техники

Были исследованы автостереоскопические устройства отображения (ASD) для трехмерной (3D) визуализации на двумерной (2D) панели без необходимости в пользовательских очках. Однако, разрешение и время обработки ограничивают возможность построения с помощью данной технологии высококачественных изображений. Кроме того, данные устройства отображения обычно ограничены 2D плоскостью (например, не дают возможности врачу перемещать или вращать устройство отображения, для того чтобы видеть данные с различных ракурсов). Хотя различные ракурсы могут быть обеспечены с ограниченным полем обзора, поле обзора для данного типа устройств отображения продолжает страдать от нарушения параллакса движения.

Аналогично, пользовательский ввод для управления объектами данных в значительной степени ограничен преобладающими 2D механизмами, например мышами, планшетами, клавиатурами, сенсорными панелями, слежением с помощью камеры и т.д. Соответственно, имеет место необходимость в системе, устройстве и способе, как раскрыто и описано в настоящем документе, которые могут применяться для преодоления вышеуказанных недостатков.

Раскрытие изобретения

В соответствии с настоящими принципами система интерактивного голографического отображения включает в себя модуль создания голограммы, сконфигурированный так, чтобы отображать голографически построенное анатомическое изображение. Система определения местоположения сконфигурирована так, чтобы определять контролируемое пространство на голографически построенном анатомическом изображении или поблизости от него. Положение и ориентация одного или более контролируемых объектов контролируются системой определения местоположения, так что совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами вызывает отклик на голографически построенном анатомическом изображении.

Другая система интерактивного голографического отображения включает в себя процессор и память, связанную с процессором. Модуль создания голограммы содержится в памяти и сконфигурирован так, чтобы отображать голографически построенное анатомическое изображение в виде голограммы в воздухе или на голографическом устройстве отображения. Система определения местоположения сконфигурирована так, чтобы определять контролируемое пространство на голографически построенном анатомическом изображении или поблизости от него. Положение и ориентация одного или более контролируемых объектов контролируются системой определения местоположения, так что совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами вызывает отклик на голографически построенном анатомическом изображении, причем данный отклик на голографически построенном анатомическом изображении включает одно или более из: сдвига или вращения голографически построенного анатомического изображения, коррекции увеличения голографически построенного анатомического изображения, нанесения обозначений на голографически построенное анатомическое изображение и генерирования обратной связи.

Способ взаимодействия с голографическим устройством отображения включает в себя: отображение голографически построенного анатомического изображения; определение местоположения контролируемого пространства на голографически построенном анатомическом изображении или поблизости от него для определения области взаимодействия; контроль положения и ориентации одного или более контролируемых объектов системой определения местоположения; определение совпадения пространственных точек между контролируемым пространством и одним или более контролируемыми объектами; и, если определено совпадение, вызывание отклика на голографически построенном анатомическом изображении.

Эти и другие цели, признаки и преимущества настоящего раскрытия будут понятны из следующего подробного описания его иллюстративных вариантов осуществления, которое следует читать в связи с прилагаемыми чертежами.

Краткое описание чертежей

Настоящее раскрытие подробно представляет следующее описание предпочтительных вариантов осуществления со ссылкой на следующие чертежи, причем:

Фиг. 1 представляет собой технологическую блок-схему, изображающую систему для взаимодействия с голограммами в соответствии с иллюстративными вариантами осуществления;

Фиг. 2 представляет собой перспективный вид голограммы, построенной с картой данных или наложением на нее в соответствии с иллюстративным вариантом осуществления;

Фиг. 3 представляет собой блок-схему, изображающую иллюстративную последовательность действий для отображения карты данных или наложения на голографическом изображении в соответствии с иллюстративным вариантом осуществления;

Фиг. 4 представляет собой блок-схему, изображающую иллюстративную систему и последовательность действий для отображения статических или анимированных объектов на голографическом изображении в соответствии с иллюстративным вариантом осуществления;

Фиг. 5 представляет собой схему, изображающую иллюстративное изображение отображения меню объектов для выбора виртуальных объектов во время процедуры для отображения на голографическом изображении в соответствии с иллюстративным вариантом осуществления;

Фиг. 6 представляет собой блок-схему, изображающую иллюстративную систему для управления роботом с помощью голографического изображения в соответствии с иллюстративным вариантом осуществления;

Фиг. 7 представляет собой блок-схему, изображающую иллюстративную систему, которая использует тактильную обратную связь с голографическим изображением, в соответствии с иллюстративным вариантом осуществления;

Фиг. 8 представляет собой схему, изображающую множество видов, обеспечиваемых в различных ракурсах в иллюстративной системе для отображения голографического изображения или тому подобного в соответствии с одним вариантом осуществления;

Фиг. 9 представляет собой блок-схему, изображающую иллюстративную систему для управления роботом удаленно через сеть с помощью голографического изображения в соответствии с иллюстративным вариантом осуществления; и

Фиг. 10 представляет собой технологическую схему, изображающую способ взаимодействия с голограммой в соответствии с иллюстративным вариантом осуществления.

Осуществление изобретения

В соответствии с настоящими принципами описаны системы, устройства и способы, которые применяют технологию голографического отображения для медицинских процедур. Ее можно реализовывать с помощью голографических 3D-технологий (например, голограмм в воздухе) и чувствительных к 3D-вводу в реальном времени способов, таких как оптическое определение формы, для обеспечения большей степени взаимодействия между человеком и данными во время процедуры. Применение голографической технологии с другими технологиями может упрощать выполнение процедуры, выбор инструмента и манипуляцию в анатомической области исследования. Такие иллюстративные варианты осуществления, описанные в настоящем документе, могут использовать голографические 3D-устройства отображения для визуализации в реальном времени объемных массивов данных с иллюстративными способами определения местоположения для определения движений в свободном пространстве во время клинической процедуры, тем самым предлагая новые способы взаимодействия между человеком и данными в интервенционном наборе.

В одном иллюстративном варианте осуществления 3D-голография может быть использована для объединения анатомических данных с функциональной визуализацией и "сенсорной" информацией. Четвертое измерение (например, время, цвет, текстура и т.д.) можно использовать для того, чтобы представлять динамическое мультимодальное 3D-представление состояния исследуемого объекта (например, органа). Отображение может осуществляться (почти) в реальном времени и использовать кодируемую цветом визуальную информацию и/или тактильную обратную связь/тактильную информацию, например для того, чтобы передавать различные эффекты состояний голографически отображаемого исследуемого объекта. Такая информация может включать морфологическую информацию о мишени, функциональную информацию об исследуемом объекте (например, поток, сократимость, биомеханический или химический состав ткани, напряжение, температуру, pH, pO₂, pCO₂ и т.д.) или измеренные изменения свойств мишени вследствие взаимодействия между мишенью и доставляемым препаратом. Иллюстративное голографическое 3D-устройство отображения может быть видно под (практически) любым углом/направлением, так что, например, несколько пользователей одновременно могут взаимодействовать с одними и теми же восприятием и информацией. Альтернативно, можно одновременно отображать различную информацию разным пользователям, находящимся в помещении, как например посредством отображения различной информации на каждой грани куба или многогранника.

В одном варианте осуществления можно "прикасаться" или как-либо еще взаимодействовать с конкретной областью исследования на голографическом 3D-устройстве отображения (например, с помощью одного или более пальцев, виртуальных приспособлений или материальных инструментов, которые отслеживают в том же самом пространстве взаимодействия), и характеристики ткани становятся доступными и отображаются на 3D-голограмме. Такое "прикосновение" можно также использовать для того, например, чтобы вращать виртуальный орган, масштабировать, помечать точки в 3D, прочерчивать схему пути и траектории (например, для обработки, нацеливания и т.д.), выбирать критические зоны, которые не следует затрагивать, выдавать аварийные сигналы и помещать виртуальные объекты (например, имплантаты) в 3D в отображаемую анатомическую 3D-область.

Иллюстративные варианты осуществления в соответствии с настоящим раскрытием можно также использовать для того, чтобы облегчать удаленную процедуру (например, когда практикующий специалист "воздействует" на виртуальный орган, а робот одновременно или последовательно осуществляет процедуру на реальном органе), для отработки процедуры до осуществления реальной процедуры в условиях тренировки или симуляции и/или для того, чтобы рассматривать/исследовать/изучать процедуру после ее осуществления (например, посредством записи данных, хранения и воспроизведения голографического 3D-отображения и любых связанных мультимодальных сигналов, относящихся к клинической процедуре).

Иллюстративные варианты осуществления в соответствии с настоящим раскрытием далее описаны в настоящем документе со ссылкой на прилагаемые чертежи. Притом, что такие иллюстративные варианты осуществления в основном описаны по отдельности друг от друга (например, для облегчения представления и восприятия), среднему специалисту в данной области техники при рассмотрении идей настоящего описания ясно, что такие иллюстративные варианты осуществления можно использовать независимо и/или в комбинации друг с другом. Более того, воплощение и применение иллюстративных вариантов осуществления, описанных в настоящем документе, включая их комбинации и варианты, которые рассматриваются как часть настоящего раскрытия, могут зависеть от, например, конкретного лабораторного или клинического использования/применения, интеграции с другими родственными технологиями, доступных ресурсов, окружающих условий и т.д. Соответственно, ничего в настоящем раскрытии не следует интерпретировать как ограничение объекта, раскрытого в настоящем описании.

Голографическое 3D-устройство отображения в реальном времени в соответствии с настоящими принципами может включать ввод с шестью степенями свободы (DOF) в реальном времени посредством технологии определения местоположения, внедренной в устройство взаимодействия данных (например, тактильное устройство для сенсорной обратной связи). Также можно использовать систему визуализации/контроля для получения многомерных данных. Могут быть обеспечены линии передачи данных между голографическим устройством отображения, системой определения местоположения/устройством взаимодействия и системой визуализации/контроля для коммуникации между данными системами. В одном варианте осуществления устройства отображения, устройства обратной связи, устройства определения местоположения, устройства измерения могут быть использованы или интегрированы с вычислительной рабочей станцией для содействия принятию решений и библиотеками данных с информацией о случаях, которые можно динамически обновлять/запрашивать во время прямой трансляции случая, для тренировки/обучения/руководства процедурой (например, на предмет нахождения аналогичных архивированных клинических случаев, имеющих отношение к процедуре и подвергаемому лечению пациенту).

Следует понимать, что настоящее изобретение описано в терминах медицинских инструментов; однако, идеи настоящего изобретения гораздо шире и применимы к любым системам, которые могут получать преимущество от голографической визуализации. В некоторых вариантах осуществления настоящие принципы используются при отслеживании или анализе сложных биологических или механических систем. В частности, настоящие принципы применимы к процедурам внутреннего слежения в биологических системах, процедурам во всех областях тела, таких как легкие, желудочно-кишечный тракт, выделительные органы, кровеносные сосуды и т.д. Элементы, изображенные на чертежах, могут быть воплощены в различных комбинациях аппаратного обеспечения и программного обеспечения и предоставляют функции, которые могут быть объединены в одном элементе или многих элементах.

Функции различных элементов, показанных на чертежах, могут предоставляться посредством применения специализированного аппаратного обеспечения, а также аппаратного обеспечения, способного к выполнению программного обеспечения в связи с подходящим программным обеспечением. При обеспечении посредством процессора функции могут обеспечиваться посредством одного специализированного процессора, одного совместно используемого процессора или посредством множества отдельных процессоров, некоторые из которых могут быть совместно используемыми. Кроме того, явное использование термина "процессор" или "контроллер" не следует интерпретировать как относящееся исключительно к аппаратному обеспечению, способному к выполнению программного обеспечения, и оно может неявно включать, без ограничения, аппаратное обеспечение цифрового сигнального процессора ("DSP"), доступную только для чтения память ("ROM") для хранения программного обеспечения, память с произвольным доступом ("RAM"), энергонезависимое устройство хранения и т.д.

Кроме того, предполагается, что все утверждения настоящего описания, перечисляющие принципы, аспекты и варианты осуществления настоящего изобретения, а также их конкретные примеры, охватывают как их структурные, так и функциональные эквиваленты. Кроме того, предполагается, что такие эквиваленты включают как известные в настоящее время эквиваленты, так и эквиваленты, которые будут разработаны в будущем (т.е. любые разрабатываемые элементы, которые осуществляют ту же функцию, независимо от структуры). Таким образом, например, специалистам в данной области техники ясно, что блок-схемы, представленные в настоящем описании, представляют концептуальные виды иллюстративных компонентов системы и/или схему, воплощающую принципы настоящего изобретения. Аналогично, следует понимать, что любые карты технологического процесса, технологические схемы и тому подобное представляют различные процессы, которые могут быть по существу представлены в машиночитаемых средах для хранения и вследствие этого выполнены компьютером или процессором, показан ли явно такой компьютер или процессор или нет.

Кроме того, варианты осуществления настоящего изобретения могут принимать форму компьютерного программного продукта, доступного на используемой компьютером или машиночитаемой среде для хранения, предоставляющей программный код для использования посредством компьютера или любой системы выполнения команд или в соединении с ними. Для целей настоящего описания используемая компьютером или машиночитаемая среда для хранения может представлять собой любое приспособление, которое может содержать, хранить, сообщать, распространять или передавать программу для использования посредством системы, приспособления или устройства выполнения команд или в соединении с ними. Среда может представлять собой электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему (или приспособление или устройство) или среду распространения. Примеры машиночитаемой среды включают полупроводниковую или твердотельную память, магнитную ленту, сменную компьютерную дискету, память с произвольным доступом (RAM), доступную только для чтения память (ROM), жесткий магнитный диск и оптический диск. Современные примеры оптических дисков включают компакт-диск с доступной только для чтения памятью (CD-ROM), компакт-диск с возможностью перезаписи (CD-R/W), Blu-Ray™ и DVD.

Если теперь обратиться к чертежам, на которых одинаковые номера представляют одни и те же или аналогичные элементы, и, в первую очередь, к Фиг. 1, то на ней иллюстративно показана система 100 для создания и взаимодействия с голографическими изображениями в соответствии с одним вариантом осуществления. Система 100 может включать в себя рабочую станцию или консоль 112, с которой наблюдают за процедурой и/или управляют ею. Рабочая станция 112, предпочтительно, включает в себя один или более процессоров 114 и память 116 для хранения программ и приложений. Память 116 может хранить модуль 115 создания голограммы, сконфигурированный так, чтобы строить голографическое изображение на устройстве 158 отображения или в воздухе в зависимости от применения. Модуль 115 создания голограммы кодирует данные изображения для создания трехмерной голограммы. Кодирование может передавать голограмму на 2D-устройство отображения, или в 3D-среды, или 3D-устройство отображения. В одном примере данные от 3D-визуализации, например компьютерной томографии, ультразвука, магнитного резонанса, можно трансформировать в голограмму с применением пространственного распределения и интенсивности света для построения голограммы.

Система 120 определения местоположения включает в себя систему координат 122, в которой построено голографическое изображение или голограмма 124. Систему 120 определения местоположения можно также использовать для того, чтобы регистрировать контролируемый объект 128, который может включать виртуальные инструменты, которые создаются и управляются по отдельности, реальные инструменты, руки, пальцы или другие анатомические части врача и т.д. Система 120 определения местоположения может включать электромагнитную следящую систему, систему измерения формы, такую как волоконно-оптическая система измерения формы, оптическую измерительную систему, включая светочувствительные датчики и матрицы, или другую измерительную модальность и т.д. Систему 120 определения местоположения используют для определения пространственных областей на голограмме или голографическом изображении 124 и поблизости от него, для того чтобы делать возможным вызывание различных функций или действий в результате движения в области голограммы 124. Например, динамическое местоположение рук врача можно отслеживать с помощью волоконно-оптического устройства измерения формы. Когда руки врача входят в такое пространство, например контролируемое пространство 126 поблизости от проецируемой голограммы 124, интенсивность голограммы может повышаться. В другом примере движение руки врача может использоваться для изменения положения или ориентации голограммы 124 в пространстве или для того, чтобы как-либо иначе взаимодействовать с голограммой 124.

Контролируемый объект или измерительную систему 128 можно контролировать в пространстве относительно голограммы 124 или пространства 126 поблизости от голограммы 124. Контролируемый объект 128 может включать руки врача, реальное или виртуальное приспособление, другую голограмму и т.д. Контролируемый объект 128 может включать датчик или датчики 132, приспособленные для контроля положения контролируемого объекта 128, так что когда объект или его часть расположены в пределах голограммы 124 или пространства 126 поблизости от голограммы 124, происходит реакция, которая соответствует типу контролируемого объекта 128 и действию, которое осуществлено или должно быть осуществлено контролируемым объектом 128. Датчик или датчики 132 могут включать ЭМ-датчики, волоконно-оптические датчики формы и т.д.

В одном варианте осуществления датчики 132 включают волоконно-оптические датчики формы. Можно использовать модуль 134 интерпретации информации от датчиков, для того чтобы интерпретировать сигналы обратной связи от устройства или системы (132) измерения формы. Модуль 134 интерпретации сконфигурирован так, чтобы использовать сигнальную обратную связь (и любую другую обратную связь, например оптическую, электромагнитное (ЭМ) слежение и т.д.) для реконструирования движения, отклонения и других изменений, связанных с контролируемым объектом 128, который может включать медицинское устройство или инструмент, виртуальные приспособления, анатомические элементы человека и т.д. Медицинское устройство может включать катетер, направитель, зонд, эндоскоп, робот, электрод, фильтрующее устройство, баллонное устройство или другой медицинский компонент и т.д.

Система (132) измерения формы может включать в себя одно или более оптических волокон, которые связаны с контролируемым объектом 128 по установленной схеме или схемам. Оптические волокна соединяются с рабочей станцией 112 посредством кабельной системы 127. Кабельная система 127 может включать волоконную оптику, электрические соединения, другое оборудование и т.д. по необходимости.

Система (132) измерения формы может быть основана на датчиках на волоконно-оптической брэгговской решетке. Волоконно-оптическая брэгговская решетка (ВБР) представляет собой короткий сегмент оптического волокна, который отражает определенные длины волн света и пропускает все остальные. Это достигается посредством внесения периодических изменений коэффициента преломления сердцевины волокна, что создает специфическое к длине волны диэлектрическое зеркало. Волоконную брэгговскую решетку можно поэтому использовать в качестве встроенного оптического фильтра для блокировки определенных длин волн или в качестве специфического к длине волны отражателя.

Фундаментальным принципом, лежащим в основе работы волоконной брэгговской решетки, является отражение Френеля на каждой из границ раздела, на которых изменяется коэффициент преломления. Для некоторых длин волн отраженный свет различных периодов находится в фазе, так что имеет место усиливающая интерференция для отражения и, в связи с этим, ослабляющая интерференция для пропускания. Брэгговская длина волны чувствительна к напряжению, а также к температуре. Это означает, что брэгговские решетки можно применять в качестве чувствительных элементов в волоконно-оптических датчиках. В ВБР-датчике измеряемая величина (например, напряжение) вызывает сдвиг брэгговской длины волны.

Одним преимуществом данного метода является то, что различные элементы датчика можно распределять по длине волокна. Включение трех или более сердцевин с различными датчиками (размерами) вдоль длины волокна, которое встроено в структуру, позволяет точно определять трехмерную форму такой структуры, как правило с точностью, превышающей 1 мм. Вдоль длины волокна в различных положениях можно располагать множество ВБР-датчиков (например, 3 или более чувствительных сердцевин волокон). Из измерения напряжения каждой ВБР можно определять кривизну структуры в данном положении. Из множества измеренных положений определяют общую трехмерную форму.

В качестве альтернативы волокно-оптическим брэгговским решеткам можно использовать обратное рассеяние, присущее обычному оптическому волокну. Один из таких подходов заключается в использовании рэлеевского рассеяния в стандартном одномодовом коммуникационном волокне. Рэлеевское рассеяние происходит в результате случайных флуктуаций коэффициента преломления в сердцевине волокна. Данные случайные флуктуации можно моделировать брэгговской решеткой с случайным изменением амплитуды и фазы вдоль длины решетки. Посредством использования данного эффекта в трех или более сердцевинах, проложенных по одной длине многожильного волокна, можно следить за 3D-формой и динамикой исследуемой поверхности.

В одном варианте осуществления рабочая станция 112 включает в себя модуль 148 создания изображения, сконфигурированный так, чтобы принимать обратную связь от системы 132 измерения формы или другого датчика для определения взаимодействий с голограммой 124. Системе 120 определения местоположения известно положение и состояние голограммы 124 и окружающего ее пространства 126. Когда контролируемый объект 128 входит в пространство 126 или совпадает с положениями голограммы 124, что определяется модулем 142 сравнения, вызывается действие в зависимости от типа движения, типа контролируемого объекта 128, типа процедуры или активности и/или любых других критериев. Модуль 142 сравнения информирует модуль 115 создания голограммы, что необходимо изменение. Модуль 115 создания голограммы перекодирует данные изображения, которые обрабатываются и выводятся на модуль 148 создания изображения, который обновляет голограмму 124 в соответствии с установленными критериями.

В иллюстративных вариантах осуществления голограмма 124 может включать в себя внутренний орган, построенный на основании 3D-изображений 152 пациента или субъекта 150. Изображения 152 можно получать от пациента 150 до операции с применением системы 110 визуализации. Следует отметить, что система 110 визуализации и пациент 150 не обязательно должны присутствовать для использования настоящих принципов, поскольку система 100 может быть использована в любое время для тренировки, анализа или других целей. В данном примере врач использует пару перчаток с расположенными на них датчиками 132. Когда перчатки/датчики 132 входят в пространство 126 и совпадают с голограммой 124, врач имеет возможность вращать или перемещать голограмму 124. В другом варианте осуществления перчатки включают в себя тактильное устройство 156, которое обеспечивает тактильную обратную связь в зависимости от положения перчаток/датчиков относительно голограммы 124 или пространства 126. В других вариантах осуществления тактильная обратная связь указывает на тип ткани, соответствующий голограмме 124 и ее представлению. Тактильное устройство или система 156 может включать в себя источники ультразвука, громкоговорители или другие источники вибраций для передачи отличий состояния голограммы 124 с помощью вибраций или звука.

Устройство 118 отображения и/или устройство 158 отображения могут также позволять пользователю взаимодействовать с рабочей станцией 112, голограммой 124 и ее компонентами и функциями или любыми другими элементами в системе 100. Это дополнительно облегчается интерфейсом 130, который может включать в себя клавиатуру, мышь, джойстик, тактильное устройство или любое другое периферийное или управляющее устройство для обеспечения пользователя обратной связью с рабочей станцией 112 и для взаимодействия с ней.

В одном варианте осуществления пользователь (практикующий специалист, хирург, исследователь и т.д.) может прикасаться (или осуществлять иное взаимодействие) к конкретной области исследования (ROI) 154 на голографическом 3D-устройстве 158 отображения или голограмме 124 на голографическом 3D-устройстве отображения (или где-либо еще) для отображения дополнительной информации, связанной с выбранной конкретной областью исследования, например характеристик ткани, таких как температура, химический состав, генетическая сигнатура, давление, степень кальцификации и т.д. Наложение информации можно отображать или представлять на отдельном иллюстративном 2D-устройстве (118) отображения, причем части 2D-устройства отображения могут быть прозрачными, например для лучшей визуализации отображаемой информации. Также возможно, что иллюстративное 2D-устройство 118 отображения представляет или отображает другую графику и текст с высоким разрешением (например, в иллюстративных вариантах осуществления, когда 3D-устройство отображения может иметь относительно низкое или ограниченное разрешение).

Другие варианты осуществления могут обеспечивать практикующего специалиста (например, доктора) "не требующим наклона головы" устройством отображения (в качестве устройства 158 отображения) или в качестве комбинированного устройства отображения (118 и 158), для того чтобы размещать отображение/представление такой дополнительной информации. Кроме того, на голографическом 3D-устройстве 158 отображения или голограмме 124 могут автоматически выделяться и/или обводиться другие зоны или области исследования 154. Такие другие зоны исследования могут представлять собой, например, зоны, которые имеют характеристики, аналогичные выбранной зоне исследования, и/или как-либо еще связанные зоны.

В соответствии с еще одним иллюстративным вариантом осуществления голографическое 3D-устройство 158 отображения или голограмма 124 могут использоваться со слежением за пользователем с шестью степенями свободы (6DOF), например с помощью инструментов 132 с поддержкой формы и/или с помощью основанных на камерах датчиков 137, делающим возможным применение в качестве пользовательского интерфейса при 3D- и в реальном времени 6DOF-взаимодействии с пользователем. Например, пользователю (например, практикующему специалисту) предоставлена возможность прикасаться к виртуальному органу, отображаемому в виде голографического 3D-изображения 124. Пользователь может вращать, масштабировать с увеличением/уменьшением (например, изменяя увеличение изображения), помечать точки в 3D, прочерчивать схему пути и/или траектории, выбирать (критические) зоны, которые не следует затрагивать, выдавать аварийные сигналы, вставлять виртуальные имплантаты и управлять их ориентацией в 3D в анатомической области и т.д. Данные функции осуществляют с применением системы (систем) определения местоположения 120 и системы или модуля 148 создания изображения, работающих в связи с голографическими данными, отображаемыми для получения голограммы 124.

Можно создавать и помещать на голографическое 3D-устройство 158 отображения или голограмму 124 исходные точки 162 посредством касания (и/или постукивания, захвата и т.д.) части устройства 158 отображения или голограммы 124. Исходные точки 162 могут использоваться для, например, активации виртуальных камер, которые могут обеспечивать отдельно настраиваемые ракурсы обзора (например, ориентацию, масштаб, разрешение и т.д.), которые можно передавать потоком (или передавать иным образом) на отдельное 2D-устройство 118 отображения высокого разрешения.

Функцию управления касанием можно использовать для создания или помещения виртуальных исходных точек 162 на 3D-устройстве 158 отображения для различных задач, например инициализации сегментации, моделирования, совмещения или другого вычисления, визуализации, стадии планирования и т.д. В дополнение к использованию голографического 3D-устройства 158 отображения или голограммы 124 для отображения данных анатомической области, устройство отображения можно также использовать для отображения кнопок, выпадающих меню, указателей/рамок, необязательных функций и т.д., позволяющих пользователям взаимодействовать с системой и/или любым компьютером, включенным в нее или соединенным с ней (например, соединенному непосредственно или через интернет или другую сеть), и давать им команды.

В другом варианте осуществления для приема вербальной информации для соединения, управления, взаимодействия и т.д. с иллюстративным голографическим 3D-устройством 158 отображения или голограммой 124 посредством управляемых голосом команд можно использовать микрофон 164. Может предлагаться механизм 166 распознавания речи для преобразования голосовых команд в программные команды, для того чтобы позволять пользователю (например, хирургу) взаимодействовать с голографическим 3D-устройством 158 отображения или голограммой 124 без необходимости использования своих рук. Например, пользователь может сказать "SHOW LAO FORTY", и отображаемый объем на голографическом изображении будет поворачиваться на соответствующий угол, для того чтобы обеспечить пользователю требуемый вид. Другие команды могут лежать в диапазоне от относительно простых, таких как "масштабировать", за чем следует определенное количество, например "в 3 раза", или таких, чтобы отображать конкретную (дополнительную) информацию, до более сложных команд, которые, например, могут быть связаны с определенной операцией или процедурой.

В соответствии с другим вариантом осуществления режим записи может быть предусмотрен в памяти 116 и сделан доступным для, например, воспроизведения случая на том же устройстве для повтора в режиме полного 3D и/или на обычных (2D или 3D) устройствах просмотра с автоматическим преобразованием записанных 3D-кадров в множество ракурсов обзора в 2D (или во вращающиеся 3D-модели, например на языке моделирования виртуальной реальности (VRML)). Информационные соединения между голографическим устройством 158 отображения и записями, заархивированными в библиотеке/базе данных 168, такой как система архивирования и передачи изображений (PACS), радиологические информационные системы (RIS) или другая система электронных медицинских записей, можно использовать для облегчения, например, визуализации и диагностической интерпретации/анализа данных. Записи можно повторять и использовать, например, в процессах обучения и тренировки, как, например, для того, что обучать или тренировать других в индивидуальных условиях (например, когда пользователь хочет пересмотреть запись осуществленной процедуры), в условиях малых групп (например, с коллегами и/или руководством), в относительно больших классах, на лекциях и т.д. Такие иллюстративные записи можно также использовать для маркетинговых презентаций, в условиях исследований и т.д. и можно также использовать для оценки качества и государственной экспертизы, например оценки процесса или экспертизы процедур руководством больницы, сторонними страховыми организациями, инвесторами, Управлением по контролю качества пищевых продуктов и лекарственных средств (FDA) и/или другими контролирующими органами. Виртуальные камеры можно использовать для захвата или записи с множества точек обзора/углов и создания множества 2D-выводов для, например, видеозахвата или одновременного отображения изображений на различных телевизионных 2D-экранах или мониторах (или их участках).

Если обратиться к Фиг. 2, в другом варианте осуществления трехмерную (3D) голографию можно использовать для отображения объемных данных анатомической области (например, из 3D КТ-сканирования), например для объединения анатомических данных с функциональной визуализацией и "сенсорной" информацией, а также временной (относящейся ко времени) информацией. Информацию можно использовать для создания (генерирования, получения, отображения и т.д.) динамического мультимодального 3D-представления 202 (например, голограммы) объекта (например, органа) и его состояния с помощью визуальных индикаторов 204, 206, таких как цвета, уровни контраста и контуры на устройстве 210 отображения. Объект 202 (например, голограмма 124) может показывать различные области 204, 206 для указания на полезные данные на объекте 202. Например, данные эпикардиального и/или эндокардиального картирования можно использовать для того, например, чтобы отображать данные об электрической активности на изображении сердца во время электрофизиологической процедуры, наложенные на данные анатомической визуализации сердца (например, получаемые от КТ, XperCT или МРТ). Другим примером является отображение температурных карт, которые можно получать от МРТ во время аблации или из 4D (четырехмерной) информации от высокоинтенсивного фокусированного ультразвука под контролем магнитно-резонансной томографии (MR-HIFU) во время интервенции (например, с применением систем и методов переноса цифровых МР-данных). Также можно использовать информацию, связанную с картой распределения в реальном времени дозы облучения, наложенную поверх анатомической мишени во время, например, радиационной терапии в онкологии (линейный ускоритель, брахитерапия и т.д.). Также предусмотрены другие варианты осуществления.

Если обратиться к Фиг. 3, на ней иллюстративно показана иллюстративная голографическая визуализация функциональной и анатомической информации, которую можно использовать во время интервенционной процедуры в соответствии с иллюстративным вариантом осуществления. В данном примере получают объемное изображение 302 сердца, и его можно сегментировать для уменьшения расчетной области и для определения анатомических элементов сердца в отличие от других частей изображения. Это приводит к сегментированному изображению 304. Функциональные данные или данные устройств получают посредством осуществления измерений или тестов в блоке 306 на сердце или другом анатомическом элементе. В иллюстративном варианте осуществления создают электроанатомическую карту или другую карту, соответствующую сердцу или органу. Карту совмещают с сегментированным изображением 304 для получения совмещенного изображения 310, которое может быть создано и отображено в виде голограммы. Данные реального времени катетера 308 можно собирать внутри или поблизости от сердца с применением метода определения местоположения (измерения формы и т.д.). Трассировки данных положений катетера или других связанных данных (местоположений обработки и т.д.) можно строить на голографическом изображении 312, которое содержит как анатомические данные (например, сегментированную голограмму), так и данные устройства (например, данные катетера).

Другой иллюстративный вариант осуществления в соответствии с настоящим раскрытием включает в себя получение неполных данных (например, проекций, а не полных 3D-изображений). Они могут включать в себя, например, данные в пространстве Фурье (частотном), где получают прерывистые или неполные изображения. Например, собирают данные изображения с недостаточной выборкой в частотной области. В соответствии с данным иллюстративным вариантом осуществления можно строить (генерировать, получать, отображать и т.д.) отображение голографического 3D-изображения с относительно малым или уменьшенным количеством вводимых данных и, следовательно, относительно малым или уменьшенным количеством связанных вычислительной мощности и/или времени. В зависимости от неполноты получаемых данных и того, какая конкретно информация может быть недоступна, возможно, что получаемое голографическое 3D-изображение может быть построено/отображено с (некоторыми) ограничениями. Однако, такие иллюстративные варианты осуществления могут способствовать получению динамических отображений в реальном времени или почти в реальном времени со значительно меньшими радиационным воздействием (например, в случае прямой трансляции рентгеновской визуализации), а также затратами на вычисления, такие преимущества можно учитывать (например, уравновешивать, оценивать) с точки зрения потенциальных ограничений, связанных с данным иллюстративным вариантом осуществления.

Если обратиться к Фиг. 4, другой иллюстративный вариант осуществления включает в себя введение виртуальных инструментов или объектов в голографическое отображение. В одном варианте осуществления объекты 402 можно оцифровывать или иным образом строить в виртуальной среде 404 и отображать. Объекты 402 можно вычерчивать или загружать в рабочую станцию 112 в виде данных 405 объекта и можно кодировать на устройстве 158 отображения и строить одновременно с голограммой 124. Статическое изображение объекта 402 может появляться на голограмме 124, и им можно отдельно управлять с голограммой 124 (и/или на устройстве 158 отображения). Статическое изображение можно использовать для сравнения или измерения размеров между объектом 402 и голограммой 124.

В одном варианте осуществления может быть включен конвертер 406 для применения протокола стандартизации для предоставления голографическому 3D-устройству 158 отображения интерфейса "video-ready". Например, применительно к технологии восприятия формы, конвертер 406 может форматировать координаты x, y, z от каждого локализованного инструмента или объекта 402 (катетера, имплантата и т.д.) в пространство, пригодное для считывания голографическим устройством 158 отображения (например, пространство растрированных/преобразованных при сканировании вокселов, векторное пространство и т.д.). Это может быть осуществлено с помощью рабочей станции 112 с Фиг. 1. 3D-формат должен по меньшей мере поддерживать вокселы (для объемов) и графические элементы/примитивы, например сети (виртуальный катетер может отображаться в виде трубки) и линии в 3D (для кодирования измерений и вывода текста). 3D-формат можно изменять в соответствии с настоящим раскрытием исходя из, например, конкретного лабораторного или клинического использования или применений, интеграции с другими связанными технологиями, доступных ресурсов, окружающих условий и т.д. С помощью данной возможности к видео, объектом 402 (например, построением рисунка с помощью компьютера, моделью, сканированием и т.д. для инструмента, медицинского устройства, имплантата и т.д.) можно независимо манипулировать относительно голограммы 124 на устройстве 158 отображения или в воздухе. Таким образом, объект 402 можно помещать на голограмму 124 или поблизости от нее, для того чтобы определять, будет ли соответствовать объект части голограммы 124 и т.д. Например, имплантат можно помещать через кровеносный сосуд, для того чтобы визуально проверить соответствие. Также предусмотрено, что можно использовать другую обратную связь. Например, посредством определения пространства, которое занимает объект 402, и его ориентации, модуль сравнения может быть способен определять взаимодействие между голограммой 124 и объектами 402, для того чтобы делать возможной, скажем, тактильную обратную связь для указания на то, что зазор для имплантата невозможен. Также предусмотрены другие применения.

В другом иллюстративном варианте осуществления систему 100 с Фиг. 1 и/или Фиг. 4 можно использовать в качестве средства обучения и/или тренировки. Например, практикующий специалист (например, хирург, врач, исследователь, доктор и т.д.) может перед фактическим осуществлением процедуры отрабатывать процедуру (хирургическую операцию, случай и т.д.) виртуально в отношении понимания 3D-анатомии и/или внедрения использования реальных или виртуальных приспособлений или инструментов (контролируемых объектов 128 и/или объектов 402 соответственно). Исследователь/практикующий специалист может отрабатывать (виртуально выполнять) хирургический случай/процедуру в отношении, например, определения размера имплантата, для того чтобы понять, будет ли он соответствовать анатомии конкретного пациента, и т.д.

Если обратиться к Фиг. 5, продолжая рассматривать и Фиг. 1, можно использовать отслеживаемое устройство ввода (контролируемый объект 128), например, инструмент, отслеживаемый с помощью восприятия формы, электромагнитного слежения, акустического слежения или основанного на машинном зрении оптического слежения (времяпролетные камеры или камеры структурированного света), в сочетании с устройством 158 отображения для доступа к точке 504 запуска режима виртуальной справки (или другим функциям) на голограмме 124, создаваемой модулем 148 создания изображения. Точка 504 запуска виртуальной справки может включать в себя области пикселов на устройстве отображения или голограмме. Например, при управлении виртуальными инструментами или объектами 402, можно выбирать (например, виртуально выбирать и отображать посредством использования конца отслеживаемого виртуального приспособления (402) (или используя контролируемый объект 128) область или точку 504 запуска, которые автоматически совмещаются с голограммой 124 на изображении.

В одном варианте осуществления на голограмме 124 выбирают точки 504 запуска, и может открываться меню 502 или другое интерактивное пространство для обеспечения возможности дальнейшего выбора. Например, исследователь/практикующий специалист может вначале выбирать программу, называемую "бедро", посредством активации точки 504 запуска для отображения 3D КТ-изображения бедра пациента (субъекта), и затем выбирать различные "бедренные имплантаты" различных производителей, для того чтобы увидеть и "почувствовать", какой имплантат лучше всего подойдет конкретному пациенту. Также можно использовать (например, физически держать и манипулировать) реальный имплантат в воздухе и располагать его в голографическом 3D-устройстве отображения, для того чтобы видеть, чувствовать и определять соответствие (например, может ли такой имплантат подходить конкретному пациенту, и насколько хорошо).

Фиг. 5 показывает виртуальное меню 502, которое может быть предусмотрено на голографическом устройстве 158 отображения или другом устройстве 118 отображения для обеспечения возможности выбора стента 508. Виртуальное меню 502 можно вызывать с помощью устройства 158 отображения, голограммы 124 или посредством использования интерфейса 130. Когда стент 508 выбран, на устройстве 158 отображения или голограмме 124 строится виртуальная модель (см. Фиг. 4) для обеспечения возможности манипуляции, измерения и т.д.

Виртуальное меню 502 служит для содействия принятию клинических решений, соединяя определение местоположения и иллюстративный голографический пользовательский интерфейс в соответствии с иллюстративным вариантом осуществления. При применении во время процедуры инструмент (128) с отслеживаемой формой, например катетер, можно перемещать в анатомическую область исследования (504), и виртуальное меню 502 может всплывать автоматически для каждой области, или точку 504 запуска можно активировать посредством помещения конца объекта в область точки 504 запуска или иначе активируя точку 504 запуска (например, прикасаясь к ней и т.д.). Можно выбирать имплантат или другое устройство, которое затем вводят, для того чтобы сделать возможным осуществление подбора размера/выбора устройства в виртуальном голографическом пространстве (например, на голографическом устройстве отображения или в непосредственной близости от него).

Если обратиться к Фиг. 6, в соответствии с другим иллюстративным вариантом осуществления голографическое 3D-устройство 158 отображения или голограмму 124 можно использовать во время хирургической операции для взаимодействия с устройством 602 внутри пациента. Можно использовать роботизацию в конфигурации ведущий/ведомый, где аналог 604 устройства 602 измерения формы, перемещающийся на устройстве 158 отображения, используют для приведения в движение реального устройства 602 в целевой области 606. Руки или голос 610 практикующего специалиста (хирурга, врача и т.д.) можно отслеживать с помощью основанных на датчиках и/или голосе методов, как, например, с помощью слежения за руками врача в голографическом 3D-устройстве отображения с применением устройства 608 измерения формы и системы 614 измерения формы. Соответственно, движения практикующего специалиста (включая, например (повторное) позиционирование, ориентацию и т.д. его рук), осуществляемые в голографическом устройстве 158 отображения, могут передаваться на устройство 602, такое как робот 612 (например, инструменты с роботизированным управлением), внутри пациента для воспроизведения таких движений в теле пациента и осуществления посредством этого реальных хирургического вмешательства, процедуры или операции внутри тела пациента. Таким образом, хирург может видеть, прикасаться и ощущать голографическое 3D-отображение органа, осуществлять процедуру на нем (т.е. в пределах голографического 3D-отображения), вызывая осуществление такой процедуры внутри пациента на реальном органе, или просто перемещать инструменты, например инструменты с роботизированным управлением.

Движение врача создает сенсорные сигналы с помощью датчика 608 (и/или датчиков в устройстве 604), которые адаптируются системой 100 в управляющие сигналы для управления роботом или другим устройством 602. Сигналы можно сохранять в памяти (116) для отсроченного выполнения, если нужно или требуется. Реальную процедуру можно выполнять в реальном времени (или почти в реальном времени), например робот 612 осуществляет определенное движение в теле пациента одновременно с действием хирурга в голографическом 3D-устройстве 158 отображения. Реальную процедуру можно выполнять посредством, например, робота (только) после того, как хирург завершает определенную операцию/движение (или серию операций или движений), и/или того, как хирург подтверждает, что робот должен действовать (например, после того, как выполнены некоторые заранее определенные критерии и/или пройден этап(ы) процедуры). Такая задержка (например, между виртуальным выполнением операции или движения в голографическом 3D-устройстве отображения и реальным выполнением в теле пациента) может способствовать предотвращению некорректного выполнения каких-либо движений/операций внутри пациента и уверенности в том, что все такие движения/операции выполнены точно и прецизионно, посредством предоставления хирургу возможности подтверждать движение/операцию после того, как оно было выполнено виртуально в голографическом 3D-устройстве 158 отображения до того, как оно выполняется роботом 612 реально в теле пациента 150.

Кроме того, практикующий специалист может решить переделать определенное движение/операцию, которое виртуально выполнено в голографическом 3D-устройстве 158 отображения, если данный практикующий специалист не удовлетворен такими движением или операцией (по любой причине). Таким образом, например, если хирург непреднамеренно сделал слишком далекое движение в любом конкретном направлении, когда виртуально осуществлял движение или операцию в голографическом 3D-устройстве отображения, данный хирург может решить переделать такие виртуальные движение или операцию (столько раз, сколько требуется или может быть необходимо), до тех пор пока они не будут осуществлены корректно. После этого реальные движение или операция могут быть выполнены роботом внутри пациента с динамической адаптацией операции для коррекции изменений в мишени или терапевтическом инструменте на лету (например, динамически, на непрерывной основе, в реальном времени и т.д.) или без нее.

Если обратиться к Фиг. 7, другой иллюстративный вариант осуществления включает в себя тактильную обратную связь, которую можно внедрять посредством использования, например, ультразвука для создания вибраций в воздухе. Тактильное устройство 710 может принимать множество форм. В одном варианте осуществления можно использовать набор ультразвуковых зондов 702, для того чтобы посылать настроенные волны в направлении голографического 3D-устройства 704 отображения, для того чтобы давать пользователю (например, практикующему специалисту) чувство осязания структур, отображаемых и представляемых голографическим 3D-устройством 704 отображения. Например, такие волны можно подготавливать или настраивать для представления твердых или жестких материалов костных структур, тогда как другие ткани, такие как печень и/или сосуды, можно представлять относительно мягкими "на ощупь" посредством волн, которые подготовлены или сконфигурированы соответствующим образом. Такое кодирование можно реализовывать посредством, например, модуляции частоты, амплитуды, фазы или другой пространственно-временной модуляции возбуждения, сообщаемого тактильным устройством 710 наблюдателю.

В другом варианте осуществления устройство 710 тактильной обратной связи можно использовать, например, для того чтобы представлять физическое сопротивление конкретной структуры или ткани в ответ на движение или операцию, осуществляемую практикующим специалистом. Таким образом, например, когда хирург 714 виртуально осуществляет операцию в голографическом 3D-устройстве 704 отображения с использованием тактильной обратной связи, существует возможность того, что такая операция ощущается хирургом также, как если бы хирург реально выполнял операцию внутри тела пациента. Это может быть реализовано с помощью тактильного устройства 712, такого как, например, перчатка(и), браслет или другой предмет одежды или аксессуар, имеющий актуаторы или другие вибрирующие элементы.

В соответствии с одним иллюстративным вариантом осуществления иллюстративное голографическое 3D-устройство 158 отображения может быть видно под (практически) любым углом, например, так, что все пользователи могут взаимодействовать с одними и теми же восприятием и информацией. Это имеет место для голограммы в воздухе; однако, можно использовать другие методы отображения для обеспечения множества индивидуумов одним и тем же изображением.

Если обратиться к Фиг. 8, отображаемая информация может предоставляться различным пользователям, расположенным в кабинете или на территории, посредством отображения (голографически) одинаковой или различной информации на геометрической структуре 802, такой как многогранное голографическое устройство отображения, где каждая грань устройства отображения (например, куба или многогранника) отображает информацию. Это достижимо посредством проецирования (например, бок о бок или с частичным перекрытием) на геометрическую структуру 802 множества 2D-видеопотоков 804, построенных в голографическом выводе 806. Например, голографическое "кубическое" устройство отображения в 3D может показывать/отображать на одной грани куба информацию (например, прямую трансляцию рентгеновского 2D-изображения) в одном конкретном направлении (например, направлении первого практикующего специалиста 808), тогда как другая грань куба того же самого "кубического" устройства отображения может показывать/отображать другой тип информации (например, ультразвуковое изображение) для второго практикующего специалиста 810, расположенного в другом месте кабинета (например, диаметрально противоположно устройству отображения первого практикующего специалиста).

Среднему специалисту в данной области техники в свете идей, предлагаемых в настоящем описании, ясно, что такое иллюстративное устройство отображения может быть сконфигурировано в зависимости от, например, количества пользователей в кабинете. Также возможно, чтобы положение (в кабинете) каждого пользователя/практикующего специалиста можно было отслеживать (в кабинете) и чтобы отображаемая информация для каждого индивидуума следовала за ракурсом обзора каждого пользователя, когда пользователь перемещается (например, во время процедуры). Например, одному конкретному пользователю (доктору, медицинской сестре и т.д.) может предоставляться определенная информация, которая нужна данному пользователю, независимо от того, куда в кабинете такой конкретный пользователь перемещается во время процедуры. Кроме того, также возможно, чтобы каждому пользователю было предоставлено особое устройство отображения, которое может представлять собой 2D-грань куба, такую как описано выше, или голографическое 3D-устройство отображения, настроенное или подготовленное для такого пользователя, и чтобы такое особое устройство отображения могло "следить" за пользователем, когда пользователь перемещается по кабинету.

Возможно множество комбинаций устройств отображения в соответствии с данным и другими иллюстративными вариантами осуществления, описанными в настоящем документе, позволяющих, например, отдельным пользователям иметь их собственные особые устройства отображения и/или получать такую же информацию от других пользователей, независимо от перемещения и местоположения пользователя в кабинете или в другом месте (например, вне кабинета, вне территории и т.д.). Кроме того, пользователь может выбирать вначале и изменять в любое время во время процедуры, какую информацию отображать для них посредством, например, выбора из заранее определенных шаблонов, выбора определенных информационных полей, выбора устройства отображения другого конкретного пользователя и т.д.

Следует отметить, что текст сам по себе является 2D-способом связи. Система может отображать формы/символы, идентифицируемые с множества точек обзора, или представлять текст, ориентированный в направлении зрителя. В случае множества зрителей ориентированный текст может быть показан в множестве направлений одновременно или каждому независимо в различных кадрах.

Если обратиться к Фиг. 9, в другом иллюстративном варианте осуществления удаленная система 900 может иметь по меньшей мере некоторые из возможностей системы 100 (Фиг. 1), но быть расположена удаленно относительно пациента 902 и инструментов сбора данных. Пользователь (практикующий специалист, хирург, исследователь и т.д.) может проводить процедуру удаленно (например, пользователь при этом физически расположен вне местоположения, в котором расположен субъект/пациент 902), или ассистировать, или обеспечивать руководство процедурой удаленно. Например, пользователь может выполнять процедуру/операцию на иллюстративном голографическом отображении 904, расположенном в своем местоположении. В одном варианте осуществления устройство 904 отображения соединено (например, через интернет или другую сеть 910 (проводную или беспроводную)) с системой 100, расположенной в местоположении пациента 902. Система 100 может находиться в постоянной связи с удаленной системой 900 (например, где расположен пользователь), так чтобы голографическое отображение 904 постоянно обновлялось (почти) в реальном времени. Кроме того, система 100 может включать в себя инструменты с роботизированным управлением 906, например внутри пациента, которые управляются посредством команд, подаваемых (например, через интернет) удаленной системой 900, как описано выше. Данные команды генерируются на основании пользовательского взаимодействия с голографическим устройством 904 отображения. Голографические устройства 158 и 904 отображения могут содержать один и тот же предмет в одном или более местоположениях, так что одна и та же информация передается в каждое местоположение. Например, данный вариант осуществления может включать, например, предоставление руководства или ассистирования другому доктору по всему миру, для проверки коллегами, экспертного ассистирования или виртуального класса, где множество студентов могут присутствовать при прямой трансляции случая из различных местоположений во всем мире.

Некоторые или все иллюстративные варианты осуществления и признаки, описанные в настоящем документе, можно также использовать (по меньшей мере частично) в сочетании или комбинации с любыми другими вариантами осуществления, описанными в настоящем документе.

Если обратиться к Фиг. 10, на ней показан способ взаимодействия с голографическим устройством отображения в соответствии с иллюстративными вариантами осуществления. В блоке 1002 голографически построенное анатомическое изображение создают и отображают. Изображение может содержать один или более органов или анатомических областей. Голографически построенное анатомическое изображение можно создавать в воздухе.

В блоке 1004 определяют местоположение контролируемого пространства на голографически построенном анатомическом изображении или поблизости от него для определения области взаимодействия. Система определения местоположения может включать одно или более из волоконно-оптической системы измерения формы, электромагнитной следящей системы, матрицы светочувствительных датчиков и/или другой сенсорной модальности. Положение и ориентация контролируемого пространства и один или более контролируемых объектов предпочтительно определяют в одной и той же системе координат. Один или более контролируемых объектов могут включать медицинский инструмент, анатомический элемент пользователя, виртуальный объект и т.д.

В блоке 1006 контролируют положение и ориентацию одного или более контролируемых объектов посредством системы определения местоположения. В блоке 1008 определяют совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами. В блоке 1010, если определено совпадение, вызывается отклик на голографически построенном анатомическом изображении. В блоке 1012 отклик может включать в себя перемещение голографически построенного анатомического изображения (например, 6DOF) или изменение его визуальных характеристик. В блоке 1014 отклик может включать в себя коррекцию масштаба (увеличение) или других оптических характеристик голографически построенного анатомического изображения. В блоке 1016 на голографически построенное анатомическое изображение могут быть нанесены обозначения, пометки, оно может быть выбрано в качестве мишени и т.д. В блоке 1018 могут быть определены точки обзора камер (для других зрителей или устройств отображения). В блоке 1020 может быть создана обратная связь с пользователем. Обратная связь может включать тактильную обратную связь (вибрационное устройство или воздух), оптическую обратную связь (визуальные или цветовые изменения), акустическую обратную связь (речевую, аварийные сигналы) и т.д.

В блоке 1022 может предоставляться и контролироваться системой определения местоположения область отклика, так что при активации области отклика происходит событие на устройстве отображения. Событие на устройстве отображения может включать в себя: генерирование справочного меню в блоке 1024; генерирование меню виртуальных объектов для включения в голографически построенное анатомическое изображение после выбора в блоке 1026; и генерирование информации для отображения в блоке 1028.

В блоке 1030 может быть создано голографически построенное анатомическое изображение с наложенными медицинскими данными, нанесенными в некоторых положениях на голографически построенном анатомическом изображении. В блоке 1032 отклик, который вызван, может включать в себя генерирование управляющих сигналов для работы инструментов с роботизированным управлением. Управляющие сигналы могут позволять выполнение удаленных операций.

При интерпретации прилагаемой формулы изобретения следует понимать, что:

a) слово "содержащий" не исключает присутствия других элементов или действий, чем перечисленные в данном пункте формулы изобретения;

b) единственное число элемента не исключает присутствия множества таких элементов;

c) все ссылочные позиции в пунктах формулы изобретения не ограничивают их объем;

d) несколько "средств" может быть предоставлено одним и тем же элементом, или структурой, или функцией, реализованными с помощью аппаратного обеспечения, или программного обеспечения; и

e) не предполагается, что требуется определенная последовательность действий, если иное не указано специально.

Притом, что описаны предпочтительные варианты осуществления голографических пользовательских интерфейсов для медицинских процедур (которые, как предполагается, являются иллюстративными и неограничивающими), следует отметить, что специалистами в данной области техники могут осуществляться модификации и изменения в свете вышеизложенных идей. Следовательно, следует понимать, что могут осуществляться изменения в конкретных вариантах осуществления раскрытого раскрытия, которые лежат в пределах объема вариантов осуществления, раскрытых в настоящем описании, как обозначено прилагаемой формулой изобретения. Таким образом, притом, что описаны детали и подробности, требуемые патентным законодательством, то, что заявляется и предполагается защитить патентом, перечислено в прилагаемой формуле изобретения.

Система интерактивного голографического отображения включает в себя модуль создания голограммы, сконфигурированный с возможностью отображать голографически построенное анатомическое изображение. Система определения местоположения сконфигурирована с возможностью определять контролируемое пространство на голографически построенном анатомическом изображении или поблизости от него. Положение и ориентация одного или более контролируемых объектов контролируются системой определения местоположения таким образом, что совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами вызывает отклик на голографически построенном анатомическом изображении. Технический результат заключается в исключении нарушения параллакса движения, расширении возможностей пользовательского ввода. 3 н. и 12 з.п. ф-лы, 10 ил.

1. Система интерактивного голографического отображения, содержащая:

модуль (115) создания голограммы, сконфигурированный с возможностью отображать голографически построенное анатомическое изображение (124);

систему (120) определения местоположения, сконфигурированную с возможностью определять контролируемое пространство (126) на голографически построенном анатомическом изображении или поблизости от него; и

один или более контролируемых объектов (128), содержащих анатомический элемент пользователя или виртуальный объект, положение и ориентация которых контролируются системой определения местоположения таким образом, что совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами вызывает отклик на голографически построенном анатомическом изображении;

причем система определения местоположения включает в себя одно или более из волоконно-оптической системы измерения формы, электромагнитной следящей системы и матрицы светочувствительных датчиков для определения положения и ориентации контролируемого пространства и одного или более контролируемых объектов в одной и той же системе координат.

2. Система по п. 1, в которой отклик на голографически построенном анатомическом изображении (124) включает в себя одно или более из: сдвига или вращения голографически построенного анатомического изображения и коррекции увеличения голографически построенного анатомического изображения.

3. Система по п. 1, в которой голографически построенное анатомическое изображение (124) отображает наложенные медицинские данные, нанесенные на него в некоторых положениях.

4. Система по п. 1, в которой отклик на голографически построенном анатомическом изображении (124) генерирует управляющие сигналы для работы инструментов (602) с роботизированным управлением.

5. Система по п. 1, в которой отклик на голографически построенном анатомическом изображении включает в себя исходные точки (162), размещенные так, чтобы направлять углы виртуальной камеры для дополнительного устройства отображения.

6. Система по п. 1, при этом система интерактивного голографического отображения расположена удаленно от местоположения пациента и соединена с местоположением пациента через коммуникационную сеть (910), так что голографически построенное анатомическое изображение используют для удаленного управления инструментами (906) в местоположении пациента.

7. Система по п. 1, дополнительно содержащая механизм (166) распознавания речи, сконфигурированный с возможностью преобразовывать голосовые команды в команды изменения визуальных характеристик голографически построенного анатомического изображения.

8. Система интерактивного голографического отображения, содержащая:

процессор (114);

память (116), связанную с процессором;

модуль (115) создания голограммы, содержащийся в памяти и сконфигурированный с возможностью отображать голографически построенное анатомическое изображение (124) в виде голограммы в воздухе или на голографическом устройстве отображения;

систему (120) определения местоположения, сконфигурированную с возможностью определять контролируемое пространство (126) на голографически построенном анатомическом изображении или поблизости от него;

один или более контролируемых объектов (128), содержащих анатомический элемент пользователя или виртуальный объект, положение и ориентация которых контролируются системой определения местоположения таким образом, что совпадение пространственных точек между контролируемым пространством и одним или более контролируемыми объектами вызывает отклик на голографически построенном анатомическом изображении, причем данный отклик на голографически построенном анатомическом изображении включает в себя одно или более из: сдвига или вращения голографически построенного анатомического изображения и коррекции увеличения голографически построенного анатомического изображения;

причем система определения местоположения включает в себя одно или более из волоконно-оптической системы измерения формы, электромагнитной следящей системы и матрицы светочувствительных датчиков для определения положения и ориентации контролируемого пространства и одного или более контролируемых объектов в одной и той же системе координат.

9. Система по п. 8, в которой голографически построенное анатомическое изображение (124) отображает наложенные медицинские данные, нанесенные на него в некоторых положениях.

10. Система по п. 8, в которой отклик на голографически построенном анатомическом изображении генерирует управляющие сигналы для работы инструментов (602) с роботизированным управлением.

11. Система по п. 8, в которой отклик на голографически построенном анатомическом изображении включает в себя исходные точки (162), размещенные так, чтобы направлять углы виртуальной камеры для дополнительного устройства отображения.

12. Система по п. 8, дополнительно содержащая механизм (166) распознавания речи, сконфигурированный с возможностью преобразовывать голосовые команды в команды изменения визуальных характеристик голографически построенного анатомического изображения.

13. Способ взаимодействия с голографическим устройством отображения, содержащий:

отображение (1002) голографически построенного анатомического изображения;

определение (1004) местоположения контролируемого пространства на голографически построенном анатомическом изображении или поблизости от него для определения области взаимодействия системой определения местоположения, которая включает в себя одно или более из волоконно-оптической системы измерения формы, электромагнитной следящей системы и матрицы светочувствительных датчиков;контроль (1006) положения и ориентации одного или более контролируемых объектов, содержащих анатомический элемент пользователя или виртуальный объект, системой определения местоположения;

определение (1008) совпадения пространственных точек между контролируемым пространством и одним или более контролируемыми объектами; и,

если определено совпадение, вызывание (1010) отклика на голографически построенном анатомическом изображении.

14. Способ по п. 13, в котором вызывание отклика включает в себя одно или более из: перемещения (1012) голографически построенного анатомического изображения и коррекции (1014) масштаба голографически построенного анатомического изображения.

15. Способ по п. 13, дополнительно содержащий построение (1030) голографически построенного анатомического изображения с наложенными медицинскими данными, нанесенными в некоторых положениях на голографически построенном анатомическом изображении.