СПОСОБ И УСТРОЙСТВО ДЛЯ ИНТЕРАКТИВНОГО ОТОБРАЖЕНИЯ ТРЕХМЕРНЫХ УЛЬТРАЗВУКОВЫХ ИЗОБРАЖЕНИЙ Российский патент 2017 года по МПК A61B8/13 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится, в общем, к технологии медицинской визуализации и отображения. В частности, различные новые способы и устройства, представленные в настоящем описании, касаются интерактивного отображения трехмерных ультразвуковых изображений.

УРОВЕНЬ ТЕХНИКИ

[0002] Ультразвуковая визуализация - медицинская технология, используемая для наблюдения за подкожными структурами организма, такими как сухожилия, суставы, мышцы, сосуды и внутренние органы. Посредством ультразвуковой визуализации врачи могут наблюдать и диагностировать различные патологии или поражения этих структур. Они могут также использовать ультразвуковую визуализацию для помощи в проведении различных интервенционных или хирургических процедур.

[0003] Эхокардиография - особый тип ультразвуковой визуализации, используемый для наблюдения за сердцем. Эхокардиография наиболее часто проводится путем расположения ультразвукового трансдьюсера, или зонда, на грудной стенке пациента и использования зонда для сбора изображений через грудную стенку. Это называют трансторакальной эхокардиографией. Альтернативой такому подходу является введение ультразвукового зонда в пищевод пациента и проведение визуализации сердца из пищевода. Это называют чреспищеводной эхокардиографией.

[0004] Эхокардиография традиционно использовалась для создания прямых изображений двумерных (2D) срезов сердца. Однако последние успехи в технологии позволили эхокардиографии создавать прямое изображение сердца в трех измерениях (3D). Обычно это достигается благодаря тому, что ультразвуковой зонд имеет матрицу визуализирующих элементов, соединенную с системой обработки данных. Матрица визуализирующих элементов осуществляет сбор множества изображений одновременно, а система обработки данных объединяет множество изображений для построения 3D-изображения.

[0005] 3D-эхокардиография в режиме реального времени имеет множество диагностических применений, таких как исследование пороков сердца и аритмии. Кроме того, 3D-эхокардиография в режиме реального времени может использоваться в виде части интервенционной процедуры, будь то до, в процессе или после процедуры, - практика, получившая название периинтервенционная эхокардиография. Периинтервенционная эхокардиография может использоваться, например, для анализа анатомических особенностей перед процедурой, чтобы помочь врачу направить и разместить устройство на основе катетера, а также оценить успех процедуры после того как процедура закончена. Аналогичным образом 3D-эхокардиография в режиме реального времени может быть также использована в качестве части хирургической процедуры, будь то до, в процессе или после процедуры, - практика, получившая название периоперативная эхокардиография. Периоперативная эхокардиография может использоваться, например, для анатомических наблюдений перед вскрытием грудной клетки, для проведения различий между необходимостью восстановления и замены клапана сердца, а также для определения интраоперационных конечных показателей перед закрытием грудной клетки.

[0006] В процессе периинтервенционной или периоперативной процедуры 3D-эхокардиографические изображения в режиме реального времени могут выводиться на 2D экран, чтобы позволить врачам исследовать различные аспекты сердца. Помимо этого, отображение может быть выполнено с возможностью изменения своих характеристик, например 3D угла обзора, контрастности изображения или масштаба. Обычно это достигается путем использования вычислительного интерфейса, такого как персональный компьютер с мышью и клавиатурой.

[0007] Вообще врач, выполняющий периинтервенционную или периоперативную процедуру, не может управлять отображением эхокардиографического изображения из стерильного поля, в котором проводится процедура. Это объясняется различными ограничениями, накладываемыми на врача, такими как необходимость сохранения рук стерильными и свободными, а также ограниченным пространством для компьютерного оборудования. Таким образом, могут понадобиться дополнительные врачи, чтобы помочь врачу изменять визуальные характеристики изображений по мере необходимости. Однако это может создавать сложности, поскольку обычно приводит к увеличению количества людей, необходимых для проведения процедуры, увеличивает объем общения, необходимого в процессе проведения процедуры, а также добавляет этапы к итак уже сложному протоколу проведения процедуры.

[0008] По причине этих и других недостатков традиционных технологий существует необходимость в усовершенствовании способов и устройств для интерактивного отображения 3D-ультразвуковых изображений в режиме реального времени, таких как те, что используются в эхокардиографии.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[0009] Настоящее раскрытие направлено на создание новых способов и устройств для интерактивного отображения 3D-ультразвуковых изображений. Например, в определенных вариантах осуществления 3D-ультразвуковая система соединена с 3D-голографической системой отображения. Голографическая система отображения отображает 3D изображения, построенные из ультразвуковых данных, при этом она позволяет пользователю управлять отображением, используя бесконтактный ввод данных, например жесты рук. Например, пользователь может поворачивать угол обзора 3D-изображения движением руки возле устройства отображения в направлении требуемого вращения.

[0010] Возможность управления голографической системой отображения, используя бесконтактный ввод данных, позволяет врачу управлять визуальными характеристиками отображаемых изображений, не загрязняя стерильное поле, в котором проводится периинтервенционная или периоперативная процедура. Это может также приводить к более быстрому и точному управлению отображением, а также может уменьшить число врачей, требуемых для содействия проведению процедуры.

[0011] В общем, в одном аспекте способ отображения 3D-ультразвуковых данных содержит сбор 3D-ультразвуковых данных с использованием ультразвукового зонда, передачу ультразвуковых данных в 3D-голографическую систему отображения и отображение ультразвуковых данных на системе отображения в режиме реального времени, прием бесконтактного ввода данных от пользователя, а также формирование отображения ультразвуковых данных на системе отображения на основе бесконтактного ввода данных.

[0012] В некоторых вариантах осуществления формирование отображения 3D-ультразвуковых данных содержит поворот, поступательный перенос или масштабирование голографического изображения, образованного с помощью ультразвуковых данных.

[0013] В некоторых вариантах осуществления ультразвуковые данные представляют собой эхокардиографические данные, собранные в связи с проведением периинтервенционной или периоперативной эхокардиографической процедуры. Помимо этого, в некоторых вариантах осуществления система отображения установлена над объектом, подвергаемом процедуре, например, на потолке лаборатории хирургии или лаборатории катетеризации.

[0014] В некоторых вариантах осуществления бесконтактный ввод данных содержит жест руки или голосовую команду.

[0015] В некоторых вариантах осуществления формирование отображения ультразвуковых данных на системе отображения на основе бесконтактного ввода данных содержит передачу сигнала на ультразвуковой зонд для управления видом ультразвуковых данных, собранных ультразвуковым зондом и показанных на устройстве отображения.

[0016] В другом аспекте система медицинской визуализации содержит ультразвуковой зонд, выполненный с возможностью сбора 3D-данных от объекта, систему обработки данных, выполненную с возможностью генерирования 3D-изображений в режиме реального времени из 3D-данных, 3D-голографическую систему отображения, выполненную с возможностью отображения 3D-изображений в режиме реального времени, сгенерированных системой обработки данных, а также пользовательский интерфейс, выполненный с возможностью детектирования бесконтактного ввода данных от пользователя и инициирования преобразования 3D-изображений в режиме реального времени в системе отображения в ответ на бесконтактный ввод данных.

[0017] В некоторых вариантах осуществления преобразование изображения содержит поворот, поступательный перенос или масштабирование изображения.

[0018] В некоторых вариантах осуществления пользовательский интерфейс содержит один или более датчиков электромагнитного поля, выполненных с возможностью детектирования одного или более жестов рук.

[0019] В некоторых вариантах осуществления пользовательский интерфейс содержит компьютерную видеосистему, выполненную с возможностью детектирования одного или более жестов рук.

[0020] В некоторых вариантах осуществления ультразвуковой зонд представляет собой зонд для чреспищеводной эхокардиографии.

[0021] В некоторых вариантах осуществления 3D-голографическая система отображения установлена на потолке лаборатории хирургии, операционной или лаборатории катетеризации.

[0022] В некоторых вариантах осуществления система обработки данных обменивается информацией с системой отображения через интерфейс беспроводной связи.

[0023] В некоторых вариантах осуществления пользовательский интерфейс дополнительно выполнен с возможностью инициирования записи и воспроизведения потока изображений, приостановки отображения изображений или управления системой меню в ответ на жесты рук.

[0024] В другом аспекте способ проведения периинтервенционной или периоперативной медицинской процедуры в пределах стерильного поля содержит применение ультразвукового зонда в отношении пациента, исследование 3D-ультразвукового изображения, полученного из данных, сгенерированных ультразвуковым зондом и отображенных на 3D-голографическом устройстве отображения, проведение лечения пациента на основе этого исследования, а также управление 3D-голографическим устройством отображения через бесконтактный интерфейс.

[0025] В некоторых вариантах осуществления проведение лечения пациента содержит применение устройства на основе катетера в отношении пациента или проведение пациенту хирургической операции.

[0026] В некоторых вариантах осуществления бесконтактный интерфейс содержит один или более электромагнитных датчиков, выполненных с возможностью детектирования одного или более жестов рук.

[0027] В некоторых вариантах осуществления управление 3D-голографическим устройством отображения содержит выполнение жеста руки для изменения визуальных характеристик 3D-изображения, представленного на 3D-голографическом устройстве отображения.

[0028] В некоторых вариантах осуществления изменение визуальных характеристик 3D-изображения содержит поворот, масштабирование или поступательный перенос 3D-изображения.

[0029] В настоящем описании в целях настоящего раскрытия следующие термины должны интерпретироваться следующим образом.

[0030] Термин "ультразвуковые данные" обозначает информацию, сгенерированную посредством использования ультразвуковой технологии. Ультразвуковые данные обычно содержат необработанные результаты измерений, которые могут использоваться для генерирования ультразвуковых изображений. Например, 3D-ультразвуковые данные могут содержать измерительные величины, связанные с конкретными 3D-местоположениями объекта.

[0031] Термин "ультразвуковой зонд" обозначает инструмент, генерирующий ультразвуковые данные в отношении объекта, подвергаемого измерениям, например пациента. Ультразвуковой зонд обычно содержит трансдьюсер, который использует ультразвуковые волны для генерирования необработанных результатов измерений объекта, будучи помещенным вблизи объекта. Ультразвуковые зонды могут иметь разные формы и размеры, а также они могут иметь чувствительные элементы различных типов и конфигураций.

[0032] Термин "3D-голографическое изображение" обозначает совокупность световых сигналов, создающих визуальное представление объекта в объемном пространстве. 3D-голографическое изображение может быть создано, например, путем управления или манипулирования лазерным лучом, например, путем отражения, дифракции или суперпозиции.

[0033] Термин "3D-голографическая система отображения" обозначает технологию для создания 3D-голографического изображения. В некоторых вариантах осуществления 3D-голографическая система отображения содержит контейнер или субстрат, в котором формируется изображение. Однако 3D-голографическая система отображения не ограничена такими конфигурациями. Кроме того, в определенных вариантах осуществления 3D-голографическая система отображения содержит компоненты для управления визуальными характеристиками 3D-голографических изображений. Такие компоненты могут располагаться проксимально к устройству отображения изображения или они могут быть помещены в иное место.

[0034] Термин "бесконтактный ввод данных" обозначает механизм, позволяющий пользователю обмениваться информацией с системой, не прибегая к физическому контакту. Например, бесконтактный ввод данных может содержать жест руки или голосовую команду. Термин "бесконтактный ввод данных" не следует понимать как исключающий всякий физический контакт в конкретной операции ввода данных, а лишь указывающий на наличие бесконтактного механизма ввода данных. Термин "жест руки" обозначает тип бесконтактного ввода данных, при котором конкретное перемещение или конфигурация руки пользователя определяет входную величину. Например, сметающее движение руки пользователя может определять входную величину, управляющую устройством отображения изображения для поворота изображения.

[0035] Термин "интерфейс бесконтактного ввода данных" обозначает механизм, позволяющий системе принимать бесконтактный ввод данных. Например, в некоторых вариантах осуществления 3D-голографическая система отображения содержит интерфейс бесконтактного ввода данных, который распознает электромагнитное поле в своей окружающей среде, чтобы определить, выполнил ли пользователь конкретный жест рукой. В качестве альтернативы в интерфейсе бесконтактного ввода данных могут использоваться оптические транзисторы или различные компьютерные видеотехнологии для детектирования конкретны жестов. Термин "интерфейс бесконтактного ввода данных" не следует понимать как исключающий всякий физический контакт с интерфейсом, а лишь указывающий на наличие механизма или механизмов для приема бесконтактного ввода данных.

[0036] Термин "преобразование изображения" обозначает изменение в отображении или визуальных характеристиках изображения. Например, преобразование изображения может включать в себя линейные преобразования, такие как поворот, поступательный перенос или масштабирование, либо оно может содержать более сложные функции преобразования.

[0037] Термин "периинтервенционная процедура" обозначает медицинскую процедуру, выполняемую до, в процессе или после медицинского вмешательства в пределах стерильного поля, а термин "периоперативная процедура" обозначает медицинскую процедуру, выполняемую до, в процессе или после хирургического вмешательства в пределах стерильного поля.

[0038] Следует понимать, что все комбинации описанных выше концепций, а также дополнительных концепций, которые подробнее описаны ниже (при условии, что такие концепции не являются взаимно противоречащими), рассматриваются как часть объекта изобретения, раскрытого в настоящем описании. В частности, все комбинации заявленного объекта изобретения, приведенные в конце данного раскрытия, рассматриваются как часть объекта изобретения, раскрытого в настоящем описании. Следует также понимать, что терминология, в явном виде использованная в настоящем описании, которая также может фигурировать в любом раскрытии, включенном в настоящее описание путем ссылки, должна соответствовать значению, наиболее близкому конкретным концепциям, раскрытым в настоящем описании.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0039] На чертежах одинаковые ссылочные позиции, в общем, относятся к одинаковым деталям на различных видах. Кроме того, чертежи не обязательно выполнены в масштабе, вместо этого акцент, в общем, делается на иллюстрирование принципов, заложенных в изобретении.

[0040] На ФИГ. 1 показана ультразвуковая система и 3D-голографическая система отображения, используемые для получения чреспищеводной эхокардиограммы согласно одному примеру осуществления.

[0041] На ФИГ. 2 показан жест, выполняемый для управления визуальными характеристиками 3D-голографической системы отображения, представленной на ФИГ. 1, согласно одному примеру осуществления.

[0042] На ФИГ. 3 показана система, содержащая ультразвуковую систему и голографическую систему отображения согласно одному примеру осуществления.

[0043] На ФИГ. 4 показан пример ультразвуковой системы, представленной на ФИГ. 3, согласно одному примеру осуществления.

[0044] На ФИГ. 5 показан пример голографической системы отображения, представленной на ФИГ. 3, согласно одному примеру осуществления.

[0045] На ФИГ. 6 показан способ работы системы, представленной на ФИГ. 3, согласно одному примеру осуществления.

[0046] На ФИГ. 7 показан способ проведения медицинской процедуры с использованием системы, представленной на ФИГ. 4, согласно одному примеру осуществления.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0047] Как говорилось выше, традиционные технологии для отображения 3D-ультразвуковых изображений страдают рядом недостатков, которые могут усложнять и затруднять проведение медицинских процедур. Например, для сохранения стерильного поля при проведении процедуры традиционные технологии обычно требуют, чтобы один врач управлял отображением изображения, в то время как другой врач манипулирует ультразвуковыми инструментами, а еще один врач выполняет процедуру. Это приводит к увеличению числа этапов и объема общения, необходимого для выполнения процедуры. Это также снижает уровень контроля со стороны врача, выполняющего процедуру.

[0048] Заявители, таким образом, пришли к выводу, что было бы предпочтительно предложить способы и устройства, позволяющие врачу управлять отображением 3D-ультразвуковых изображений из стерильного поля. Например, Заявители осознали преимущества отображения 3D ультразвуковые изображения с использованием 3D-голографической системы отображения, которой можно управлять, используя бесконтактный ввод данных, например жесты рук. Такие способы позволяют врачу управлять отображением из стерильного поля, при этом они также могут предоставить врачу более точное и прямое управление отображением, что может обеспечить более эффективное и точное проведение процедур.

[0049] В ввиду вышесказанного, различные варианты осуществления и реализации настоящего изобретения направлены на системы и способы для интерактивного отображения 3D-ультразвуковых изображений с использованием 3D-голографической системы отображения. 3D-голографическая система отображения управляется через бесконтактный интерфейс, что позволяет врачу изменять визуальные характеристики отображаемых изображений посредством жестов рук, голосовых команд или других видов ввода данных, не требующих, чтобы врач покидал стерильное поле. Таким образом, описанные способы и системы могут быть с готовностью использованы применительно к медицинским процедурам, требующим наличия стерильного поля, таким как периинтервенционные или периоперативные процедуры.

[0050] Некоторые варианты осуществления, в частности, имеют отношение к процедурам, содержащим эхокардиографию. Например, некоторые варианты осуществления могут применяться к эхокардиографическим процедурам, проводимым в лаборатории катетеризации или лаборатории хирургии. При проведении таких процедур врач, например хирург-кардиолог, может управлять 3D-голографической системой отображения ультразвуковых данных, сгенерированных посредством трансторакальной или чреспищеводной эхокардиографии, вводя инструмент, например катетер, субъекту. Это управление может осуществляться через бесконтактный интерфейс, позволяя врачу изменять отображаемые изображения, не загрязняя стерильное поле.

[0051] На ФИГ. 1 показана ультразвуковая система и 3D-голографическая система отображения, используемые для получения чреспищеводной эхокардиограммы согласно одному примеру осуществления. Эти системы показаны применительно к лаборатории 100 кардиокатетеризации, в которой врач выполняет процедуру из стерильного поля. Эти системы, однако, могут использоваться во многих других случаях, на пример в операционной, помещении для просмотра данных, лаборатории хирургии и т.д.

[0052] Как показано на ФИГ. 1, ультразвуковая система содержит ультразвуковой зонд 105, соединенный с системой 110 обработки данных. Врач помещает ультразвуковой зонд 105 в пищевод пациента вблизи сердца. Ультразвуковой зонд 105 использует ультразвуковые волны для генерирования данных, представляющих 3D изображение сердца пациента. Эти данные передаются в систему 110 обработки данных, осуществляющую построение 3D-изображения, а затем передачу 3D-изображения в 3D-голографическую систему 115 отображения.

[0053] 3D-голографическая система 115 отображения расположена перед врачом для обеспечения визуализации сердца пациента в режиме реального времени в процессе проведения медицинской процедуры. В примере, представленном на ФИГ. 1, 3D-голографическая система 115 отображения имеет сферическое отображение, подвешенное в воздухе. Такое отображение может быть создано, например, путем проецирования пересекающихся световых лучей перед врачом. Данные лучи могут генерироваться, например, лазерами, установленными в различных частях лаборатории 100 катетеризации.

[0054] В качестве альтернативы отображению, представленному на ФИГ. 1, 3D-голографическая система 115 отображения может быть образована с помощью специализированного средства отображения информации, такого как контейнер, вместо образования голографического изображения в воздухе. Например, средство отображения информации может иметь форму цилиндрического контейнера, создающего 3D-голографическое изображение посредством использования световых источников, расположенных в цилиндре. Такое цилиндрическое средство отображения информации может устанавливаться на потолке или на стене лаборатории 100 катетеризации вблизи врача, чтобы обеспечить удобный обзор в ходе процедуры. В еще одних вариантах осуществления 3D-голографическая система отображения может быть выполнена в конфигурации, отличной от цилиндра или плавающей сферы. Помимо этого, не требуется, чтобы она имела унитарную геометрическую форму. Например, она может быть образована из рассеянных компонентов, которые функционируют вместе для создания голографического изображения в воздухе или в контейнере, либо в специализированной среде. Один из коммерчески доступных примеров 3D-голографического устройства с использованием контейнера - стереодисплей Sony Raymodeler.

[0055] 3D-изображения в 3D-голографической системе 115 отображения обычно можно видеть одновременно отовсюду в диапазоне 360 градусов. Таким образом, в процессе проведения определенных медицинских процедур один или более дополнительных врачей могут видеть сердце пациента под различными углами. Это может оказаться предпочтительным, например, при точном ориентировании инструмента или мониторинге здоровья сердца в ходе процедуры.

[0056] 3D-голографическая система 115 отображения также имеет пользовательский интерфейс, позволяющий врачу управлять отображением, используя бесконтактный ввод данных, например жесты рук, позы или голосовые команды, как показано стрелками вокруг 3D-голографической системы 115 отображения. Например, в некоторых вариантах осуществления врач может взмахнуть рукой поперек за пределами 3D-голографической системы 115 отображения для поворота угла обзора сердца. Поскольку врач может управлять 3D-голографической системой 115 отображения, не дотрагиваясь до нее, врач может осуществлять такое управление, не загрязняя стерильное поле вокруг пациента. Пользовательский интерфейс может быть реализован с использованием различных технологий, например датчиков электромагнитного поля, компьютерной видеосистемы и т.д. В некоторых вариантах осуществления врач может также использовать бесконтактный ввод данных для управления перемещением ультразвукового зонда 105 посредством интерфейса 3D-голографической системы 115 отображения. Например, врач может использовать жесты рук на интерфейсе, чтобы заставить ультразвуковой зонд 105 переместиться на другой участок стенки пищевода или совершить поворот для получения другого вида сердца. Путем управления перемещением ультразвукового зонда 105 врач может потенциально получить более ясные изображения или более подходящие виды для проводимой процедуры. Чтобы способствовать такому управлению, ультразвуковая система может быть оборудована двусторонней связью или другими механизмами обратной связи между 3D-голографической системой 115 отображения и ультразвуковым зондом 105 или системой 110 обработки данных.

[0057] В инвазивной кардиопроцедуре с использованием традиционной технологии эхокардиолог может работать с ультразвуковым оборудованием и управлять чреспищеводным зондом, в то время как технический работник управляет системой отображения, а интервенционный кардиолог проводит процедуру. Однако посредством использования бесконтактного интерфейса 3D-голографической системы 115 отображения эхокардиолог или интервенционный кардиолог может управлять отображением, потенциально исключая необходимость в дополнительном техническом работнике. Кроме того, это может предоставить интервенционному кардиологу больше возможностей управлять отображаемым изображением и усовершенствовать проводимые процедуры.

[0058] Например, при проведении инвазивной процедуры интервенционный кардиолог может носить перчатки, покрытые кровью. Тем не менее, выполнив жесты руками вокруг 3D-голографической системы 115 отображения, кардиолог может изменить конфигурацию отображаемого изображения, не загрязнив перчатки и не испачкав устройство. По мере того как кардиолог вводит катетер, отображение может быть повернуто на угол обзора и отмасштабировано так, чтобы обеспечить тщательное наблюдение за позиционированием катетера. Затем отображение может быть сориентировано так, чтобы удостовериться в отсутствии нежелательных протечек перед закрытием места вмешательства в организм и завершением процедуры.

[0059] Хотя на ФИГ. 1 показан врач, использующий 3D-голографическую систему 115 отображения в ходе интервенционной или хирургической процедуры, она также может использоваться на всем протяжении периинтервенционных и периоперативных процедур. Например, после того как врач предпринял шаги для стерилизации своих рук и пр., можно решить некоторые задачи с использованием 3D-голографической системы 115 отображения из стерильного поля перед проведением инвазивной процедуры, например просмотреть собранные изображения, используя жесты рук. Помимо этого, бесконтактный интерфейс 3D-голографической системы 115 отображения позволяет его использовать в окружающих средах, в которых традиционные технологии обычно не используются. Например, врач может использовать 3D-голографическую систему 115 отображения в помещении для просмотра данных после стерилизации своих рук, поскольку использование данной системы не требует прикосновения к чему-либо в помещении для просмотра данных.

[0060] НА ФИГ. 2 показан жест, выполняемый для управления визуальными характеристиками 3D-голографической системы отображения, представленной на ФИГ. 1, согласно одному примеру осуществления. Пример, представленный на ФИГ. 2, - один из множества жестов, которые голографическая система 115 отображения может отработать.

[0061] Как показано на ФИГ. 2, простой жест рукой выполняется путем перемещения руки 205 сметающим движением из точки "A" в точку "B" по периферии голографической системы 115 отображения. Бесконтактный интерфейс устройства детектирует перемещение и заставляет 3D-изображение сердца совершать поворот вокруг вертикальной оси, показанной в центре 3D-устройства отображения. Врач может также управлять поворотом отображения в других направлениях, используя жесты, указанные стрелками на ФИГ. 2.

[0062] В дополнение к управлению поворотом 3D-изображения, жесты рук могут также использоваться для управления другими визуальными характеристиками, например масштабированием, перемещением изображения влево/вправо или вверх/вниз. Помимо этого, жесты рук можно также использовать для управления другими функциями голографической системы 115 отображения, такими как запись и воспроизведение потока изображений, удаление ранее зарегистрированных изображений, приостановка отображения изображений, управление системой меню и т.д.

[0063] На ФИГ. 3 показана система 300, содержащая 3D-ультразвуковую систему 305 и 3D-голографическую систему 310 отображения согласно одному примеру осуществления. Система 300 представляет более обобщенную версию системы, показанной на ФИГ. 1.

[0064] Вообще 3D-ультразвуковая система 305 может содержать ультразвуковое оборудование любого типа, способное генерировать 3D-ультразвуковые данные. Она может быть выполнена с возможностью генерирования 3D-изображения из ультразвуковых данных, либо она может передавать ультразвуковые данные на другой компонент, например 3D-голографическую систему отображения 310, для формирования 3D-изображения. Аналогичным образом 3D-голографическая система 310 отображения может содержать оборудование любого типа, способное создавать 3D-голографические изображения из 3D-ультразвуковых данных и позволяющее управлять отображением посредством использования бесконтактного ввода данных.

[0065] Ультразвуковая система 305 и голографическая система отображения могут быть объединены друг с другом, используя различные технические приемы и технологии. Например, они могут быть выполнены с возможностью обмена информацией, используя стандартизованные протоколы проводного и беспроводного обмена данными, такие как WiFi, Bluetooth, USB, шина сверхбыстрой передачи данных (firewire), PCI-E и т.д. Кроме того, они могут быть выполнены с возможностью использования совместимого формата данных для удобной интеграции.

[0066] На ФИГ. 4 показан пример ультразвуковой системы 305, представленной на ФИГ. 3, согласно одному примеру осуществления.

[0067] Как показано на ФИГ. 4, ультразвуковая система 305 содержит ультразвуковой зонд 405, блок 410 сбора данных, блок 415 построения изображений, а также интерфейс 420 связи. Ультразвуковой зонд 405 содержит матрицу первичных преобразователей, выполненную с возможностью генерирования 3D-ультразвуковых данных посредством использования ультразвуковых волн. Блок 410 сбора данных осуществляет сбор и/или оцифровку 3D ультразвуковых данных и передает их в блок 415 построения изображений. Блок 415 построения изображений обрабатывает 3D-ультразвуковые данные для генерирования 3D-изображения. Изображение предпочтительно может создаваться в формате, совместимом с голографической системой отображения. После того как 3D-изображение создано, оно передается на интерфейс 420 связи, который далее передает изображение на голографическую систему отображения. Элементы, представленные на ФИГ. 4, обычно выполняют свои функции в режиме реального времени, чтобы генерировать прямые 3D-изображения. Таким образом, чтобы способствовать эффективности обработки данных, они могут быть реализованы с использованием различных конвейерных технологий и/или технологий параллельной обработки данных.

[0068] На ФИГ. 5 показан пример голографической системы 310 отображения, представленной на ФИГ. 3, согласно одному примеру осуществления.

[0069] Как показано на ФИГ. 5, голографическая система отображения содержит интерфейс 505 связи, интерфейс 510 бесконтактного ввода данных, контроллер 515, механизм 520 визуализации, а также устройство 525 отображения. Интерфейс 505 связи принимает данные от ультразвуковой системы 305 и передает принятые данные в контроллер 515. Эти данные обычно представляют 3D-ультразвуковое изображение, например 3D-эхокардиограмму. Интерфейс 505 связи может быть реализован с использованием любого из различных протоколов проводного и беспроводного обмена данными. Интерфейс 510 бесконтактного ввода данных принимает бесконтактный ввод данных от пользователя и передает полученные входные данные в контроллер 515. Такие входные данные могут содержать, например, жесты рук или голосовые команды. Интерфейс 510 бесконтактного ввода данных может быть реализован с помощью различных доступных сенсорных технологий, например матрицы датчиков электромагнитного поля, компьютерной видеосистемы на основе использования камеры либо одного или более микрофонов.

[0070] Контроллер 515 принимает 3D-данные изображений от интерфейса 505 связи, а также он принимает бесконтактный ввод данных от интерфейса 510 бесконтактного ввода данных. На основе этой полученной информации контроллер 515 передает данные и/или команды на механизм 520 визуализации, чтобы заставить его отобразить данные изображений. Механизм 520 визуализации обычно выполняет преобразования изображений и другие операции для отображения 3D-данных изображения на устройстве 525 отображения. Далее 3D данные изображений отображаются устройством 525 отображения.

[0071] На ФИГ. 6 показан способ 600 работы системы, представленной на ФИГ. 3, согласно одному примеру осуществления. В нижеследующем описании этапы способа, приведенного в качестве примера, отмечены круглыми скобками (SXXX).

Как показано на ФИГ. 6, способ содержит сбор 3D-ультразвуковых данных (S605). Как описано выше, это может быть выполнено с использованием ультразвукового зонда, например, в трансторакальной эхокардиограмме или чреспищеводной эхокардиограмме. Затем собранные данные передаются в 3D-голографическую систему отображения (S610). После этого 3D-голографическая система отображения отображает 3D-изображение, полученное из собранных 3D-ультразвуковых данных (S615). Затем 3D-голографическая система отображения принимает бесконтактный ввод данных от пользователя, например врача (S620). Наконец, конфигурируется отображенное изображение согласно бесконтактному вводу данных (S625). Конфигурирование отображенного изображения может осуществляться, например, путем выполнения преобразования изображения, такого как поворот, поступательный перенос или масштабирование согласно бесконтактному вводу данных. В качестве альтернативы конфигурация отображенного изображения может изменяться путем изменения положения ультразвукового зонда, выполняемого с целью изменения вида полученного изображения. Например, в ответ на бесконтактный ввод данных, такой как сметающий жест руки, голографическая система отображения может передать сигнал управления в ультразвуковую систему, заставляя ее передать сигнал на ультразвуковой зонд для управления местоположением (x, y, z) кончика преобразователя в пищеводе пациента. Это может изменить вид ультразвуковых данных, собранных ультразвуковым зондом и показанных на устройстве отображения. Например, это может изменить участок сердца, видимый на изображении, либо это может сгенерировать более отчетливое изображение наблюдаемого участка. Специалисты в данной области техники поймут, что существует множество способов управления видом, полученным ультразвуковым зондом, так что подробное описание различных альтернативных технологий для краткости не приводится.

[0072] На ФИГ. 7 показан способ 700 проведения медицинской процедуры с использованием системы 300, представленной на ФИГ. 3, согласно одному примеру осуществления.

[0073] Как показано на ФИГ. 7, способ содержит применение ультразвукового зонда в отношении пациента для генерирования 3D-ультразвукового изображения, такого как эхокардиограмма (S705). Далее способ содержит исследование 3D-ультразвукового изображения на 3D-голографическом устройстве отображения (S710), проведение процедуры на основе этих исследований (S715), а также управление голографическим устройством отображения через бесконтактный интерфейс (S720). Способ, представленный на ФИГ. 7, в общем, осуществляется врачом в пределах стерильного поля. Например, он может выполняться в операционной, лаборатории хирургии или лаборатории катетеризации в процессе проведения различных инвазивных процедур. Как говорилось выше, способ, представленный на ФИГ. 7, может улучшить контроль врача над отображением, а также может повысить эффективность проводимых процедур.

[0074] Хотя в настоящем описании представлены и проиллюстрированы несколько новых вариантов осуществления, средние специалисты в данной области техники легко смогут себе представить множество других средств и/или конструкций для выполнения функций и/или получения результатов, и/или одного или более преимуществ, представленных в настоящем описании, при этом каждая из таких вариаций и/или модификаций не выходит за пределы объема новых вариантов осуществления, представленных в настоящем описании. В более общем смысле специалисты в данной области техники поймут, что все параметры, размеры, материалы и конфигурации, представленные в настоящем описании, приводятся лишь в качестве примера, и что действительные параметры, размеры, материалы и/или конфигурации зависят от конкретного применения или областей применения, для которых используются новые идеи. Специалисты в данной области техники признают или будут способны выявить использование всего лишь рутинных экспериментов и множество эквивалентов конкретным новым вариантам осуществления, представленным в настоящем описании. Следует понимать, таким образом, что предшествующие варианты осуществления представлены лишь в качестве примера, а также то, что в объеме притязаний прилагаемой формулы изобретения и ее эквивалентов новые варианты могут быть воплощены иначе, чем конкретно описано и заявлено. Новые варианты осуществления в настоящем раскрытии направлены на каждый индивидуальный признак, систему, изделие, материал, набор и/или способ, представленные в настоящем описании. Кроме того, любое сочетание таких двух или более признаков, систем, изделий, материалов, наборов и/или способов, если такие признаки, системы, изделия, материалы, наборы и/или способы не являются взаимно противоречащими, включено в объем настоящего раскрытия изобретения.

[0075] Все определения, сформулированные и использованные в настоящем описании, следует понимать как распространяющиеся на словарные определения, определения в документах, включенных путем ссылки, и/или обычные смысловые значения определяемых терминов.

[0076] Упоминание элементов или этапов в единственном числе в описании и формуле изобретения не исключает их множества.

[0077] Словосочетание "и/или" в настоящем описании, имеющееся в описательной части и в формуле изобретения, следует понимать в значении "любой из двух или оба" в отношении элементов, объединенных указанным образом, т.е., элементов, которые совместно присутствуют в одних случаях и раздельно присутствуют в других случаях. Множество элементов, перечисленных с использованием "и/или", следует понимать в том же смысле, т.е., "один или более" элементов, объединенных указанным образом. Возможно присутствие других элементов, помимо элементов, конкретно идентифицированных выражением "и/или", связанных или несвязанных с конкретно идентифицированными элементами. Таким образом, приведенная в качестве одного неограничивающего примера ссылка на "A и/или B", будучи использованной в сочетании с выражением, предполагающим открытое множество, таким как "содержащий", в одном варианте осуществления может означать только A (при этом могут присутствовать элементы, отличные от B); в другом варианте осуществления - только B (при этом могут присутствовать элементы, отличные от A); в еще одном варианте осуществления - A и B (при этом могут присутствовать другие элементы); и т.д.

[0078] В описательной части и в формуле изобретения, приведенных в настоящем описании, "или" следует понимать в том же смысловом значении, что и "и/или" по вышеприведенному определению. Например, осуществляя разделение объектов в перечне, выражения "или" или "и/или" следует рассматривать как инклюзивные, т.е., включающие, по меньшей мере, один, но также включающие более одного из множества или перечня элементов, а также, в качестве опции, дополнительные, не включенные в список объекты. Только термины, явно указывающие обратное, такие как "только один из" или "именно один из", или, в случае использования в формуле изобретения, "состоящий из", относятся к включению именно одного элемента из множества или перечня элементов. В общем, термин "или" в настоящем описании следует толковать как указывающий на исключающие альтернативы (т.е. "один или другой, но не оба"), только если ему предшествуют термины, указывающие на исключительность, например "либо", "один из", "только один из" или "именно один из". Выражение "состоящий по существу из" при использовании в формуле изобретения имеет свое обычное значение, применяемое в патентном праве.

[0079] В описательной части и в формуле изобретения, приведенных в настоящем описании, словосочетание "по меньшей мере, один" в отношении перечня, состоящего из одного или более элементов, следует понимать как, по меньшей мере, один элемент, выбранный из любых одного или более элементов, включенных в перечень элементов, но не обязательно включающее, по меньшей мере, один из всех без исключения элементов, конкретно перечисленных в перечне элементов, и не исключающее каких-либо комбинаций элементов в перечне элементов. Данное определение допускает также присутствие элементов, отличных от элементов, конкретно идентифицированных в перечне элементов, к которому относится словосочетание "по меньшей мере, один", связанных или не связанных с теми элементами, которые конкретно идентифицированы. Таким образом, приведенное в качестве одного неограничивающего примера словосочетание "по меньшей мере, один из A и B" (или, что то же самое, "по меньшей мере, один из A или B", или, что то же самое, "по меньшей мере, один из A и/или B") в одном варианте осуществления может означать, по меньшей мере, один A, возможно более одного A, при этом B отсутствует (в качестве опции включены элементы, отличные от B); в другом вариант осуществления - по меньшей мере, один B, возможно более одного B, при этом A отсутствует (в качестве опции включены элементы, отличные от A); в еще одном варианте осуществления - по меньшей мере, один A, возможно более одного A, а также, по меньшей мере, один B, возможно более одного B (в качестве опции включены другие элементы); и т.д.

[0080] Следует также понимать, что, если явно не указано обратное, в любых способах, заявленных в настоящем описании, включающих в себя более одного этапа или действия, порядок следования этапов или действий способа не обязательно ограничен порядком, в котором перечислены этапы или действия способа.

[0081] В формуле изобретения, также как и в вышеприведенном описании, переходные фразы, такие как "содержащий", "включающий в себя", "несущий", "имеющий", "охватывающий", "заключающий в себе", "удерживающий", "содержащий в своем составе" и т.п. следует понимать как предполагающие открытое множество, т.е., означающие «включающие в себя, но не ограниченные перечисленным». Только переходные фразы "состоящий из" и "состоящий по существу из" являются переходными фразами, предполагающими замкнутое или полузамкнутое множество соответственно, как изложено в Руководстве по методике патентной экспертизы США (United States Patent Office Manual of Patent Examining Procedures) в Разделе 2111.03.

Группа изобретений относится к медицинской технике, а именно к средствам интерактивного отображения трехмерных ультразвуковых изображений. Способ голографического отображения трехмерных (3D) ультразвуковых данных содержит сбор 3D-ультразвуковых данных с использованием ультразвукового зонда, который содержит преобразователь, передачу ультразвуковых данных в 3D-голографическую систему отображения и голографическое отображение ультразвуковых данных в системе отображения в режиме реального времени, прием бесконтактного ввода данных от пользователя, причем бесконтактный ввод данных содержит детектируемое перемещение по меньшей мере частично по периферии голографического устройства отображения, управление, в ответ на бесконтактный ввод данных, ультразвуковым зондом для изменения местоположения преобразователя и изменение конфигурации голографического отображения ультразвуковых данных на основе изменения местоположения преобразователя. Система медицинской визуализации содержит ультразвуковой зонд, содержащий преобразователь, систему обработки данных, 3D-голографическую систему отображения и пользовательский интерфейс, выполненный с возможностью детектирования бесконтактного ввода данных от пользователя и изменения конфигурации голографического отображения 3D-изображений в режиме реального времени в ответ на бесконтактный ввод данных, причем бесконтактный ввод данных вызывает изменение местоположения кончика преобразователя ультразвукового зонда и упомянутое изменение конфигурации основано на этом изменении местоположения. Использование изобретений позволяет расширить арсенал средств интерактивного отображения. 2 н. и 13 з.п. ф-лы, 7 ил.

1. Способ голографического отображения трехмерных (3D) ультразвуковых данных, содержащий:

сбор 3D-ультразвуковых данных с использованием ультразвукового зонда, который содержит преобразователь;

передачу ультразвуковых данных в 3D-голографическую систему отображения и голографическое отображение ультразвуковых данных в системе отображения в режиме реального времени;

прием бесконтактного ввода данных от пользователя, причем бесконтактный ввод данных содержит детектируемое перемещение по меньшей мере частично по периферии голографического устройства отображения;

управление, в ответ на бесконтактный ввод данных, ультразвуковым зондом для изменения местоположения преобразователя и

изменение конфигурации голографического отображения ультразвуковых данных на основе изменения местоположения преобразователя.

2. Способ по п. 1, в котором бесконтактный ввод данных дополнительно инициирует по меньшей мере одно преобразование изображения, выбранное из группы, состоящей из поворота, поступательного переноса и масштабирования голографического изображения, образованного с помощью ультразвуковых данных.

3. Способ по п. 1, в котором ультразвуковые данные представляют собой эхокардиографические данные, собранные в связи с проведением периинтервенционной или периоперативной эхокардиографической процедуры.

4. Способ по п. 3, в котором система отображения установлена над объектом, подвергаемым процедуре.

5. Способ по п. 4, в котором система отображения установлена на потолке лаборатории хирургии или лаборатории катетеризации.

6. Способ по п. 1, в котором бесконтактный ввод данных содержит жест руки.

7. Способ по п. 1, в котором бесконтактный ввод данных содержит голосовую команду.

8. Система медицинской визуализации, содержащая:

ультразвуковой зонд, выполненный с возможностью сбора трехмерных (3D) данных от объекта, причем ультразвуковой зонд содержит преобразователь;

систему обработки данных, выполненную с возможностью генерирования 3D-изображений в режиме реального времени из 3D-данных;

3D-голографическую систему отображения, выполненную с возможностью голографического отображения 3D-изображений в режиме реального времени, сгенерированных системой обработки данных; и

пользовательский интерфейс, выполненный с возможностью детектирования бесконтактного ввода данных от пользователя и изменения конфигурации голографического отображения 3D-изображений в режиме реального времени в ответ на бесконтактный ввод данных, причем бесконтактный ввод данных вызывает изменение местоположения кончика преобразователя ультразвукового зонда и упомянутое изменение конфигурации основано на этом изменении местоположения.

9. Система медицинской визуализации по п. 8, в которой бесконтактный ввод данных дополнительно инициирует по меньшей мере одно преобразование изображения, выбранное из группы, состоящей из поворота, поступательного переноса или масштабирования изображения.

10. Система медицинской визуализации по п. 8, в которой пользовательский интерфейс содержит один или более датчиков электромагнитного поля, выполненных с возможностью детектирования одного или более жестов рук.

11. Система медицинской визуализации по п. 8, в которой пользовательский интерфейс содержит компьютерную видеосистему, выполненную с возможностью детектирования одного или более жестов рук.

12. Система медицинской визуализации по п. 8, в которой ультразвуковой зонд представляет собой зонд для чреспищеводной эхокардиографии.

13. Система медицинской визуализации по п. 8, в которой 3D-голографическая система отображения установлена на потолке лаборатории хирургии, операционной или лаборатории катетеризации.

14. Система медицинской визуализации по п. 8, в которой система обработки данных обменивается информацией с системой отображения через интерфейс беспроводной связи.

15. Система медицинской визуализации по п. 8, в которой пользовательский интерфейс дополнительно выполнен с возможностью инициирования записи или воспроизведения потока изображений, приостановки отображения изображений или управления системой меню в ответ на жесты рук.