УРОВЕНЬ ТЕХНИКИ
Область техники
Настоящее изобретение относится к отслеживанию медицинского устройства формирования изображений и, более конкретно, к системам и способам, которые обеспечивают точное определение в реальном времени расположения медицинского устройства формирования изображений в трех измерениях.
Описание предшествующего уровня техники
Следящие системы для отслеживания инвазивных медицинских устройств, которые используют оптические, электромагнитные или ультразвуковые следящие системы, могут быть дорогостоящими и иногда могут требовать значительного времени для установки. Например, установка генератора сигналов частоты полей изображения для электромагнитного слежения может быть очень сложной процедурой.
Некоторые медицинские устройства, такие как ультразвуковое устройство формирования изображений, не требуют высокой степени точности по отношению к знанию положения и ориентации, например, ʺрасположенияʺ устройства. Однако, хотя некоторая информация о расположении может быть получена из изображений, предоставляемых устройством, без каких-либо дополнений, такие устройства не обеспечивают полного определения расположения устройства.
Высокая стоимость имеющихся на рынке систем отслеживания медицинских устройств не оправдывает их использование в определенных медицинских процедурах. Функциональные возможности таких систем обеспечивают точность, намного превосходящую ту, которая приемлема для определенных медицинских процедур, таких как процедура, использующая медицинское устройство формирования изображений.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
В соответствии с изложенными здесь принципами описываются система и способ для отслеживания положения и ориентации (то есть расположения) медицинского устройства формирования изображений. Система определяет расположение устройства формирования изображений в трех измерениях в реальном времени через сочетание данных изображения и данных от датчика. Система включает в себя следящий модуль, выполненный с возможностью генерации данных слежения за изменением расположения устройства формирования изображений, полученных от следящего датчика, связанного с устройством формирования изображений. Система также включает в себя модуль слежения по изображению, выполненный с возможностью отслеживания основанных на изображении данных изменения расположения устройства формирования изображений, полученных от изображений, генерируемых устройством формирования изображений. Модуль определяет текущее расположение устройства формирования изображений, основываясь на сочетании изменения расположения устройства формирования изображений и ранее определенного расположения устройства формирования изображений. Модуль определяет объединенное изменение расположения устройства формирования изображений в вычислении, основываясь на данных слежения за изменением расположения, показателе надежности, определенном для данных слежения за изменением расположения, данных изменения расположения, основанных на изображении, и показателе надежности, определенном для данных изменения расположения, основанных на изображении.
В соответствии с изложенными здесь принципами, описывается также способ для определения расположения устройства формирования изображений в трех измерениях в реальном времени через сочетание данных изображения и данных от датчика, полученных от медицинского устройства формирования изображений и следящего датчика, связанного с этим устройством. Согласно этому способу, основанное на слежении изменение расположения устройства формирования изображений определяется из информации, обеспечиваемой следящим датчиком, связанным с устройством формирования изображений, и основанное на изображении изменение расположения устройства формирования изображений определяется из визуальной информации, обеспечиваемой устройством формирования изображений. Определяются надежность основанного на слежении изменения расположения и надежность основанного на изображении изменения расположения. Объединенное изменение расположения устройства формирования изображений определяется, полагаясь на основанное на слежении изменении расположения, основанное на изображении изменении расположения, определенную надежность основанного на слежении изменения расположения и определенную надежность основанного на изображении изменения расположения. Текущее расположение устройства формирования изображений определяется из объединенного изменения расположения устройства формирования изображений и ранее определенного расположения устройства формирования изображений.
Эти и другие задачи, признаки и преимущества настоящего изобретения станут ясны из последующего подробного описания приводимых в качестве примера вариантов его осуществления, которые должны быть прочитаны в связи с прилагаемыми чертежами.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Это изобретение будет подробно представлено в последующем описании предпочтительных вариантов осуществления со ссылкой на сопроводительные чертежи, на которых:
ФИГ.1 - система для определения изменения расположения медицинского устройства формирования изображений в соответствии с изложенными здесь принципами;
ФИГ. 2 - другая система для определения изменения расположения медицинского устройства формирования изображений в соответствии с изложенными здесь принципами;
ФИГ. 3 - блок-схема последовательности операций, представляющая способ для определения изменения расположения медицинского устройства формирования изображений в соответствии с изложенными здесь принципами.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
В соответствии с изложенными здесь принципами, обеспечены система и способ для определения наилучшей оценки изменения расположения медицинского устройства формирования изображений. Пользователи получают выгоду от повышенной точности определения расположения и достигают более высокой степени успеха при выполнении медицинских процедур, таких как биопсия рака предстательной железы.
В одном варианте осуществления система, соответствующая изложенным здесь принципам, использует данные, полученные в реальном времени от инерциальных датчиков, соединенных с устройством, например, микро-электромеханических датчиков, и данные кадра изображения, полученные в реальном времени от медицинского устройства формирования изображений, например, ультразвукового зонда. В другом варианте осуществления система, соответствующая изложенным здесь принципам, использует данные, полученные в реальном времени от оптических датчиков, соединенных с устройством, например, инфракрасных датчиков, и данные кадра изображения, полученные в реальном времени от медицинского устройства формирования изображений, например, ультразвукового зонда. В другом варианте осуществления инерциальные следящие датчики, оптические следящие датчики и основанные на анализе изображений датчики используются для отслеживания медицинского устройства.
Система сочетает данные от разных следящих источников для определения изменения расположения и представления текущего расположения в реальном времени. Должно быть понятно, что изложенные здесь принципы будут описаны применительно к медицинским инструментам; однако изложенные здесь принципы гораздо шире и применимы к любой основанной на анализе изображений технологии, которая включает в себя определение расположения. Элементы, изображенные на чертежах, могут быть реализованы различными сочетаниями аппаратных средств и программного обеспечения и обеспечивать функции, которые могут быть объединены в одном элементе или во многих элементах.
Функции различных элементов, представленные на чертежах, могут быть реализованы через использование специализированного аппаратного обеспечения, а также аппаратного обеспечения, способного к выполнению программ в связи с соответствующим программным обеспечением. Когда они реализуются процессором, функции могут быть реализованы одним процессором или множеством отдельных процессоров, некоторые из которых могут использоваться совместно. Кроме того, явное использование термина ʺпроцессорʺ или ʺконтроллерʺ не должно означать ссылку исключительно на аппаратное оборудование, способное к выполнению программного обеспечения, и может косвенно включать в себя, не ограничиваясь этим, цифровой сигнальный процессор (ʺDSPʺ), постоянное запоминающее устройство (ʺROMʺ) для запоминания программного обеспечения, оперативное запоминающее устройство (ʺRAMʺ), энергонезависимое запоминающее устройство, и т.п.
Кроме того, все содержащиеся здесь положения, излагающие принципы, аспекты и варианты осуществления изобретения, а также конкретные примеры его, нацелены на охватывание как структурных, так и функциональных его эквивалентов. Дополнительно они подразумевают, что такие эквиваленты включают в себя как известные сейчас эквиваленты, так и эквиваленты, разрабатываемые в будущем (то есть любые разрабатываемые эквиваленты, которые выполняют ту же функцию независимо от структуры). Так, например, специалистам в данной области техники должно быть понятно, что блок-схемы, показанные здесь, дают концептуальное представление приводимых в качестве примера компонентов системы и/или схем, реализующих принципы изобретения. Подобным образом должно быть понятно, что любые блок-схемы последовательности операций, диаграммы последовательности операций, и т.п., представляют различные процессы, которые могут быть по существу повторно представлены в машиночитаемом носителе информации и, таким образом, выполняться компьютером или процессором независимо от того, показан ли явно такой компьютер или процессор.
Кроме того, варианты осуществления настоящего изобретения могут принимать форму продукта компьютерной программы, доступной с используемого машиной или машиночитаемого носителя информации, обеспечивающего программный код для использования компьютером или в связи с компьютером, или любой исполняющей команды системой. В целях этого описания используемый машиной или машиночитаемый носитель информации может быть любым аппаратом, который может включать в себя, запоминать, сообщать, распространять или транспортировать программу для ее использования системой исполнения команд, аппаратом или устройством, или в связи с ними. Носитель может быть электронной, магнитной, оптической, электромагнитной, инфракрасной или полупроводниковой системой (или же аппаратом или устройством), или средой распространения. Примеры машиночитаемого носителя информации включают в себя полупроводниковое или твердотельное запоминающее устройство, магнитную ленту, съемную компьютерную дискету, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), жесткий магнитный диск и оптический диск. Существующие примеры оптических дисков включают в себя компакт диск-постоянное запоминающее устройство (CD-ROM), компакт диск-считывание/запись (CD-RW), Blue-Ray и DVD.
Ссылка в спецификации на ʺодин вариант осуществленияʺ или ʺвариант осуществленияʺ изложенных здесь принципов, а также другие их вариации означает, что конкретный признак, структура, характеристика, и т.п.., описанные в связи с этим вариантом осуществления, включены по меньшей мере в один вариант осуществления изложенных здесь принципов. Таким образом, появления выражения ʺв одном варианте осуществленияʺ или ʺв варианте осуществленияʺ, а также любых других вариаций, появляющихся в различных местах по тексту спецификации, не обязательно все относятся к одному и тому же варианту осуществления.
Должно быть понятно, что использование любого из ʺ/ʺ, ʺи/илиʺ и ʺпо меньшей мере один изʺ, например, в случаях ʺA/Bʺ, ʺA и/или Bʺ и ʺпо меньшей мере один из A и Bʺ направлено на охватывание выбора только первой перечисленной опции (A) или выбора только второй перечисленной опции (B). В качестве второго примера, в случаях ʺA, B и/или Cʺ и ʺпо меньшей мере один из A, B и/или Cʺ такая формулировка направлена на охватывание выбора только первой перечисленной опции (A) или выбора только второй перечисленной опции (B), или выбора только третьей перечисленной опции (C), или выбора только первой и второй перечисленных опций (A и B), или выбора только первой и третьей перечисленных опций (A и C), или выбора только второй и третьей перечисленных опций (B и C), или выбора всех перечисленных опций A и B, и C). Это может быть распространено, как вполне очевидно для специалистов в данной области техники, на сколь угодно многие перечисляемые предметы.
Должно быть также понятно, что когда элемент, такой как слой, изображение, область или материал, упоминается как находящийся ʺнаʺ или ʺсверхуʺ другого элемента, он может быть непосредственно на другом элементе или же могут также присутствовать промежуточные элементы. В отличие от этого, когда элемент упоминается как находящийся ʺнепосредственно наʺ или ʺнепосредственно сверхуʺ другого элемента, промежуточные элементы отсутствуют. Должно быть также понятно, что когда элемент упоминается как ʺподсоединенныйʺ или ʺсвязанныйʺ с другим элементом, он может быть непосредственно соединен или связан с другим элементом, или же могут присутствовать промежуточные элементы. В отличие от этого, когда элемент упоминается как ʺнепосредственно подсоединенныйʺ или ʺнепосредственно связанныйʺ с другим элементом, промежуточные элементы отсутствуют.
Обратимся теперь к чертежам, на которых похожие числовые позиции означают одинаковые или подобные элементы, и начнем с фиг. 1, где изображена приводимая в качестве примера система 100, которая использует отслеживание медицинского устройства формирования изображений в соответствии с изложенными здесь принципами. Система 100 иллюстративно представляет видеозонд 210. Применительно к изложенным здесь принципам видеозонд в качестве примера представлен как ультразвуковой зонд, который генерирует ультразвуковую плоскость 250 изображения. Видеозонд 210 подсоединен к ультразвуковому сканеру 230 соединителем 227. Ультразвуковой сканер 230 функционально связан с рабочей станцией 118 соединителем 260. Ультразвуковой сканер 230 генерирует ряд 2D или 3D ультразвуковых или других изображений, которые могут воспроизводиться на дисплее сканера. Через соединитель 260 сканер 230 подает поток основанных на изображении данных в рабочую станцию 118.
Зонд 210 показан подсоединенным к инерциальному следящему датчику 220, например, микро-электромеханическому датчику. Инерциальный следящий датчик 220 функционально связан с рабочей станцией 118 соединителем 225 и подает поток данных слежения в рабочую станцию 118. Может быть использован единственный инерциальный следящей датчик, или же могут быть использованы два или более инерциальных следящих датчиков. Датчики могут располагаться на видеозонде 210, или же они могут быть встроены внутрь или под поверхность зонда. Микро-электромеханические системы (MEMS) являются примером инерциальных следящих датчиков, которые могут быть использованы согласно изложенным здесь принципам. MEMS датчики серийно производятся с низкой стоимостью и точны для определения линейного ускорения, имея при этом стабильность смещения нуля при вращении, выражаемую малым числом градусов.
Система 100 использует инерциальную следящую систему 128 для отслеживания данных, обеспечиваемых микро-электромеханическим датчиком 220. Другие технологии слежения, которые могут быть использованы, включают в себя инфракрасную следящую систему. В оптической следящей системе основанное на камере входное устройство компьютера использует камеру для обнаружения сигналов от источника в виде инфракрасного датчика, для того чтобы оптически отслеживать медицинское устройство.
Как показано на фиг. 2, используется следящее устройство, основанное на инфракрасной камере, где камера 270 принимает информацию от следящего датчика 220, который подсоединен к видеозонду 210. Камера 270 функционально связана с рабочей станцией 118 соединителем 225. Компоненты на фиг. 2 во всем остальном подобны компонентам на фиг. 1 и пронумерованы подобным образом.
Данные слежения передаются от следящей системы 128 в реальном времени. Рабочая станция 118 использует программы системы программного обеспечения (например, программный модуль 126) для отслеживания устройства с целью обеспечения информации в реальном времени относительно предполагаемого расположения видеозонда 210, объединяя следящую информацию в реальном времени, полученную от ультразвуковых изображений и инерциальных датчиков и/или считывающей системы на основе инфракрасной камеры, и воспроизводит расположение видеозонда в трех измерениях на дисплее 120.
Рабочая станция 118 может включать в себя пульт управления, с которого наблюдается и/или управляется процедура. Рабочая станция предпочтительно включает в себя один или более процессоров 122 и память 124 для запоминания программ и приложений. Система 130 обработки изображений может быть обеспечена и использована во время процедуры. Система 130 обработки изображений собирает и отслеживает данные изображений, посланные зондом 210, и отображает эти данные на дисплее 120. В одном варианте осуществления ультразвуковой зонд 210 может быть подсоединен к шаговому приводу (не показан), который используется во время медицинской процедуры для обеспечения управляемого перемещения с целью продвижения вперед и отведения назад ультразвукового зонда 210. Память 124 может запоминать программы для управления шаговым приводом, чтобы изменять положение ультразвукового зонда 210.
Согласно изложенным здесь принципам, память 124 включает в себя программный модуль 126 для обработки данных, относящихся к расположению зонда 210, определенных из данных кадра слежения, полученных от инерциальных следящих датчиков, и определенных из данных кадра изображения, полученных от ультразвукового зонда 210. Информация об изменении расположения от этих источников может обрабатываться модулем определения текущего расположения устройства формирования изображений, например, тем, который может быть внутри программного модуля 126, для определения текущего расположения устройства обработки изображений. Определение расположения основано на объединенном определении изменения в расположении и ранее известного расположения устройства. Объединенное определение изменения в расположении вычисляется в модуле из информации, включающей в себя: изменение в расположении, определенное из данных кадра слежения; показатель надежности для того же, который определяется, основываясь на одном или более параметрах надежности; изменение в расположении, которое определяется из данных кадра изображения; и показатель надежности для того же, который определяется, основываясь на одном или более параметрах надежности. Определение объединенного изменения расположения, основанное на этих факторах, используется модулем для определения текущего, обновленного расположения, например, определения расположения в реальном времени обновлением ранее известного расположения устройства.
Модуль 126 определения текущего расположения устройства формирования изображений может использовать трехмерное (3D) определение расположения, чтобы расположить отдельно приобретенные двухмерные (2D) ультразвуковые изображения в 3D пространстве, обеспечив тем самым расширенное поле наблюдения или 3D представление изображаемой области. Модуль может также использовать 3D определение расположения, чтобы расположить 2D ультразвуковые изображения в правильном пространственном соотношении с ранее приобретенным 3D изображением. Примеры 3D изображений включают в себя изображения, генерируемые компьютерной томографией (CT) и магнитно-резонансной визуализацией (MRI). Системы, которые сливают или объединяют ультразвук и CT или MRI, включают в себя Philips® UroNav™ (MRI) и Philips® PercuNav™ (CT) системы. Отслеживаемые ультразвуковые изображения с определением текущего расположения устройства формирования изображений накладываются или сливаются с соответствующей частью CT или MRI изображения и предоставляют возможность медицинскому персоналу увидеть одну и туже анатомическую область в двух разных вариантах визуализации.
Модуль 126 может быть выполнен с возможностью обеспечения команд рабочего процесса для пользователя через использование интерфейса 123 и дисплея 120 для наблюдения этапов процесса, данных слежения и данных архивирования. Модуль 126, использующий дисплей 120 и пользовательский интерфейс 123, подсказывает и направляет пользователя следовать конкретному рабочему процессу, или же может быть использован для генерации плана до выполнения процедуры. Интерфейс 123 может включать в себя клавиатуру, мышь, джойстик, устройство передачи осязательных ощущений или любой другой периферийный или управляющий элемент, который предоставляет пользователю обратную связь и возможность взаимодействия с рабочей станцией 118. Система 100 может включать в себя дистанционное соединение 134 для дистанционной передачи данных агенту за пределами места установки, где используется система (например, поставщику или сервисному подрядчику системы 100), или для другого использования.
На фиг. 3 иллюстративно представлен способ 300 для определения расположения медицинского устройства формирования изображений, например, ультразвукового зонда, из сочетания двух или более видов информации о данных слежения в соответствии с изложенными здесь принципами. В описываемом, представленном в качестве примера, варианте осуществления ультразвуковой зонд имеет инерциальный датчик, например, MEMS датчик, который связан с зондом и который обеспечивает данные кадра слежения, используемые для определения изменения расположения на основе слежения. Ультразвуковой зонд обеспечивает основанные на изображении данные, которые используются для определения основанного на изображении изменения расположения. Информация об основанном на изображении изменении расположения и информация об основанном на слежении изменении расположения объединяются с информацией, относящейся к надежности информации об основанном на изображении изменении расположения и информации об основанном на слежении изменении расположения для обеспечения наилучшего определения в реальном времени изменения расположения медицинского устройства формирования изображений, которое затем используется для определения обновленного расположения медицинского устройства формирования изображений. Кроме того, система 100 может выполнять действия, описанные ниже.
На этапах 310, 312 получается исходная информация, например, получаются исходный кадр I0 (310) изображения и исходный кадр F0 (312) слежения. Эти кадры могут быть взяты в начале процедуры и могут обеспечить информацию для определения первоначального расположения ультразвукового зонда.
Новый кадр In (320) данных изображения и новый кадр Fn (322) данных слежения получаются на этапах 320 и 322 и отражают позиционное изменение зонда, поскольку исходный кадр изображения и исходный кадр слежения были получены на этапах 310 и 312.
На этапах 330 и 332 вычисляются основанное на изображении изменение TΔ,image (330) расположения и основанное на слежении изменение TΔ,tracking (330) расположения. TΔ,image представляет разницу расположений между парой изображений в последовательности (например, изображениями In,In-1) или рядом изображений в последовательности (например, изображениями In, In-1,… In-m). Подобным образом TΔ,tracking представляет разницу расположений между парой кадров в последовательности (например, кадрами Fn, Fn-1) или рядом кадров в последовательности (например, Fn, Fn-1,… Fn-m). В качестве примера, из предыстории двух кадров изображения, оценка основанного на изображении изменения расположения между кадрами In-2 и In может быть получена относительно прямым образом как:
T Δ, direct= T Δ (In, In-2) (1)
или может быть получена пошагово следующим образом:
T Δ, steps= T Δ (In, In-1) x TΔ (In-1, In-2), (2),
и объединенная оценка может быть получена, используя усреднение двух этих способов:
T Δ, combined=0.5 * (TΔ, direct+TΔ steps). (3)
Кроме того, должно быт понятно, что данные кадра слежения и данные кадра изображения могут быть получены асинхронно по отношению друг к другу. Например, более чем один кадр данных может быть получен и обработан для конкретного потока данных слежения, прежде чем будет получен кадр другого потока данных.
На этапах 340 и 342 параметры pimage (340) основанной на изображении надежности и параметры pTracking (342) основанной на слежении надежности вычисляются описанным ниже образом.
На этапе 350 вычисляется объединенное изменение расположения TΔ(TΔ,Tracking, TΔ,Image(pTracking)(pШmage)). Алгоритм используется для вычисления объединенного изменения расположения, учитывающего статистический шум и другие неточности, чтобы получить наилучшую оценку расположения в реальном времени.
На этапе 360 вычисляется обновленное расположение Tn, основываясь на объединенном изменении расположения TΔ, которое было вычислено. Объединенное изменение расположения TΔ вычисляется, основываясь на объединенном новом изменении расположения TΔ и предшествующем расположении Tn-1 согласно Tn=TΔ x Tn-1.
На этапе 370 обновленное изменение расположения Tn, например, текущее изменение расположения, используется для обновления отображения в пользовательском интерфейсе, например, на дисплейном устройстве.
На этапе 380 принятия решения определяется, была ли завершена процедура. Если да, то способ для вычисления объединенного изменения расположения выполнен. Если процедура не была завершена то значение n увеличивается на 1 (n → n+1) на этапе 390, и процесс возвращается к другой итерации, которая начинается с этапов 320 и 322 с приобретением кадра In изображения и нового кадра Fn данных слежения, которые становятся основой для определений на этапах 330 и 332.
Данные о расположении, основанные на слежении, и данные о расположении, основанные на изображении, имеют ограничения по точности, которые зависят от ряда факторов, например, ограничений в технологии, содержания полученной информации (например, информации слежения, контента изображения) и способа, посредством которого зонд перемещается внутри пациента. В связи с этим мера доверия, с которой на основанные на слежении данные и на основанные на изображении данные можно положиться в определении изменения расположения, изменяется в зависимости от точности данных. Согласно изложенным здесь принципам степень точности учитывается при определении надежности данных, обеспечиваемых следящими системами.
Надежность данных кадра слежения зависит от одного ряда величин, которые влияют на надежность данных, и надежность данных кадра изображения зависит от другого ряда величин. Конкретная величина может оказывать разное влияние на конкретную следящую систему. Например, тогда как инерциальный датчик, такой как MEMS датчик, подходит для точного сообщения данных, соответствующих высоким ускорениям и скоростям (высокая надежность данных), высокие ускорения и скорости могут оказывать негативное влияние на основанные на изображении данные, полученные от видеозонда (низкая надежность данных).
Имеются до шести (6) степеней свободы (6-DoF), например, три (3) для перемещения (то есть пространственные степени свободы) и три (3) для вращения, которые может обнаружить следящая система, и параметры надежности могут быть определены для слежения по разным степеням свободы. Параметры надежности могут иметь изменчивые компоненты, которые отражают аспекты операций зонда в реальном времени, например, зависящие от положения, зависящие от скорости и зависящие от ускорения параметры надежности в каждом из трех компонентов перемещения и трех компонентов вращения. Различные факторы влияют на точность и надежность информации слежения, обеспечиваемой следящей системой. Например, надежность данных слежения, извлекаемых от инерциального датчика, может находиться под влиянием перемещения медицинского устройства. В другом примере надежность данных изображения, извлекаемых от видеозонда, может находиться под влиянием перемещения зонда и качества изображения.
На разные системы со следящими датчиками оказывают разное влияние разные факторы. Точность отслеживаемого перемещения в одном или более из шести (6) компонентов в 6-DoF может находиться под таким воздействием, которое влияет на точность и надежность данных слежения. Другие факторы, такие как ускорение при перемещении медицинского устройства, могут также влиять на точность и надежность данных слежения.
Одна или более измеряемых и/или наблюдаемых величин, которые могут оказывать влияние на данную систему слежения, учитываются при определениях надежности. Например, измеряемыми и/или наблюдаемыми величинам, которые могут оказывать влияние на надежность отслеживания изменения расположения, основанного на данных, обеспечиваемых инерциальными следящими датчиками, являются ускорение (a), скорость (v) и частота вращения (w). Применительно к оптическому датчику измеряемыми и/или наблюдаемыми величинам являются расстояние от камеры до оптического датчика (d), корреляция между изображением, выдаваемым камерой следящего устройства, и внутренним воспроизведением следящего устройства (c) и ориентация следящего устройства по отношению к камере (o). Применительно к ультразвуковому слежению, основанному на изображении, дополнительно к тому, что было сказано выше, величины включают в себя корреляцию от кадра изображения до кадра изображения (cc), среднюю яркость изображения (m) и энтропию изображения (h) в качестве показателя контента изображения.
Пять (5) степеней свободы (5-DoF) могут отслеживаться некими недорогими следящими системами, которые не отслеживают вращение следящего датчика относительно его оси (например, 6-й DoF). В ситуации, в которой используется такое недорогое основанное на оптике 5-DoF слежение, параметр основанной на слежении надежности применительно к вращению датчика вокруг его оси дожжен быть равен 0, и общая оценка этого параметра будет выводиться из оценки расположения, основанного на изображении.
В приводимом в качестве примера варианте осуществления параметр надежности для каждой следящей системы может быть определен как произведение функций надежности для каждой из собранных отдельных измеряемых и наблюдаемых величин. Например, для каждой следящей системы TS, такой как с инерциальным слежением, оптическим слежением и основанном на изображении слежением, общий параметр надежности Rtotal для следящей системы будет определяться уравнением:
(4)
Здесь αi являются значениями разных величин, рассматриваемых для данной следящей системы TS, например, системы инерциального слежения, а Ri являются отдельными функциями параметра надежности для каждой из величин применительно к данной системе слежения TS. Например, величинами для инерциального слежения, как упоминалось ранее, являются ускорение, скорость и часта вращения. В этом случае α1 будет текущим ускорением, α2 скоростью и α3 частотой вращения. При этом R1 представляет надежность как функцию ускорения, R2 представляет надежность как функцию скорости и R3 представляет надежность как функцию часты вращения. Общий параметр надежности для системы слежения является произведением отдельных функций надежности, которые обозначены как 
в приведенном выше уравнении (4).
Основываясь на определении надежности данных, полученных от конкретной следящей системы, величины, рассматриваемые для конкретной следящей системы, являются присвоенными значениями в диапазоне от 0 до 1, при этом значения, равные или близкие к 1, присваиваются, когда определяется, что данная величина находится в идеальном и/или приемлемом диапазоне. В отличие от этого, величинам присваивается значение, равное или близкое к 0, когда определяется, что величина не находится в приемлемом диапазоне, потому что, например, величина отклоняется от того, что надежно. К примеру, отклонение может происходить, когда условия слежения для конкретной следящей системы не идеальны, вырабатывая при этом данные, надежность которых находится под вопросом, например, данные, производимые системой инерциального слежения, могут не быть надежными, когда зонд перемещается медленно или не существует. В этом случае шумовые свойства инерциального следящего датчика будут отрицательно влиять на данные кадра слежения. Равный 0 Rtotal должен быть присвоен, если все измеренные величины для конкретной следящей системы отклоняются от приемлемого диапазона и соответственно данные, предоставляемые этой следящей системой заданной технологии, не являются надежными.
В некоторых случаях конкретная величина может влиять на показатель надежности более чем в одной следящей системе. Например, скорость (v) зонда может оказывать отрицательное влияние на оценку данных, основанной на изображении расположения и, таким образом, может быть вовлечена в определения надежности применительно как к инерциальной, так и основанной на изображении технологиям, с разными параметрами x0 и s для разных следящих систем (как поясняется ниже).
Функция Ri, установленная выше в уравнении (1), может быть определена, используя приближение Гаусса, в котором используется определенное идеальное значение величины и с гауссовой шириной, которая присваивает значение 0, когда гарантируется, например, что величины для конкретной следящей системы представляют данные высоко ненадежные.
В одном подходе
, (5)
где x является определенным значением рассматриваемой величины, x0 является идеальным значением, а s - показателем приемлемого диапазона. Значения x0 и s могут быть определены эмпирически для каждой конкретной следящей системы, начиная с известных возможностей и ограничений данной следящей системы. Посредством наблюдения может быть определена оптимизация того, что является идеальным значением и что является приемлемым диапазоном.
Эмпирические определения показателей надежности могут быть выведены из сравнения известного расположения зонда, определяемой коммерчески доступной эталонной технологией слежения, со значением расположения, полученного от системы, использующей сочетания следящих систем, описанные в соответствии с изложенными здесь принципами. Например, NDI Polaris оптическая следящая система, поставляемая на рынок от Northern Digital Inc., Ватерлоо, Канада, может быть использована как эталонная система в сравнении с предсказаниями о расположении, генерируемыми как описано выше. Значения для x0 и s для каждой величины, соответствующей данной следящей системе, могут изменяться в пределах заданного диапазона, и предсказания о расположении могут быть повторно определены для одной или более итераций, для того, чтобы достичь минимальной разницы между показателями расположения от эталонной системы и показателями расположения, определенными сочетаниями следящих систем, описанными согласно изложенным здесь принципам.
Общее оцененное изменение расположения может быть объединенным значением, основанным на сочетании оценок изменения расположения, которые используются. Например, объединенная оценка изменения расположения может быть получена через взвешенное среднее, при этом вес, придаваемый отдельным оценкам изменения расположения, основывается на определениях надежности отдельных следящих систем:
(6)
Здесь numTechnologies представляет ряд разных технологий, используемых в слежении, например, две (2), если используется инерциальное и основанное на изображении слежение, и три (3), если используется инерциальное слежение, оптическое слежение и основанное на изображении слежение. TΔ означает оценку расположения (или изменения расположения), полученную от следящей системы TS, и 
является общей суммой весов, которая нормализует взвешенную сумму: Rtotal,TS * TΔ,TS.
Вычисления наилучших оценок изменения расположения могут быть произведены в соответствии с вариантом осуществления, описанным выше. В другом варианте осуществления вычисления могут быть выполнены с известным алгоритмом, таким как фильтр Кальмана. В любом случае входные данные для операции ʺвычисления объединенного изменения расположенияʺ на этапе 350, то есть TΔ(TΔ, Tracking, TΔ, image(pTracking)(pimage)) представляют входные данные для изменения расположения, основанные на данных кадра слежения, изменения расположения, основанные на данных кадра изображения, параметре надежности, основанном на слежении, и параметре надежности, основанном на изображении, как описано выше.
Должно быть понятно, что определения оцененного изменения расположения, основанные на данных кадра слежения, данных кадра изображения и определениях параметров надежности, могут быть осуществлены модулем 126 определения текущего расположения устройства формирования изображений, хранимом в памяти 124, показанной в системе 100 на фиг. 1 и 2.
В другом варианте осуществления основанные на слежении и изображении оценки расположения зависят не только от последних имеющихся данных, но и от предыстории недавних точек замера (отмеченных индексом m на фиг. 3, где, например, основанная на изображении оценка для изображения In зависит от изображений In, In-1,… In-m+, где m>=1). Одним из конкретных путей вовлечения предыстории кадров является получение оценок для многих сочетаний кадров изображения внутри предыстории и усреднение результата.
В соответствии с изложенными здесь принципами, системы и способы, описанные здесь, обеспечивают точное определение расположения медицинского устройства в трех измерениях в реальном времени. Такое определение может быть осуществлено для ультразвукового зонда, используемого в процедуре биопсии, в которой ультразвуковые изображения в реальном времени могут быть объединены или слиты с MEMS или другими эталонными изображениями. Трехмерное (3D) отслеживание расположений может быть использовано для расположения отдельно приобретенных двумерных (2D) изображений в 3D пространстве, обеспечивая тем самым расширенное поле наблюдения или 3D представление изображаемой области. 3D расположение может быть также использовано для расположения 2D ультразвуковых изображений в правильном пространственном отношении с ранее приобретенным 3D изображением (например, компьютерной томограммой (CT) и магнитно-резонансным изображением (MRI)), таким как в Phillips® UroNav™ или PercuNav™ системах). Отслеживаемые ультразвуковые изображения могут накладываться или сливаться с соответствующей частью CT или MR изображения, предоставляя возможность медицинскому персоналу увидеть одну и ту же анатомическую область двумя разными способами визуализации. Например, UroNav™ система для биопсии является слиянием ультразвуковой системы и системы магнитно-резонансной визуализации, используемой при направляемой синтезированным изображением биопсии рака предстательной железы. UroNav™ система сливает магнитно-резонансные изображения (MRI) с трансректальными ультразвуковыми (TRUS) изображениями, полученными в реальном времени. Вызывающие подозрение участки ткани, например, возможные раковые образования предстательной железы, идентифицируются на слитых изображениях врачом-радиологом. Подозрительные участки являются целевыми участками биопсии для взятия проб ткани. 3D расположение, определенное в соответствии с изложенными здесь принципами, может быть использовано, чтобы расположить 2D ультразвуковые изображения в правильном пространственном соотношении с ранее приобретенным 3D MRI изображением.
Одним из преимуществ системы, соответствующей изложенным здесь принципам, является то, что она обеспечивает высокую точность результатов, оставаясь при этом относительно недорогой. Почти не требуется времени для установки системы. Сложный компонент, такой как генератор сигналов частоты полей изображения, не должен использоваться. Например, оптические датчики, такие как инфракрасные датчики, являются легкими, небольшими и имеют малое поле зрения, то есть благоприятное сочетание характеристик, поскольку, например, считывающее устройство на основе камеры может быть расположено близко к используемому устройству формирования изображений. Это позволяет относительно легко расположить камеру таким образом, чтобы она имела непрерываемую линию прямой видимости к ультразвуковому зонду.
При осмыслении прилагаемых пунктов формулы изобретения следует понимать, что:
a) слово ʺсодержитʺ не исключает наличия других элементов или действий помимо тех, что перечислены в данном пункте формулы изобретения;
b) указание на единственное число элемента не исключает наличия множества таких элементов;
c) любые ссылочные позиции в пунктах формулы изобретения не ограничивают их объем;
d) несколько ʺсредствʺ могут быть представлены одним и тем же предметом или же реализованной аппаратным оборудованием или программным обеспечением структурой или функцией; и
e) не предполагается необходимость в каких-либо последовательностях или действиях, если отсутствует конкретное указание.
Представив предпочтительные варианты осуществления системы и способа для отслеживания медицинского устройства (которые полагаются быть иллюстративными и не ограничивающими), следует заметить, что специалистами в данной области техники могут быть произведены модификации и вариации в свете изложенных выше идей. Поэтому должно быть понятно, что могут быть внесены изменения в конкретные варианты осуществления описанного изобретения, которые укладываются в объем вариантов осуществления, описанных здесь, как очерчено прилагаемыми пунктами формулы изобретения. Таким образом, располагая описанными деталями и особенностями, требуемыми патентным законодательством, то, что заявлено и требует защиты патентной грамотой, изложено в прилагаемой формуле изобретения.
Изобретение относится к области медицинской техники. Система для определения расположения устройства формирования изображений в трех измерениях в реальном времени через сочетание данных изображения и данных от датчика содержит: модуль слежения, выполненный с возможностью генерации данных слежения за изменением расположения устройства формирования изображений, полученных от следящего датчика, связанного с устройством формирования изображений, модуль слежения за изображениями, выполненный с возможностью отслеживания основанных на изображении данных изменения расположения устройства формирования изображений, полученных от изображений, генерируемых устройством формирования изображений, и модуль определения текущего расположения устройства формирования изображений для вычисления объединенного изменения расположения устройства формирования изображений и определения текущего расположения устройства формирования изображений, основываясь на вычисленном объединенном изменении расположения устройства формирования изображений и ранее определенном расположении устройства формирования изображений, при этом объединенное изменение расположения устройства формирования изображений вычисляется, используя данные слежения за изменением расположения, показатель надежности, определенный для данных слежения за изменением расположения, данные изменения расположения, основанные на изображении, и показатель надежности, определенный для данных изменения расположения, основанных на изображении. Система для определения расположения устройства формирования изображений в трех измерениях в реальном времени через сочетание данных изображения и данных от датчика содержит: модуль слежения, выполненный с возможностью генерации данных слежения за изменением расположения устройства формирования изображений, полученных от следящего датчика, связанного с устройством формирования изображений, модуль слежения за изображениями, выполненный с возможностью отслеживания основанных на изображении данных изменения расположения устройства формирования изображений, полученных от изображений, генерируемых устройством формирования изображений, рабочую станцию, включающую в себя процессор и память, причем память содержит модуль определения текущего расположения устройства формирования изображений для вычисления объединенного изменения расположения устройства формирования изображений и определения текущего расположения устройства формирования изображений, основываясь на вычисленном объединенном изменении расположения устройства формирования изображений и ранее определенном расположении устройства формирования изображений, при этом объединенное изменение расположения устройства формирования изображений вычисляется, используя данные слежения за изменением расположения, показатель надежности, определенный для данных слежения за изменением расположения, данные изменения расположения, основанные на изображении, и показатель надежности, определенный для данных изменения расположения, основанных на изображении, и дисплей, выполненный с возможностью воспроизведения изображений, поступающих от устройства формирования изображений. Способ для определения расположения устройства формирования изображений в трех измерениях в реальном времени через объединение по меньшей мере данных изображения и данных от датчика, причем этот способ содержит: определение основанного на слежении изменения расположения устройства формирования изображений из информации, обеспечиваемой следящим датчиком, соединенным с устройством формирования изображений, определение основанного на изображении изменения расположения устройства формирования изображений из информации в виде изображений, обеспечиваемой устройством формирования изображений, определение параметра надежности, основанного на слежении изменения расположения, и параметра надежности, основанного на изображении изменения расположения, вычисление объединенного изменения расположения устройства формирования изображений, используя основанное на слежении изменения расположения, основанное на изображении изменения расположения, параметр надежности, основанного на слежении изменения расположения, и параметр надежности, основанного на изображении изменения расположения, и определение текущего расположения устройства формирования изображений, основываясь на объединенном изменении расположения устройства формирования изображений и ранее определенном расположении устройства формирования изображений. Технический результат заявленного изобретения заключается в увеличении точности определения в реальном времени расположения медицинского устройства формирования изображений в трех измерениях. 3 н. и 12 з.п. ф-лы, 3 ил.
1. Система (100) для определения расположения устройства формирования изображений в трех измерениях в реальном времени через сочетание данных изображения и данных от датчика, которая содержит:
модуль (128) слежения, выполненный с возможностью генерации данных слежения за изменением расположения устройства (210) формирования изображений, полученных от следящего датчика (220), связанного с устройством формирования изображений;
модуль (130) слежения за изображениями, выполненный с возможностью отслеживания основанных на изображении данных изменения расположения устройства формирования изображений, полученных от изображений, генерируемых устройством формирования изображений; и
модуль (126) определения текущего расположения устройства формирования изображений для вычисления объединенного изменения расположения устройства формирования изображений и определения текущего расположения устройства формирования изображений, основываясь на вычисленном объединенном изменении расположения устройства формирования изображений и ранее определенном расположении устройства формирования изображений, при этом объединенное изменение расположения устройства формирования изображений вычисляется, используя данные слежения за изменением расположения, показатель надежности, определенный для данных слежения за изменением расположения, данные изменения расположения, основанные на изображении, и показатель надежности, определенный для данных изменения расположения, основанных на изображении.
2. Система по п. 1, дополнительно содержащая:
определитель основанного на слежении за изменением расположения в модуле (126) определения текущего расположения устройства формирования изображений для определения данных слежения за изменением расположения, на основе сравнения относительно новых данных слежения за изменением расположения и относительно старых данных слежения за изменением расположения.
3. Система по п. 1, дополнительно содержащая:
определитель основанного на изображении изменения расположения в модуле (126) определения текущего расположения устройства формирования изображений для определения данных основанного на изображении изменения расположения, на основе сравнения относительно новых данных изменения расположения, основанных на изображении, и относительно старых данных изменения расположения, основанных на изображении.
4. Система по п. 1, дополнительно содержащая определитель надежности модуля (126) определения текущего расположения устройства формирования изображений для определения показателя надежности данных слежения за изменением расположения и определения показателя надежности данных изменения расположения, основанных на изображении, полагаясь на один или более факторов, выбранных из ускорения устройства, скорости устройства, частоты вращения устройства, расстояния от камеры до оптического датчика, корреляции между изображением от камеры следящего устройства и внутренним воспроизведением следящего устройства, ориентации следящего устройства по отношению к камере, корреляции от кадра изображения к кадру изображения, средней яркости изображения и энтропии изображения как меры контента визуальной информации.
5. Система по п. 1, дополнительно содержащая позиционер изображения для позиционирования, при текущем расположении устройства формирования изображений, двумерных изображений в трехмерном пространстве.
6. Система по п. 1, дополнительно содержащая позиционер изображения для позиционирования, при текущем расположении устройства формирования изображений, двумерных изображений в пространственном соотношении с ранее приобретенным трехмерным изображением.
7. Система по п. 1, в которой следящий датчик (220) является электромеханическим датчиком, а устройство (210) формирования изображений является ультразвуковым зондом.
8. Система по п. 1, в которой следящий датчик (220) является инфракрасным датчиком, а устройство (210) формирования изображений является ультразвуковым зондом.
9. Система (100) для определения расположения устройства формирования изображений в трех измерениях в реальном времени через сочетание данных изображения и данных от датчика, содержащая:
модуль (128) слежения, выполненный с возможностью генерации данных слежения за изменением расположения устройства (210) формирования изображений, полученных от следящего датчика (220), связанного с устройством формирования изображений;
модуль (130) слежения за изображениями, выполненный с возможностью отслеживания основанных на изображении данных изменения расположения устройства формирования изображений, полученных от изображений, генерируемых устройством формирования изображений;
рабочую станцию (118), включающую в себя процессор (122) и память (124),
причем память содержит модуль (126) определения текущего расположения устройства формирования изображений для вычисления объединенного изменения расположения устройства формирования изображений и определения текущего расположения устройства формирования изображений, основываясь на вычисленном объединенном изменении расположения устройства формирования изображений и ранее определенном расположении устройства формирования изображений, при этом объединенное изменение расположения устройства формирования изображений вычисляется, используя данные слежения за изменением расположения, показатель надежности, определенный для данных слежения за изменением расположения, данные изменения расположения, основанные на изображении, и показатель надежности, определенный для данных изменения расположения, основанных на изображении; и
дисплей (120), выполненный с возможностью воспроизведения изображений, поступающих от устройства формирования изображений.
10. Система по п. 9, дополнительно содержащая:
определитель основанного на слежении за изменением расположения в модуле (126) определения текущего расположения устройства формирования изображений для определения данных слежения за изменением расположения, на основе сравнения относительно более новых данных слежения за изменением расположения и относительно более старых данных слежения за изменением расположения;
и
определитель основанного на изображении изменения расположения в модуле (126) определения текущего расположения устройства формирования изображений для определения основанных на изображении данных изменения расположения, на основе сравнения относительно более новых данных изменения расположения, основанных на изображении, и относительно более старых данных изменения расположения, основанных на изображении.
11. Способ для определения расположения устройства формирования изображений в трех измерениях в реальном времени через объединение по меньшей мере данных изображения и данных от датчика, причем этот способ содержит:
определение основанного на слежении изменения расположения устройства формирования изображений из информации, обеспечиваемой следящим датчиком, соединенным с устройством формирования изображений;
определение основанного на изображении изменения расположения устройства формирования изображений из информации в виде изображений, обеспечиваемой устройством формирования изображений;
определение параметра надежности, основанного на слежении изменения расположения, и параметра надежности, основанного на изображении изменения расположения;
вычисление объединенного изменения расположения устройства формирования изображений, используя основанное на слежении изменения расположения, основанное на изображении изменения расположения, параметр надежности, основанного на слежении изменения расположения, и параметр надежности, основанного на изображении изменения расположения; и
определение текущего расположения устройства формирования изображений, основываясь на объединенном изменении расположения устройства формирования изображений и ранее определенном расположении устройства формирования изображений.
12. Способ по п. 11, в котором определение основанного на слежении изменения расположения дополнительно содержит сравнение относительно более новых данных, полученных от следящего датчика, и относительно более старых данных, полученных от следящего датчика, и
определение основанного на изображении изменения расположения содержит сравнение относительно более новых данных, полученных из информации в виде изображений, и относительно более старых данных, полученных из информации в виде изображений.
13. Способ по п. 11, в котором определение основанного на слежении изменения расположения дополнительно содержит сравнение нового кадра слежения и одного или более старых кадров слежения, полученных от следящего датчика; и
определение основанного на изображении изменения расположения содержит сравнение нового кадра изображения и одного или более старых кадров изображения, полученных из информации в виде изображений.
14. Способ по п. 11, в котором определение параметра надежности, основанного на слежении изменения расположения, и определение параметра надежности, основанного на изображении изменения расположения, содержит оценку одного или более факторов из ряда факторов, которые оказывают влияние на надежность определенного, основанного на слежении изменения расположения и определенного, основанного на изображении, изменения расположения.
15. Способ по п. 11, в котором следящий датчик является одним или более из инерциального датчика и инфракрасного датчика, а устройство формирования изображений является ультразвуковым зондом.
| US 6122538 A, 19.09.2000 | |||
| WO 2012001548 A1, 05.01.2012 | |||
| US 6458083 B1, 01.10.2002 | |||
| US 2005107687 A1, 19.05.2005. |
