УКАЗАТЕЛЬ КАРТИРОВАНИЯ КОРРЕЛИРОВАННЫХ ИЗОБРАЖЕНИЙ Российский патент 2016 года по МПК A61N5/10 G06T7/00 

Настоящая заявка относится, в целом, к совмещению изображений. Оно находит конкретное применение в лучевой терапии и будет описано с конкретной ссылкой на нее. Однако следует понимать, что оно также находит применение в других сценариях использования, и не обязательно ограничивается вышеупомянутым применением. Например, оно находит применение в визуальном анализе картирования совмещения изображений, в некоторых исследованиях изображений, в отслеживании развития схемы лечения или улучшения медицинского состояния, при планировании курса лечения и пр.

В лучевой терапии, пространственно нацеленные дозы излучения направляются на опухоли или другие области, содержащие раковую или злокачественную ткань. Растущим и быстро размножающимся раковым клеткам свойственно в большей степени подвергаться повреждению от излучения, по сравнению с нормальными клетками, так что дозы, доставляемые при правильном планировании, предпочтительно, убивают раковую или злокачественную ткань. Тем не менее, излучение представляет опасность как для злокачественных, так и для здоровых клеток, поэтому точное пространственное нацеливание излучения важно для применения эффективной лучевой терапии к злокачественности при одновременном ограничении сопутствующего повреждения здоровой ткани. Для точного нацеливания излучения, лучевая терапия заранее планируется для пациента на основании полученных изображений пациента. Обычно для планирования лучевой терапии используется формирование изображения методом компьютерной томографии (КТ). Однако, дополнительно или альтернативно, можно использовать другие методы формирования изображения, например, магнитно-резонансную (МР) или позитрон-эмиссионную томографию (ПЭТ).

При планировании лучевой терапии, опухоль или другая цель идентифицируется и очерчивается в изображениях, совместно с органами, подверженными риску (OAR) или другими областями, дозу облучения которых необходимо ограничивать. Обычно это осуществляется путем вычерчивания контура (или траектории) вокруг опухоли или другой цели и контуров (или траекторий) вокруг OAR или других областей. Кроме того, онколог или другой клиницист обеспечивает параметры плана облучения. Параметры плана облучения обычно включают в себя минимальную или целевую дозу, подлежащую доставке к опухоли или другой цели, максимально допустимые дозы для OAR или других областей, и пр. Очерченная опухоль или другая цель и очерченные OAR или другие области, совместно с параметрами плана лучевой терапии и известной информацией о характеристиках ослабления или поглощения излучения для различных тканей, служат входными данными для оптимизации доставки излучения.

Для облегчения планирования лучевой терапии, совмещение изображений является важным инструментом. Совмещение изображений имеет целью нахождение преобразований и/или деформаций, которые наилучшим образом выравнивают объекты, представляющие интерес (OOI), например, области, представляющие интерес (ROI), и точки, представляющие интерес (POI), текущего изображения с более ранним изображением. Некоторые применения включают в себя продление контура (или траектории); картирование изображений ПЭТ и/или КТ в КТ планирования; накопление дозы; и пр. Его можно использовать для одного или более из событий адаптивного планирования в течение курса терапии; 4D планирования и/или оптимизации; интерфракционного и/или интрафракционного планирования и/или оптимизации; комплексного планирования; генерации мультимодального плана лечения; и пр. В случае адаптивного планирования, последовательность действий обычно начинается с того, что пользователь распространяет план лечения и OOI на новое изображение, полученное в течение курса терапии. Структуры можно распространять на новое изображение с использованием картирования совмещения изображений, например, векторного поля деформаций (DVF), созданного с использованием алгоритма совмещения изображений. Дозы в новом изображении можно затем вычислять и накапливать с использованием совмещения изображений для картирования доз в нужную систему координат, поскольку все дозы нужно картировать в одну и ту же систему координат для накопления. Точность и аккуратность этого картирования очень важна для минимизации ошибок, вносимых в накопленную дозу.

Инструменты, используемые в настоящее время для анализа картирования совмещения изображений, отображают структуры, например, контуры, в совмещенном изображении. Однако структур может быть недостаточно для некоторых областей конкретного касательства. Например, просмотр контуров показывает только поверхности и не дает обратной связи в реальном времени. Кроме того, сдвиг поверхности очень трудно обнаружить. Кроме того, инструменты, используемые в настоящее время для анализа совмещения изображений, накладывают текущее изображение на более раннее изображение. Однако это не дает визуализации преобразования между изображениями. Кроме того, изображения часто теряют резкость, что затрудняет их визуальное картографирование в исходное изображение. Кроме того, инструменты, используемые в настоящее время для анализа совмещения изображений, отображают два изображения рядом друг с другом. Например, некоторые инструменты накладывают прямоугольную сетку на одно изображение и затем накладывают ту же сетку на другое изображение в искаженной форме для отражения деформаций и/или преобразований, которые происходят при совмещении изображений. В порядке другого примера, вычерчиваются стрелки между соответствующими вокселями двух изображений. Однако эти подходы не являются интуитивными и не обеспечивают прямой визуализации картирования совмещения изображений.

В Fox et al, Int. J. Radiation Oncology Biol. Phys., Vol. 62, No. 1, pp. 70-75, 2005, исследуется, уменьшает ли совмещение изображения ПЭТ и КТ планирования изменение между наблюдателями и для одного наблюдателя при очерчивании объемов опухоли для немелкоклеточного рака легкого. Изображения, полученные в режиме пропускания, совмещаются с изображениями КТ планирования, и онколог-радиолог очерчивает грубый объем опухоли в изображениях КТ-моделирования. При использовании совмещенных изображений КТ и ПЭТ для очерчивания, совмещенные ПЭТ-эмиссионные изображения отображаются совместно с соответствующими изображениями КТ. Контуры, вычерченные в изображении ПЭТ или КТ, отображаются одновременно в обоих изображениях, что позволяет использовать информацию из обоих массивов данных.

В Bol et al, Computer Methods and Programs in Biomedicine 96 (2009) 133-140, описана система для использования множественных массивов данных для разных устройств на фазе очерчивания. Система основана на двух основных принципах. Во-первых, все массивы данных изображений всех имеющихся устройств отображаются в своем первоначальном виде (в своей собственной системе координат, со своим собственным пространственным разрешением и аспектным отношением вокселя), и, во-вторых, контуры могут иметь место на всех ортогональных видах каждого массива данных и изменения контура визуализируются во всех наборах изображений, обеспечивая непосредственную обратную связь с человеком, производящим очерчивание. Основное различие между описанным подходом и другими существующими инструментами очерчивания состоит в том, что вместо повторной выборки наборов изображений, контуры преобразуются из одного массива данных в другой. Преобразование, используемое для переноса контуров, получается путем строгого совмещения нормализованной взаимной информации.

Настоящая заявка обеспечивает новые и усовершенствованные системы и способы для визуального анализа совмещения изображений, которые позволяют преодолеть вышеописанные и другие проблемы.

В соответствии с одним аспектом, предусмотрена система для оценивания картирования совмещения изображений. Система включает в себя дисплей и один или более процессоров. Процессоры запрограммированы принимать первое изображение, использующее первую систему координат, и второе изображение, использующее вторую систему координат, причем первая система координат отличается от второй системы координат, и получать картирование совмещения изображений из первого изображения во второе изображение. Процессоры дополнительно запрограммированы отображать первое изображение рядом со вторым изображением на дисплее и получать одно или более опорных мест в изображении. Каждое из них задано в системе координат одного из первого изображения и второго изображения. Кроме того, процессоры запрограммированы выделять соответствующее опорное место в изображении в первом и втором изображении. Коррелированные места в изображении определяются с использованием картирования совмещения изображений, причем картирование совмещения изображений содержит, (i) если картирование совмещения изображений осуществляется в системе координат одного из первого изображения и второго изображения, то путем суммирования картирования совмещения изображений с опорным местом в изображении одного из первого изображения и второго изображения и преобразования суммы в систему координат другого из первого изображения и второго изображения, или (ii) если картирование совмещения изображений осуществляется в системе координат другого из первого изображения и второго изображения, то путем преобразования опорного места в изображении в систему координат другого из первого изображения и второго изображения и прибавления картирования совмещения изображений.

Согласно предпочтительному аспекту, каждое из опорных мест в изображении и коррелированных мест в изображении задается одним из точки, множества точек, множества соединенных точек, контура, и области, представляющей интерес, по меньшей мере, трех измерений. Согласно другому предпочтительному аспекту, индикатор для опорного места в изображении идентичен индикатору для соответствующего коррелированного места в изображении.

В соответствии с другим аспектом, предусмотрен способ для оценивания картирования совмещения изображений. Принимаются первое изображение, использующее первую систему координат, и второе изображение, использующее вторую систему координат, причем первая система координат отличается от второй системы координат. Также получается картирование совмещения изображений из первого изображения во второе изображение. Первое изображение отображается рядом со вторым изображением, и получается одно или более опорных мест в изображении. Каждое из опорных мест в изображении задается в системе координат одного из первого изображения и второго изображения. После этого, каждое из опорных мест в изображении выделяется в одном из первого изображения и второго изображения, и коррелированное место в изображении выделяется для каждого из опорных мест в изображении в другом из первого изображения и второго изображения. Коррелированные места в изображении определяются с использованием картирования совмещения изображений, причем картирование совмещения изображений содержит, (i) если картирование совмещения изображений осуществляется в системе координат одного из первого изображения и второго изображения, то путем суммирования картирования совмещения изображений с опорным местом в изображении одного из первого изображения и второго изображения и преобразования суммы в систему координат другого из первого изображения и второго изображения, или (ii) если картирование совмещения изображений осуществляется в системе координат другого из первого изображения и второго изображения, то путем преобразования опорного места в изображении в систему координат другого из первого изображения и второго изображения и прибавления картирования совмещения изображений.

Согласно предпочтительному аспекту, одно или более опорных мест в изображении получаются через устройства пользовательского ввода. Согласно другому предпочтительному аспекту, индикатор для опорного места в изображении идентичен индикатору для соответствующего коррелированного места в изображении. Согласно другому предпочтительному аспекту, индикаторы, по меньшей мере, одной из трассы, соответствующей местам в изображении, и кодированы цветом, заштрихованы, имеют переменную толщину линий или другие индикаторы изменения.

Одно преимущество состоит в том, что любой признак в изображении можно картировать в реальном времени, включая поверхности структуры, внутренние точки, представляющие интерес, и т.д.

Другое преимущество состоит в том, что кодирование, например цветовое кодирование, можно применять для демонстрации эффектов сдвига поверхности.

Другое преимущество состоит в том, что пользователю демонстрируется картирование между текущим и более ранним изображениями без преобразования одного из изображений с целью совмещения с другим.

Другое преимущество состоит в сокращении времени обработки.

Другое преимущество состоит в облегчении оценивания пользователем эффективности лучевой терапии.

Другие дополнительные преимущества настоящего изобретения будут очевидны специалистам в данной области техники при ознакомлении с нижеследующим подробным описанием.

Изобретение может быть реализовано в виде различных компонентов и компоновок компонентов, и в виде различных этапов и компоновок этапов. Чертежи приведены исключительно в целях иллюстрации предпочтительных вариантов осуществления и не подлежат рассмотрению в порядке ограничения изобретения.

Фиг.1 иллюстрирует блок-схему системы лучевой терапии согласно аспектам настоящего раскрытия.

Фиг.2 иллюстрирует блок-схему способа, осуществляемого модулем указателя картирования коррелированных изображений (CIMP) согласно аспектам настоящего раскрытия.

Фиг.3 иллюстрирует графический пользовательский интерфейс, применяемый модулем CIMP согласно аспектам настоящего раскрытия.

Согласно Фиг.1, предусмотрена система 100 лучевой терапии для лечения пациентов. Система 100 лучевой терапии включает в себя одно или более устройств 102 формирования изображения, пригодных для получения изображений, представляющих объекты, представляющие интерес (OOI), например, области, представляющие интерес (ROI), и точки, представляющие интерес (POI), в телах пациентов. Устройства 102 формирования изображения надлежащим образом включают в себя сканер компьютерной томографии (КТ). Однако устройства 102 формирования изображения могут, дополнительно или альтернативно, включать в себя один или более из сканера позитрон-эмиссионной томографии (ПЭТ), магнитно-резонансного (МР) сканера, сканер однофотонной эмиссионной компьютерной томографии (ОФЭКТ), и пр.

Изображения, полученные от устройств 102 формирования изображения, обычно являются трехмерными изображениями. Однако допустимы двухмерные изображения. Трехмерные изображения обычно включают в себя множество двухмерных изображений, далее именуемых срезами. Кроме того, изображения, полученные от устройств 102 формирования изображения, сохраняются в памяти 104 изображений. Обычно память 104 изображений является центральной системой хранения записей. Однако допустимо, чтобы память 104 изображений была локальной по отношению к устройствам 102 формирования изображения или другому компоненту системы 100 лучевой терапии. Постольку поскольку память 104 изображений является удаленной по отношению к устройствам 102 формирования изображения, устройства 102 формирования изображения надлежащим образом соединены с ней через сеть связи, например, локальную сеть (LAN).

Система 106 планирования системы 100 лучевой терапии принимает изображения, обычно изображения планирования, для каждого из пациентов и использует изображения для генерации и/или обновления планов лучевой терапии (RTP) и/или для осуществления послелечебного анализа RTP. Изображение планирования - это изображение, используемое для генерации и/или обновления RTP. Кроме того, послелечебный анализ имеет целью оценивание эффективности RTP. Если RTP был эффективен, опухоли или другие цели будут уменьшаться в размере и/или исчезать. Обычно изображения получаются из памяти 104 изображений и/или устройств 102 формирования изображения. Однако изображения можно получать от других источников. Кроме того, изображения планирования обычно принимаются электронными средствами через сеть связи. Однако допустимы другие средства приема изображений планирования.

Для генерации RTP для пациента, система 106 планирования принимает одно или более изображений планирования до проведения лучевой терапии. Изображения планирования надлежащим образом фокусируются на одной или более опухолях или других целях пациента, подлежащих лечению или наблюдению. После приема изображений планирования, контур (или траектория) идентифицируется вокруг каждой из опухолей или других целей и одного или более OAR или других областей. Очерчивание используется для обозначения границ между опухолями или другими целями и OAR или другими областями. Онколог или другой клиницист надлежащим образом осуществляет очерчивание. Однако допустимы автоматизированные и полуавтоматизированные подходы. Постольку поскольку клиницист осуществляет очерчивание, клиницист надлежащим образом использует одно или более устройств 108 пользовательского ввода для идентификации контуров на графическом пользовательском интерфейсе, представленном посредством дисплея 110. Например, графический пользовательский интерфейс может отображать изображение планирования и давать возможность клиницисту рисовать или намечать контуры в изображении планирования с использованием устройств 108 пользовательского ввода.

Помимо идентификации контуров, задаются параметры плана облучения для очерченных областей. Надлежащим образом, клиницист или онколог задает параметры плана облучения через графический пользовательский интерфейс. Например, клиницист или онколог задает параметры плана облучения с использованием устройств 108 пользовательского ввода. Однако, как и в случае очерчивания, допустимы автоматизированные подходы. Параметры плана облучения обычно включают в себя минимальные или целевые дозы, подлежащие доставке к опухолям или другим целям, максимально допустимые дозы для OAR или других областей, и пр. Параметры плана лучевой терапии, совместно с известной информацией о характеристиках ослабления или поглощения излучения для различных тканей и очерченной опухоли или другой цели и очерченных OAR или других областях, используются для генерации RTP.

В некоторых вариантах осуществления, система 106 планирования принимает множество изображений планирования до проведения лучевой терапии и использует эти изображения для генерации RTP. Одна проблема, однако, состоит в том, что эти изображения могут применять разные системы координат в силу, например, использования разных устройств формирования изображения, временной диспарантности и пр. Например, система 106 планирования может принимать изображение планирования, сгенерированное с использованием устройства формирования изображения КТ, и изображение планирования, сгенерированное с использованием устройства формирования изображения ПЭТ. Чтобы исправить это, можно применять модуль 112 указателя картирования коррелированных изображений (CIMP) системы 106 планирования, позволяющий онкологу или другому клиницисту интуитивно наблюдать и коррелировать изображения.

Модуль 112 CIMP, совместно с дисплеем 110 и устройствами 108 пользовательского ввода, позволяют онкологу или клиницисту одновременно визуализировать места в изображении в двух разных изображениях в режиме корреляции с использованием картирования совмещения изображений между ними, генерируемого с использованием алгоритма совмещения изображений. Разные изображения отображаются по соседству (например, рядом) на дисплее 110. Затем онколог или другой клиницист выбирает места в изображении на изображениях с использованием устройств 108 пользовательского ввода. Когда онколог или другой клиницист выбирает место в изображении на одном из изображений, модуль 112 CIMP, в реальном времени, выделяет и выбранное место в изображении, и коррелированное место в изображении в другом изображении, что позволяет онкологу или другому клиницисту визуализировать корреляцию между изображениями. Как рассмотрено ниже, выделение надлежащим образом осуществляется с использованием индикаторов, например, стрелки, прицела и т.д.

В некоторых вариантах осуществления, модуль 112 CIMP применяется для очерчивания и/или объединен с графическим пользовательским интерфейсом, применяемым для очерчивания. Например, модуль 112 CIMP можно активировать через элемент меню графического пользовательского интерфейса. Когда модуль 112 CIMP применяется для очерчивания, на графическом пользовательском интерфейсе отображаются два разных изображения планирования. Например, изображение планирования, полученное от устройства формирования изображения КТ, отображается совместно с изображением планирования, полученным от устройства формирования изображения МР. После этого, онколог или другой клиницист вычерчивает контуры в одном из изображений, и модуль 112 CIMP, в реальном времени, выделяет места в изображении, заданные контурами в обоих изображениях, с использованием картирования совмещения изображений между изображениями. В некоторых вариантах осуществления, допустимо, чтобы онколог или другой клиницист мог вычерчивать контуры с использованием обоих изображений. Например, допустимо, чтобы онколог или другой клиницист начинал вычерчивать контур в одном из изображений и заканчивал вычерчивать его в другом изображении.

В ходе каждого сеанса лучевой терапии определяется накопленная доза излучения, доставленная к опухолям или другим целям и OAR или другим областям. В ходе сеанса терапия, опухоли или другие цели обычно сжимаются, позволяя OAR или другим областям смещаться, что может приводить к ошибкам в расчетах накопленной дозы и траекториях пучков лучевой терапии. Для поддержания точности, RTP периодически обновляется.

Для обновления RTP для пациента, система 106 планирования принимает одно или более новых изображений планирования. Например, система 106 планирования принимает изображения планирования после каждого сеанса лучевой терапии или заранее определенного их количества. Как описано выше, изображения планирования надлежащим образом фокусируются на опухолях или других целях пациента. После приема нового изображения планирования или после приема заранее определенного количества новых изображений планирования, контуры (или траектории) и/или дозы RTP обычно обновляются. Одна проблема с обновлением RTP состоит в том, что он задается в системе координат изображений планирования, первоначально используемых для задания RTP. Чтобы исправить это, можно снова применить модуль 112 CIMP.

При обновлении контуров RTP, новые изображения планирования отображаются совместно с исходными изображениями планирования, применяемыми для генерации RTP. Кроме того, модуль 112 CIMP выделяет места в изображении, с которыми связаны контуры RTP в исходных изображениях планирования, и выделяет коррелированные места в изображении в новых изображениях планирования с использованием картирования совмещения изображений между исходными изображениями планирования и новыми изображениями планирования. Преимущественно, это позволяет онкологу или другому клиницисту визуализировать соответствующие места в изображении. Надлежащим образом, места в изображении выделяются с использованием индикаторов, которые прослеживают соответствующее место в изображении. В некоторых вариантах осуществления, онколог или другой клиницист может изменять контуры с использованием устройств 108 пользовательского ввода. Например, онколог или клиницист может изменять размер и/или форму индикаторов, представляющих контуры, и видеть, в реальном времени, влияние на другое отображаемое изображение.

При обновлении доз RTP, новые изображения планирования можно картировать в систему координат, применяемую при генерации RTP с использованием картирования совмещения изображений. После этого, данные дозировки из новых изображений планирования и/или RTP накапливаются и графически представляются в виде изображения накопленной дозы. Затем это изображение отображается совместно с исходными изображениями планирования, применяемыми для генерации RTP с использованием модуля 112 CIMP. Модуль 112 CIMP может выделять места в изображении, с которыми связаны контуры RTP в исходных изображениях планирования, и выделять коррелированные места в изображении на изображении накопленной дозы, что позволяет онкологу или другому клиницисту визуализировать накопленную дозу и, на этом основании, оптимизировать дозирование в дальнейших сеансах лучевой терапии.

Для осуществления послелечебного анализа RTP, система 106 планирования принимает одно или более изображений после завершения RTP. Как описано выше, изображения надлежащим образом фокусируются на опухолях или других целях пациента. После приема новых изображений, модуль 112 CIMP надлежащим образом применяется для сравнения новых изображений с изображениями планирования, связанными с RTP. В этой связи, модуль 112 CIMP применяется для отображения новых изображений совместно с изображениями планирования, применяемыми для генерации RTP. Кроме того, модуль 112 CIMP выделяет места в изображении, с которыми связаны контуры RTP, на изображениях планирования и выделяет коррелированные места в изображении на новых изображениях, что позволяет онкологу или другому клиницисту визуализировать места в изображении. Если RTP эффективен, коррелированные места в изображении для опухолей или других целей должны уменьшаться в размерах или исчезать.

Система 106 планирования надлежащим образом включает в себя один или более блоков 114 памяти и один или более контроллеров 116 на основе процесса. В блоках 114 памяти хранятся исполнимые инструкции для управления процессором контроллеров 116 на основе процессора для осуществления одной или более из вышеупомянутых функций системы 106 планирования. Кроме того, в некоторых вариантах осуществления, модуль 112 CIMP реализуется исполнимыми инструкциями, хранящимися, например, в блоках 114 памяти. Контроллеры 116 на основе процесса выполняют исполнимые инструкции, хранящиеся в блоках 114 памяти, для осуществления функций, связанных с системой 106 планирования. Когда система 106 планирования выполнена с возможностью принимать изображения из сети связи и/или сохранять RTP посредством передачи по сети связи, система 106 планирования дополнительно включает в себя один или более блоков 118 связи, способствующих связи между контроллерами 116 на основе процессора и сетью связи.

RTP, генерируемые и/или обновляемые системой 106 планирования, сохраняются в памяти 120 планов лучевой терапии. Обычно память 120 планов лучевой терапии является центральной системой хранения записей. Однако допустимо, чтобы память 120 планов лучевой терапии была локальной по отношению к системе 106 планирования или другому компоненту системы 100 лучевой терапии. Постольку поскольку память 120 планов лучевой терапии является удаленной по отношению к системе 106 планирования, память 120 планов лучевой терапии надлежащим образом соединена с ней через сеть связи, например, локальную сеть (LAN).

В день и время, запланированные для сеанса лучевой терапии согласно RTP, устройство 122 лучевой терапии применяется для доставки терапевтического излучения пациенту. Излучение может включать в себя рентгеновское излучение, протоны, высокоинтенсивный фокусированный ультразвук (HIFU), и пр., пригодные для наружной дистанционной лучевой терапии, лечения пучками протонов или других ионов и высокоинтенсивным фокусированным ультразвуком, и других абляционных или терапевтических методов. Надлежащим образом, устройство 122 лучевой терапии управляется системой 124 управления лучевой терапией в соответствии с RTP, хранящимся в памяти 120 планов лучевой терапии. Например, в проиллюстрированном варианте осуществления, устройство 122 доставки лучевой терапии представляет собой линейный ускоритель (LINAC), и система 124 управления лучевой терапией использует многолепестковый коллиматор (MLC) или другое устройство регулировки профиля пучка излучения LINAC для модуляции интенсивности пучка и профиля, когда линейный ускоритель перемещается вокруг субъекта, для доставки распределения дозы излучения в субъект, которое обеспечивает нужную интегральную дозу облучения целевому признаку, при этом надлежащим образом ограничивая облучение чувствительных важных признаков в соответствии с RTP.

На Фиг.2 проиллюстрирована блок-схема 200, подробно описывающая работу модуля 112 CIMP. Модуль 112 CIMP принимает 202 первое изображение, например, изображение планирования, и второе изображение, например, текущее изображение. Первое изображение и/или второе изображение надлежащим образом генерируются с использованием устройств 102 формирования изображения. Однако изображения могут генерироваться другими средствами. Кроме того, первое изображение и/или второе изображение являются, надлежащим образом, трехмерными, но допустимы двухмерные изображения. В некоторых вариантах осуществления, одно из первого изображения и второго изображения является изображением информации накопленной дозы.

После приема первого изображения и второго изображения, модуль 112 CIMP получает 204 картирование совмещения изображений, которое картирует первое изображение во второе изображение. Картирование 112 совмещения изображений описывает преобразования и/или деформации, которые преобразуют или деформируют первое изображение в систему координат второго изображения. Надлежащим образом, картирование совмещения изображений получается путем генерации картирования совмещения изображений с использованием алгоритма совмещения изображений. Однако также можно предусмотреть, что модуль 112 CIMP получает картирование совмещения изображений из внешнего источника.

Алгоритм совмещения изображений может быть строгим или нестрогим алгоритмом совмещения изображений. Кроме того, алгоритм совмещения изображений может, но не обязательно, быть обратно согласованным. Когда алгоритм совмещения изображений является обратно согласованным, картирование совмещения изображений, которое картирует первое изображение во второе изображение, совпадает с картированием совмещения изображений, которое картирует второе изображение в первое изображение. В некоторых вариантах осуществления, алгоритм совмещения изображений генерирует карту совмещения изображений путем идентификации соответствующих точек и/или признаков в первом изображении и втором изображении. После идентификации и спаривания этих точек и/или признаков между изображениями, они используются для вычисления преобразования и/или деформации координат, которое/ая картирует координатные положения в одном из изображений в соответствующее положение в другом изображении, и их приведения соответственно к одной системе координат.

Дополнительно, после приема первого изображения и второго изображения, первое изображение и второе изображение отображаются 206 на графическом пользовательском интерфейсе, представленном онкологу или другому клиницисту посредством дисплея 110. Обычно, первое изображение и второе изображение отображаются расположенными рядом друг с другом, но допустимы и другие конфигурации. Кроме того, первое изображение и второе изображение обычно отображаются двухмерно, но допустимо, чтобы первое изображение и второе изображение отображались трехмерно. В некоторых вариантах осуществления, когда первое изображение и второе изображение являются трехмерными изображениями и отображаются двухмерно, онколог или другой клиницист может совершать переходы между их срезами с использованием устройств 108 пользовательского ввода. Например, онколог или клиницист может использовать устройства 108 пользовательского ввода для манипулирования линейками прокрутки, привязанными к срезам изображений.

Модуль 112 CIMP дополнительно получает 208 одно или более опорных мест в изображении в системе координат первого изображения и/или второго изображения. Опорное место в изображении задается одним из точки, множества точек, множества соединенных точек, контура (или траектории), области, представляющей интерес, по меньшей мере, трех измерений и т.п. в изображении. Опорные места в изображении надлежащим образом получаются от устройств 108 пользовательского ввода. Например, онколог или другой клиницист может выбрать опорное место в изображении, например, точку или трехмерную область, представляющую интерес, в первом изображении или втором изображении с использованием устройств 108 пользовательского интерфейса. Однако опорные места в изображении допустимо получать от других источников. Например, опорные места в изображении можно получать из контуров (или траекторий), заданных в процессе очерчивания.

После получения опорных мест в изображении или, в некоторых вариантах осуществления, одновременно с этим, модуль 112 CIMP выделяет 210 каждое из опорных мест в изображении в отображаемом изображении, к которому оно относится. Кроме того, для каждого из опорных мест в изображении, модуль 112 CIMP выделяет 212 соответствующее место в изображении в другом отображаемом изображении. Например, если опорное место в изображении задано в системе координат первого изображения, опорное место в изображении выделяется в первом изображении, и коррелированное место в изображении выделяется во втором изображении. Выделение 212 соответствующего места в изображении надлежащим образом включает в себя вычисление коррелированных мест в изображении в реальном времени с использованием полученного ранее картирования совмещения изображений, как описано ниже.

Если картирование совмещения изображений осуществляется в системе координат первого изображения, и алгоритм совмещения изображений не является обратно согласованным, то позицию (P₂) во втором изображении, соответствующую позиции (P₁) в первом изображении, можно определить путем суммирования картирования совмещения изображений (IRM) с позицией первого изображения (P₁) и преобразования суммы в систему координат второго изображения, как показано ниже.

P₂=(P₁+IRM)X^Image1T_Image2 (1)

где X^Image1 - система координат первого изображения и T_Image2 - преобразование из системы координат первого изображения в систему координат второго изображения.

Если картирование совмещения изображений осуществляется в системе координат второго изображения, и алгоритм совмещения изображений не является обратно согласованным, то позицию (P₂) во втором изображении, соответствующую позиции (P₁) в первом изображении, можно определить путем преобразования позиции в первом изображении в систему координат второго изображения и прибавления картирования совмещения изображений (IRM) к преобразованной позиции первого изображения, как показано ниже.

P₂=(P₁X^Image1T_Image2)+IRM (2)

Если алгоритм совмещения изображений, применяемый для генерации картирования совмещения изображений, является обратно согласованным, то любое из уравнения (1) и (2) можно применять для определения позиции (P₂) во втором изображении, соответствующей позиции (P₁) в первом изображении. Как упомянуто выше, когда алгоритм совмещения изображений является обратно согласованным, картирование совмещения изображений из первого изображения во второе изображение совпадает с картированием совмещения изображений из второго изображения в первое изображение.

Для выделения мест в изображении, надлежащим образом применяются индикаторы, включенные в первое изображение и второе изображение. Когда изображения являются трехмерными, индикаторы могут охватывать множественные срезы. Индикатор обычно представляет собой окрашенную трассу места в изображении, где цвет выбирается для обеспечения высокой контрастности между ней и изображением, в которое он включен. В некоторых вариантах осуществления, где индикатор применяется для выделения места в изображении, заданного точкой, индикатор может представлять собой, например, стрелку, прицел и т.п. Кроме того, в некоторых вариантах осуществления, где индикатор применяется для выделения многомерного места в изображении (например, места в изображении, заданного контуром), индикатор может применять градиент цветов или переходы цвета (например, от красного к зеленому), толщину линии или другие индикаторы изменения. Градиент имеет преимущество в том, что он облегчает идентификацию сдвига.

Индикатор, связанный с опорным местом в изображении (т.е. опорный индикатор) надлежащим образом визуально идентичен индикатору, связанному с коррелированным местом в изображении опорного места в изображении (т.е. коррелированному индикатору). Преимущественно, это позволяет осуществлять визуальную корреляцию между опорным местом в изображении и коррелированным местом в изображении. Например, когда опорный индикатор трассирует опорное место в изображении красным цветом, коррелированный индикатор трассирует коррелированное место в изображении красным цветом.

В некоторых вариантах осуществления, где получается одно единственное опорное место в изображении, в отображаемых изображениях осуществляется фокусировка 214 на опорное место в изображении и коррелированное место в изображении. Например, если опорным местом в изображении является точка в первом изображении и первое изображение и второе изображение являются трехмерными, то фокусировка на коррелированное место в изображении на втором изображении будет осуществляться путем перехода к срезу второго изображения, представляющему место в изображении. Дополнительно или альтернативно, в некоторых вариантах осуществления, где получается одно единственное опорное место в изображении, стандартные метрики, обычно включающие в себя, по меньшей мере, одно из разностей значений серого, координат и корреляций положений, для опорного места в изображении и соответствующего коррелированного места в изображении отображаются 216 на дисплее 112.

Дополнительно или альтернативно, в некоторых вариантах осуществления, индикаторы можно выбирать с использованием, например, устройств 108 пользовательского ввода. Выбор можно применять для перемещения индикаторов и соответствующих мест в изображении. Например, если клиницист выбирает опорный индикатор и перетаскивает его в изображении, к которому он относится, модуль 112 CIMP принимает данные перемещения. Затем эти данные перемещения используются для перемещения опорного места в изображении. Поскольку опорный индикатор связан с коррелированным индикатором, коррелированный индикатор также будет перемещаться. Выбор можно, дополнительно или альтернативно, применять для фокусировки 214 на место в изображении выбранного индикатора, как описано выше. Выбор можно, дополнительно или альтернативно, применять для изменения размера и/или изменения формы мест в изображении, связанных с выбранными индикаторами. Например, если клиницист выбирает часть опорного индикатора и перетаскивает ее в изображении, к которому он относится, модуль 112 CIMP принимает данные изменения размера и/или изменения формы. Затем эти данные изменения размера и/или изменения формы используются для изменения размера и/или изменения формы места в изображении, связанного с выбранным индикатором. Выбор можно, дополнительно или альтернативно, применять для отображения 216 стандартных метрик, как описано выше. Например, стандартные метрики отображаются для выбранного индикатора.

Дополнительно или альтернативно, в некоторых вариантах осуществления, индикаторы можно применять для коррекции картирования совмещения изображений. Одно или более опорных мест в изображении и/или коррелированных мест в изображении можно поддерживать фиксированными. После этого, соответствующими опорными местами в изображении и/или коррелированными местами в изображении в другом изображении можно манипулировать для идентификации правильного картирования. За дополнительной информацией следует обратиться к патентной заявке США № 61/416,318, под названием “Interactive Deformation Map Corrections”, поданной 23 ноября 2010 г., Bzdusek et al., включенной в данное описание изобретения посредством ссылки в полном объеме.

На Фиг.3 представлен один вариант осуществления графического пользовательского интерфейса, надлежащим образом применяемого модулем 112 CIMP. Здесь, первое изображение 302 отображается рядом со вторым изображением 304. Кроме того, в первом изображении 302 показано множество опорных индикаторов 306, и во втором изображении 304 показано множество коррелированных индикаторов 308. Опорные индикаторы 306 и коррелированные индикаторы 308 показаны в виде прицелов и контуров (или траекторий). Прицелы указывают место в изображении, заданное точкой, и контуры (или траектории) задают границу области, представляющей интерес. Выбор одного из опорных индикаторов или одного из коррелированных индикаторов позволяет изменять соответствующее место в изображении за счет перемещения выбранного индикатора. Это, в свою очередь, приводит к перемещению коррелированного места в изображении и связанного с ним индикатора. Например, выбор прицела в первом изображении 302 позволяет клиницисту или онкологу перетаскивать его в первом изображении 302 и видеть коррелированное место в изображении во втором изображении 304 через прицел во втором изображении 304.

Хотя модуль 112 CIMP описан в контексте системы лучевой терапии, очевидно, что модуль 112 CIMP имеет более широкую сферу применения. В этой связи, модуль 112 CIMP можно применять в любом сценарии использования, предусматривающем совмещение изображений. Например, модуль 112 CIMP можно применять для оценивания качества картирования совмещения изображений между изображениями. Это важно, поскольку врач зачастую вычерчивает контур (траекторию) опухоли на снимке ПЭТ/КТ и хочет картировать контур в КТ планирования. Точность карты деформаций крайне необходима для картирования очерчивания для КТ планирования.

Используемый здесь термин «память» включает в себя один или более из энергонезависимого машиночитаемого носителя; магнитного диска или другого магнитного носителя данных; оптического диска или другого оптического носителя данных; оперативной памяти (ОЗУ), постоянной памяти (ПЗУ) или другого электронного запоминающего устройства или микросхемы или набора оперативно соединенных между собой микросхем; интернет-сервера, из которого хранящиеся на нем инструкции можно извлекать через интернет или локальную сеть; и т.д. Кроме того, используемый здесь термин «контроллер на основе процессора» включает в себя одно или более из микропроцессора, микроконтроллера, графического процессора (ГП), специализированной интегральной схемы (ASIC), вентильной матрицы, программируемой пользователем (FPGA), и пр.; устройство пользовательского ввода включает в себя одно или более из мыши, клавиатуры, дисплея с сенсорным экраном, одной или более кнопок, одного или более переключателей, одного или более тумблеров, и пр.; и дисплей включает в себя одно или более из ЖК дисплея, светодиодного дисплея, плазменного дисплея, проекционного дисплея, дисплея с сенсорным экраном, и пр.

Изобретение описано со ссылкой на предпочтительные варианты осуществления. На основании вышеприведенного подробного описания можно предложить различные модификации и изменения. Предполагается, что изобретение охватывает все подобные модификации и изменения, постольку поскольку они соответствуют объему нижеследующей формулы изобретения или ее эквивалентов.

Группа изобретений относится к медицинской технике, а именно к средствам совмещения изображений. Система для визуализации картирования совмещения изображений, обеспечивающая осуществление способа для визуализации картирования совмещения изображений, в которой первое изображение, использующее первую систему координат, сопоставляется со вторым изображением, использующим вторую систему координат, причем система содержит дисплей и один или более процессоров, запрограммированных принимать первое и второе изображение, получать картирование совмещения изображений из первого изображения во второе изображение, получать одно или более опорных мест в изображении, выделять каждое опорное место в изображении и выделять коррелированное место в изображении, причем один или более процессоров запрограммированы отображать первое изображение рядом со вторым изображением на дисплее, и коррелированные места в изображении определяются с использованием картирования совмещения изображений, причем картирование совмещения изображений содержит, если картирование совмещения изображений осуществляется в системе координат одного из первого изображения и второго изображения, то путем суммирования картирования совмещения изображений с опорным местом в изображении одного из первого изображения и второго изображения и преобразования суммы в систему координат другого из первого изображения и второго изображения, или если картирование совмещения изображений осуществляется в системе координат другого из первого изображения и второго изображения, то путем преобразования опорного места в изображении в систему координат другого из первого изображения и второго изображения и прибавления картирования совмещения изображений. Компьютерный носитель, несущий программное обеспечение для осуществления способа для визуализации картирования совмещения изображений. Изобретения позволяют сократить время обработки изображений. 3 н. и 10 з.п. ф-лы, 3 ил.

1. Система (106) для визуализации картирования совмещения изображений, в которой первое изображение, использующее первую систему координат, сопоставляется со вторым изображением, использующим вторую систему координат, причем упомянутая система (106) содержит:
дисплей (110) и
один или более процессоров (116), запрограммированных:
принимать первое изображение, использующее первую систему координат, и второе изображение, использующее вторую систему координат, причем первая система координат отличается от второй системы координат,
получать картирование совмещения изображений из первого изображения во второе изображение,
получать одно или более опорных мест в изображении, каждое из которых задано в системе координат одного из первого изображения и второго изображения,
выделять каждое опорное место в изображении в одном из первого изображения и второго изображения и
выделять коррелированное место в изображении для каждого опорного места в изображении в другом из первого изображения и второго изображения,
отличающаяся тем, что один или более процессоров (116) запрограммированы отображать первое изображение рядом со вторым изображением на дисплее (110),
и тем, что коррелированные места в изображении определяются с использованием картирования совмещения изображений, причем картирование совмещения изображений содержит:
(i) если картирование совмещения изображений осуществляется в системе координат одного из первого изображения и второго изображения, то путем суммирования картирования совмещения изображений с опорным местом в изображении одного из первого изображения и второго изображения и преобразования суммы в систему координат другого из первого изображения и второго изображения, или
(ii) если картирование совмещения изображений осуществляется в системе координат другого из первого изображения и второго изображения, то путем преобразования опорного места в изображении в систему координат другого из первого изображения и второго изображения и прибавления картирования совмещения изображений.

2. Система (106) по п. 1, дополнительно включающая в себя
одно или более устройств (108) пользовательского ввода,
причем одно или более опорных мест в изображении получено от устройств (108) пользовательского ввода.

3. Система (106) по п. 1, в которой процессоры дополнительно запрограммированы выделять каждое из опорных мест в изображении и коррелированных мест в изображении с использованием индикатора, включенного в первое изображение и/или второе изображение.

4. Система (106) по п. 3, дополнительно включающая в себя
одно или более устройств (108) пользовательского ввода,
причем процессоры (116) дополнительно запрограммированы:
принимать выбор одного из индикаторов от устройств пользовательского ввода, где выбранный индикатор связан с одним из первого изображения и второго изображения,
принимать данные изменения размера и/или перемещения от устройств (108) пользовательского ввода,
изменять размер и/или перемещать выбранный индикатор на основании данных изменения размера и/или перемещения для изменения связанного места в изображении и
изменять размер и/или перемещать индикатор, связанный с выбранным индикатором, в другом из первого изображения и второго изображения для согласования выбранного индикатора с использованием картирования совмещения изображений.

5. Способ (200) для визуализации картирования совмещения изображений, в котором первое изображение, использующее первую систему координат, сопоставляется со вторым изображением, использующим вторую систему координат, причем упомянутый способ (200) содержит этапы, на которых:
принимают (202) первое изображение, использующее первую систему координат, и второе изображение, использующее вторую систему координат, причем первая система координат отличается от второй системы координат,
получают (204) картирование совмещения изображений из первого изображения во второе изображение,
получают (208) одно или более опорных мест в изображении, каждое из которых задано в системе координат одного из первого изображения и второго изображения,
выделяют (210) каждое опорное место в изображении в одном из первого изображения и второго изображения,
выделяют (212) коррелированное место в изображении для каждого опорного места в изображении в другом из первого изображения и второго изображения,
отличающийся тем, что способ (200) содержит этап, на котором отображают (206) первое изображение рядом со вторым изображением,
и тем, что коррелированные места в изображении определяют с использованием картирования совмещения изображений, причем картирование совмещения изображений содержит:
(i) если картирование совмещения изображений осуществляется в системе координат одного из первого изображения и второго изображения, то путем суммирования картирования совмещения изображений с опорным местом в изображении одного из первого изображения и второго изображения и преобразования суммы в систему координат другого из первого изображения и второго изображения, или
(ii) если картирование совмещения изображений осуществляется в системе координат другого из первого изображения и второго изображения, то путем преобразования опорного места в изображении в систему координат другого из первого изображения и второго изображения и прибавления картирования совмещения изображений.

6. Способ (200) по п. 5, в котором получение (204) совмещения изображений включает в себя подэтап, на котором
вычисляют картирование совмещения изображений с использованием алгоритма совмещения изображений.

7. Способ (200) по п. 5, в котором получение (208) одного или более опорных мест в изображении включает в себя этапы, на которых:
принимают контуры и
используют места в изображении, соответствующие контурам, как опорные места в изображении.

8. Способ (200) по любому из пп. 5-7, в котором каждое из опорных мест в изображении и коррелированных мест в изображении задают одним из точки, множества точек, множества соединенных точек, контура, и области, представляющей интерес, по меньшей мере, трех измерений.

9. Способ (200) по любому из пп. 5-7, в котором каждое из опорных мест в изображении и коррелированных мест в изображении выделяют с использованием индикатора, включенного в первое изображение или второе изображение.

10. Способ (200) по п. 9, дополнительно включающий в себя этапы, на которых:
принимают выбор одного из индикаторов от одного или более устройств (108) пользовательского ввода, где выбранный индикатор связан с одним из первого изображения и второго изображения,
принимают данные изменения размера и/или перемещения от устройств (108) пользовательского ввода,
изменяют размер и/или перемещают выбранный индикатор на основании данных изменения размера и/или перемещения для изменения связанного места в изображении, и
изменяют размер и/или перемещают индикатор, связанный с выбранным индикатором, в другом из первого изображения и второго изображения для согласования выбранного индикатора с использованием картирования совмещения изображений.

11. Способ (200) по любому из пп. 5-7, дополнительно включающий в себя этап, на котором
фокусируются (214) на одном из опорных мест в изображении и соответствующем коррелированном опорном месте в изображении.

12. Способ (200) по любому из пп. 5-7, дополнительно включающий в себя этап, на котором
отображают (216) метрики, включающие в себя, по меньшей мере, одно из разностей значений серого, координат и корреляций положений, для одного из опорных мест в изображении и соответствующего коррелированного места в изображении.

13. Компьютерный носитель (114), несущий программное обеспечение, которое управляет одним или более процессорами (116) для осуществления способа (200) по любому из пп. 5-12.