Область техники, к которой относится изобретение
Изобретение относится к обработке медицинских изображений части тела человека или животного и, в частности, но не исключительно, к обработке изображений магнитно-резонансной томографии (Magnetic Resonance Imaging, MRI).
Уровень изобретения
Обработка изображений для цифровых изображений становится все более важной и широко распространенной. Конечно, по мере того, как средства обработки становятся все более мощными и экономически эффективными, становятся привлекательны большое количество применений обработки изображений. В частности, в последние десятилетия обработка изображений стала гораздо более предпочтительной и широко распространенной в медицинской области, где она может помочь во многих аспектах исследований, диагностики и лечения. Ситуация дополнительно усилилась из-за появления более сложных средств формирования изображений. Конечно, в медицинской области изображения не ограничиваются простым получением визуальных сцен (то есть света), а формируются также входными сигналами других датчиков. Например, двухмерные и даже трехмерные изображения могут быть сформированы посредством ультразвукового сканирования или рентгеноскопии. Другим важным источником изображения в медицинской области является магнитно-резонансная томография (Magnetic Resonance Imaging (MRI)), обнаруживающая свойства магнитного резонанса ядер атомов (Nuclear Magnetic Resonance (NMR)) внутри тела. Обнаружение этих свойств позволяет формировать подробные двухмерные или трехмерные изображения внутренних частей тела. Например, это позволяет создавать подробные изображения, отражающие деятельность мозга.
Однако, существенной проблемой таких новых технологий является сложность и трудность интерпретации изображений профессионалами. Чтобы помочь в этом процессе, обработка изображений непрерывно совершенствуется. Такая обработка изображений может состоять просто в алгоритмах и подходах, которые улучшают визуальное восприятие изображения, таких как выделение конкретных объектов изображения (объектов на изображении), повышение контрастности и т.п. Однако, были разработаны и другие алгоритмы, которые, как кажется, должны помочь в предоставлении медицинских данных, извлеченных из изображений. Такие алгоритмы могут быть специально основаны на сравнении исследуемого изображения с базой данных хранящихся изображений с сопутствующими данными.
Значительной проблемой и типичным ограничительным фактором для таких систем является степень обработки исходных данных, требуемая для выполнения операций. Конечно, изображения могут обычно представляться огромными объемами данных. Например, одно трехмерное MRI-изображение может иметь более 500 Мб данных. Сравнение такого изображения с большим количеством соответственно больших эталонных изображений требует огромной мощности обработки. Это не только увеличивает стоимость оборудования, но также создает задержку при обработке и обычно значительно ограничивает размер базы данных, в которой может вестись поиск.
Отсюда, предпочтительным мог бы быть улучшенный подход и, в частности, может быть предпочтителен подход, позволяющий иметь повышенную гибкость, пониженные затраты, повышенную эффективность, пониженное использование вычислительных ресурсов, формирование более точных или надежных медицинских данных.
Максим Мизотин и др. описывают использование классификации MRI-изображений мозга, основанной на гистограммах признаков фигур в MRI-изображении мозга в статье под названием "Feature-based brain MRI retrieval for Alzheimer disease diagnosis", опубликованной на 19-ой Международной конференции IEEE по обработке изображений (ICIP), 30 сентября 2012 г., стр.1241-1244 (ссылка ЕРО ХР032333403). Предложенный способ состоит из этапов геометрической нормализации MRI-изображения, извлечения визуальных признаков, квантования признаков и формирования сигнатур изображения (BOVW) и сравнения сигнатур изображения с сигнатурами, сформированными посредством кластеризации на этапе тренировки по классификатору.
Сущность изобретения
Соответственно, изобретение стремится в максимальной степени смягчить, облегчить или исключить один или более из упомянутых выше недостатков, отдельно или в любом сочетании.
В соответствии с вариантом изобретения, обеспечивается устройство обработки изображений, причем упомянутое устройство содержит: приемник для приема первого изображения, представляющего характеристики части тела человека или животного; блок сигнатур, определяющий набор сигнатур, связанный с изображением, из первого изображения, запоминающее устройство выборок для хранения набора выборок, причем каждая выборка содержит набор сигнатур, связанный с выборкой, и медицинские данные; блок совпадения для определения набора совпадающих выборок из набора выборок в результате сравнения набора сигнатур, связанного с изображением, с наборами сигнатур, связанными с выборкой, из набора выборок; и блок принятия решения, выполненный с возможностью определения медицинских данных для первого изображения в ответ на медицинские данные, содержащиеся в выборках набора совпадающих выборок.
Изобретение может позволить улучшенную обработку изображений для медицинских изображений. Во многих вариантах осуществления изобретение может облегчить и/или улучшить, например, компьютерные облегченные интерпретацию и анализ медицинских изображений. Конечно, во многих вариантах осуществления изобретение может позволить автоматическое формирование медицинских данных для изображения. При некоторых применениях обработка изображения может помочь врачам-профессионалам при определении диагноза и/или лечении пациента.
Подход может, в частности, позволить более эффективное извлечение соответствующих медицинских данных из базы данных и может, например, существенно уменьшить потребность в вычислительных ресурсах для идентификации соответствующих данных. Он может, например, позволить большие размеры баз данных, которые должны использоваться, позволяя тем самым создавать улучшенные медицинские данные. Подход может во многих сценариях обеспечивать более эффективное хранение медицинской информации, снижая, тем самым, требования к памяти, что, опять же, может позволить использовать большие базы данных.
Во многих вариантах изобретения подход может позволить иметь очень эффективную связь между различными функциональными блоками и может требовать меньшей ширины полосы связи для трактов взаимной передачи данных. Это может, например, потребовать других функций для дистанционной связи друг с другом и потребовать индивидуальной оптимизации при реализации других функциональных блоков.
Подход может позволить или разрешить распределенную обработку и может, в частности, позволить сетевую обработку. Например, часть функциональных возможностей, таких как формирование сигнатур, могут располагаться традиционно, тогда как функциональные возможности, связанные с базами данных и сравнением, могут находиться на удалении. Поскольку, благодаря использованию сигнатур, объем данных для обмена может быть существенно уменьшен, такой подход может реализовываться, используя многочисленные существующие сети связи, среди которых, например, Интернет. Подход может также позволить или облегчить создание централизованной структуры, где, например, центральная общая база данных и функциональная возможность сравнения могут поддерживать множество распределенных станций пользователей.
Первое изображение может быть любым сигналом или набором данных, обеспечивающим визуальное предоставление параметра или совокупности параметров. Первое изображение не нуждается в получении визуальных характеристик, но может быть визуальным представлением невизуальных свойств. Например, первое изображение может быть рентгеновским изображением, сформированным магнитно-резонансным сканированием. Сигнатура может быть индикацией свойства или быть получена из изображения. Связанный с изображением набор сигнатур может обычно быть представлен меньшим объемом данных, чем при представлении изображения. Обычно размер данных набора сигнатур, связанного с изображением, по меньшей мере в десять раз меньше, чем размер данных изображения. Сигнатуры обычно являются (очень) компактными представлениями конкретных свойств изображения, обычно считающихся важными для дальнейшей обработки изображений, поиска и восстановления данных и диагностики.
Каждая выборка может быть собранием данных, содержащим набор сигнатур для этой выборки, связанный с изображением. Кроме того, каждое собрание данных выборки может содержать сопутствующие медицинские данные. Медицинские данные могут быть показателем медицинского состояния или болезни.
Набор выборок для определения совпадения в некоторых ситуациях может содержать только одну выборку совпадения. Набор выборок для совпадения может содержать выборки из набора выборок, для которого набор сигнатур, связанный с изображением, и наборов сигнатур, связанных с выборкой, соответствуют критерию совпадения.
В некоторых вариантах осуществления устройство для обработки изображений может обеспечивать автоматизированную систему, которая, основываясь на первом изображении, может автоматически просматривать большую базу данных подобных изображений, чтобы найти изображения, обладающие очень похожими характеристиками. Медицинские данные, хранящиеся для этих совпадающих изображений, могут затем быть извлечены и, например, выведены для показа медицинскому работнику.
В соответствии с дополнительным признаком изобретения, по меньшей мере, некоторые сигнатуры из набора сигнатур, связанного с изображением, являются локальными сигнатурами, представляющими локальную информацию об изображении.
Это может обеспечить особенно предпочтительную сигнатуру, являющуюся показателем характеристик с определенной корреляцией с заболеваниями. Во многих вариантах осуществления каждая из локальных сигнатур может позволить, по меньшей мере, частичную реконструкцию локальной области изображения.
В соответствии с дополнительной функцией изобретения, блок сигнатур выполнен с возможностью деления первого изображения на множество сегментов изображения; при этом блок сигнатур содержит параллельный процессор, имеющий множество процессорных элементов, каждый из которых выполнен с возможностью обработки поднабора сегментов изображения, чтобы определять локальные сигнатуры для сегментов изображения.
Это может обеспечить особенно эффективную обработку и во многих вариантах осуществления может существенно ускорять формирование сигнатур. Система, в частности, пригодна для сегментированной обработки и для параллельной обработки. В частности, система особенно пригодна, например, для обработки частей дешевыми графическими процессорами (GPU), такими как, например, GPU, используемыми для обработки компьютерной графики.
В соответствии с дополнительным признаком изобретения, деление на сегменты изображения не зависит от свойств изображения для первого изображения.
Это может уменьшить сложность и использование вычислительных ресурсов во многих вариантах осуществления. При некоторых применениях это может также, в частности, быть пригодно для определения сигнатур, которые являются, в частности, хорошими индикаторами различных заболеваний. Например, это может быть пригодно для определения локальной плотности аномалий в первом изображении.
В соответствии с дополнительным признаком изобретения, блок сигнатуры дополнительно выполнен с возможностью определения размера сегмента изображения для сегментов изображения в ответ на свойства изображения для первого изображения.
Это может быть предпочтительно для некоторых вариантов осуществления и может, в частности, позволить улучшенную адаптацию обработки к конкретным характеристикам конкретного изображения. В соответствии с дополнительным признаком изобретения, блок совпадения содержит параллельный процессор, имеющий множество элементов параллельной обработки, каждый из которых выполнен с возможностью сравнения по меньшей мере одной сигнатуры набора локальных сигнатур, связанного с изображением, по меньшей мере с одним набором сигнатур, связанным с выборкой.
Это может обеспечить особенно эффективную обработку и во многих вариантах осуществления может очень существенно ускорить сравнение. Система, в частности, пригодна для параллельной обработки. В частности, система особенно пригодна для частичной обработки, например, дешевыми графическими процессорами (GPU), такими как, например, GPU, используемыми для обработки компьютерной графики.
Сравнение изображения традиционно является очень сложным процессом, требующим огромного количества вычислительных ресурсов, особенно для больших изображений, которые часто встречаются при медицинских изображениях. Подход может позволить существенное снижение сложности сравнения и использования ресурсов и, кроме того, очень большое улучшение по времени вычисления может быть достигнуто при подходе, являющемся весьма пригодным для параллельной обработки. Это может позволить, например, реализацию системы, в которой соответствующие медицинские данные могут быть обеспечиваться непосредственно в течение разумного времени кадра. Это может дополнительно позволить использовать более крупные базы данных и, таким образом, может улучшить качество/значимость сформированных медицинских данных.
В соответствии с дополнительным признаком изобретения, блок сигнатур реализуется в первом процессорном блоке и блок совпадения реализуется в отдельном втором процессорном блоке, связанном с первым процессором линией связи с ограниченной полосой пропускания.
Это может облегчить реализацию во многих вариантах осуществления. Например, устройство может быть реализовано центральным процессором (CPU), связанным с GPU линией с ограниченной полосой пропускания. Данные, которые должны передаваться между блоками, могут быть существенно уменьшены, делая, таким образом, такую реализацию практически осуществимой. Во многих вариантах осуществления ширина полосы пропускания линии связи с ограниченной полосой пропускания может не превышать 1 Мбит/с или 10 Мбит/с.
В соответствии с дополнительным признаком изобретения, блок сигнатур выполнен с возможностью формирования множества локальных сигнатур, причем каждая локальная сигнатура представляет локальную информацию об изображении, и формирования по меньшей мере одной сигнатуры из набора сигнатур, связанного с изображением, из множества локальных сигнатур.
Это может позволить во многих вариантах осуществления формировать улучшенные сигнатуры с большей медицинской значимостью. Сигнатура(-ы), сформированная из локальных сигнатур, может быть локальными сигнатурами, но во многих сценариях может не быть локальными сигнатурами, и, конечно, в некоторых сценариях может быть глобальными сигнатурами, отражающими характеристики всего первого изображения. Сигнатуры могут быть объединениями сигнатур, распределенными пространственно в органах тела или другими типами.
Подход может позволить более эффективное обнаружение соответствующих выборок и, таким образом, улучшенное формирование медицинских данных.
В соответствии с дополнительным признаком изобретения по меньшей мере одна сигнатура представляет статистический критерий для множества локальных сигнатур.
Это может позволить во многих вариантах осуществления формировать улучшенные сигнатуры с большим объемом медицинской значимости. Подход может позволить более эффективное обнаружение соответствующих выборок и, таким образом, улучшенное формирование медицинских данных. Статистический критерий может содержать, например, среднее значение, дисперсию, гистограмму и т.д.
В соответствии с дополнительным признаком изобретения, по меньшей мере одна сигнатура представляет критерий корреляции по меньшей мере двух локальных сигнатур.
Это может позволить формирование во многих вариантах осуществления улучшенных сигнатур с большим объемом медицинской значимости. Подход может обеспечить более эффективное обнаружение соответствующих выборок и, таким образом, улучшенное формирование медицинских данных.
В соответствии с дополнительным признаком изобретения, устройство дополнительно содержит: детектор объекта изображения для обнаружения по меньшей мере одного объекта изображения в первом изображении; и блок сигнатур, выполненный с возможностью определения по меньшей мере одной сигнатуры из набора сигнатур, связанного с изображением, в ответ на свойство объекта изображения.
Во многих вариантах осуществления это может позволить сформировать улучшенные сигнатуры с большей медицинской значимостью. Подход может позволить более эффективное обнаружение соответствующих выборок и, таким образом, улучшенное формирование медицинских данных. Например, подход может позволить сигнатурам все больше и больше отражать конкретные события или признаки, такие как, например, компоненты радиоактивного индикатора, подозреваемая опухоль и т.д.
Сигнатура может быть сформирована, основываясь только на одном объекте изображения, и/или может быть сформирована, основываясь на множестве объектов изображения.
В соответствии с дополнительным признаком изобретения, свойством по меньшей мере одного объекта изображения является по меньшей мере одно из следующих: свойство границы объекта по меньшей мере для одного объекта изображения; площадь по меньшей мере одного объекта изображения; объем по меньшей мере одного объекта изображения; поза по меньшей мере одного объекта изображения; положение по меньшей мере одного объекта изображения; ориентация по меньшей мере одного объекта изображения; свойство яркости по меньшей мере одного объекта изображения; свойство хроматичности по меньшей мере одного объекта изображения; и свойство текстуры по меньшей мере одного объекта изображения. Во многих вариантах осуществления эти признаки во многих сценариях могут обеспечивать сигнатуры с большей медицинской значимостью для формирования. Подход может позволить более эффективное обнаружение соответствующих выборок и, таким образом, улучшенное формирование медицинских данных. Признаки могут индивидуально или совместно напрямую использоваться как сигнатура.
В соответствии с дополнительным признаком изобретения, по меньшей мере одна сигнатура определяется в ответ на момент первого объекта изображения.
Это может позволить формирование во многих вариантах осуществления улучшенных сигнатур с большей медицинской значимостью. Подход может позволить более эффективное обнаружение соответствующих выборок и, таким образом, улучшенное формирование медицинских данных.
В соответствии с дополнительным признаком изобретения, блок сигнатур выполнен с возможностью определения по меньшей мере одной сигнатуры из набор сигнатур, связанного с изображением, в результате сравнения свойства с эталоном.
Это может позволить формирование во многих вариантах осуществления улучшенных сигнатур с большей медицинской значимостью. Подход может позволить более эффективное обнаружение соответствующих выборок и, таким образом, улучшенное формирование медицинских данных.
В частности, эталон может представлять значение или интервал, которые могут ожидаться для свойства у здорового человека или животного, и сигнатура может быть сформирована, чтобы отражать, насколько свойство отклоняется от нормального значения(-й) для свойства. Такие отклонения могут обеспечивать особенно подходящую индикацию нахождения медицинских данных, приемлемых для текущих изображений.
В соответствии с дополнительным признаком изобретения, блок сигнатур выполнен с возможностью определения по меньшей мере одной сигнатуры в ответ на статистическое отклонение свойства изображения относительно свойства эталона для множества объектов изображения.
Это может позволить формирование во многих вариантах осуществления улучшенных сигнатур с большей медицинской значимостью. Подход может позволить более эффективное обнаружение соответствующих выборок и, таким образом, улучшенное формирование медицинских данных.
В соответствии с дополнительным признаком изобретения, устройство дополнительно содержит интерфейс пользователя для приема ввода данных пользователем и блок сигнатур выполнен с возможностью определения по меньшей мере одной сигнатуры изображения из набора сигнатур, связанного с изображением, в ответ на ввод данных пользователем.
Во многих вариантах осуществления это может позволить улучшенное формирование сигнатур и может, соответственно, обеспечить улучшенное формирование медицинских данных, особенно важных для первого изображения.
В соответствии с дополнительным признаком изобретения, сигнатуры из набора сигнатур, связанного с выборкой, по меньшей мере для некоторых выборок представляют свойства изображения сопутствующих изображений части тела человека или животного.
Выборки могут быть сформированы из медицинских изображений, и, конкретно, могут быть сформированы из медицинских изображений других пациентов. Сигнатуры могут быть сигнатурами, извлеченными из этих изображений, используя тот же самый подход, что и для первого изображения. Медицинские данные для выборки или изображения могут быть, например, данными сопутствующих заболеваний или болезни, которые введены вручную.
В соответствии с дополнительным признаком изобретения, первое изображение является по меньшей мере одним из следующих: изображение магнитно-резонансной томографии, изображение компьютерной томографии, изображение позитронной эмиссионной томографии, изображение однофотонной эмиссионной компьютерной томографии; ультразвуковое изображение; рентгеновское изображение и цифровое патологическое гистологическое изображение.
В соответствии с дополнительным признаком изобретения, по меньшей мере одна сигнатура изображения из набора сигнатур, связанного с изображением, обеспечивает вейвлетное представление свойства изображения.
Это может обеспечивать особенно предпочтительную сигнатуру для сравнения во многих вариантах осуществления. В частности, это может позволить компактное представление свойств изображения, поддерживая визуальную информацию о внешнем виде в сигнатуре.
В соответствии с дополнительным признаком изобретения, блок сигнатур выполнен с возможностью обнаружения объектов изображения, соответствующих критерию, по меньшей мере одна сигнатура из набора сигнатур, связанного с изображением, формируется в ответ на локальную вариацию плотности объектов изображения, соответствующих критерию.
Для многих заболеваний и болезней это может обеспечивать особенно эффективный индикатор, позволяющий, таким образом, улучшенное обнаружение соответствующих выборок и, в конечном счете, формирование улучшенных медицинских данных.
В соответствии с дополнительным признаком изобретения, устройство дополнительно содержит процессор обновления для изменения набора выборок в ответ на набор сигнатур, связанный с изображением.
Это может позволить, например, непрерывное улучшение базы данных выборок, позволяя, таким образом, непрерывное улучшение формируемых медицинских данных.
В соответствии с дополнительным признаком изобретения, первое изображение является трехмерным изображением.
В соответствии с дополнительным признаком изобретения, блок сигнатур и блок совпадения связываются сетью связи. Это может обеспечить особенно эффективную реализацию и/или получение опыта пользователем во многих сценариях. Это может, например, позволить использовать большую центральную базу данных из множества мест.
В соответствии с вариантом изобретения, обеспечивается способ обработки изображений, причем способ содержит этапы, на которых: получают первое изображение, представляющее характеристики части тела человека или животного; определяют из первого изображения набор сигнатур, связанный с изображением, обеспечивая набор выборок, причем каждая выборка содержит набор сигнатур, связанный с выборкой, и медицинские данные; определяют набор совпадающих выборок из набора выборок в результате сравнения набора сигнатур, связанного с изображением, с набором сигнатур, связанным с выборкой; и определяют медицинские данные для первого изображения в ответ на медицинские данные, связанные с набором совпадающих выборок.
Эти и другие варианты, признаки и преимущества изобретения станут очевидны и будут подробно объяснены со ссылкой на вариант(-ы) осуществления, описанный далее.
Краткое описание чертежей
Варианты осуществления изобретения будут описаны только в качестве примера со ссылкой на чертежи, на которых:
Фиг.1 - пример системы обработки медицинских изображений, соответствующей некоторым вариантам осуществления изобретения;
Фиг.2 - пример архитектуры центрального процессора и графического процессора;
Фиг.3 - стандартная процедура диагностики болезни Альцгеймера;
Фиг.4 - пример системы обработки медицинских изображений в соответствии с некоторыми вариантами осуществления изобретения;
Фиг.5 - пример двухмерного изображения ex-vivo патогистологическая выборка с окраской Amyloid-Beta 42;
Фиг.6 - пример коронарных MRI-сканирований 7T со взвешиванием T2 для здорового человека;
Фиг.7 пример коронарных MRI-сканирований 7T со взвешиванием T2 для больного человека;
Фиг.8 - пример моментов объекта двухмерного изображения;
Фиг.9 - пример гистограммы моментов объекта двухмерного изображения;
Фиг.10 - пример формирования сигнатур для изображения в соответствии с некоторыми вариантами осуществления изобретения;
Фиг.11 - пример пространственного распределения объектов изображения в медицинском изображении;
Фиг.12 - пример медицинской системы обработки изображений в соответствии с некоторыми вариантами осуществления изобретения; и
Фиг.13 - пример графического интерфейса пользователя для медицинской системы обработки изображений в соответствии с некоторыми вариантами осуществления изобретения.
Подробное описание некоторых вариантов осуществления изобретения
На фиг.1 представлен пример медицинской системы обработки изображений в соответствии с некоторыми вариантами осуществления изобретения.
Система содержит приемник 101 изображения, принимающий медицинское изображение, которое должно быть обработано системой. Изображение является изображением, представляющим характеристику или свойство части тела человека или животного. Изображение может быть, например органом или частью органа человека или животного. Конечно, во многих вариантах осуществления устройство обработки изображений может использоваться как часть лечения или диагностики пациента, страдающего или подозреваемого в страдании определенной болезнью или заболеванием. Таким образом, во многих практических применениях изображение может быть изображением определенной области тела пациента.
Изображение обычно является визуальным представлением свойства части человеческого тела. В медицинской области было разработано большое количество технологий для визуализации внутренних частей человеческого тела и были разработаны конкретные технологии, позволяющие визуализировать изменения и нарушения в составляющих частях тела.
Например, была разработана магнитно-резонансная томография, чтобы создать изображения, представляющие изменения магнитного резонанса атомов, образующих части тела. Устройство MRI создает мощное магнитное поле, на которое различные атомы реагируют по-разному. Эти различия обнаруживаются и используются для формирования изображение внутренней части тела.
В другом примере, могут формироваться изображения компьютерной томографии (СТ), для получения изображений, представляющих срезы человеческого тела. СТ может обеспечивать изображения, схожие с MRI. Однако, MRI имеет тенденцию обеспечивать гораздо более высокий яркостный контраст свойств ткани органа (молекулы воды и т.д.).
Другие примеры медицинских изображений содержат изображения позитронной эмиссионной томографии (PET), где изображения формируются, обнаруживая излучение от радиоактивного индикатора, изображения однофотонной эмиссионной компьютерной томографии (SPECT), которые также основаны на обнаружении излучения от радиоактивного индикатора; ультразвуковые изображения, формируемые на основе обнаружения отражений ультразвука; рентгеновские изображения, которые формируются на основе обнаружения рентгеновских лучей, проходящих через пациента при анализе; и цифровые патогистологические изображения, являющиеся изображениями, основанными на обнаружении в изображении микроскопических признаков, пригодных для цифровой обработки.
Описанный подход может быть применим ко всем этим технологиям обработки изображений и, конечно, к любому другому соответствующему способу обработки медицинских изображений.
Изображение может быть двумерным изображением, но во многих сценариях и применениях может быть трехмерным изображением. Конечно, многие из вышеупомянутых технологий получения медицинских изображений, по сути, формируют трехмерные изображения. Конкретно, изображения могут быть цветными или полутоновыми изображениями.
Изображения могут обеспечиваться в любой приемлемой форме и, конкретно, могут быть цифровыми изображениями, обеспечиваемыми в соответствии с подходящим стандартом представления изображения.
Проблема многих способов обработки медицинских изображений состоит в том, как извлечь оптимальную медицинскую информацию и сделать наилучшие выводы, возможные, основываясь на таких данных. Например, получение правильного диагноза, основываясь на медицинских изображениях, может быть трудным во многих сценариях и часто может повлечь за собой определенный риск, когда анализ проводится только человеком. Конечно, улучшенные медицинские данные могут быть извлечены из медицинских изображений, не только рассматривая непосредственно изображение, но также и рассматривая существующую информацию, полученную из подобных изображений. Например, сравнивая текущее медицинское изображение с большой базой данных, например, тысячами записанных изображений, может быть возможным найти изображения с характеристиками, напоминающими характеристики текущего изображения. В таких случаях медицинская информация, связанная с такими изображениями, может быть полезна при анализе текущего изображения и может, например, использоваться, например, для предоставления практикующему врачу дополнительных данных изображения, которые облегчают или позволяют ему сделать выводы из медицинского изображения.
Система, представленная на фиг.1, способна выполнять такую обработку изображений и анализ.
Однако, значительной проблемой для обработки медицинской изображений является то, что многие из сформированных изображений являются чрезвычайно большими. Действительно, чтобы позволить обнаруживать мелкие детали, необходимо, тем не менее, охватить достаточную часть человеческого тела, при этом требуется, чтобы разрешающая способность была низкой и чтобы изображение было большим, что в результате приводит к большому объему данных, формируемому для каждого изображения. Эта проблема значительно усложняется для трехмерных изображений. Например, типичное трехмерное MRI-изображение с 7 Тесла может иметь разрешающую способность 800×800×700 вокселов и иметь размер приблизительно 750 мегабайт. В системе, показанной на фиг.1, разрешается или облегчается очень эффективная обработка даже больших медицинских изображений, позволяя, таким образом, иметь медицинскую систему обработки изображений, которая может автоматически или полуавтоматически обеспечивать медицинские данные для медицинских изображений.
Медицинское изображение подается на процессор 103 сигнатур, выполненный с возможностью формирования первого набора сигнатур, связанного с изображением (то есть, первого набор сигнатур, связанных с изображением). Такие сигнатуры могут обеспечить компактное представление одной или более характеристик изображения или части изображения. Например, процессор 103 сигнатур может разделить медицинское изображение на множество блоков и затем формировать сигнатуру для каждого блока. Например, может формироваться сигнатура, соответствующая дисперсии яркости в каждом блоке.
Процессор 103 сигнатур связывается с процессором 105 совпадения и в конкретном примере процессор 103 сигнатур и процессор 105 совпадения являются не только отдельными функциональными блоками, но также и физически отдельными обрабатывающими объектами, которые связываются через шину 107 данных с ограниченной полосой пропускания. Процессор 103 сигнатур подает первый набор сигнатур на процессор 105 совпадения через шину 107 данных.
Во многих вариантах осуществления шина 107 данных имеет ограничение по полосе пропускания, которое делает ее непрактичной для передачи по ней полного медицинского изображения в течение разумного времени. Поэтому передача первого набора сигнатур может позволять существенное сжатие скорости передачи данных, требуемое шиной данных.
Процессор 105 совпадения связывается с запоминающим устройством 109 выборок, содержащим большую базу данных. Запоминающее 109 устройство выборок конкретно содержит набор выборок, с которыми может сравниваться принятая сигнатура. Каждая выборка является собранием данных, содержащим данные, описывающие, по меньшей мере, набор сигнатур, а также медицинских данных.
Во многих вариантах осуществления каждая из выборок может соответствовать информации, получаемой из медицинского изображения, для которого были созданы сигнатуры и для которого были записаны медицинские данные. Таким образом, набор сигнатур для выборки может представлять свойства изображения для медицинского изображения, которое было ранее обработано. Сигнатуры обеспечивают компактное представление характеристик исходных изображений и могут, например, рассматриваться как представление признаков исходных изображений, которые, в частности, пригодны, чтобы характеризовать медицинские характеристики изображений. Например, могут формироваться сигнатуры, представляющие пространственное распределение плотности аномальных клеток. Таким образом, выборка может представить характеристики изображения для исходного изображения, которые имеют особую медицинскую значимость. В дополнение к сигнатурам, каждая выборка содержит медицинские данные, которые связываются с сигнатурами. Например, медицинские данные, указывающие на болезнь или заболевание, испытываемое проверяемым человеком, от которого было получено исходное изображение, могут храниться в выборке.
Как конкретный пример, сохраненные медицинские данные могут содержать MRI-изображения мозга здорового взрослого человека для сравнения пациентов с нейродегенеративным заболеванием, показывая, таким образом, фокальную атрофию, увеличенные желудочки, уменьшенную мозговую ткань - паренхиму; форму и расположение предварительно сегментированных органов тела или их частей, как видно на MRI-, СТ- или PET-изображениях; патогистологическое изображение болезней, например, раковых клеток, эндогенных (металлы) патологических отложений, например, железа, и т.д.
Процессор 105 совпадения выполнен с возможностью сравнения первого набора сигнатур (то есть набора сигнатур, связанного с изображением для текущего изображения) с набором сигнатур для различных выборок. На основе сравнения определяется набор совпадающих выборок. В некоторых вариантах осуществления набор совпадающих выборок может ограничиваться только одной выборкой, то есть процессор 105 совпадения может выбрать выборку с наилучшим совпадением, но в большинстве вариантов осуществления набор совпадающих выборок может содержать множество выборок. Во многих вариантах осуществления количество совпадающих выборок может изменяться от изображения к изображению. Например, может быть сформирован набор совпадающих выборок, содержащий все выборки, для которых критерий подобия между сигнатурами ниже заданного порога.
Таким образом, процессор 105 совпадения может сравнивать сигнатуры текущего изображения с сигнатурами выборок и может выбрать одну или более выборок для набора совпадающих выборок, в зависимости от пригодного критерия совпадения. Следует понимать, что конкретный критерий совпадения будет зависеть от индивидуального варианта осуществления и, в частности, будет зависеть от природы, типа и характеристик используемых сигнатур.
Во многих вариантах осуществления подобие или критерий расстояния и критерий совпадения могут соответствовать требованию, при котором критерий подобия или расстояния ниже заданного порога. Например, во многих вариантах осуществления, наборы сигнатур могут содержать вектор скалярных значений и измерение расстояния может вычисляться, например, как векторное расстояние между векторами текущего изображения и выборок.
Процессор 105 совпадения связывается с процессором 111 медицинских данных, выполненным с возможностью обработки медицинских данных выборок из набора совпадающих выборок. Процессор 111 медицинских данных специально формирует медицинские данные для текущего изображения, основываясь на медицинских данных совпадающих выборок.
Как пример, процессор 111 медицинских данных может формировать медицинские данные, указывающие возможную болезнь или заболевание для пациента, для которого было сформировано изображение. Например, MRI-изображение может быть введено в приемник 101 изображения. Процессор 103 сигнатур может соответственно формировать набор сигнатур для этого изображения и передавать его процессору 105 совпадения. Процессор 105 совпадения может получить доступ к запоминающему устройству 109 выборок и провести поиск среди хранящихся выборок, чтобы найти набор совпадающих выборок как выборок, для которых хранящиеся сигнатуры достаточно близки к сформированным сигнатурам. Процессор 111 медицинских данных может затем извлечь медицинские данные из этих совпадающих выборок, где медицинские данные могут конкретно идентифицировать болезни или заболевания, часто связанные с сигнатурами. Конкретно, каждая выборка может соответствовать изображению пациента и медицинские данные для каждой выборки могут указать диагноз, который был сделан для определенного пациента (например, указывать конкретное заболевание или болезнь или, конечно, указывать, когда диагноз состоял в том, что пациент не страдает подозреваемой болезнью или заболеванием). Процессор 111 медицинских данных может затем предоставить выходные медицинские данные для текущего изображения, которые указывают возможные болезни или заболевания. Медицинские данные могут конкретно быть метаданными в форме текста, который определяет один или более диагнозов вместе с данными вспомогательной обработки изображений и диагностическими данными (могут быть лабораторные пробы крови и т.д.). Различные возможности могут, например, быть упорядочены в соответствии с тем, как часто они появляются в наборе совпадений, и, конечно, во многие сценарии может быть внесена индикация вероятности конкретного заболевания или болезни. Таким образом, при сравнении с результатами других подобных MRI-изображений, система может обрабатывать изображение, чтобы предложить диагнозы возможных болезней или заболеваний. Например, если набор совпадений содержит значительную долю выборок, которые связаны, например, с опухолью головного мозга, выходные данные могут указать, что входное изображение, вероятно, должно отражать наличие опухоли головного мозга.
В качестве конкретного примера, система может для заданной модальности обработки изображений формировать выборки подобных изображений пациентов в блоке совпадения (базе данных) относительно целевых изображений (определение различия между целевыми или испытательными изображениями и последовательностями изображений может быть полезным, чтобы привести их к стандартной терминологии), а также сопутствующие метаданные.
Система может обеспечивать очень эффективный подход. В частности, использование компактных и эффективных сигнатур, которые особенно пригодны для дифференциации и обнаружения медицинских проблем, позволяет проводить очень эффективную обработку. Конечно, это предусматривает очень эффективную связь между процессором 103 сигнатур и процессором 105 совпадения, которая может, в частности, позволять использовать шину передачи данных, по существу, с ограниченной полосой пропускания. Это может обеспечить быструю и грубую обработку/сбор связанных данных/сигнатур в отделениях больницы (например, в отделении неотложной помощи) через мобильные устройства, присоединенные через каналы передачи данных с большой полосой пропускания.
Кроме того, идентификация подходящих совпадающих изображений во время поиска в больших базах данных изображений традиционно является в вычислительном отношении весьма трудоемкой операцией. Соответствие и сравнение в значительной степени упрощаются, если основывать такое сравнение на сигнатурах, и это может действительно уменьшить вычислительные потребности, по меньшей мере, на порядок, и обычно существенно больше. Дополнительно, требования базы данных могут быть очень существенно уменьшены, поскольку хранение сигнатур и сопутствующих медицинских данных обычно требует хранения намного меньшего объема данных, чем если бы хранилось само изображение. Таким образом, достигается эффективная обработка изображений.
Подход может также позволить формирование улучшенных медицинских данных и может обеспечить дополнительную помощь медицинскому работнику. Действительно, подход может позволить выполнение поиска в более крупных базах данных и действительно может облегчить хранение и распространение таких баз данных, обеспечивая, таким образом, лучшую основу для формирования медицинских данных. Подход может быть специально приспособлен для оказания помощи при идентификации редко встречающихся заболеваний или болезней. Оценка и анализ, проводимые человеком, имеют тенденцию (неумышленную) склоняться к более распространенным причинам, поскольку для человека невозможно знать обо всех возможных заболеваниях. Однако, поскольку система позволяет сравнение с очень большим количеством выборок, база данных может содержать также выборки, соответствующие очень редким заболеваниям и болезням. Таким образом, система может выделить возможность редкой болезни или заболевания, которые обычно не могли бы быть идентифицированы исключительно посредством оценки, проводимой человеком.
Кроме того, подход пригоден для параллельности различных процессов и может во многих вариантах осуществления быть реализован, используя один или более параллельных процессоров, таких как, конкретно, одно или более графических процессоров (GPU). Это может делаться с целью ускорения обработки - формирования сигнатур для базы данных (обычно автономно), или для совпадения с сигнатурами базы данных сигнатур целевого пациента.
В примере, показанном на фиг.1, процессор 103 сигнатур может быть реализован в центральном процессоре, CPU, тогда как процессор 105 совпадения может быть реализован параллельным процессором, и специально как GPU.
На фиг.2 представлен упрощенный пример архитектуры CPU и GPU. Как показано, типичный CPU может содержать несколько арифметико-логических блоков (ALU), которые могут обрабатывать команды и данные. Кроме того, CPU содержит схему управления (в том числе, схему интерфейса), а также кэш-память и некоторую динамическую оперативную память. CPU обычно способен выполнять относительно сложные команды, но не предназначен для высоких степеней параллельности. В конкретном примере, максимум четыре команды могут выполняться CPU одновременно, поскольку он содержит только четыре ALU. CPU в высшей степени пригоден для сложных и, в частности, последовательных операций, в которых не осуществляется высокий уровень параллельности.
Напротив, GPU обычно оптимизируется для параллельных операций и содержит большое количество относительно несложных элементов обработки, которые могут выполнять команды одновременно. Каждый элемент обработки обычно способен обрабатывать только относительно малый набор команд с относительно малой сложностью. Однако, для многих операций сокращенный набор команд с избытком компенсируется способностью выполнять большое количество параллельных процессов.
CPU может быть пригоден для многих операций устройства, показанного на фиг.1, в том числе, например, для реализации интерфейса пользователя, установления связи с устройством обработки изображений и т.д. Во многих вариантах осуществления он может также быть пригоден для формирования сигнатур для медицинского изображения. В частности, поскольку сигнатуры для изображения должны формировать для изображения только один раз, во многих вариантах осуществления может быть возможным формировать сигнатуры для изображения в пределах разумного времени, в частности, когда сигнатуры являются относительно несложными и количество сигнатур в наборе обоснованно низкое.
Однако, в вариантах осуществления, в которых база данных содержит большое количество выборок, операция совпадения может быть в вычислительном отношении очень интенсивной, поскольку может требовать сравнения двух больших наборов сигнатур для каждой выборки. Однако, эта операция весьма пригодна для параллельной обработки и может поэтому быть реализована, эффективно используя устройство параллельной обработки. В таких вариантах осуществления процессор 105 совпадения может специально быть реализован как GPU, который обеспечивает большое количество элементов параллельной обработки. Конечно, конкретное преимущество подхода состоит в том, что он может быть реализован, используя дешевые GPU, которые могут обеспечить большую параллельную вычислительную мощность при низкой стоимости. В частности для выполнения операции совпадения процессора 105 совпадения могут использоваться GPU, предназначенные, например, для компьютерной графики.
Процессор 105 совпадения в некоторых вариантах осуществления может быть выполнен с возможностью параллельного сравнения различных сигнатур набора сигнатур для входного изображения с соответствующими сигнатурами из набора сигнатур одной выборки, то есть различные элементы параллельной обработки могут сравнивать различные сигнатуры одной и той же выборки. Альтернативно или дополнительно, процессор 105 совпадения может быть выполнен с возможностью параллельного сравнения сигнатур из набора сигнатур для входного изображения с соответствующими сигнатурами множества выборок. Таким образом, в некоторых вариантах осуществления, каждый, по меньшей мере, из некоторых элементов параллельной обработки может быть выполнен с возможностью сравнения всех сигнатур для входного изображения со всеми сигнатурами одной выборки. В таких случаях различные элементы обработки могут обрабатывать различные выборки параллельно с помощью каждого элемента обработки, выполняя полное сравнение сигнатур для одной выборки.
Как пример, первый набор сигнатур может быть сформирован процессором 103 сигнатур как вектор скалярных значений. Например, входное изображение может быть сформировано в блоки N и сигнатура может быть сформирована для каждого блока. Например, может быть определено изменение яркости в каждом блоке. Результирующий вектор может содержать большое количество скалярных значений с каждым скалярным значением, указывающим дисперсию блока. Вектор сигнатуры затем передается процессору 105 совпадения по шине 107 передачи данных.
В некоторых вариантах осуществления каждый элемент обработки процессора 105 совпадения может затем продолжать выполнять сравнение между этим вектором и соответствующим вектором сигнатуры, полученным из запоминающего устройства 109 выборок. Таким образом, каждый элемент обработки сравнивает полный входной вектор сигнатуры с полным вектором сигнатуры для одной выборки, с различными элементами обработки, выполняющими сравнение, используя различные выборки, то есть используя векторы сигнатуры различных выборок.
В качестве конкретного примера, каждый элемент обработки может определять квадрат (или абсолютное значение) разности между первым скалярным значением входного вектора сигнатуры и первым значением выборки. Это можно затем продолжить, чтобы определить квадрат (или абсолютное значение) разности между вторым скалярным значением входного вектора сигнатуры и вторым значением выборки. Процесс может быть повторен для всех скалярных значений векторов сигнатуры и может быть определен критерий разности, например, как среднее значение (или сумма) определенных значений. Таким образом, каждый элемент параллельной обработки может формировать критерий разности для одной выборки с помощью различных элементов параллельной обработки, формирующих критерии разности для различных выборок.
В некоторых вариантах осуществления GPU может затем переходить к анализу заканчивающиеся результирующих разностных значений, чтобы выбрать выборки для набора совпадающих выборок. Например, GPU может выбрать все выборки, для которых критерий разности ниже заданного уровня. Этот набор совпадений может затем быть подан на процессор 111 медицинских данных вместе с сопутствующими медицинскими данными.
Как другой пример, каждый из элементов параллельной обработки может быть выполнен с возможностью формирования критерия разности для единственной пары скалярных значений с разными элементами обработки, обрабатывающими другие скалярные компоненты вектора.
Например, первый элемент обработки может определить квадрат (или абсолютное значение) разности между первым скалярным значением входного вектора сигнатуры и первым значением выборки. Параллельно, второй элемент обработки может (параллельно/одновременно) определить квадрат (или абсолютное значение) разности между вторым скалярным значением входного вектора сигнатуры и вторым значением выборки. Третий элемент обработки может определить квадрат разности для третьих значений и т.д. Элемент обработки может дополнительно прибавить все сформированные значения разности для формирования критерия разности для выборки. Это значение может быть сохранено и GPU может перейти к обработке следующей выборки таким же образом.
Процесс может быть повторен для всех выборок, приводя в результате к критерию разности, формируемому для всех выборок. GPU может затем перейти к выбору совпадающего набора, как описано выше, к такому, например, как выбор выборок, для которых критерий разности ниже данного уровня.
В некоторых вариантах осуществления параллельная обработка может быть смесью таких подходов, как, например, когда каждый элемент обработки обрабатывает одну пару скалярных значений, но с двумя или более выборками, обрабатываемыми одновременно.
Параллельная обработка может очень существенно ускорять операцию совпадения. Например, различные практические реализации показали повышение скорости на порядок или больше.
Следует понимать, что описанные функциональные возможности могут быть распределены по различным элементам обработки и могут быть реализованы иначе, в зависимости от конкретной архитектуры обработки. Например, распределение функциональных возможностей на любом конце шины передачи данных с ограниченной полосой может меняться для различных вариантов осуществления и показанный на фиг.1 пример является просто примером возможного распределения.
Например, в некоторых вариантах осуществления, GPU может передавать определенные критерии расстояния на CPU по шине данных с ограниченной полосой пропускания и CPU может выбрать набор совпадения выборок. Конечно, во многих вариантах осуществления процессор 111 медицинских данных (и, например, некоторые функциональные возможности процессора 105 совпадения) может быть реализован тем же самым CPU, который реализует процессор 103 сигнатур.
Следует также понимать, что процессор 111 медицинских данных может, например, напрямую получать доступ к базе данных, чтобы извлекать медицинские данные для выбранного набора совпадения.
Таким образом, каждый элемент параллельной обработки может формировать критерий разности для одной выборки с помощью различных элементов параллельной обработки, формирующих критерии для разных выборок.
В некоторых вариантах осуществления формирование первого набора сигнатур может дополнительно или альтернативно осуществляться операцией по параллельной обработке. Конкретно, в некоторых вариантах осуществления процессор 103 сигнатур может быть частично или полностью реализован элементами параллельной обработки. Например, процессор 103 сигнатур может быть реализован GPU или комбинацией GPU и CPU.
В частности, в некоторых вариантах осуществления процессор 103 сигнатур может быть выполнен с возможностью деления входного изображения на множество сегментов/блоков изображения (где сегменты изображения могут быть двумерными или трехмерными, в зависимости от ситуации). Это деление может быть, например, фиксированным делением на фиксированные блоки. Например, трехмерное изображение 800×800×700 воксел может быть разделено на сегменты или блоки по 100×100×100 воксел. Таким образом, изображение может быть автоматически разделено на 392 сегментов фиксированного размера.
Процессор 103 сигнатур может содержать элементы параллельной обработки, которые используются для формирования сигнатуры для каждого из этих сегментов, но каждый элемент обработки обрабатывает только поднабор из 392 сегментов. Конечно, если процессор 103 сигнатур содержит больше, чем 392 элемента параллельной обработки, каждый элемент обработки может обрабатывать один сегмент, чтобы сформировать одну сигнатуру. Например, каждый элемент параллельной обработки может определить вариацию яркости для сегмента. Таким образом, набор из 392 сигнатур может быть сформирован очень быстро.
В примере деление на сегменты изображения не зависит от свойств изображения для первого изображения, а является скорее слепой сегментацией. Это может понизить сложность и может во многих вариантах осуществления быть полезным для формирования сигнатур с конкретной значимостью для медицинской обработки. Например, плотность конкретных событий является эффективным индикатором многих болезней. В таких вариантах осуществления сегментация в сегменты одинакового размера, сопровождаемая обнаружением количества объектов, соответствующих событиям (например, аномальные клетки), может формировать локальную сигнатуру, напрямую указывающую плотность аномальных клеток. Таким образом, простой подсчет в каждом сегменте может формировать локальную сигнатуру, пригодную для обнаружения возможной болезни.
В некоторых вариантах осуществления сегментация может зависеть от характеристик изображения. Как пример малой сложности, процессор 103 сигнатур может быть выполнен с возможностью определения сегмента изображения из числа сегментов, основанных на свойствах изображения, с определенным размером, являющимся постоянным, то есть применяемым ко всем сегментам.
Полученные медицинские данные могут использоваться процессором 111 медицинских данных, чтобы предоставлять медицинскому работнику дополнительную информацию. Как простой пример, медицинские данные могут быть просто представлены медицинскому работнику. Например, может формироваться выходной сигнал, который отражает диагноз, связанный с каждой из идентифицированных выборок. Список диагнозов для пациентов, для которых были сформированы изображения, близко напоминающие текущее изображение, может использоваться в качестве ввода возможных диагнозов, которые медицинский работник должен далее рассмотреть. Это может быть особенно полезно при предоставлении для определения редких заболеваний и, конечно, может представить заболевания, о которых профессионал даже не знает, чтобы их обнаруживать и рассматривать.
В некоторых сценариях может также быть обеспечена степень совпадения для выборок. Например, может быть выведен список, который для каждой выборки указывает диагноз и насколько близко выборка напоминает текущее изображение.
Во многих вариантах осуществления медицинские данные могут быть обработаны процессором 111 медицинских данных. Например, данные могут быть упорядочены таким образом, что все выборки, соответствующие одному и тому же диагнозу, объединяются. Этот подход может обеспечиваться, например, для использования при формировании списка диагнозов вместе с предполагаемой вероятностью диагнозов, являющихся адекватным текущему изображению. Если для каждой выборки, находящейся в близком совпадении, найдено много выборок с данным диагнозом, то указывается высокая вероятность. Если для данного диагноза найдена только одна выборка с относительно низким критерием совпадения, которому поставили, то индицируется низкая вероятность.
Следует понимать, что может быть получено много других форм медицинских данных и такие формы могут использоваться по-разному. Например, данные могут использоваться просто для формирования статистики здоровья и данные для индивидуального изображения могут не представляться никому.
В качестве другого примера, медицинские данные могут использоваться для дальнейшей обработки изображения или, например, для изменения визуальной формы изображения, когда оно представляется. Например, медицинское изображение может указывать, что в схожих изображениях заданные характеристики были найдены, в частности, как соответствующие для указания, страдал ли пациент данным заболеванием или нет. Например, может быть указано, что важна форма конкретного объекта изображения, вместе с медицинскими данными, дополнительно указывающими характеристики объектов изображения. Устройство может затем идентифицировать объекты изображения в текущем изображении, которые имеют подобные характеристики, и выделить эти объекты изображения при отображении изображения на экране (например, вместе с текстом, описывающим важность и то, какие характеристики следует искать).
Как конкретный пример возможного применения медицинских данных, устройство может оказать помощь в обнаружении, страдает ли пациент болезнью Альцгеймера. На фиг.3 показана стандартная процедура диагностики болезни Альцгеймера (или, в более широком плане, нейродегенеративных заболеваний), как она определяется американской Ассоциацией неврологии - набор руководств 2009 года. На чертеже термины PiB-PET и FDG-PET являются контрастными веществами PET. PiB является питсбургским соединением, основанным на углероде-11 и FDG измеряет уровень сахара в мозге. MDx является, в основном, анализом цереброспинальной (CSF) жидкости, извлеченной из позвоночника. Следует понимать, что в зависимости от предпочтений и требований индивидуального варианта осуществления и применения может использоваться множество разных подходов для формирования, обработки и сравнения сигнатур. Далее будут представлены различные предпочтительные примеры, но следует понимать, что изобретение не ограничивается этими конкретными подходами.
Во многих вариантах осуществления процессор 103 сигнатур может быть выполнен с возможностью формирования локальных сигнатур, которые представляют локальную информацию об изображении. Таким образом, вместо сигнатуры, отражающей свойство изображения в целом, локальная сигнатура отражает только изображение в поднаборе изображения, например, в конкретном сегменте или блоке.
Как описано ранее, процессор 103 сигнатур может разделить изображение на сегменты и определить одну или более сигнатур для каждого сегмента, рассматривая только свойства изображения в индивидуальном сегменте. Таким образом, такие сигнатуры отражают только локальные характеристики изображения, а именно, характеристики в пределах определенного сегмента.
Многие сигнатуры могут позволить, по меньшей мере, частичную реконструкцию локальной области изображения. Например, сигнатура может указать дисперсию и среднюю яркость. Такой сегмент может аппроксимироваться сегментом с той же самой средней яркостью и случайными отклонениями, соответствующими дисперсии.
Как другой пример, процессор 103 сигнатур может быть выполнен с возможностью формирования вейвлетного представления, например, яркости сегмента. Это вейвлетное представление может затем быть усечено и может быть сформирован вектор сигнатуры, чтобы соответствовать остальным вейвлетным коэффициентам после усечения. Таким образом, в этом примере, вектор сигнатуры может быть сформирован для каждого сегмента и набор сигнатур для изображения может быть двумерной матрицей с каждой строкой (или столбцом), соответствующей вектору. Такое вейвлетное представление может обеспечить очень компактное представление характеристик изображения. Подход может позволить сравнение процессором 105 совпадения, которое должно основываться непосредственно на зрительном восприятии, обеспечиваемом изображением, а не на производных признаках. Одновременно, это позволяет сравнение с относительно низкой сложностью, которое дополнительно пригодно для параллельной обработки. Таким образом, подход может обеспечить практический подход для обнаружения выборок, соответствующих изображениям, которые "выглядят" подобными текущему изображению. Таким образом, хранящиеся медицинские данные для изображений, которые выглядят похожими на текущее изображение, могут быть идентифицированы и извлечены и, например, выведены на экран медицинскому работнику.
Во многих вариантах осуществления сигнатуры и, в частности, локальные сигнатуры, формируются на основе объектов изображения в изображении. Пример устройства обработки изображений для некоторых таких вариантов осуществления показан на фиг.4. Устройство соответствует устройству, показанному на фиг.1, но дополнительно содержит детектор 301 объекта изображения, выполненный с возможностью обнаружения объектов изображения в изображении.
Детектор 301 объекта изображения может быть выполнен с возможностью обнаружения объектов изображения, используя любой подходящий алгоритм или подход. Следует понимать, что существует много алгоритмов обнаружения объекта изображения и они должны быть известны специалисту в данной области техники и что может использоваться любой соответствующий подход, не снижающий значимость изобретения.
Большинство алгоритмов обнаружения объекта изображения основаны на обнаружении разности в характеристиках изображения между различными областями. Например, переходы яркости и/или цвета могут использоваться, чтобы обнаружить границы различных объектов изображения, и, конкретно, объекты изображения могут быть найдены как непрерывные области, имеющие свойства изображения, которые достаточно схожи.
Как пример, на фиг.5 показано двухмерное изображение ex-vivo патогистологической выборки с окрашиванием Amyloid-Beta 42. Отложения Amyloid-Beta 42 обнаруживаются как темные пятна на более светлом фоне. Эти отложения Amyloid-Beta 42 обеспечивают индикацию потенциальной болезни Альцгеймера (AD). Не все пожилые люди с этими отложениями имеют AD, но они могут быть хорошим индикатором возможности этого. Диагноз AD может быть определен, основываясь на сочетании с другой информацией, относящейся к фокальной атрофии мозговой ткани височной доли, в частности, области гиппокампа, и психоневрологическими тестами на память, плюс другие отклонения. Анализируя эти проблемы, часто можно диагностировать вероятность, что пациент страдает AD.
При обработке такого изображения детектор 301 объекта изображения может быть выполнен с возможностью обнаружения объектов изображения, соответствующих отложениям Amyloid-Beta 42. Это может быть сделано, например, с помощью алгоритма обнаружения объекта изображения, находящего объекты изображения, соответствующие непрерывным областям, которые достаточно темные и размер которых находится в пределах заданного интервала.
Детектор 301 объекта изображения подает информацию об обнаруженных объектах изображения на процессор 103 сигнатур, который переходит к определению сигнатур, основываясь на объектах изображения.
Следует понимать, что может быть сформировано множество различных сигнатур. Как пример, процессор 103 сигнатур может разделить изображение на сегменты заданного размера и может затем определить сигнатуру для сегмента как количество объектов изображения внутри сегмента. Например, для изображения, показанного на фиг.5, количество отложений Amyloid-Beta 42 в каждом сегменте может использоваться в качестве локальной сигнатуры для сегмента. Таким образом, набор сигнатур, указывающий количество объектов изображения и для изображения, показанного на фиг.5, количество отложений Amyloid-Beta 42, может быть сформирован и подан на процессор 105 совпадения. Процессор 105 совпадения может затем произвести сравнение с выборками из базы данных, хранящейся в запоминающем устройстве 109 выборок. Например, процессор 105 совпадения может найти выборки, имеющие приблизительно такое же количество объектов изображения на сегмент, или может при более современных сравнениях идентифицировать выборки, обладающие схожими пространственными распределениями на изображении. Например, текущее изображение может иметь большое количество объектов изображения на относительно малой площади с немногими объектами изображения в сегментах за пределами этой области. Выборки, соответствующие подобным изображениям, могут быть найдены в базе данных, в то же время дифференцируясь от других выборок, соответствующих изображениям, которые могут иметь то же самое среднее количество объектов изображения в каждом сегменте, но более равномерно распределенных по всему изображению. Таким образом, в примере, показанном на фиг.5, устройство может использовать этот подход для нахождения выборок, которые соответствуют подобным распределениям отложений Amyloid-Beta 42. Соответственно, устройство может извлекать медицинские данные, соответствующие схожим распределениям осаждений Amyloid-Beta 42, и, таким образом, может обеспечивать медицинские данные, признанные важными для подобных изображений. Такая информация может, например, указывать на возможность или вероятность, что пациент страдает болезнью Альцгеймера.
В некоторых вариантах осуществления пространственные характеристики одного или более объектов изображения могут использоваться для формирования сигнатуры. Например, может быть выбран поднабор объектов изображения, например, один объект изображения в каждом сегменте. Объект изображения может затем анализироваться, чтобы обеспечить сигнатуру. Например, могут быть идентифицированы форма, площадь или объем объекта изображения. Во многих вариантах осуществления это может быть весьма пригодным для определения медицинской информации.
При применении, использующем гистологические изображения, например, когда изучают, например, AD-пациентов, подход может идентифицировать объекты изображения, соответствующие отложениям Amyloid Beta 42. Система может затем перейти к определению размера, положения и ориентации индивидуальных отложений Amyloid Beta 42, а также формы и других сигнатур. На этой основе система может перейти к определению статистических свойств сигнатур. Эти статистические свойства могут затем сравниваться с подобными свойствами/сигнатурами ранее обработанных гистологических изображений, находящихся в базе данных. Один из типов отложений Amyloid Beta 42 называется "ядро" и эти отложения обычно являются более темным, большими по размеру и имеют более круглую форму.
На фиг.5 показан пример результатов обнаружения для объекта изображения с Amyloid Beta, где темные пятна соответствуют отложениям Amyloid Beta.
В случае диагноза AD и, в более широком плане, диагноза неврологических болезней мозга, диагноз может быть основан на обнаружении: (i) фокальной атрофии мозговой ткани - височном уменьшении мозговой ткани, которая заменяется цереброспинальной жидкостью (CSF). Например, для случая AD, увеличение желудочка и атрофия височной доли являются стандартными визуальными маркерами. Их можно видеть как увеличение "темных" пикселей или CSF, например, в некоторых MRI-изображениях (со взвешиванием T1). Диагноз может быть дополнительно основан на (ii) памяти, внимании, исполнительных и моторных функциях, ускоренных ухудшениях (в частности, памяти как первой функции, на которую оказывается влияние), которые проверяются посредством нейрофизиологических анализов (см. фиг.3); и (iii) в естественных условиях проверяются с помощью теста с PIB-PET отложений Amyloid-Beta 42. Эти три набора признаков, в совокупности, могут привести к правильной индикации AD.
Система может обрабатывать такие изображения, чтобы, например, определять вероятность, что пациент страдает AD, и это может использоваться как основа или в комбинации с анализом памяти, внимания, исполнительные и моторные функций, чтобы определить диагноз.
В качестве другого примера, на фиг.6 показан результат коронарного MRI-сканирования с взвешиванием T2 и 7Т для здорового человека и на фиг.7 оказан результат коронарного MRI-сканирования с взвешиванием T2 и 7Т для больного человека. Как можно видеть, здоровый человек имеет малый CSF (белые пиксели), тогда как больной имеет большое значение CSF. Это конкретно указывает, что гиппокамп (выделен ограничивающим прямоугольником) уменьшился (фокальная атрофия). Система может соответственно идентифицировать белые объекты изображения в таких изображениях и формировать сигнатуры, описывающие размер и пропорцию таких объектов изображения. Сравнивая эти сигнатуры с соответствующими сигнатурами выборок в базе данных, могут быть найдены MRI-сканирования, подобные тем, которые проводятся для текущего пациента, и медицинские данные, связанные с этими выборками, могут быть извлечены. Таким образом, медицинские данные, которые были сохранены для MRI-сканирований, которые показывают схожие объемы фокальной атрофии, могут легко быть идентифицированы и извлечены. Например, основываясь на размере и пропорциях для объектов изображения CSF, система может определить вероятность, что пациент страдает данным заболеванием.
Стоит заметить, что подход может использоваться как для данных in-vivo, так и для данных ex-vivo. Например, данные in=vivo могут содержать MRI, PiB=PET, психоневрологические тесты и т.д. и ex-vivo могут содержать нейропатогистологические тесты в случае AD или сопутствующих болезней мозга. Для рака могут иметься MRI-, СТ-, PET- и другие изображения плюс результаты патогистологических проверок полностью в естественных условиях in-vivo.
Для каждого объекта, соответствующего потенциальной опухоли, процессор 103 сигнатур может определять область или объем и использовать его в качестве сигнатуры. Альтернативно или дополнительно может определяться параметр формы и использовать его в качестве сигнатуры, такой как, например, индикация того, насколько круговым или неправильной формы является объект изображения.
Процессор 105 совпадения может соответственно находить соответствующие сигнатуры в базе данных и, таким образом, находить медицинские данные, относящиеся к пациентам, демонстрирующим потенциальные опухоли схожего размера и/или формы. Конкретно, такие медицинские данные могут указывать, была ли найдена у пациента, для которого была сформирована выборка, опухоль и были ли эта опухоль доброкачественной или злокачественной. Конечно, размер и, конкретно, форма опухолей были определены, чтобы обеспечить четкую индикацию характера потенциальной опухоли, и, таким образом, устройство может позволить автоматическое сравнение и обнаружение выборок, соответствующих пациентам, которые показывают очень схожие характеристики с текущим пациентом.
В качестве другого примера, может быть сформирована сигнатура для каждого объекта изображения, основываясь на яркости или цветности объекта изображения. Например, в примере, показанном на фиг.5, сигнатура для объекта изображения может быть сформирована, чтобы видеть, насколько темным является объект изображения. Это может быть указанием на то, насколько вероятно, что темным пятном должно быть отложение Amyloid-Beta 42, а не случайная темная область. Для цветных изображений тот же самый подход может быть применен к цвету. Кроме того, в некоторых вариантах осуществления текстура, то есть вариации цвета и/или яркости объекта изображения, могут быть определены количественно и использоваться в качестве сигнатуры.
В некоторых вариантах осуществления положение, ориентация или поза (положение и ориентация) объектов изображения могут использоваться для формирования сигнатур, которые могут быть особенно пригодными для обнаружения выборок, соответствующих изображениям, имеющим схожие медицинские характеристики. Например, как описано ранее, характеристики объектов изображения, соответствующие отложениям Amyloid-Beta, могут быть определены и проанализированы, чтобы сформировать сигнатуры, основываясь на этих признаках объектов изображения.
В некоторых вариантах осуществления сигнатуры могут специально сформированы из свойств границы объекта. Например, как ранее описано, форма объекта изображения может быть пригодной для отражения характеристик, которые, вероятно, должны быть особенно показательными для заболеваний и поэтому быть особенно пригодны для нахождения выборок, соответствующих подобным заболеваниям и которые, соответственно, могут обеспечить медицинские данные, определенно относящиеся к текущему пациенту.
Как другой пример, для некоторых заболеваний, поверхность объекта, отражающаяся в объекте изображения, может иметь характеристики, особенно показательные для заболеваний. Например, может быть сформирована сигнатура, которая отражает, является ли граница изображения гладкой или грубой. Таким образом, может быть сформирована сигнатура, которая указывает степень шероховатости/гладкость за пределами объекта изображения и это может использоваться для нахождения выборок со схожими характеристиками.
Во многих вариантах осуществления, одна или более количестве сигнатур могут быть сформированы в ответ на момент объекта изображения. Конкретно, учитывая распределение плотности f(x, y), где x, y являются координатами пикселей объекта изображения в двумерном изображении, момент p, q может быть определен из
или в выбранной области:
Различные моменты могут быть показателями, например, области, объема, ориентации объектов изображения и т.д., как видно на фиг.8. Во многих вариантах осуществления и, в частности, в вариантах осуществления, где рассматриваются лишь очень немного объектов изображения, количество моментов, используемых для объекта изображения, может быть относительно высоким, таким как, например, все моменты, для которых p и q находятся в пределах между 0 и 5. Действительно, в некоторых вариантах осуществления первый набор сигнатур может состоять из такого набора сигнатур, то есть, где сигнатуры сформированы как моменты. Моменты обеспечивают очень компактное и при этом довольно точное представление геометрических характеристик объекта изображения и поэтому обеспечивают эффективный подход для сжатия информации об изображении в данные, пригодные для передачи по линии связи с ограниченной полосой пропускания, а также для нахождения выборки, демонстрирующей подобные характеристики.
Следует понимать, что во многих вариантах осуществления, сигнатура может быть сформирована для одного изображения или для группы объектов изображения. Например, средняя темнота обнаруженных объектов изображения в сегменте может использоваться в качестве сигнатуры для всего сегмента вместо того, чтобы иметь индивидуальные сигнатуры для индивидуальных объектов изображения.
Кроме того, в некоторых вариантах осуществления сигнатура может быть введена для каждого объекта изображения и, конечно, в некоторых сценариях может быть только один объект изображения, обнаруженный в каждом изображении, например, объект изображения соответствующий потенциальной опухоли. В таких примерах для этого объекта может быть определено множество параметров изображения и они могут использоваться в качестве набора сигнатур. Например, набор сигнатур может содержать размер, цвет, яркость, текстуру, форму, ориентацию и моменты одного объекта изображения.
В других объектах изображения может быть обнаружено множество объектов изображения и для каждого объекта изображения может быть сформирована одна сигнатура. Например, может быть сформирован набор сигнатур, содержащий размер обнаруженных объектов изображения. В некоторых вариантах осуществления набор сигнатур может быть сформирован, чтобы содержать поднабор общего количества объектов изображения. Например, может быть сформирован вектор сигнатуры, состоящий из свойства фиксированного количества объектов изображения. Эти объекты изображения могут затем быть выбраны в соответствии с любым подходящим критерием. Например, набор сигнатур может быть сформирован как размер и яркость 1000 самых больших обнаруженных темных объектов изображения в изображении. Этот набор сигнатур может затем быть подан на процессор 105 совпадения, который может перейти к нахождению выборок, соответствующих изображениям, для которых 1000 самых больших темных пятен имеют подобные характеристики. Это может позволить очень эффективное обнаружение соответствующей информации, в то же время позволяя иметь контролируемую потребность в вычислительных ресурсах.
В предыдущих примерах сформированные сигнатуры являлись локальными сигнатурами, сформированными, чтобы отражать свойства изображения в ограниченной области. Сигнатуры обычно отражают характеристику одного свойства в локальной области.
Однако, в других вариантах осуществления, альтернативно или дополнительно могут быть сформированы более сложные сигнатуры. Например, сигнатуры могут быть сформированы как объединение локальных сигнатур.
Например, локальные сигнатуры могут быть сформированы для каждого объекта изображения, чтобы указать размер объекта изображения. Сигнатуры могут затем быть обработаны, чтобы определить статистическое распределение сигнатур для всего изображения. Например, может быть сформирована гистограмма, отражающаяся, сколько было найдено объектов изображения с данным размером (интервалом). Может быть сформирована объединенная сигнатура, указывающая свойства множества объектов изображения. Например, могут быть сформированы сигнатуры, описывающие гистограмму. Например, скалярное значение может быть сформировано для каждого интервала размера гистограммы, указывающего соотношение объектов изображения в этом интервале.
Например, на фиг.9 показан пример гистограммы момента M00 для объектов изображения, соответствующих отложениям садкам в гистологическом изображении, окрашенном Amyloid-Beta 42. Набор сигнатур, описывающий гистограмму, может затем быть сформирован и передан на процессор 105 совпадения, где он может использоваться для сравнения с сигнатурами выборок, чтобы найти выборки, обладающие подобным распределением.
В некоторых вариантах осуществления могут быть сформированы объединенные сигнатуры, чтобы отразить корреляцию между сигнатурами. Например, может быть сформирована сигнатура, которая отражает, насколько схожи размеры объектов изображения, соответствующих Amyloid-Beta 42.
Таким образом, во многих вариантах осуществления может быть получена объединенная сигнатура, обеспечивающая статистическую меру свойств изображения, таких как статистические свойства обнаруженных объектов изображения. На фиг.10 показан пример подхода. Первоначально локальные сигнатуры могут формироваться для различных областей, с каждой областью, соответствующей, например, сегменту заданного размера или объекту изображения. Сигнатуры могут затем быть обработаны в модуле 701 классификации сигнатур. Этот модуль 701 классификации сигнатур может кластеризовать схожие сигнатуры, например, схожие размеры, размеры контура, формы контура, моменты и т.д. могут кластеризоваться и группироваться. Каждый кластер может затем быть обработан, чтобы сформировать статистические свойства, и/или статистические свойства, соответствующие кластеризации, могут использоваться для формирования набора сигнатур.
В некоторых вариантах осуществления, одна или более сигнатур могут быть определены, основываясь на сравнении свойства объектов изображения с эталоном для свойства. Такой подход может быть особенно привлекательным, поскольку он позволяет сосредоточить внимание на аномалиях, которые обычно указывают на заболевание.
Например, у здорового человека признак может иметь тенденцию обладать, по существу, сферической формой. Однако, в случае болезни, признак может существенно отклоняться от сферической формы, например, благодаря внутреннему росту.
В таком примере обнаруженные объекты изображения могут быть сначала оценены, чтобы определить, насколько они сферичны. Например, сначала может быть определен критерий, отражающий степень, в которого индивидуальные объекты изображения отклоняются от сферической формы. Затем может быть сформирована гистограмма, показывающая распределение отклонений, и набор сигнатур, описывающий гистограмму, может быть сформирован. Этот набор сигнатур может затем быть передан на процессор 105 совпадения, который может его использовать для нахождения выборок, для которых были сохранены подобные сигнатуры. Таким образом, подход позволяет устройству идентифицировать выборки, имеющие схожее распределение аномалий. Медицинские данные для этих выборок могут, например, содержать данные, определяющие диагноз для пациента, из которых выборка/ввод в базу данных была сформирована, лечение, как пациент поддавался лечению и т.д. Эти данные могут, например, быть выведены на экран медицинскому работнику, который может использовать соответствующие данные при диагностировании пациента и при определении соответствующего лечения.
В некоторых вариантах осуществления процессор 103 сигнатур может, например, формировать среднее значение и дисперсию отклонения от эталонных значений и использовать эти значения в качестве сигнатур. При таком подходе значения могут формироваться, например, для различных областей (объемов) изображения, так чтобы представлять пространственное распределение среднего значения и дисперсии в отклонении от нормальных характеристик.
Таким образом, во многих вариантах осуществления статистическое отклонение от нормальной непатологической характеристики может быть определено и использоваться, чтобы найти соответствующие выборки в базе данных. В некоторых вариантах осуществления отклонение от эталона может использоваться, чтобы выбрать поднабор объектов изображения, используемых для определения сигнатур. Как крайний пример, все объекты изображения могут сравниваться с эталоном и объект изображения, который отклоняется больше всего, может быть идентифицирован. Этот объект изображения может затем быть охарактеризован набором сигнатур, таких, например, как диапазон моментов. Набор сигнатур может быть передан на процессор 105 совпадения и использоваться для нахождения соответствующих выборок базы данных. Это может быть предпочтительным во многих сценариях, где подозреваемая болезнь дает рост только одной аномалии. Например, подход может позволить идентифицировать одиночную опухоль и охарактеризовать ее сигнатурами. Выборки, соответствующие подобным опухолям, могут затем быть идентифицированы и медицинские данные, обеспечиваемые для этих выборок, могут быть извлечены.
Во многих вариантах осуществления и для многих применений наиболее подходящий набор сигнатур может быть сформирован, чтобы указать локальное отклонение плотности объектов изображения, которые соответствуют конкретному критерию. Например, на изображении, показанном на фиг.5, могут формироваться объекты изображения, соответствующие более темным пяткам. Эти объекты изображения могут затем быть оценены, чтобы определить, соответствуют ли они отложениям Amyloid-Beta 42 или нет. Например, только объекты изображения, которые достаточно темные и имеют размер в пределах допустимого интервала, могут быть обнаружены. Затем может быть определена локальная плотность этих отложений Amyloid-Beta 42 для ряда положений и, таким образом, может быть определено пространственное распределение этой плотности.
Например, как показано на фиг.11, для данной позиции в пределах заданного радиуса r может быть определено количество событий, в данном случае, отложений Amyloid-Beta 42. Это значение (или значение плотности) может затем использоваться в качестве одной сигнатуры. Тот же самый подход может затем быть повторен для другой позиции, чтобы сформировать вторую позицию. Повторяя этот подход, например, для сетки позиций, покрывающей изображение, может быть сформирован набор сигнатур, отражающий пространственное распределение событий (отложений Amyloid-Beta 42) для изображения. Такой набор сигнатур может, таким образом, отражать, например, распределены ли события равномерно по органу, концентрируются ли события на небольшой площади, группируются ли события вокруг множества областей, выше ли концентрация в направлении границы органа, чем в направлении центра и т.д. Такое пространственное распределение событий может обеспечить, в частности, хорошую индикацию заболеваний во многих случаях и, таким образом, особенно пригодно для нахождения выборок, отражающих схожие заболевания.
Во многих вариантах осуществления устройство может быть полностью автоматической системой обработки данных. Например, может быть обеспечен ввод медицинского изображения, такого как MRI-изображение или нейропатологическое гистологическое изображение. Дополнительно обеспечивается база данных, содержащая медицинские данные, такие как справочные данные, предоставляемые из атласов мозга MRI. Выходом системы могут быть медицинские данные, которые были сочтены относящимися к изображениям, которые обеспечивают медицинское соответствие с входным изображением.
В некоторых вариантах осуществления устройство может быть полуавтоматическим, и его действие может быть частично основано на вводе данных пользователем. На фиг.12 показано устройство, соответствующее такому подходу. Устройство соответствует устройству, показанному на фиг.4, но дополнительно содержит интерфейс 901 пользователя для приема вводов данных от пользователя.
Ввод данных пользователем может конкретно использоваться для формирования одной или более сигнатур. Таким образом, формирование сигнатур может направляться вводом данных пользователем, который может быть, например, медицинским работником.
Например, подход может использоваться специалистом (невропатологом, гистопатологом, нейрорадиологом и т.д.), чтобы прослеживать границы объектов в органах. Например, специалист может просто потянуть за контуры на экране, используя соответствующее устройство ввода, и контуры могут затем использоваться для определения объектов изображения, для которых впоследствии формируются сигнатуры. На фиг.13 показан пример графического интерфейса пользователя, который может использоваться специалистом для слежения за границами областей, которые, как полагают, наиболее интересны для медицинской оценки.
Подход может, например, применять использование сплайнов, производящих интерполяцию между опорными точками, выбранными аннотатором. После интерполяции, выполняемой для двумерных точек на границе объекта или на трехмерной поверхности границы объекта, непрерывный контур или поверхность могут быть вычислены системой аннотации.
В некоторых вариантах осуществления устройство может быть выполнено с возможностью обновления базы данных, основываясь на текущем изображении. Это может позволить базе данных непрерывно обновляться и улучшаться.
Например, устройство может быть выполнено с возможностью добавления выборки для текущего изображения к набору выборок, хранящемуся в запоминающей устройстве 109 выборок. Таким образом, может быть добавлена новая выборка, которая содержит набор сигнатур, сформированных для текущего изображения. Кроме того, могут храниться медицинские данные для изображения. Эти медицинские данные могут, например, вводиться вручную медицинским работником или могут, например, формироваться из медицинских данных, извлеченных из совпадающих выборок.
Во многих вариантах осуществления система может быть реализована как распределенная система, в которой различные части могут быть расположены на удалении друг от друга. В частности, подход является весьма пригодным для сетевых реализаций. Например, во многих сценариях крайне желательно иметь централизованный подход, при котором база данных и функциональные возможности для нахождения совпадающих выборок в базе данных расположены в удаленном центральном месте, тогда как множество терминалов распределены в соответствующих местах для индивидуальных пользователей. Например, многих больницы могут иметь по одному или более терминалов, которые все используют данные, хранившие в одной и той же базе данных. Однако, такая система обычно ограничивается возможностями передачи данных сети, соединяющей терминалы с централизованным сервером.
Конечно, процессоры становятся чрезвычайно быстрыми и способными выполнять огромное количество вычислений на данных и поэтому передача данных между устройствами обработки все больше и больше становится узким местом, ограничивающим производительность системы. Это часто имеет место для сетевых систем, где различные процессоры удалены друг от друга. Однако, это может также быть проблемой для систем, в которых два различных процессора близки друг к другу, таких как, например, двухпроцессорные компьютеры.
В описанном подходе такие узкие места могут сглаживаться при использовании высокоэффективного представления соответствующих данных. В частности, использование сигнатур может существенно уменьшить объем данных, который должен передаваться.
Например, в некоторых вариантах осуществления процессор 103 сигнатур может реализовываться на удалении от процессора 105 совпадения с соединением двух объектов через сеть связи, такую как, например, локальная сеть (LAN) или, например, Интернет.
В таком примере терминал может обрабатывать изображение, чтобы формировать сигнатуры. В дальнейшем сигнатуры (и обычно, по существу, только сигнатуры) могут передаваться на центральный сервер, который содержит процессор 105 совпадения и запоминающее устройство 109 выборок, которое хранит базу данных. Центральный сервер может затем перейти к выполнению операции совпадения и извлечь соответствующие медицинские данные для совпадающих выборок. Эта медицинская информация может затем быть передана на терминал через систему связи. Таким образом, никакие конкретные данные изображения передаваться не должны. Это может обеспечить очень эффективное действие.
Следует понимать, что в приведенном выше описании для ясности были описаны варианты осуществления изобретения со ссылкой на различные функциональные схемы, блоки и процессоры. Однако, должно быть очевидно, что может использоваться любое соответствующее распределение функциональных возможностей между различными функциональными схемами, блоками или процессорами, не затрагивая сущности изобретения. Например, функциональные возможности, показанные как выполняемые отдельными процессорами или контроллерами, могут выполняться одними и тем же процессором или контроллерами. Следовательно, ссылки на конкретные функциональные блоки или схемы приводятся только как ссылки на соответствующие средства для обеспечения описанных функциональных возможностей, и не являются показателем строгой логической или физической структуры или устройства. Изобретение может быть реализовано в любой соответствующей форме, в том числе, как аппаратурное обеспечение, программное обеспечение, встроенное микропрограммное обеспечение или любая их комбинация. Изобретение может дополнительно быть реализовано, по меньшей мере, частично как компьютерное программное обеспечение, работающее на одном или более процессорах данных и/или цифровых сигнальных процессорах. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. Конечно, функциональные возможности могут быть реализованы в едином блоке, во множестве блоков или как часть других функциональных блоков. Также, изобретение может быть реализовано как единый блок или может быть физически и функционально распределено между различными блоками, схемами и процессорами.
Хотя настоящее изобретение было описано в связи с некоторыми вариантами осуществления, оно не предназначено ограничиваться представленной здесь конкретной формой. Напротив, объем настоящего изобретения ограничивается только прилагаемой формулой изобретения. Дополнительно, хотя признак может выглядеть как описанный в связи с конкретными вариантами осуществления, специалист в данной области техники должен признать, что различные признаки описанных вариантов осуществления могут объединяться в соответствии с изобретением. В формуле изобретения термин "содержащий" не исключает наличие других элементов или этапов. В соответствии с определением "животное" мы рассматриваем, среди прочего, домашних животных, таких как кошки и собаки, племенных животных, таких как скаковые лошади или молочные коровы, диких животных, таких как птицы, и т.д.
Дополнительно, хотя они и перечислены индивидуально, множество средств, элементов, схем или этапов способа могут быть реализованы, например, единой схемой, блоком или процессором. Дополнительно, хотя индивидуальные признаки могут быть введены в различные пункты формулы изобретения, они, возможно, могут быть объединены с получением преимущества и их введение в различные пункты формулы изобретения не подразумевает, что комбинация функций неосуществима и/или не предпочтительна. Также введение признака в одну категорию пунктов формулы изобретения не подразумевает ограничение этой категорией, а скорее указывает, что признак в равной степени применим к другим категориям формулы изобретения с соответствующими изменениями. Дополнительно, порядок признаков в формуле изобретения не подразумевает определенного порядка, в котором должны действовать признаки и, в частности, порядок индивидуальных этапов в пункте формулы изобретения, соответствующем способу, не подразумевает, что этапы должны выполняться в таком порядке. Скорее, этапы могут выполняться в любом приемлемом порядке. Кроме того, ссылки на единственное число не исключают множественное число. Таким образом, ссылки на единственное число, "первый", "второй" и т.д. не исключают множественное число. Ссылочные позиции в формуле изобретения обеспечиваются просто в качестве пояснительного примера и ни в коем случае не должны рассматриваться как ограничение объема формулы изобретения.
Группа изобретений относится к медицине, а именно к обработке медицинских изображений части тела человека или животного, и может быть использована для определения медицинских данных на входящем изображении. Устройство, предназначенное для реализации способа, содержит: приемник для приема входящего изображения, представляющего характеристики части тела человека или животного; блок сигнатур, определяющий набор сигнатур, связанный с изображением, из входящего изображения; запоминающее устройство выборок для хранения набора выборок, причем каждая выборка содержит набор сигнатур, связанный с выборками, и медицинские данные; блок совпадения для определения набора совпадающих выборок из набора выборок в результате сравнения набора сигнатур, связанного с изображением, с наборами сигнатур, связанными с выборкой из числа набора выборок; и блок принятия решения, выполненный с возможностью определения медицинских данных для входящего изображения в ответ на медицинские данные, содержащиеся в выборках из набора совпадающих выборок, причем блок сигнатур выполнен с возможностью обнаружения объектов на изображении, соответствующих критерию, причем по меньшей мере одна сигнатура из набора сигнатур, связанного с изображением, формируется в ответ на изменение локальной плотности объектов на изображении, соответствующих критерию. Группа изобретений обеспечивает повышение эффективности обработки медицинских изображений части тела человека или животного. 2 н. и 12 з.п. ф-лы, 13 ил.
1. Устройство для определения медицинских данных на входящем изображении, используя обработку изображений, причем упомянутое устройство содержит:
приемник (101) для приема входящего изображения, представляющего характеристики части тела человека или животного;
блок (103) сигнатур, определяющий набор сигнатур, связанный с изображением, из входящего изображения;
запоминающее устройство (109) выборок для хранения набора выборок, причем каждая выборка содержит набор сигнатур, связанный с выборками, и медицинские данные;
блок (105) совпадения для определения набора совпадающих выборок из набора выборок в результате сравнения набора сигнатур, связанного с изображением, с наборами сигнатур, связанными с выборкой из числа набора выборок, и
блок (111) принятия решения, выполненный с возможностью определения медицинских данных для входящего изображения в ответ на медицинские данные, содержащиеся в выборках из набора совпадающих выборок,
причем блок (103) сигнатур выполнен с возможностью обнаружения объектов на изображении, соответствующих критерию, причем по меньшей мере одна сигнатура из набора сигнатур, связанного с изображением, формируется в ответ на изменение локальной плотности объектов на изображении, соответствующих критерию.
2. Устройство по п.1, в котором устройство выполнено с возможностью использования медицинских данных, определенных в ответ на медицинские данные, содержащиеся в выборках, для дальнейшей обработки входящего изображения.
3. Устройство по п.1, в котором блок (111) принятия решений выполнен с возможностью сопоставления выборок, так что выборки, соответствующие одному и тому же диагнозу, объединяются.
4. Устройство по п.1, в котором по меньшей мере некоторые сигнатуры из набора сигнатур, связанного с изображением, являются локальными сигнатурами, представляющими информацию локального изображения.
5. Устройство по п.4, в котором блок (103) сигнатур выполнен с возможностью деления входящего изображения на множество сегментов изображения, определения сигнатуры для каждого сегмента как определенное число объектов на изображении внутри сегмента и блок (105) совпадения выполнен с возможностью идентификации выборок из набора выборок, имеющего схожие пространственные распределения сигнатур на изображении.
6. Устройство по п.5, в котором блок сигнатур содержит параллельный процессор, имеющий множество элементов обработки, каждый из которых выполнен с возможностью обработки поднабора сегментов изображения, чтобы определить локальные сигнатуры для сегментов изображения.
7. Устройство по п.5, в котором деление на сегменты изображения не зависит от свойств изображения входящего изображения.
8. Устройство по п.5, в котором блок (103) сигнатур дополнительно выполнен с возможностью определения размера сегмента изображения для сегментов изображения в ответ на свойства изображения входящего изображения.
9. Устройство по п.1, дополнительно содержащее
детектор объекта на изображении для обнаружения по меньшей мере одного объекта на входящем изображении, и
в котором блок (103) сигнатур выполнен с возможностью определения по меньшей мере одной сигнатуры из набора сигнатур, связанного с изображением, в ответ на свойство объекта на изображении, и в котором по меньшей мере одна сигнатура определяется в ответ на момент объекта на входящем изображении.
10. Устройство по п.1, дополнительно содержащее
детектор объекта на изображении для обнаружения по меньшей мере одного объекта на входящем изображении и
в котором блок (103) сигнатур выполнен с возможностью обнаружения по меньшей мере одной сигнатуры из набора сигнатур, связанного с изображением, в ответ на свойство объекта на изображении, в котором блок (103) сигнатур выполнен с возможностью определения по меньшей мере одной сигнатуры из набора сигнатур, связанного с изображением, в результате сравнения свойства с эталоном, причем по меньшей мере одна сигнатура определяется в ответ на статистическое отклонение свойства изображения относительно эталонного свойства для множества объектов на изображении.
11. Способ определения медицинских данных на входящем изображении, используя обработку изображений, причем упомянутый способ содержит этапы, на которых:
принимают входящее изображение, представляющее характеристики части тела человека или животного;
определяют набор сигнатур, связанный с изображением, из входящего изображения;
обеспечивают набор выборок, причем каждая выборка содержит набор сигнатур, связанный с выборкой, и медицинские данные;
определяют набор совпадающих выборок из набора выборок в результате сравнения набора сигнатур, связанного с изображением, с наборами сигнатур, связанными с выборкой, из набора выборок и
определяют медицинские данные на входящем изображении в ответ на медицинские данные, связанные с набором совпадающих выборок,
причем определение набора сигнатур, связанного с изображением, включает в себя обнаружение объектов на изображении, соответствующих критерию, причем по меньшей мере одна сигнатура из набора сигнатур, связанного с изображением, формируется в ответ на изменение локальной плотности объектов на изображении, соответствующих критерию.
12. Способ по п.11, содержащий этап, на котором используют медицинские данные, определенные в ответ на медицинские данные, содержащиеся в выборках, для дальнейшей обработки изображения.
13. Способ по п.11, содержащий этап, на котором сопоставляют выборки, так что выборки, соответствующие одному и тому же диагнозу, объединяются.
14. Способ по п.11, в котором по меньшей мере несколько сигнатур из набора сигнатур, связанного с изображением, являются локальными сигнатурами, представляющими информацию локального изображения, причем упомянутый способ содержит этапы, на которых:
делят входящее изображение на множество сегментов изображения;
определяют сигнатуру для каждого сегмента изображения как количество объектов на изображении внутри сегмента и
идентифицируют выборки из набора выборок, имеющих схожие пространственные распределения сигнатур на изображении.
| MAXIM MIZOTIN et al, Feature-based brain mri retrieval for alzheimer disease diagnosis, ICIP Date of Conference: 30 Sept.-3 Oct | |||
| Изложница с суживающимся книзу сечением и с вертикально перемещающимся днищем | 1924 |
|
SU2012A1 |
| Пневматическая секционная шина | 1923 |
|
SU1241A1 |
| БУЗА М.К | |||
| Параллельные вычисления на графических процессорах | |||
| Штучный интеллект, 3’2011; | |||
| US 2010152577, A1 17.06.2010 | |||
| US 2011286650, A1 24.11.2011 | |||
| MAYANK AGARWAL, Image retrieval for alzheimer’s disease detection, Medical content-based retrieval for clinical decision support: first miccai international workshop, 2009, London, UK, 2009, pp.49-60. | |||
