ОБРАТНАЯ СВЯЗЬ ПО РЕЛЕВАНТНОСТИ ДЛЯ ИЗВЛЕЧЕНИЯ ИЗОБРАЖЕНИЯ НА ОСНОВЕ КОНТЕНТА Российский патент 2015 года по МПК G06F17/30 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к извлечению изображения на основе контента и, в частности, к улучшению извлечения изображения на основе контента, используя вычисление релевантности. В аспекте изобретение дополнительно относится к созданию прогнозных предположений, главным образом прогнозных диагностических предположений на основе извлечения изображения.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

Рентгенологи сталкиваются с все возрастающей рабочей нагрузкой, проистекающей из-за все более увеличивающегося количества анализируемых, классифицируемых и/или описываемых изображений. Извлечение изображений, хранящихся в архивах старых изображений, которые описывают старые случаи, вызванные некоторым заболеванием, и которые подобны новому изображению, описывающему новый случай, на основе подобия между новым изображением и изображениями, хранящимися в упомянутом архиве старых изображений, может быть очень полезно при диагностировании нового случая. Извлечение изображения на основе контента (CBIR) стало важной методикой для извлечения изображений. При данном подходе, каждое изображение представляется посредством структуры, описывающей элементы изображения, например вектор элементов. Функция подобия (SF) вычисляет значение подобия, основанное, например, на длине разности между двумя векторами: чем короче разность между двумя векторами элементов, тем выше подобие между двумя изображениями.

Недостаток способов CBIR описывается в статье Rui и других “Relevance Feedback: A Power Tool for Interactive Content-Based Image Retrieval” (IEEE Transaction on Circuits and System for Video Technology, том 6. Сентябрь 1998, стр. 644-655): такие системы, как правило, компьютерно ориентированные, потому что вектор элемента изображения обычно содержит элементы более низкого уровня, которые часто не соответствуют человеческому восприятию, определяемому концепциями более высокого уровня. Решение, предлагаемое Rui и другими, состоит в том, чтобы классифицировать элементы как полезные или не/менее полезные на основе пользовательской обратной связи. Для этого пользователю предлагается упорядочить изображения, извлеченные на основе подобия вектора элемента, от высокорелевантных до не релевантных. Элемент считается релевантным, когда значения данного элемента в новом изображении и в извлеченных изображениях, классифицированных как высокорелевантные, подобны, или если значения данного элемента в новом изображении и в извлеченных изображениях, классифицированных как не релевантные, очень разные. Затем релевантные элементы используются для переназначения SF для CBIR. Это достигается путем назначения более высоких весовых коэффициентов членам SF, соответствующим высокорелевантным элементам, и более низких весовых коэффициентов членам SF, соответствующим не релевантным элементам. Несмотря на то, что способ, предложенный Rui и другими, улучшает CBIR, он требует интерактивного упорядочения извлеченных изображений пользователем. Это неудобно и может быть трудоемким.

КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Будет полезным предоставить CBIR, которому не требуется интерактивное упорядочение извлеченных изображений пользователем.

Таким образом, в аспекте, изобретение предоставляет систему извлечения изображения из средства хранения изображений, при этом система содержит

- модуль извлечения для извлечения множества изображений из средства хранения изображений на основе подобия изображений из средства хранения изображений изображению-запросу, при этом подобие определяется функцией подобия;

- модуль релевантности для вычисления значений релевантности изображений из извлеченного множества изображений на основе значения первого атрибута, относящегося к изображению-запросу, и значений второго атрибута, относящегося к изображениям из извлеченного множества изображений; и

- модуль обновления для обновления функции подобия на основе вычисленных значений релевантности;

и при этом модуль (110) извлечения дополнительно приспособлен для извлечения изображения из средства хранения изображений на основе обновленной функции подобия.

Значения второго атрибута могут храниться в и получаться из средства хранения изображений. Второй атрибут может быть, например, тестом, проведенным над пациентами, которые частично или полностью отображены в хранящихся изображениях. Значения могут представлять собой, например, результаты теста, такие как измерение частоты сердечных сокращений, измерения кровяного давления, или показатель по шкале тяжести деменции (CDR). В качестве альтернативы, из соответствующих изображений могут вычисляться значения второго атрибута, например среднее значение серого цвета пикселей изображения. Значение первого атрибута, относящегося к изображению-запросу, может, например, храниться в данных изображения-запроса (например, в заголовке изображения), или извлекаться из изображения-запроса или из пользовательского ввода посредством модуля релевантности. Эти значения первого и второго атрибутов используются модулем релевантности для вычисления значений релевантности (например, рангов) множества изображений, извлеченных из средства хранения изображений. Таким образом, пользователь освобождается от задачи сравнения извлеченных изображений и оценки их релевантности в соответствии с заданным пользователем критерием. Преимущественно, значения релевантности, вычисляемые системой, мало зависят или независимы от субъективности пользователя.

В варианте осуществления системы, функция подобия содержит многочисленные вклады для вычисления значения подобия, и модуль обновления дополнительно скомпонован для выбора некоторых вкладов из многочисленных вкладов, которые должны быть включены в обновленную функцию подобия. Например, элемент может расцениваться как релевантный, когда значения данного элемента в новом изображении и в извлеченных изображениях, классифицированных как высокорелевантные, подобны, или если значения данного элемента в новом изображении и в извлеченных изображениях, классифицированных как не релевантные, совершенно разные.

В варианте осуществления системы, значения второго атрибута, причем каждое значение соответствует изображению из средства хранения изображений, хранятся в средстве хранения изображений. Значения второго атрибута могут получаться на основании пользовательской оценки изображения, теста выполняемого над объектом, представленным на изображении, или вычисляться из изображения. Наличие легкодоступных значений второго атрибута в средстве хранения изображений позволяет вычислять релевантность множества изображений, извлеченных из средства хранения изображений на основе второго атрибута без какого-либо взаимодействия с пользователем. В качестве альтернативы, значения второго атрибута, например среднее значений пикселей или диаметр наибольшей окружности, содержащейся в модели объекта, адаптированного к объекту, представленному на изображении, используя разбиение на основе моделирования, относящиеся к изображениям из множества изображений, могут вычисляться на основании множества изображений.

В варианте осуществления системы, значение первого атрибута вычисляется на основе пользовательского ввода. Пользовательский ввод может содержать значение первого атрибута и в этом случае вычисление назначает введенное значение значению первого атрибута. В более конкретном случае, пользовательский ввод может содержать значение серого цвета, и первый атрибут является процентным соотношением пикселей обладающих значениями пикселя большими введенного значения серого цвета.

В варианте осуществления системы, первый атрибут такой же, как и второй атрибут. Это часто упрощает вычисление релевантности изображений из извлеченного множества изображений на основе значения первого атрибута, относящегося к изображению-запросу, и значений второго атрибута, относящегося к изображениям из извлеченного множества изображений. Если, применительно к изображению из множества извлеченных изображений, значение второго атрибута подобно значению первого атрибута, то изображению назначается высокое значение релевантности.

В варианте осуществления системы, первый и второй атрибуты являются предположением того что, соответственно, изображение-запрос и изображения из средства хранения изображений удовлетворяют условию. Таким образом, релевантность изображения из извлеченного множества изображений расценивается как высокая, если предположение, относящееся к изображению-запросу, и предположение, относящееся к изображению из найденного множества изображений, оба истинные, т.е. имеют одинаковые логические значения.

В варианте осуществления системы, значение первого атрибута вычисляется на основе пользовательского ввода, и пользовательский ввод является вероятностью того, что предположение истинное. Модуль релевантности скомпонован для вычисления логического значения предположения, используя статистический тест, как более подробно рассматривается в описании вариантов осуществления.

В варианте осуществления системы, предположение является диагностическим предположением. Предположение может быть диагностическим утверждением, относящимся к пациенту, чье тело или часть тела представлены на изображении. Таким образом, система приспособлена для извлечения изображений с подобными диагностическими утверждениями. Такое диагностическое приложение системы изобретения пригодно в качестве помощи врачу при постановке диагноза.

В варианте осуществления, система дополнительно содержит модуль прогнозирования для прогнозирования значения атрибута, относящегося к изображению-запросу, на основе изображения, извлеченного модулем извлечения, используя функцию подобия, обновленную модулем обновления. Например, диагностическое утверждение, относящееся к извлеченному изображению с самым высоким значением подобия, может применяться модулем прогнозирования к изображению-запросу. В другом приложении, к изображению-запросу может применяться диагностическое утверждение, наиболее часто встречающееся среди некоторого числа наиболее подобных изображений.

В дополнительном аспекте, система в соответствии с изобретением выполнена в виде системы базы данных. База данных содержит средство хранения изображений с данными изображений. В дополнение, база данных может хранить прочие данные, такие как значения второго атрибута для некоторых или всех изображений, содержащихся в базе данных. Система изобретения улучшает поисковые возможности базы данных и расширяет ее функции.

В дополнительном аспекте, система в соответствии с изобретением выполнена в виде устройства получения изображения.

В дополнительном аспекте, система в соответствии с изобретением выполнена в виде рабочей станции.

В дополнительном аспекте, изобретение предоставляет способ извлечения изображения из средства хранения изображений, при этом система содержит:

- этап извлечения для извлечения множества изображений из средства хранения изображений подобных изображению-запросу, на основе подобия изображений из средства хранения изображений изображению-запросу, определяемого функцией подобия;

- этап релевантности для вычисления значений релевантности изображений из извлеченного множества изображений на основе значения первого атрибута изображения-запроса и значений второго атрибута изображений из извлеченного множества изображений; и

- этап обновления для обновления функции подобия, по меньшей мере, на основе вычисленных значений релевантности;

и при этом модуль (110) извлечения дополнительно приспособлен для извлечения изображения из средства хранения изображений на основе обновленной функции подобия.

В дополнительном аспекте, изобретение предоставляет компьютерный программный продукт, который должен быть загружен компьютерным устройством, при этом компьютерная программа содержит инструкции для извлечения изображения из средства хранения изображений, причем компьютерное устройство содержит модуль обработки и память, и при этом компьютерный программный продукт, будучи загруженным, предоставляет упомянутому модулю обработки возможность выполнения этапов способа.

Специалист в данной области техники должен принимать во внимание, что два или более из вышеупомянутых вариантов осуществления, вариантов реализации и/или аспектов изобретения могут объединяться любым расцениваемым как полезный способом.

Модификации и изменения системы, системы базы данных, устройства получения изображения, рабочей станции, способа и/или компьютерного программного продукта, которые соответствуют описанным модификациям или изменениям системы или способа, могут выполняться специалистом в соответствующей области на основе настоящего описания.

Специалист в данной области техники должен принимать во внимание, что способ может применяться к данным многомерного изображения, например к данным 2-мерного (2-D), 3-мерного (3-D) или 4-мерного (4-D) изображения, полученного различными модальностями получения, такими как, но не ограничиваясь, получение рентгеновских изображений, Компьютерная Томография (CT), Получение Изображений методом Ядерного Магнитного Резонанса (MRI), Ультразвуковое исследование (US), Позитрон-Эмиссионная Томография (PET), Однофотонно-Эмиссионная Компьютерная Томография (SPECT) и Медицинская Радиология (NM).

Изобретение определено независимыми пунктами формулы изобретения. Преимущественные варианты осуществления определены зависимыми пунктами формулы изобретения.

ПЕРЕЧЕНЬ ФИГУР ЧЕРТЕЖЕЙ

Эти и прочие аспекты изобретения станут очевидны из и будут объяснены со ссылкой на описываемые ниже варианты реализации и варианты осуществления и со ссылкой на сопроводительные чертежи, в которых:

Фиг. 1 показывает структурную схему примерного варианта осуществления системы;

Фиг. 2 показывает схематическое описание диагностического протокола в соответствии с изобретением;

Фиг. 3 показывает блок-схему последовательности операций примерных вариантов реализации способа;

Фиг. 4 схематично показывает примерный вариант осуществления системы базы данных; и

Фиг. 5 схематично показывает примерный вариант осуществления устройства получений изображения; и

Фиг. 6 схематично показывает примерный вариант осуществления рабочей станции.

Во всех Фигурах идентичные цифровые обозначения используются для обозначения подобных частей.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фиг. 1 схематично показывает структурную схему примерного варианта осуществления системы 100 для извлечения изображения из средства хранения изображений, при этом система содержит

- модуль 110 извлечения для извлечения множества изображений из средства хранения изображений на основе подобия изображений из упомянутого средства хранения изображений изображению-запросу, при этом подобие определяется функцией подобия;

- модуль 120 релевантности для вычисления значений релевантности изображений из извлеченного множества изображений на основе значения первого атрибута, относящегося к изображению-запросу, и значений второго атрибута, относящегося к изображениям из извлеченного множества изображений; и

- модуль 130 обновления для обновления функции подобия на основе вычисленных значений релевантности;

и при этом модуль (110) извлечения дополнительно приспособлен для извлечения изображения из средства хранения изображений на основе обновленной функции подобия.

Примерный вариант осуществления системы 100 содержит модуль 140 прогнозирования для прогнозирования значения атрибута, относящегося к изображению-запросу, на основе изображения, извлеченного модулем 110 извлечения, используя функцию подобия, обновленную модулем 130 обновления;

- модуль 160 управления для управления работой системы 100;

- пользовательский интерфейс 165 для осуществления связи между пользователем и системой 100; и

- модуль 170 памяти для хранения данных.

В варианте осуществления системы 100, имеется три входных разъема 181, 182 и 183 для входящих данных. Первый входной разъем 181 скомпонован для приема данных, поступающих от средства хранения данных, такого как, но не ограничиваясь, жесткий диск, магнитная лента, флэш-память или оптический диск. Второй входной разъем 182 скомпонован для приема данных, поступающих от устройства пользовательского ввода, такого как, но не ограничиваясь, манипулятора типа мышь или сенсорный экран. Третий входной разъем 183 скомпонован для приема данных, поступающих от устройства пользовательского ввода, такого как клавиатура. Входные разъемы 181, 182 и 183 соединены с модулем 180 управления вводом.

В варианте осуществления системы 100, имеется два выходных разъема 191 и 192 для исходящих данных. Первый выходной разъем 191 скомпонован для вывода данных на средство хранения данных, такое как жесткий диск, магнитная лента, флэш-память или оптический диск. Второй выходной разъем 192 скомпонован для вывода данных на устройство отображения. Выходные разъемы 191 и 192 принимают соответствующие данные через модуль 190 управления выводом.

Специалист в соответствующей области должен понимать, что существует множество способов соединения устройств ввода с входными разъемами 181, 182 и 183 и устройств вывода к выходными разъемами 191 и 192 системы 100. Эти способы содержат, но не ограничиваясь, проводное и беспроводное соединение, цифровую сеть, такую как, но не ограничиваясь, Локальная Сеть (LAN) и Глобальная Сеть (WAN), Интернет, цифровая телефонная сеть и аналоговая телефонная сеть.

В варианте осуществления системы 100, система 100 содержит модуль 170 памяти. Система 100 скомпонована для приема входных данных от внешних устройств через входные разъемы 181, 182 и 183 и сохранения принятых входных данных в модуле 170 памяти. Загрузка входных данных в модуль 170 памяти позволяет модулям системы 100 осуществлять быстрый доступ к релевантным частям данных. Входные данные содержат изображение-запрос. Необязательно, входные данные содержат данные изображения из средства хранения изображений. В качестве альтернативы, средство хранения изображений может быть реализовано посредством памяти 170. Дополнительно, входные данные могут содержать пользовательский ввод и/или значения второго атрибута изображений содержащихся в средстве хранения изображений. Модуль 170 памяти может быть реализован посредством устройств, таких как, но не ограничиваясь, блок регистров CPU, кэш-память, микросхема Памяти с Произвольным Доступом (RAM), микросхема Постоянного Запоминающего Устройства (ROM), и/или дисковод жесткого диска и жесткий диск. Модуль 170 памяти может быть дополнительно скомпонован для хранения выходных данных. Выходные данные содержат изображение, извлеченное модулем 110 извлечения. Выходные данные также могут содержать, например, полезную информацию об обновленной функции подобия и спрогнозированное значение атрибута, относящееся к изображению-запросу. Модуль 170 памяти также может быть скомпонован для приема данных от и/или доставки данных к модулям системы 100, содержащей модуль 110 извлечения, модуль 120 релевантности, модуль 130 обновления, модуль 140 прогнозирования, модуль 160 управления и пользовательский интерфейс 165, через шину 175 памяти. Модуль 170 памяти дополнительно скомпонован для того, чтобы делать доступными выходные данные внешним устройствам через любой из выходных разъемов 191 и 192. Хранение данных модулей системы 100 в модуле 170 памяти может преимущественно повысить производительность модулей системы 100, как, впрочем, и скорость передачи выходных данных от модулей системы 100 внешним устройствам.

В варианте осуществления системы 100, система 100 содержит модуль 160 управления для управления системой 100. Модуль управления может быть скомпонован для приема данных управления от и предоставления данных управления модулям системы 100. Например, после обновления функции подобия, модуль 130 обновления может быть скомпонован для предоставления данных управления «об обновленной функции подобия» модулю 160 управления, а модуль 160 управления может быть скомпонован для предоставления данных управления «выполнить извлечение изображения» модулю 110 извлечения. В качестве альтернативы, функция управления может быть реализована в другом модуле системы 100.

В варианте осуществления системы 100, система 100 содержит пользовательский интерфейс 165 для осуществления связи между пользователем и системой 100. Пользовательский интерфейс 165 может быть скомпонован для приема пользовательского ввода для загрузки изображения-запроса в память 170 или для вычисления значения первого атрибута. Пользовательский интерфейс может дополнительно предоставлять средство для отображения множества изображений, извлеченных модулем 110 извлечения. Необязательно, пользовательский интерфейс может принимать пользовательский ввод для выбора режима функционирования системы, такого как, например, в отношении способа обновления функции подобия. Специалист в соответствующей области должен понимать, что большее число функций может быть преимущественно реализовано в пользовательском интерфейсе 165 системы 100.

В варианте осуществления, система 100 изобретения приспособлена для прогнозирования точных когнитивных тестовых оценок из основных тестовых оценок. В качестве примера, краткая шкала оценки психического статуса (MMSE) является краткой широко применяемой анкетой, в которой оценка выше 27 (из 30) фактически рассматривается как нормальная, в то время как меньшие оценки по возрастающей соотносятся с наличием деменции. Несмотря на то, что данный тест может быть пройден всего за пять минут, было отмечено, что задания простого порогового значения равного 27 (из 30), как правило, не достаточно для выявления наличия деменции. С другой стороны, тест по шкале тяжести деменции (CDR) намного более точный, но также и более трудоемкий тест, связанный с возможностью распознать даже легкие стадии деменции с большой точностью. Оценка равная 0 по CDR указывает на отсутствие деменции, в то время как большее количество баллов показывает наличие деменции с увеличением степени тяжести. Каждому изображению базы данных назначается CDR.

Подход основан на первоначальном извлечении прошлых случаев, которые визуально подобны неизвестному новому случаю, затем маркировки небольшого числа как релевантных или не релевантных, используя простые тесты, и наконец, автоматическом изучении нового адаптивного измерения подобия, которое может более точно определить наличие или отсутствие некоторого условия. Протокол, предлагаемый в данном изобретении, проиллюстрирован на Фиг. 1 и состоит из следующих этапов:

(S1) Пользователь вводит новый случай (изображение-запрос) в систему 100; модуль 110 извлечения возвращает упорядоченный список прошлых случаев (изображения из базы данных), основанный на визуальном подобии (например, измеренном как сходство между интенсивностью гистограмм изображений MR).

(S2-1) Предположение по запросу автоматически формируется на основании оценки MMSE нового случая, которая может быть включена в заголовок данных изображения-запроса или может быть, например, введена пользователем.

(S3-1) Значения релевантности (например, логические значения Истина или Ложь), основанные на релевантных связях между изображением-запросом и требуемым множеством изображений из базы данных, вычисляются модулем 120 релевантности по формуле: релевантность = (MMSE<27) И (CDR>0). Количество M изображений из базы данных, для которого вычисляется релевантность, может быть указано пользователем или может быть фиксировано на основании сравнения производительности.

(S4) Выходные данные предшествующих этапов (значения релевантности для каждого из M изображений из базы данных) используются модулем 130 обновления в качестве обучающего набора; он состоит из M изображений; основываясь на этом наборе, функция подобия обновляется при помощи машинного самообучения.

(S5) Используя обновленную функцию подобия, модуль 110 извлечения возвращает новый список изображений из базы данных, упорядоченный в соответствии со значениями обновленной функции подобия.

(S6-1) Наконец, оценка CDR, относящаяся к запросу, прогнозируемая модулем 140 прогнозирования, является оценкой CDR самого верхнего изображения в упорядоченном списке, полученном на этапе S5.

В другом варианте осуществления, система 100 изобретения приспособлена для помощи врачу при диагностировании психических заболеваний, используя подобие изображений и неточное предположение пользователя. Каждому изображению в базе данных назначается диагноз. Этапы алгоритма следующие:

(S1) Пользователь вводит новый случай (изображение-запрос) в систему 100; модуль 110 извлечения возвращает упорядоченный список прошлых случаев (изображения из базы данных), основанный на визуальном подобии (например, измеренном как сходство между интенсивностью гистограмм изображений MR).

(S2-2) Пользователь предоставляет диагностическое предположение по изображению-запросу и/или связанный уровень доверия (последнее может быть сделано через вербальные утверждения или, например, регулировкой ползунка в пользовательском интерфейсе).

(S3-2) Диагностическое предположение тестируется на основании уровня доверия, например, с вероятностью p, что диагностическое предположение является истиной. Например, случайное число r формируется при помощи генератора случайных чисел, однородно распределенных в интервале [0,1]. Если r≤p, тогда результатом теста является ИСТИНА (т.е. диагностическое предположение является истинным); в противном случае результатом является ЛОЖЬ (т.е. диагностическое предположение ложно). Значения релевантности (например, логические значения Истина или Ложь), основанные на результате тестирования диагностического предположения и на том, является ли (предположение <= диагнозу) для каждого из M извлеченных изображений, вычисляются по формуле: релевантность = (результат теста) И (предположение <= диагнозу). Количество M может быть указано пользователем или может быть определено на основании сравнения производительности.

(S4) Выходные данные предшествующих этапов (значения релевантности для каждого из M изображений из базы данных) используются модулем 130 обновления в качестве обучающего набора; он состоит из M изображений; основываясь на этой последовательности, функция подобия обновляется при помощи машинного обучения.

(S5) Используя обновленную функцию подобия, модуль 110 извлечения возвращает новый список изображений из базы данных, упорядоченный в соответствии со значениями обновленной функции подобия.

(S6-1) Наконец, диагноз, относящийся к запросу, прогнозируемый модулем 140 прогнозирования, является диагнозом, относящимся к самому верхнему изображению в упорядоченном списке, полученном на этапе S5.

Блок-схема последовательности операций обоих примерных вариантов реализации способа M извлечения изображения из средства хранения изображений схематично показана на Фиг.5. Специалист в данной области техники может менять порядок некоторых этапов или выполнять некоторые этапы параллельно при помощи моделей организации поточной обработки, многопроцессорных систем или нескольких процессоров, не отступая от концепции в соответствии с тем, что подразумевается настоящим изобретением. Необязательно, два или более этапов способа M могут объединяться в один этап. Необязательно, этап способа M может быть разбит на множество этапов. Необязательно, способ M может дополнительно содержать этап S7 повторения для проверки условия. Условие может основываться на пользовательском вводе. Если условие удовлетворяется, то способ M скомпонован для повторения этапов с S1 по S5 для дальнейшего обновления функции подобия. Если условие не удовлетворяется, то способ M переходит к последнему этапу S6 и затем завершается.

Специалист в данной области техники должен понимать, что понятие «изображение», как правило, относится к 2D или 3D изображению. В качестве альтернативы, понятие «изображение» также может применяться к объекту, такому как, но не ограничиваясь, строка знаков или символ.

В варианте осуществления, функция подобия определяется на этапе S4 модулем 130 обновления следующим образом. Пусть $$q=(q_k)\in R^K$$ обозначает K-мерный вектор элемента изображения, относящегося к запросу, и пусть $$x^m=(x_k^m)\in R^K,m=\mathrm{1,2,...,}M$$ обозначает вектор элемента изображения m-го изображения из множества изображений, извлеченных модулем 110 извлечения на этапе S1. Вклад k-го элемента изображения имеет весовой коэффициент $$w_k$$ весового вектора $$w$$ . Функция подобия для вычисления подобия извлеченного изображения, описываемого вектором $$x$$ элемента, изображению-запросу, описываемому вектором $$q$$ элемента, может определяться как

$$S(q,x)={\displaystyle \sum _{k=1}^K{w}_k\exp (-\left|q_k-x_k\right|})$$

Специалист в данной области техники знает множество способов вычисления значений $$w_k$$ на основании векторов $$x^m$$ элементов, соответствующих множеству изображений извлеченных модулем 110 извлечения, и значений $$y^m$$ релевантности, вычисляемых модулем 120 релевантности. Любой подходящий способ может быть реализован на этапе S4 обновления и использоваться модулем 130 обновления. Например, весовые коэффициенты могут вычисляться, используя способ Rui, описываемый в вышеупомянутой публикации Rui и другими, или используя машинное обучение. Подходящие способы машинного обучения описываются, например, в Главе 3 работы C.B. Akgul, озаглавленной “Density-based shape descriptors and similarity learning for 3D object retrieval”, Диссертация Доктора Философии, Telecom ParisTech and Bogazici University, 2007. Дополнительно, приведенные в данной работе ссылки могут быть полезны для понимания статистического обучения применительно к подобию, описываемому в упомянутой Главе 3. Специалист в данной области техники должен понимать, что объем формулы изобретения не ограничивается определением функции подобия или способом, используемым для обновления параметров функции подобия, таких как весовые коэффициенты $$w_k$$ в описанном выше примерном варианте осуществления.

Специалист в данной области техники должен принимать во внимание, что система 100 может быть ценным инструментом помощи врачу во многих аспектах ее/его деятельности. Дополнительно, несмотря на то, что варианты осуществления системы проиллюстрированы, используя приложения системы в медицине, также предполагаются и не медицинские приложения системы.

Специалист в данной области техники дополнительно должен понимать, что возможны прочие варианты осуществления системы 100. Среди прочего, возможно переопределить модули системы и перераспределить их функции. Несмотря на то, что описанные варианты осуществления применяются к медицинским изображениям, также возможны прочие приложения системы, не связанные с медицинскими приложениями.

Модули системы 100 могут быть реализованы при помощи процессора. Как правило, их функции выполняются под управлением продукта программного обеспечения. Во время исполнения, продукт программного обеспечения, как правило, загружается в память, подобную RAM, и исполняется из нее. Программа может загружаться из фоновой памяти, такой как ROM, жесткий диск или магнитное и/или оптическое устройство хранения данных, или может загружаться через сеть, подобную Интернет. Необязательно, обеспечивать описанные функциональные возможности может проблемно-ориентированная интегральная микросхема.

Фиг. 4 схематически показывает примерный вариант осуществления системы 400 базы данных, использующей систему 100 изобретения, при этом упомянутая система 400 базы данных содержит модуль 410 базы данных, подсоединенный через Интернет-соединение к системе 100, внешний входной разъем 401 и внешний выходной разъем 402. Данная компоновка преимущественно увеличивает возможности системы 400 базы данных, предоставляя упомянутой системе 400 базы данных преимущественные возможности системы 100.

Фиг. 5 схематично показывает примерный вариант осуществления устройства 500 получения изображения, использующего систему 100 изобретения, при этом упомянутое устройство 500 получения изображения содержит модуль 510 получения изображения соединенный через внутреннее соединение с системой 100, входной разъем 501 и выходной разъем 502. Эта компоновка преимущественно увеличивает возможности устройства 500 получения изображения, предоставляя упомянутому устройству 500 получения изображения преимущественные возможности системы 100.

Фиг. 6 схематически показывает примерный вариант осуществления рабочей станции 600. Рабочая станция содержит системную шину 601. Процессор 610, память 620, дисковый адаптер 630 ввода/вывода (I/O) и пользовательский интерфейс 640 (UI) функционально соединены с системной шиной 601. Дисковое запоминающее устройство 631 функционально объединено с дисковым адаптером 630 I/O. Клавиатура 641, манипулятор 642 типа мышь и устройство 643 отображения функционально объединены с UI 640. Система 100 изобретения, реализованная в качестве компьютерной программы, хранится на дисковом запоминающем устройстве 631. Рабочая станция 600 скомпонована для загрузки программы и входных данных в память 620 и исполнения программы процессором 610. Пользователь может вводить информацию в рабочую станцию 600 при помощи клавиатуры 641 и/или манипулятора 642 типа мышь. Рабочая станция выполнена, скомпонована для вывода информации на устройство 643 отображения и/или диск 631. Специалист в данной области техники должен понимать, что существуют многочисленные прочие варианты осуществления рабочей станции 600, известные в соответствующей области, и что настоящий вариант осуществления служит в целях иллюстрации изобретения и не должен трактоваться как ограничивающий изобретение данным конкретным вариантом осуществления.

Должно быть отмечено, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение, и специалист в данной области техники имеет возможность разработать альтернативные варианты осуществления, не отступая от объема прилагаемой формулы изобретения. В формуле изобретения, любые ссылочные обозначения, помещенные в круглые скобки, не должны толковаться как ограничивающие формулу изобретения. Слово «содержащий» не исключает наличие элементов или этапов, не перечисленных в формуле изобретения или в описании. Предлоги единственного числа, предшествующие элементам, не исключают наличие множества таких элементов. Изобретение может быть реализовано посредством аппаратного обеспечения, содержащего несколько отдельных элементов, и посредством программируемого компьютера. В системе, заявляющей перечисление нескольких модулей, некоторые из этих модулей могут быть воплощены одной и той же записью аппаратного или программного обеспечения. Использование слов первый, второй, третий и т.д. не указывает какого-либо упорядочения. Слова должны интерпретироваться как обозначения.

Изобретение относится к средствам извлечения изображений из средств хранения. Техническим результатом является повышение точности извлечения изображений посредством применения вычисленной релевантности. Система (100) содержит модуль (110) извлечения множества изображений из средства хранения изображений на основе подобия изображений изображению запроса; модуль (120) вычисления значений релевантности изображений из извлеченного множества на основе значения первого атрибута, относящегося к изображению запроса, и значений второго атрибута, относящегося к изображениям из извлеченного множества; модуль (130) обновления функции подобия на основе вычисленных значений релевантности. 6 н. и 10 з.п. ф-лы, 6 ил.

1. Система (100) для извлечения изображения из средства хранения изображений, при этом система содержит:
- модуль (110) извлечения для извлечения множества изображений из средства хранения изображений на основе подобия изображений из упомянутого средства хранения изображений изображению запроса, при этом подобие определяется функцией подобия;
- модуль (120) релевантности для вычисления значений релевантности изображений из извлеченного множества изображений на основе значения первого атрибута, относящегося к изображению запроса, и значений второго атрибута, относящегося к изображениям из извлеченного множества изображений; и
- модуль (130) обновления для обновления функции подобия на основе вычисленных значений релевантности;
и при этом модуль (110) извлечения дополнительно приспособлен для извлечения изображения из средства хранения изображений на основе обновленной функции подобия.

2. Система (100) по п. 1, в которой функция подобия содержит множественные вклады для вычисления значения подобия, и в которой модуль (130) обновления дополнительно скомпонован для выбора некоторых вкладов из многочисленных вкладов, которые должны быть включены в обновленную функцию подобия.

3. Система (100) по п. 1, в которой значения второго атрибута, причем каждое значение соответствует изображению из средства хранения изображений, хранятся в упомянутом средстве хранения изображений.

4. Система (100) по п. 1, в которой значение первого атрибута вычисляется на основе пользовательского ввода.

5. Система (100) по п. 1, в которой первый атрибут является таким же, как второй атрибут.

6. Система (100) по п. 5, в которой первый и второй атрибуты являются предположением, что соответственно изображение запроса и изображения из средства хранения изображений удовлетворяют условию.

7. Система (100) по п. 6, в которой значение первого атрибута вычисляют на основе пользовательского ввода, и в которой пользовательский ввод является вероятностью того, что предположение истинное.

8. Система (100) по п. 6, в которой предположение является диагностическим предположением.

9. Система (100) по п. 7, в которой предположение является диагностическим предположением.

10. Система (100) по п. 1, дополнительно содержащая модуль (140) прогнозирования для прогнозирования значения атрибута, относящегося к изображению запроса, на основе изображения, извлеченного модулем (110) извлечения, используя функцию подобия, обновленную модулем (130) обновления.

11. Система (400) базы данных, содержащая систему (100) по любому из предшествующих пунктов.

12. Устройство (500) получения изображения, содержащее систему (100) по любому из предшествующих пунктов.

13. Рабочая станция (600), содержащая систему (100) по любому из предшествующих пунктов.

14. Способ (M) извлечения изображения из средства хранения изображений, при этом способ содержит:
- этап (S1) извлечения для извлечения из средства хранения изображений множества изображений подобных изображению запроса на основе подобия изображений из средства хранения изображений изображению запроса, определяемого функцией подобия;
- этап (S3) релевантности для вычисления значений релевантности изображений из извлеченного множества изображений на основе значения первого атрибута изображения запроса и значений второго атрибута изображений из извлеченного множества изображений; и
- этап (S5) обновления для обновления функции подобия, по меньшей мере, на основе вычисленных значений релевантности;
и при этом модуль (110) извлечения дополнительно приспособлен для извлечения изображения из средства хранения изображений на основе обновленной функции подобия.

15. Способ (M) по п. 14, дополнительно содержащий этап (S6) прогнозирования для прогнозирования значения первого атрибута, относящегося к изображению запроса, на основе изображения, извлеченного модулем (110) извлечения, используя функцию подобия, обновленную модулем (130) обновления.

16. Считываемый компьютером носитель, содержащий инструкции для реализации способа по п. 14 или 15.