ОПТИМИЗАЦИЯ ВЗАИМОДЕЙСТВИЙ ПОЛЬЗОВАТЕЛЯ ПРИ СЕГМЕНТАЦИИ Российский патент 2021 года по МПК G06T7/00 G06F3/484 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к системе и реализуемому на компьютере способу сегментации объекта на изображении. Изобретение также относится к рабочей станции и устройству визуализации, содержащим систему, и компьютерному программному продукту, содержащему инструкции для побуждения процессорной системы к выполнению способа.

УРОВЕНЬ ТЕХНИКИ

Сегментация объектов на изображениях, например, медицинских изображениях, важна в различных ситуациях и в большинстве случаев может позволить выполнить требуемые количественные измерения. При планировании лучевой терапии, например, сегментация, которую также называют оконтуриванием или аннотированием, органов может сделать возможным расчет дозы для участков-мишеней и органов-мишеней, подверженных риску. Другим примером может быть сегментация опухоли для оценки неоадъювантной химиотерапии. Во многих применениях для сегментации органов могут быть использованы автоматические алгоритмы. Очень часто, тем не менее, для коррекции автоматически полученного результата может потребоваться взаимодействие в ручном или полуавтоматическом режиме, или выполняемая вручную сегментация может оказаться предпочтительнее по другим причинам. Существуют несколько различных графических интерфейсов сегментации, содержащих различные средства сегментации с переменными параметрами.

Наверное, было бы целесообразно, предоставить пользователю возможность эффективным образом получать такие сегментации с использованием графического интерфейса сегментации вручную или полуавтоматически.

В US 2015/0155010 A1 описан способ извлечения информации о медицинском изображении, представленном в пользовательском интерфейсе блока обработки медицинской системы визуализации. Способ включает в себя: отображение ссылки на по меньшей мере одно видеоизображение, которое хранится в блоке обработки и интегрированную в пользовательский интерфейс; активацию ссылки, выбор видеоизображения пользователем и воспроизведение этого видеоизображения. Видеоизображение содержит отвечающую конкретным потребностям информацию и связанную с контекстом информацию и/или рабочие инструкции для пользователя. Описан также блок обработки медицинской системы визуализации. В одном варианте реализации блок обработки содержит блок памяти и программный код, хранящийся в этом блоке памяти. Программный код реализован таким образом, что медицинское изображение пациента выводится в пользовательский интерфейс блока обработки.

По сути US 2015/0155010 A1 нацелена на обеспечение эффективности пользователя при сегментации путем отображения пользователю основанной на видеоизображении инструкции по порядку работы с пользовательским интерфейсом. Проблема способа, предложенного в US 2015/0155010 A1, состоит в том, что пользователь все равно недостаточно эффективен, когда используется описанный способ.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Было бы полезно иметь систему или реализуемый на компьютере способ, позволяющие пользователю эффективнее получать ручную или полуавтоматическую сегментацию объекта на изображении.

Первой особенностью настоящего изобретения, позволяющей эффективнее решать эту проблему, является предложение системы для сегментации объекта на изображения, которая содержит:

- подсистему пользовательского интерфейса, содержащую:

i) выход устройства отображения для установления на устройстве отображения графического интерфейса сегментации, который содержит набор средств сегментации, позволяющих пользователю получать первую сегментацию объекта на изображении, при этом первая сегментация представлена данными сегментации;

ii) пользовательский входной интерфейс, выполненный с возможностью приема данных взаимодействия от пользовательского устройства, выполненного с возможностью управления пользователем, при этом данные взаимодействия дают представление о наборе взаимодействий пользователя с графическим интерфейсом сегментации, посредством которых была получена первая сегментация объекта;

- память, содержащую данные инструкций, представляющие набор инструкций;

- процессор, выполненный с возможностью обмена данными с пользовательским входным интерфейсом и памятью и с возможностью исполнения набора инструкций, причем этот набор инструкций при их исполнении процессором побуждают процессор:

i) анализировать данные сегментации и данные взаимодействия для определения оптимизированного набора взаимодействий пользователя, которые при их исполнении пользователем с использованием графического интерфейса сегментации, дают вторую сегментацию, аналогичную первой сегментации, при этом оптимизированный набор взаимодействий пользователя определен путем:

j) формирования множества потенциально пригодных наборов взаимодействий пользователя, которые дают сегментации, подобные первой сегментации,

jj) оценки времени, необходимого для выполнения соответствующего одного из множества потенциально пригодных наборов взаимодействий пользователя с использованием графического интерфейса сегментации на основе метрики времени, причем метрика времени является функцией от по меньшей мере количества взаимодействий пользователя в соответствующем потенциально пригодном наборе, и

jjj) выбора одного из множества потенциально пригодных наборов взаимодействий пользователя в качестве оптимизированного набора взаимодействий пользователя на основе самого низкого времени, полученного в результате упомянутой оценки; и

ii) формировать оптимизированные данные взаимодействия, представляющие оптимизированный набор взаимодействий пользователя, для обеспечения возможности указания пользователю оптимизированного набора взаимодействий пользователя.

Указанные выше меры включают в себя предоставление пользователю возможности сегментирования объекта на медицинском изображении с использованием графического интерфейса сегментации. С этой целью предлагается подсистема пользовательского интерфейса, которая содержит пользовательский входной интерфейс для получения данных взаимодействия из пользовательского устройства, выполненного с возможностью управления пользователем. Кроме того, предлагается выход устройства отображения для установления графического интерфейса сегментации на устройстве отображения. Графический интерфейс сегментации содержит набор средств сегментации, которые могут быть использованы для сегментации. Посредством использования инструментов сегментации пользователь может получать первую сегментацию объекта на изображении. Объект может быть, например, анатомической структурой на медицинском изображении. Изображение, формируемое с помощью данных изображения, может быть, например, двумерным поверхностным изображением, двумерной проекцией изображения, трехмерным объемным изображением или может состоять из стопки срезов изображения, и может быть получено с помощью различных методов визуализации, таких как компьютерная томография (КТ) и магнитно-резонансная томография (МРТ).

Пользователь может путем выбора подходящих средств сегментации графического интерфейса сегментации применять один или несколько способов сегментации к изображению для получения первой сегментации. В число примеров известных способов сегментации входят пороговый способ, кластеризация, наращивание областей или сегментация на основе модели. Взаимодействия пользователя со средствами сегментации для получения первой сегментации могут быть записаны, чтобы получить данные взаимодействия. В число примеров взаимодействий пользователя входят выбор действий пользователя, переключение между различными средствами сегментации, масштабирование, панорамирование и т. д. Данные взаимодействия могут по существу давать представление о наборе взаимодействий пользователя с графическим интерфейсом сегментации, посредством которых была получена сегментация объекта. Например, данные взаимодействия могут указывать на выбор средств сегментации, их параметры и их порядок. Под порядком средств может пониматься последовательность использования средств. Параметр средства может быть характеристикой, признаком или пригодным для измерения фактором, определяющим средство сегментации. Например, для средства «карандаш» ширина штриха может рассматриваться как параметр средства.

Вышеупомянутые меры дополнительно включают в себя процессор, который посредством данных инструкции, представляющих инструкции, выполнен с возможностью анализа данных сегментации и данных взаимодействия для определения оптимизированного набора взаимодействий пользователя, которые при их исполнении пользователем с использованием графического интерфейса сегментации, дают вторую сегментацию, подобную первой сегментации. Вторая сегментация может считаться подобной первой сегментации, когда по меньшей мере критерии подобия, такие как объем, поверхность или форма второй сегментации, дают значение, достаточно близкое к значению первой сегментации. Например, в трехмерной сегментации трехмерного объекта, когда объем второй сегментации дает, например, более 90 %, 95 % или 99 % от объема первой сегментации, эти сегментации можно считать подобными.

Вышеуказанные меры дополнительно включают в себя формирование множества потенциально пригодных наборов взаимодействий пользователя, которые получают сегментации, подобные первой сегментации. Потенциально пригодные наборы взаимодействий пользователя могут быть сформированы на основе изменения параметра, относящегося к взаимодействию, и/или на основе изменения порядка взаимодействия. Потенциально пригодные наборы могут быть сформированы с использованием известных способов оптимизации, в которых критерии оптимизации могут рассматриваться как функция стоимости, а, например, порядок взаимодействий, выбирающих средства сегментации, параметры средств сегментации и т. д. могут рассматриваться как параметр оптимизации.

Вышеупомянутые меры дополнительно включают в себя оценку времени, необходимого пользователю для выполнения соответствующего одного из множества потенциально пригодных наборов, и выбор одного из множества потенциально пригодных наборов взаимодействий пользователя, причем этот оптимизированный набор взаимодействий пользователя обеспечивает пользователю получение второй сегментации быстрее по сравнению с другими потенциально пригодными наборами взаимодействий пользователя. После установления метрики времени оптимизированный набор взаимодействий пользователя может быть выбран с использованием известных способов оптимизации, в которых время получения второй сегментации посредством взаимодействий пользователя может рассматриваться как функция стоимости.

Следует отметить, что сложность сегментации может тоже рассматриваться как функция стоимости оптимизации независимо от времени сегментации. Например, хотя вторая сегментация может быть получена за то же самое или даже большее время, пользователю может быть предоставлена возможность получения второй сегментации путем выполнения менее сложных задач и взаимодействия. Например, независимо от времени, необходимого для получения второй сегментации, система, описанная в формуле изобретения, может предоставить пользователю возможность, например, получить вторую сегментацию с меньшим числом переключений между различными представлениями изображения или средствами сегментации, или только изменить параметр средства сегментации, который может быть менее сложным для пользователя. По существу вышеуказанная мера может включать в себя оценку сложности, которую необходимо преодолеть пользователю для выполнения соответствующего одного из множества потенциально пригодных наборов взаимодействий пользователя с использованием графического интерфейсе сегментации, на основе метрики сложности. Вышеупомянутая мера может к тому же включать в себя выбор одного из множества потенциально пригодных наборов взаимодействий пользователя в качестве оптимизированного набора взаимодействий пользователя на основе минимальной сложности, полученной в результате упомянутой оценки. Следует отметить, что метрика времени может в силу своей природы также представлять сложность взаимодействий пользователя, так как более сложные взаимодействия пользователя, например, необходимые для сложной сегментации, могут, естественно, занимать больше времени. По существу система и способ, описанные в формуле изобретения, могут косвенно учитывать сложность взаимодействий пользователя на основе метрики времени.

Вышеупомянутые меры дополнительно включают в себя формирование оптимизированных данных взаимодействия, представляющих оптимизированный набор взаимодействий пользователя, который позволяет указывать пользователю оптимизированный набор взаимодействий пользователя посредством устройства отображения. Например, оптимизированные данные взаимодействия могут указывать используемые средства сегментации, параметр средств сегментации и/или порядок использования средств сегментации и т.д.

Настоящее изобретение основано на понимании того, что система и способ, описанные в формуле изобретения, позволяют пользователю становится более эффективным в получении требуемой первой сегментации путем определения оптимизированного набора взаимодействий пользователя, который может указывать пользователю, как получить вторую сегментацию, подобную первой сегментации, за меньшее время. Оптимизированный набор взаимодействий пользователя может быть определен путем анализа данных сегментации, которые представляют взаимодействия пользователя, уже выполненные пользователем для получения первой сегментации. Поскольку оптимизированный набор взаимодействий пользователя определяется на основе получения второй сегментации, подобной первой сегментации, которая уже сформирована пользователем с использованием определенных средств сегментации, этот оптимизированный набор взаимодействий пользователя может иметь непосредственное отношение к тому, что является целью пользователя. По существу система и способ, описанные в формуле изобретения, позволят пользователю проявлять эффективность в получении требуемой сегментации за меньшее время.

Оптимизированный набор данных может быть представлен пользователю посредством устройства отображения, благодаря чему он может быть эффективно информирован, например, об оптимальных параметрах средства сегментации или доступных средствах, которые пользователь не использовал для формирования первой сегментации. Кроме того, пользователь может получать подсказку использовать множество средств сегментации в определенной последовательности. Следует отметить, что в добавление к информированию пользователя об оптимизированном наборе взаимодействий, используемые по умолчанию параметры средств сегментации графического интерфейса сегментации тоже могут быть оптимизированы на основе оптимизированных данных взаимодействия.

В конкретном варианте изобретения набор взаимодействий пользователя включает в себя взаимодействие пользователя, представляющее пользователя, применяющего средство сегментации, и набор инструкций, который при их исполнении процессором, побуждают процессор изменять параметр средства сегментации таким образом, чтобы формировать другие потенциально пригодные наборы взаимодействий пользователя. Это может позволить пользователю получать требуемую сегментацию только с помощью системы и способа, описанных в формуле изобретения, которые определяют более оптимальный параметр средства сегментации, без необходимости использования других средств. Преимуществом является то, что это может позволить пользователю повысить свою эффективность в получении требуемой сегментации.

В конкретном варианте изобретения набор взаимодействий пользователя включает в себя последовательность взаимодействий пользователя и набор инструкций, который при их исполнении процессором, побуждают процессор изменять последовательность взаимодействий пользователя таким образом, чтобы формировать другие потенциально пригодные наборы взаимодействий пользователя. Это может позволить пользователю получать требуемую сегментацию только с помощью системы и способа, описанных в формуле изобретения, которые определяют более оптимальную последовательность взаимодействий пользователя, без необходимости использования других средств или других параметров. Преимуществом является то, что это может позволить пользователю повысить свою эффективность в получении требуемой сегментации.

В конкретном варианте изобретения графический интерфейс сегментации содержит по меньшей мере одно неиспользованное средство сегментации, которое не использовано пользователем для получения первой сегментации, причем множество потенциально пригодных наборов взаимодействий пользователя сформировано с использованием по меньшей мере одного неиспользованного средства сегментации. Преимущество состоит в том, что пользователю может быть предоставлена возможность более эффективного получения требуемой сегментации за счет использования средства сегментации, которое пользователь не использовал для получения первой сегментации по причине, например, незнания о существовании этого средства или неосведомленности об данной функции средства или его оптимизированном параметре.

В конкретном варианте изобретения метрика времени содержит по меньшей мере один параметр, который дает представление о действии, выбираемом из следующего списка: выбор действий пользователя, переключение между различными средствами сегментации, переключение между различными срезами изображения, действие масштабирования и действие панорамирования. Благодаря включению в список основных действий пользователя, вроде упомянутых выше, можно более точно оценить время, необходимое для выполнения соответствующего одного из множества потенциально пригодных наборов взаимодействий пользователя с использованием графического интерфейсе сегментации. Преимущество состоит в том, что более точная оценка времени может позволить точнее выбирать оптимизированный набор взаимодействий пользователя и тем самым может улучшить эффективность пользователя в получении требуемой сегментации.

В конкретном варианте изобретения метрика времени является функцией от типа взаимодействий пользователя в соответствующем потенциально пригодном наборе. Учет типа взаимодействий пользователя в дополнение к количеству взаимодействий пользователя может обеспечить более оптимальный набор взаимодействий пользователя, так как, например, некоторые взаимодействия пользователя, скажем, масштабирование, могут быть проще для пользователя с точки зрения выполнения, чем другие типы взаимодействий пользователя, например, переключение между различными срезами изображения. По существу за счет взвешивания типа взаимодействия пользователя можно более оптимально выбрать оптимизированный набор взаимодействий пользователя.

В конкретном варианте изобретения подсистема анализа рассчитывает геометрическую сложность объекта, и метрика времени является функцией от геометрической сложности объекта. Учет геометрической сложности объекта может позволить оптимальнее выбирать оптимизированный набор взаимодействий пользователя, так как, например, если объект имеет сложную геометрию, то, возможно, оптимальнее будет получить вторую сегментацию путем, например, улучшения параметра средства сегментации, чем, например, только за счет изменения последовательности взаимодействий пользователя. По существу геометрическая сложность объекта может быть выражена как затраты времени, требуемые для получения сегментации объекта. Например, чтобы точно сегментировать кругообразную структуру с четко выраженной границей, например, кисту в двумерной маммографии, для получения требуемой сегментации может оказаться достаточно настройки параметра. Однако при сегментировании образования со спикулами в двумерной маммографии возможно существование областей, которые можно сегментировать с использованием средства рисования с кистью большого диаметра, тогда как для сегментирования остальных областей может потребоваться очень мелкая кисть, и, следовательно, уйдет больше времени.

В конкретном варианте изобретения метрика времени является функцией от особенностей изображения. Учет особенностей изображения, например, краев, интенсивности изображения, текстуры изображения и т. д., в дополнение к характеристикам формы объекта может позволить оптимальнее выбирать оптимизированный набор взаимодействий пользователя. Например, если положение представляющей интерес области, скажем, распределено по нескольким срезам изображения, то изменение последовательности взаимодействий пользователя может влиять на необходимое пользователю время в большей степени, чем, например, изменение параметра средства сегментации.

В конкретном варианте изобретения набор инструкций при их исполнении процессором, побуждает процессор указывать пользователю оптимизированный набор взаимодействий пользователя путем формирования видеоизображения, визуально указывающего оптимизированный набор взаимодействий пользователя. Преимущество состоит в том, что благодаря визуальному указанию оптимизированного набора взаимодействий пользователя с использованием видеоизображения пользователь может получать подсказку эффективнее, чем с помощью известных способов, например, как в US 2015/0155010 A1, причем более удобным для пользователя и более всесторонним образом. Следует отметить, что, в конкретном варианте изобретения видеоизображение может быть сформировано таким образом, чтобы пользователь был представлен оптимизированным набором взаимодействий пользователя, применяемых к исходному изображению, которые были использованы пользователем для получения первой сегментации.

Другой особенностью настоящего изобретения является предложение реализуемого на компьютере способа сегментирования объекта на изображении, включающего:

- установление на устройстве отображения графического интерфейса сегментации, который содержит набор средств сегментации, позволяющих пользователю получать первую сегментацию объекта на изображении, при этом первая сегментация представлена данными сегментации;

- прием данных взаимодействия от пользовательского устройства, выполненного с возможностью управления пользователем, при этом данные взаимодействия дают представление о наборе взаимодействий пользователя с графическим интерфейсом сегментации, посредством которых была получена первая сегментация объекта;

- анализ данных сегментации и данных взаимодействия для определения оптимизированного набора взаимодействий пользователя, которые при их исполнении пользователем с использованием графического интерфейса сегментации, дают вторую сегментацию, аналогичную первой сегментации, при этом оптимизированный набор взаимодействий пользователя определяют путем:

i) формирования множества потенциально пригодных наборов взаимодействий пользователя, которые дают сегментации, подобные первой сегментации,

ii) оценки времени, необходимого для выполнения соответствующего одного из потенциально пригодных наборов взаимодействий пользователя с использованием графического интерфейса сегментации, на основе метрики времени, причем метрика времени является функцией от по меньшей мере количества взаимодействий пользователя в соответствующем потенциально пригодном наборе, и

iii) выбора одного из множества потенциально пригодных наборов взаимодействий пользователя в качестве оптимизированного набора взаимодействий пользователя на основе самого низкого времени, полученного в результате упомянутой оценки; и

- формирование оптимизированных данных взаимодействия, представляющих оптимизированный набор взаимодействий пользователя, для обеспечения возможности указания пользователю оптимизированного набора взаимодействий пользователя.

Еще одной особенностью настоящего изобретения является предложение рабочей станции и устройства визуализации, содержащих систему, описанную выше.

Другая особенность настоящего изобретения состоит в предложении компьютерного программного продукта, содержащего инструкции для побуждения процессорной системы к выполнению способа.

Специалистам в данной области техники понятно, что два или более вариантов осуществления, реализаций и/или особенностей настоящего изобретения могут быть скомбинированы любым образом, который полагается полезным.

Модификации и изменения устройства визуализации, рабочей станции, способа и/или компьютерного программного продукта, которые соответствуют описанным модификациям или вариантам системы, могут быть выполнены специалистом в данной области техники на основе настоящего описания.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие особенности настоящего изобретения очевидны из вариантов реализации, описанных здесь, и будут пояснены со ссылкой на данные варианты реализации. Содержание чертежей:

на Фиг. 1 представлена система анализа данных сегментации для обеспечения возможности указания пользователю оптимизированного набора взаимодействий пользователя;

на Фиг. 2a представлены рентгеновское изображение грудной клетки и крупным планом область для сегментации легочного поля;

на Фиг. 2b представлена Фиг. 2a крупным планом;

на Фиг. 2c представлена первая сегментация легочного поля, показанного на Фиг. 2b;

на Фиг. 3 представлен пример графического интерфейса сегментации, содержащего набор средств сегментации, которые могут быть использованы пользователем для получения сегментации, такой как первая сегментация на Фиг. 2c;

на Фиг. 4a–f представлены промежуточные результаты набора взаимодействий пользователя с показанным на Фиг. 3 графическим интерфейсом сегментирования для получения первой сегментации, показанной на Фиг. 2c;

на Фиг. 5a–d представлены результаты оптимизированного набора взаимодействий пользователя для получения второй сегментации, подобной первой сегментации, показанной на Фиг. 2c;

на Фиг. 6a–e представлено схематически адаптивное распространение контура для контуров сегментации в стопке срезов изображения для получения сегментации объекта;

на Фиг. 7a представлено трехмерное изображение печени, содержащее первую трехмерную сегментацию печени, которая получена системой;

на Фиг. 7b представлен срез изображения в поперечной плоскости до получения первой сегментации печени;

на Фиг. 7c представлен срез изображения в поперечной плоскости в котором указано сечение первой сегментации печени;

на Фиг. 8a–c представлены три среза изображения, показывающие три сечения сегментации первой сегментации печени в трех параллельных поперечных плоскостях;

на Фиг. 9a приведены начальные контуры в срезе изображения печени до применения адаптивного распространения контура к срезу изображения;

на Фиг. 9b приведен результат применения адаптивного распространения контура к срезу изображения, показанному на Фиг. 9a;

на Фиг. 9c приведен другой набор начальных контуров до применения адаптивного распространения контура к срезу изображения;

на Фиг. 9d приведен результат применения адаптивного распространения контура к срезу изображения, показанному на Фиг. 9c;

на Фиг. 10 представлен способ анализа данных сегментации для обеспечения возможности указания пользователю оптимизированного набора взаимодействий пользователя; и

на Фиг. 11 приведено схематическое представление компьютерного программного продукта, содержащего инструкции для побуждения процессорной системы к выполнению способа.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

На Фиг. 1 представлена система 100 анализа данных сегментации для обеспечения возможности указания пользователю оптимизированного набора взаимодействий пользователя. Система 100 может содержать входной интерфейс 120 для получения доступа к данным изображения. В примере на Фиг. 1 показано, что входной интерфейс 120 соединен с внешним репозиторием 020 изображений, который содержит данные изображения. Например, репозиторий 020 изображений может представлять собою или являться частью системы архивации и передачи изображений (PACS) больничной информационной системы (HIS), к которой может быть подключена, или в которую может входить система 100. Соответственно, система 100 может получать доступ к данным изображения посредством HIS. В альтернативном варианте данные изображения могут быть доступны из внутреннего хранилища данных системы 100. Вообще, входной интерфейс 120 может быть выполнен в различных формах, таких как сетевой интерфейс с локальной или глобальной вычислительной сетью, такой как Интернет, интерфейс хранилища с внутренним или внешним хранилищем данных и т. д. Следует отменить, что данные 072 взаимодействия могут быть получены из внешней базы 040 данных; однако это не является реализацией настоящего изобретения. В примере на Фиг. 1 показано, что система 100 дополнительно содержит подсистему 160 пользовательского интерфейса, которая может быть выполнена с возможностью получения данных 072 взаимодействия из пользовательского устройства 070, выполненного с возможностью управления пользователем. Следует отметить, что пользовательское устройство 070 может принимать различные формы, включая, в частности, компьютерную мышь 070, сенсорный экран, клавиатуру и т. д. Подсистема 160 пользовательского интерфейса может устанавливать/обеспечивать графический интерфейс сегментации, например, на основе данных графического интерфейса, которые могут храниться в памяти (не показана), выполненной с возможностью доступа к ней подсистемы пользовательского интерфейса. Подсистема 160 пользовательского интерфейса может содержать пользовательский входной интерфейс 170, тип которого может соответствовать типу пользовательского устройства 070, т. е. она может быть к тому же соответствующей интерфейсу пользовательского устройства. Как показано, подсистема 160 пользовательского интерфейса дополнительно содержит выход 180 устройства отображения для предоставления данных 082 отображения в устройство 080 отображения. Например, данные отображения могут содержать оптимизированные данные 142 взаимодействия, сформированные процессором 140 системы 100 для обеспечения возможности указания пользователю оптимизированного набора взаимодействий пользователя.

Процессор 140 может быть выполнен с возможностью посредством данных инструкции, представляющих инструкции, анализа данных сегментации и данных 072 взаимодействия для определения оптимизированного набора взаимодействий пользователя, которые при их исполнении пользователем с использованием графического интерфейса сегментации, дают вторую сегментацию, подобную первой сегментации. Хотя это не показано в явном виде на Фиг. 1, данные инструкции могут храниться в памяти системы, которая выполнена с возможность доступа к ней процессора. Процессор 140 дополнительно выполнен с возможностью формирования оптимизированных данных 142 взаимодействия, представляющих оптимизированный набор взаимодействий пользователя, для обеспечения возможности указания пользователю оптимизированного набора взаимодействий пользователя. С этой целью процессор 140, показанный в примере на Фиг. 1, принимает данные сегментации и данные 042 взаимодействия и выводит оптимизированные данные 142 взаимодействия. Следует отменить, что данные сегментации не показаны в явном виде на Фиг. 1, так как это могут быть внутренние данные, формируемые процессором. В альтернативном варианте данные сегментации могут храниться в какой либо или упомянутой памяти.

Процессор 140 может быть выполнен с возможностью формирования множества потенциально пригодных наборов взаимодействий пользователя, которые дают сегментации, подобные первой сегментации. Процессор 140 может быть дополнительно выполнен с возможностью выбора одного из множества потенциально пригодных наборов взаимодействий пользователя в качестве оптимизированного набора взаимодействий пользователя на основе самой низкой сложности, полученной в результате упомянутой оценки. Авторы изобретения признали, что пользователь может быть эффективным в получении требуемой первой сегментации за счет использования оптимизированного набора взаимодействий пользователя. Поскольку оптимизированный набор взаимодействий пользователя может быть определен на основе получения второй сегментации, подобной первой сегментации, которая уже сформирована пользователем с использованием определенных средств сегментации, этот оптимизированный набор взаимодействий пользователя может иметь непосредственное отношение к тому, что является целью пользователя.

Процессор 140 может быть выполнен с возможностью изменения параметра средства сегментации таким образом, чтобы сформировать другие потенциально пригодные наборы взаимодействий пользователя. Потенциально пригодные наборы взаимодействий пользователя могут быть сформированы на основе изменения параметра, относящегося к взаимодействию, или на основе изменения порядка взаимодействий. Потенциально пригодные наборы могут быть сформированы с использованием известных способов оптимизации, в которых критерии оптимизации могут рассматриваться как функция стоимости, а, например, порядок взаимодействий, параметры средств сегментации и т. д. могут рассматриваться как параметр оптимизации.

Процессор 140 может быть дополнительно выполнен с возможностью изменения последовательности взаимодействия пользователя таким образом, чтобы сформировать другие потенциально пригодные наборы взаимодействий пользователя. Например, при работе с несколькими срезами изображения последовательность переключения между различными срезами изображения может быть оптимизирована таким образом, чтобы быстрее получить вторую сегментацию.

Следует отметить, что процессор 140 может быть дополнительно выполнен с возможностью формирования множества потенциально пригодных множеств взаимодействий пользователя с использованием по меньшей мере одного неиспользованного средства сегментации, которое не было использовано пользователем для получения первой сегментации. Например, пользователь мог не знать о существовании соответствующего средства сегментации в графическом интерфейсе сегментации. Процессор 140 может определять уместность неиспользованного средства сегментации для получения второй сегментации, основывая это решение, например, на геометрии объекта, подлежащего сегментированию, или на интенсивности изображения и т. д.

Процессор 140 может быть дополнительно выполнен с возможностью оценки времени, необходимого для выполнения соответствующего одного из потенциально пригодных наборов взаимодействий пользователя с использованием графического интерфейса сегментации, на основе некоторой метрики времени, причем метрика времени является функцией от по меньшей мере количества взаимодействий пользователя в соответствующем потенциально пригодном наборе. Оптимизированный набор взаимодействий пользователя может быть выбран с использованием известных способов оптимизации, в которых время взаимодействий пользователя для получения второй сегментации может рассматриваться как функция стоимости, а, например, количество требуемых взаимодействий пользователя для получения второй сегментации может рассматриваться как параметр оптимизации.

Метрика времени может быть формулой или правилом либо математическим выражением подобного типа, которое содержит по меньшей мере один параметр, дающий представление о действии, выбираемом из списка: выбор действий пользователя, переключение между различными средствами сегментации, переключение между различными срезами изображения, действие масштабирования и действие панорамирования. Метрика времени может быть представлена данными, хранящимися в памяти, выполненной с возможностью доступа к ней процессором. Такая метрика времени может быть построена иерархически, но при этом формироваться автоматически, например, с использованием машинного обучения, известного как такового. Метрика времени может быть дополнительной функцией от типа взаимодействий пользователя в соответствующем потенциально пригодном наборе в том смысле, что она может быть функцией одновременно от количества и типа взаимодействий пользователя в соответствующем потенциально пригодном наборе. Другими словами, «дополнительная функция» означает, что помимо того, что она является функцией от количества взаимодействий пользователя, она также является функцией от данного дополнительного свойства или количества. Например, метрика времени может содержать один или более параметров, которые дают представление об этом дополнительном свойстве или количестве.

Следует отменить, что метрика времени может также быть дополнительной функцией от геометрической сложности объекта. Процессор 140 может быть выполнен с возможностью расчета геометрической сложности объекта. Способы расчета геометрической сложности объекта известны в чистом виде. Например, для расчета геометрической сложности объекта могут быть использованы отношение длины наружного контура к площади двумерного изображения или отношение поверхности к объему трехмерного изображения. В другом примере для расчета геометрической сложности объекта может быть сформирована статистика на основе производной от длины наружного контура или площади. Еще в одном примере могут быть использованы способы скелетирования для расчета скелета объекта, а на основе скелета может быть рассчитана сложность объекта.

Следует отметить, что данные сегментации могут дополнительно представлять положение представляющей интерес области на изображении, а метрика времени является дополнительной функцией положения представляющей интерес области.

Также следует отметить, что процессор 140 может быть выполнен с возможностью указания пользователю оптимизированного набора взаимодействий пользователя путем формирования видеоизображения, визуально указывающего оптимизированный набор взаимодействий пользователя.

Следует отметить, что различные операции системы 100, включая их различные дополнительные аспекты, будут объяснены подробнее со ссылкой на Фиг. 2a-9e.

Следует отметить, что система 100 может быть реализована в виде, или в составе, одного устройства или аппарата, такого как рабочая станция или устройство визуализации. Устройство или аппарат может содержать один или более микропроцессоров, которые исполняют соответствующее программное обеспечение. Программное обеспечение может быть загружено и/или храниться в соответствующей памяти, например, в энергозависимом запоминающем устройстве, таком как оперативное запоминающее устройство (ОЗУ), или в энергонезависимом запоминающем устройстве, таком как флэш-память. В альтернативном варианте функциональные блоки системы могут быть реализованы в устройстве или аппарате в виде логики, выполненной с возможностью программирования, например, программируемая пользователем вентильная матрица, ППВМ (FPGA). Вообще, каждый функциональный блок системы может быть реализован в виде схемы. Следует отметить, что система 100 также может быть реализована в распределенном виде, например, включающем в себя различные устройства или аппараты. Например, распределение может быть выполнено в соответствии с моделью клиент-сервер.

На Фиг. 2a представлены рентгеновское изображение 200 грудной клетки и крупным планом 210 область для сегментации легочного поля. На Фиг. 2b представлена Фиг. 2a крупным планом 210. На Фиг. 2c представлена первая сегментация 220 легочного поля, показанного на Фиг. 2b. Пользователь может получить первую сегментацию 220 с использованием различных ручных или полуручных методов сегментации, например, пороговым способом, кластеризацией, наращиванием областей или сегментацией на основе модели. В одном примере пользователь может выполнять сегментацию, выделяя вручную легочное поле с использованием, например, средства «карандаш» (не показано).

Следует отметить, что хотя эти примеры относятся к рентгенографии грудной клетки, понятно, что это неограничивающий пример, и что изобретение, описанное в формуле изобретения, в равной степени применимо к другим типам изображений и рентгенограмм.

На Фиг. 3 представлен пример графического интерфейса 300 сегментации, содержащего значки, представляющие набор средств 310 сегментации, которые могут быть использованы пользователем для получения сегментации, такой как первая сегментация 220 на Фиг. 2c. Графический интерфейс 300 сегментации может дополнительно содержать значок 320 обучения, позволяющий пользователю визуально наблюдать, например, на видеоизображении, оптимизированный набор взаимодействий пользователя, который может быть сформирован процессором 140, показанным на Фиг. 1. Например, щелчок значка 320 обучения может привести к просмотру видеоизображения пользователем.

На Фиг. 4a–f представлены промежуточные результаты 400 набора взаимодействий пользователя с показанным на Фиг. 3 графическим интерфейсом 300 сегментирования для получения первой сегментации 220, показанной на Фиг. 2c. В этом примере пользователь, возможно, выбрал неоптимизированный параметр средства сегментации, а именно, средство «карандаш» с маленькой шириной штриха, для выделения представляющей интерес области на изображении. По существу пользователю, возможно, пришлось выполнить несколько времязатратных шагов для постепенного окрашивания, т. е. выделения, различных областей 415, 425, 435, 445, 455 изображения, чтобы получить первую сегментацию 220, показанную на Фиг. 2c. Следует отметить, что первая сегментация, приведенная на Фиг. 2c, не показана на Фиг. 4a–f , и представлены лишь некоторые из промежуточных шагов.

На Фиг. 5a–d представлены результаты 500 оптимизированного набора взаимодействий пользователя для получения второй сегментации 505, подобной первой сегментации 220, показанной на Фиг. 2c. В этом примере, который упрощен в целях пояснения, пользователь, возможно, не знал, что ширина штриха средства 517 «карандаш» может быть регулируемой. Система 100, показанная на Фиг. 1, может оптимизировать ширину штриха средства 517 «карандаш». В такой оптимизации система 100 может, например, учесть геометрическую сложность легочного поля. Изображение 500 может быть проанализировано для определения, например, скелета 507 на основе расстояний от скелета до края легочного поля на изображении 500. Для определения такого скелета могут быть использованы способы скелетирования объекта, известные в данной области техники в чистом виде. Когда, например, используется способ скелетирования, расстояние, т. е. кратчайший путь, между каждой точкой края легочного поля и скелетом известно. На основе вариаций расстояний изображение может быть разделено на ряд областей. Например, когда вариация расстояний смежных точек на крае меньше заданного порога, эти точки на крае могут рассматриваться как принадлежащие одной и той же группе в целях определения области. Когда вариация расстояния превышает порог, на изображении может быть определена другая область. В неограничивающем примере на Фиг. 5 показано, что на основе трех разных расстояний 508, 509, 510 определены три области 515, 525, 535. Система 100 может изменять ширину штриха средства 517 «карандаш» в одной или более заданных областях 515, 525, 535 изображения таким образом, чтобы формировать множество потенциально пригодных наборов взаимодействий пользователя, которые приведут к получению сегментаций, подобных первой сегментации 220, показанной на Фиг. 2. Система 100 может впоследствии оценить время, необходимое пользователю для выполнения соответствующего одного из множества потенциально пригодных множеств взаимодействий пользователя, на основе количества взаимодействий пользователя, например, количества выборов различной ширины штриха в соответствующем потенциально пригодном наборе. Система 100 может после этого выбрать одно из множества потенциально пригодных наборов взаимодействий пользователя в качестве оптимизированного набора взаимодействий пользователя на основе самой низкой сложности, полученной в результате упомянутой оценки. В примере на Фиг. 5a–d оптимизированный набор взаимодействий пользователя может содержать три различные ширины 517, 527, 537 штриха средства «карандаш» для частичного сегментирования на рисунке трех различных областей 515, 525, 535, соответственно. Например, ширина штриха карандаша может последовательно уменьшаться на основе расстояния до скелета 507 от края легочного поля. А именно, для области 515 с большим расстоянием 508 скелета 507 от края легочного поля может быть выбрана большая ширина 517 штриха по сравнению с областями 525 и 535 с меньшим расстоянием 509, 510 скелета 507 от края легочного поля.

На Фиг. 6a–e представлено схематически адаптивное распространение контура для контуров 616, 625, 635 сегментации в стопке 600 срезов изображения для получения сегментации объекта 617. Следует отметить, что способ адаптивного распространения контура можно использовать для того, чтобы сделать возможной полуавтоматическую сегментацию для получения первой сегментации трехмерного объекта на изображении, содержащем стопку срезов изображения. Способы адаптивного распространения контура известны в данной области техники в чистом виде. В способе адаптивного распространения контура контуры сегментации могут быть распространены на примыкающие срезы таким образом, чтобы получить сегментацию объекта в срезах изображения. В примере на Фиг. 6a–e стопка 600 изображений может содержать по меньшей мере два среза 610, 620 изображения. Для сегментации могут быть использованы интерактивные ножницы. При адаптивном рисовании контура с использованием, например, компьютерной мыши, он может придерживаться краев 607 объекта возле траектории 605, проведенной пользователем. По существу контур 607 может быть получен на основе рисунка 605 контура, сделанного пользователем, для формирования полного контура 615. Следует отметить, что эта траектория может также автоматически формироваться системой. Способ адаптивного распространения контура может позволить распространить контуры 615, 625, 635 на соседние срезы для сегментации стопки 600 изображений. Следует отметить, что в способе адаптивного распространения контура контур сегментации может быть скопирован на соседние срезы, а часть адаптивной подгонки по краю может быть выполнена автоматически, что может позволить притянуть контур сегментации к контурам изображения на основе функции внешней энергии. Функция внутренней энергии может ограничивать деформацию, препятствуя притягиванию к, возможно, более высоким градиентам изображения, не принадлежащим этому самому объекту. Внутреннее и внешнее слагаемые энергии могут управлять адаптируемостью контура в смежных срезах. Общая энергия может быть рассчитана как сумма внешней энергии и внутренней энергии, умноженной на коэффициент. Коэффициент может использоваться для уравновешивания двух слагаемых энергии. Внутреннее слагаемое энергии может быть спланировано таким образом, чтобы оно штрафовало отклонения от начального контура. Внешнее слагаемое энергии может представлять подобие контура изображению или особенностям изображения, таким как края изображения. По существу внешнее слагаемое энергии может пытаться сохранить исходный контур, тогда как внутреннее слагаемое энергии может пытаться приблизить к краям изображения. Слагаемые энергии могут быть уравновешены во избежание форм, не схожих с исходным контуром.

На Фиг. 7a представлено трехмерное изображение 700 печени, содержащее первую трехмерную сегментацию 710 печени, которая получена процессором. Первая сегментация 710 может быть получена, например, с использованием средства «интерактивные ножницы» для двухсрезовой сегментации. На Фиг. 7b представлен срез 720 изображения в поперечной плоскости до получения первой сегментации 710 печени. На Фиг. 7c представлен срез 720 изображения в поперечной плоскости, в котором указано сечение 715 первой сегментации 710 печени.

На Фиг. 8a–c представлены три среза 800, 810, 820 изображения, показывающие три сечения 805, 815, 825 сегментации первой сегментации 710 печени, показанной на Фиг. 710 в трех параллельных поперечных плоскостях. Следует отметить, что пользователь может просматривать срезы изображения с использованием средства навигации для сегментации графического интерфейса 300 сегментации, показанного на Фиг. 3, которое может дать пользователю возможность перемещаться по объекту в различных плоскостях и направлениях.

На Фиг. 9a приведены начальные контуры 915 в срезе 900 изображения печени до применения адаптивного распространения контура к срезу 900 изображения. На Фиг. 9b приведен результат применения адаптивного распространения контура к срезу 900 изображения, показанному на Фиг. 9a. Система и способ, описанные в формуле изобретения, могут формировать потенциально пригодные наборы путем замены набора начальных контуров 915. Например, на Фиг. 9c приведен другой набор начальных контуров 925 до применения адаптивного распространения контура к срезу 900 изображения. На Фиг. 9d приведен результат применения адаптивного распространения контура к срезу 900 изображения, показанному на Фиг. 9c. Разница между Фиг. 9b и Фиг. 9d может указывать по существу разницу между результатами двух разных наборов начальных контуров в двух разных потенциально пригодных наборах. Заявленные система и способ могут, например, определять оптимальный набор начальных контуров в зависимости от того, на каком из них получение требуемого контура займет меньше времени.

На Фиг. 10 показан реализуемый на компьютере способ 1000 сегментации объекта на изображении. Следует отметить, что способ 1000 может, но не обязан, соответствовать работе системы 100, которая описана со ссылкой на Фиг. 1. Способ 1000 включает операцию под названием «УСТАНОВЛЕНИЕ ГРАФИЧЕСКОГО ИНТЕРФЕЙСА СЕГМЕНТАЦИИ», устанавливающую на устройстве отображения графический интерфейс сегментации, который содержит набор средств сегментации, позволяющих пользователю получать первую сегментацию объекта на изображении, при этом первая сегментация представлена данными сегментации. Способ 1000 включает операцию под названием «ПРИЕМ ДАННЫХ ВЗАИМОДЕЙСТВИЯ», получающую 1010 данные взаимодействия из пользовательского устройства, выполненного с возможностью управления пользователем, при этом данные взаимодействия дают представление о наборе взаимодействий пользователя с графическим интерфейсом сегментации, посредством которых была получена первая сегментация объекта. Способ 1000 дополнительно включает анализ данных сегментации и данных взаимодействия для определения оптимизированного набора взаимодействий пользователя, которые при их исполнении пользователем с использованием графического интерфейса сегментации, дают вторую сегментацию, подобную первой сегментации. Это может включать формирование 1020 с использованием операции под названием «ФОРМИРОВАНИЕ ПОТЕНЦИАЛЬНО ПРИГОДНЫХ НАБОРОВ» множества потенциально пригодных наборов взаимодействий пользователя, которые получают сегментации, подобные первой сегментации, оценку 1030 с использованием операции под названием «ОЦЕНКА ВРЕМЕНИ» времени, необходимого пользователю для выполнения соответствующего одного из множества потенциально пригодных наборов взаимодействий пользователя с использованием графического интерфейса сегментации, на основе метрики времени, причем метрика времени является функцией от по меньшей мере количества взаимодействий пользователя в соответствующем потенциально пригодном наборе, выбор 1040 с использованием операции под названием «ВЫБОР ПОТЕНЦИАЛЬНОГО ПРИГОДНОГО НАБОРА» одного из множества потенциально пригодных наборов взаимодействий пользователя на основе самого низкого времени, полученного в результате упомянутой оценки, и формирование 1050 с использованием операции под названием «ФОРМИРОВАНИЕ ОПТИМИЗИРОВАННЫХ ДАННЫХ ВЗАИМОДЕЙСТВИЯ» оптимизированных данных взаимодействия, представляющих оптимизированный набор взаимодействий пользователя, для получения возможности указания пользователю оптимизированного набора взаимодействий пользователя посредством устройства отображения.

Понятно, что вышеупомянутые операции могут быть выполнены в любом подходящем порядке, например последовательно, одновременно или в сочетании того и другого в зависимости, где уместно, от необходимости конкретного порядка выполнения, например, из-за отношений ввода/вывода.

Способ 1000 может быть реализован на компьютере в виде реализуемого на компьютере способа, в виде специализированного оборудования или в виде их сочетания. Как также показано на Фиг. 11, инструкции для компьютера, например исполнимый код, могут храниться на компьютерочитаемом носителе 1100, например, в виде последовательности 1200 машиночитаемых физических меток и/или последовательности элементов, обладающих разными электрическими, например, магнитными, или оптическим свойствами или значениями. Исполнимый код может храниться с использованием или без использования физического носителя данных. В число примеров машиночитаемых носителей входят запоминающие устройства, оптические запоминающие устройства, интегральные схемы, серверы, интерактивное программное обеспечение и т. д. На Фиг. 11 показан оптический диск 1100.

Понятно, что в соответствии с рефератом настоящей заявки, система и реализуемый на компьютере способ предлагаются для сегментации объекта на медицинском изображении с использованием графического интерфейса сегментации. Графический интерфейс сегментации может содержать набор средств сегментации для предоставления пользователю возможности получения первой сегментации объекта на изображении. Первая сегментация может быть представлена данными сегментации. Могут быть получены данные взаимодействия, которые дают представление о наборе взаимодействий пользователя с графическим интерфейсом сегментации, посредством которых была получена первая сегментация объекта. Система может содержать процессор, выполненный с возможностью анализа данных сегментации и данных взаимодействия для определения оптимизированного набора взаимодействий пользователя, который при их исполнении пользователем дает вторую сегментацию, подобную первой сегментации, даже более быстрым и удобным образом. Может быть сформировано видеоизображение для обучения пользователя путем указания пользователю оптимизированного набора взаимодействий пользователя.

Следует отметить, что в соответствии с вышесказанным, обработка медицинского изображения все же включает в себя существенный объем взаимодействия пользователя в ручном режиме, например, для разграничения подверженных риску органов для обработки лучевой терапией, планирования или коррекции автоматизированных масок изображения, формируемых с использованием автоматических алгоритмов сегментации. Часто конечный результат может быть достигнут с использованием различных средств сегментации с переменными параметрами. Благодаря регистрации состояния маски изображения до и после взаимодействия, можно быстрее и проще рассчитать набор взаимодействий, включающий в себя новые мощные методы взаимодействия, которые достигают аналогичных результатов. Результат может быть представлен пользователю для обучения, например, путем отображения автоматически формируемого краткого обучающего видеоизображения. Более того, способ можно расширить, чтобы включить в него основополагающие свойства видеоизображения в местах, где происходит взаимодействие. Например, вполне возможно, чтобы контур формы перемещался из однородной области изображения к краю изображения. Эта информация может быть собрана из нескольких интерактивных сеансов на различных изображениях и может быть использована вместе с анатомическими моделями или знаниями других специалистов для предсказания полезных последовательностей взаимодействия для будущих изображений.

Примеры, варианты реализации или дополнительные признаки, указаны ли они как неограничивающие, или нет, не следует понимать как ограничивающие изобретение, описанное в формуле изобретения.

Понятно, что изобретение также распространяется на компьютерные программы, в частности, на компьютерные программы на или в носителе, приспособленном для воплощения изобретения на практике. Программа может быть в виде исходного кода, объектного кода, промежуточного источника кода и объектного кода, например, в частично компилированном виде или любом ином виде, пригодном для использования в реализации способа согласно настоящему изобретению. Понятно также, что такая программа может иметь множество различных структур на архитектурном уровне Например, программный код, реализующий функциональные возможности способа или системы в соответствии с настоящим изобретением, может быть подразделен на одну или несколько подпрограмма. Специалистам в данной области техники понятны множество различных способов распределения функциональных возможностей между этими подпрограммами. Подпрограммы могут быть сохранены вместе в одном исполняемом файле с образованием независимой программы. Такой исполняемый файл может содержать инструкции, которые могут быть выполнены компьютером, например, инструкции процессору и/или инструкции интерпретатору (например, инструкции интерпретатору Java). В альтернативном варианте одна или более либо все подпрограммы могут храниться в по меньшей мере одной внешней библиотеке файлов и связываться с основной программой статически или динамически, например во время исполнения. Основная программа содержит по меньшей мере одно обращение к по меньшей мере одной из подпрограмм. Подпрограммы могут также содержать обращения к функциям друг друга. Вариант реализации, относящийся к компьютерному программному продукту, содержит выполненные с возможность исполнения инструкции, соответствующие каждой стадии обработки по меньшей мере одного из способов, изложенных в настоящем описании. Эти инструкции могут подразделяться на подпрограммы и/или храниться в одном или более файлов, которые могут быть связаны статически или динамически. Другой вариант реализации, относящийся к компьютерному программному продукту, содержит выполненные с возможность исполнения инструкции, соответствующие каждому средству по меньшей мере одной из систем и/или продуктов, изложенных в настоящем описании. Эти инструкции могут подразделяться на подпрограммы и/или храниться в одном или более файлов, которые могут быть связаны статически или динамически.

Носитель компьютерной программы может быть любым объектом или устройством, выполненным с возможностью содержания программы. Например, носитель может включать в себя хранилище данных, такое как постоянное запоминающее устройство (ПЗУ), например, ПЗУ на компакт-диске (CD ROM) или полупроводниковое ПЗУ, носитель магнитной записи, например, накопитель на жестком диске. Кроме того, носитель может быть носителем, выполненным с возможностью передачи, таким как электрический или оптический сигнал, который может быть передан по электрическому или оптическому кабелю, или по радио, или другими средствами. Когда программа реализована в виде такого сигнала, носитель может быть выполнен в виде такого кабеля, или другого устройства или средств. В альтернативном варианте носитель может быть интегральной схемой, в которой реализована программа, причем эта интегральная схема адаптируется для выполнения или использования при выполнении соответствующего способа.

Следует отметить, что вышеупомянутые варианты реализации иллюстрируют, а не ограничивают, настоящее изобретение, и что специалисты в данной области техники в состоянии разработать множество альтернативных вариантов реализации, не выходящих за пределы объема прилагаемой формулы изобретения. В пунктах формулы любые ссылочные позиции, заключенные в скобки, не должны толковаться как ограничивающие этот пункт. Использование глагола «содержит/включает в себя» и его спряжений не исключает наличия других элементов или стадий, кроме указанных в пункте формулы изобретения. Грамматические средства выражения числа, используемые с элементом, не исключает наличия множества таких элементов. Настоящее изобретение может быть реализовано посредством оборудования, содержащего несколько различных элементов, и посредством соответствующим образом запрограммированного компьютера. В описывающем устройство пункте, перечисляющем несколько средств, некоторые из этих средств могут быть реализованы одним и тем же элементом оборудования. Сам факт того, что определенные меры изложены во взаимно отличающихся различных пунктах формулы, не означает того, комбинация этих мер не может быть использована эффективно.

Изобретение относится к системам сегментации объекта на изображении. Технический результат заключается в обеспечения возможности получения точной сегментации объекта на изображении. Графический интерфейс сегментации может содержать набор средств сегментации для предоставления пользователю возможности получения первой сегментации объекта на изображении. Первая сегментация может быть представлена данными сегментации. Могут быть получены данные взаимодействия, которые дают представление о наборе взаимодействий пользователя с графическим интерфейсом сегментации, посредством которых была получена первая сегментация объекта. Система может содержать процессор, выполненный с возможностью анализа данных сегментации и данных взаимодействия для определения оптимизированного набора взаимодействий пользователя, который при их исполнении пользователем получает вторую сегментацию, подобную первой сегментации, более быстрым образом. 5 н. и 8 з.п. ф-лы, 32 ил.

1. Система (100) для сегментирования объекта на изображении, содержащая:

- подсистему (160) пользовательского интерфейса, содержащую:

i) выход (180) устройства отображения для установления на устройстве (080) отображения графического интерфейса (300) сегментации, который содержит набор средств (310) сегментации, позволяющих пользователю получать первую сегментацию объекта на изображении, при этом первая сегментация представлена данными сегментации;

ii) пользовательский входной интерфейс (170), выполненный с возможностью приема данных (072) взаимодействия от пользовательского устройства (070), выполненного с возможностью управления пользователем, при этом данные взаимодействия дают представление о наборе взаимодействий пользователя с графическим интерфейсом сегментации, посредством которых была получена первая сегментация объекта;

- память, содержащую данные инструкций, представляющие набор инструкций;

- процессор (140), выполненный с возможностью обмена данными с пользовательским входным интерфейсом и памятью и с возможностью исполнения набора инструкций, причем набор инструкций при их исполнении процессором побуждают процессор:

i) анализировать данные сегментации и данные взаимодействия для определения оптимизированного набора взаимодействий пользователя, которые при их исполнении пользователем с использованием графического интерфейса сегментации дают вторую сегментацию, аналогичную первой сегментации, при этом оптимизированный набор взаимодействий пользователя определен путем:

j) формирования множества потенциально пригодных наборов взаимодействий пользователя, которые дают сегментации, подобные первой сегментации,

jj) оценки времени, необходимого пользователю для выполнения соответствующего одного из множества потенциально пригодных наборов взаимодействий пользователя с использованием графического интерфейса сегментации, на основе метрики времени, причем метрика времени является функцией от по меньшей мере количества взаимодействий пользователя в соответствующем потенциально пригодном наборе, и

jjj) выбора одного из множества потенциально пригодных наборов взаимодействий пользователя в качестве оптимизированного набора взаимодействий пользователя на основе самого низкого времени, полученного в результате упомянутой оценки; и

ii) формировать оптимизированные данные (142) взаимодействия, представляющие оптимизированный набор взаимодействий пользователя, для обеспечения возможности указания пользователю оптимизированного набора взаимодействий пользователя посредством устройства отображения.

2. Система (100) по п. 1, в которой набор взаимодействий пользователя включает в себя взаимодействие пользователя, представляющее пользователя, использующего средство сегментации, и в которой набор инструкций при их исполнении процессором (140), побуждают процессор изменять параметр средства сегментации таким образом, чтобы формировать другие потенциально пригодные наборы взаимодействий пользователя.

3. Система (100) по п. 1, в которой набор взаимодействий пользователя включает в себя последовательность взаимодействий пользователя и в которой набор инструкций при их исполнении процессором (140) побуждают процессор изменять последовательность взаимодействий пользователя таким образом, чтобы формировать другие потенциально пригодные наборы взаимодействий пользователя.

4. Система (100) по п. 1, в которой графический интерфейс (300) сегментации содержит по меньшей мере одно неиспользованное средство сегментации, которое не использовано пользователем для получения первой сегментации,

причем множество потенциально пригодных наборов взаимодействий пользователя сформировано с использованием по меньшей мере одного неиспользованного средства сегментации.

5. Система (100) по п. 1, в которой метрика времени содержит по меньшей мере один параметр, который дает представление о действии, выбираемом из следующего списка: выбор действий пользователя, переключение между различными средствами сегментации, переключение между различными срезами изображения, действие масштабирования и действие панорамирования.

6. Система (100) по п. 1, в которой метрика времени является функцией от типа взаимодействий пользователя в соответствующем потенциально пригодном наборе.

7. Система (100) по п. 1, в которой набор инструкций при их исполнении процессором (140) побуждают процессор рассчитывать геометрическую сложность объекта и в котором метрика времени является функцией от геометрической сложности объекта.

8. Система (100) по п. 1, в которой метрика времени является функцией от особенности изображения.

9. Система (100) по п. 1, в которой набор инструкций при их исполнении процессором (140) побуждают процессор указывать пользователю оптимизированный набор взаимодействий пользователя путем формирования видеоизображения, визуально указывающего оптимизированный набор взаимодействий пользователя.

10. Рабочая станция для сегментирования объекта на изображении, содержащая систему по п. 1.

11. Устройство визуализации, содержащее систему по п. 1.

12. Реализуемый на компьютере способ (1000) сегментирования объекта на изображении, включающий:

- установление на устройстве отображения графического интерфейса сегментации, который содержит набор средств сегментации, позволяющих пользователю получать первую сегментацию объекта на изображении, при этом первая сегментация представлена данными сегментации;

- прием (1010) данных взаимодействия от пользовательского устройства, выполненного с возможностью управления пользователем, при этом данные взаимодействия дают представление о наборе взаимодействий пользователя с графическим интерфейсом сегментации, посредством которых была получена первая сегментация объекта;

- анализ данных сегментации и данных взаимодействия для определения оптимизированного набора взаимодействий пользователя, которые при их исполнении пользователем с использованием графического интерфейса сегментации дают вторую сегментацию, аналогичную первой сегментации, при этом оптимизированный набор взаимодействий пользователя определяют путем:

i) формирования (1020) множества потенциально пригодных наборов взаимодействий пользователя, которые дают сегментации, подобные первой сегментации,

ii) оценки (1030) времени, необходимого пользователю для выполнения соответствующего одного из потенциально пригодных наборов взаимодействий пользователя с использованием графического интерфейса сегментации, на основе метрики времени, причем метрика времени является функцией от по меньшей мере количества взаимодействий пользователя в соответствующем потенциально пригодном наборе, и

iii) выбора (1040) одного из множества потенциально пригодных наборов взаимодействий пользователя в качестве оптимизированного набора взаимодействий пользователя на основе самого низкого времени, полученного в результате упомянутой оценки; и

- формирование (1050) оптимизированных данных взаимодействия, представляющих оптимизированный набор взаимодействий пользователя, для обеспечения возможности указания пользователю оптимизированного набора взаимодействий пользователя посредством устройства отображения.

13. Энергонезависимый машиночитаемый носитель, содержащий компьютерную программу, содержащую инструкции для побуждения процессорной системы к выполнению способа по п. 12.