ОБУЧЕНИЕ АННОТИРОВАНИЮ ОБЪЕКТОВ В ИЗОБРАЖЕНИИ Российский патент 2020 года по МПК G06K9/52 G06K9/62 G06T7/11 

Область техники, к которой относится изобретение

Изобретение относится к системе и к компьютеризованному способу обучения аннотированию объектов в изображении. Изобретение относится также к рабочей станции и к аппарату для формирования изображений, содержащим данную систему, и к машиночитаемому носителю, содержащему инструкции, обеспечивающие осуществление способа процессорной системой.

Уровень техники

В цифровой патологии известно проведение автоматического детектирования типа клетки или ткани с использованием алгоритмов компьютерного зрения и, в частности, с использованием алгоритмов машинного обучения. Тренировка таких алгоритмов требует ручного аннотирования (ручной разметки) ткани или клетки. Однако ручное аннотирование патологических изображений с целью характеризовать различные типы тканей или клеток является времяемкой работой. Надежное аннотирование требует участия патолога, что делает этот процесс дорогостоящим. В дополнение, аннотирование патологического изображения вручную - это утомительная работа, погрешности при выполнении которой могут появляться даже у прошедшего обучение патолога.

Подобные проблемы имеют место также в других областях, не только в цифровой патологии. Поэтому желательно уменьшить усилия, требуемые от пользователя для тренировки алгоритма машинного обучения.

В CN 104537676 описан способ постепенной сегментации изображения на базе онлайн-обучения. Указано, что способ постепенной сегментации изображения включает операции, которые осуществляют многослойную декомпозицию входного изображения с получением и многослойным отображением изображения. Интерактивная сегментация осуществляется на базе ярлыков, присваиваемых пользователем, а модель сегментации тренируют и обновляют так, что изображение постепенно точно сегментируется посредством итеративных петель. В процессе интерактивной сегментации ошибочно сегментированная часть области корректируется посредством указанных ярлыков, и из присвоенных пользователем ярлыков извлекается тренирующая выборка, которая расширяется в соответствии со стратегией расширения выборки. Тренирующая выборка, полученная в результате расширения, используется для тренировки и обновления модели сегментации; предсказание сегментации выполняется на входном изображении.

Таким образом, CN 104537676 описывает способ, в котором, вместо ручного аннотирования пользователем большого количества изображений до начала тренировки, тренировку и обновление модели сегментации осуществляют в интерактивном режиме. Более конкретно, пользователь корректирует результаты сегментации в процессе сегментации. Таким образом, тренировка осуществляется постепенно.

К сожалению, чтобы скорректировать все ошибочные результаты сегментации согласно CN 104537676, от пользователя всё еще могут потребоваться значительные усилия.

В публикации Dhruv Batra et al., "Interactively Co-segmentating Topically Related Images with Intelligent Scribble Guidance", Int J Comput Vis, 2011, vol. 93, no. 3 описывается алгоритм для интерактивной косегментации объекта на переднем плане в группе связанных изображений. Описана автоматическая система для выдачи рекомендаций, которая, как утверждается, выдает интеллектуальную рекомендацию, в каком месте пользователь должен сделать следующую пометку. При наличии набора исходных пометок пользователя для каждого изображения в группе вычисляется карта рекомендаций. Изображение (и область) с наивысшим показателем рекомендаций выводится пользователю для принятия дальнейших пометок. В качестве показателя рекомендации принимается общее количество "подсказок".

Раскрытие изобретения

Было бы желательно разработать систему и способ, которые позволят пользователю более селективно осуществлять обратную связь для тренировки алгоритма машинного обучения.

В своем первом аспекте изобретение предлагает систему для обучения аннотированию объектов в изображении, содержащую:

- интерфейс данных изображения, выполненный с возможностью обеспечения доступа к данным изображения, соответствующим мультимасштабному представлению изображения, содержащему множество масштабов, отображающих изображение с различными пространственными разрешениями;

- память, содержащую данные по инструкциям, представляющие набор инструкций;

- процессор, выполненный с возможностью коммуникации с интерфейсом данных изображения и с памятью и выполнения набора инструкций, причем выполнение набора инструкций процессором приводит к использованию процессором алгоритма машинного обучения для получения машинных аннотаций объектов в одном или более масштабов указанного мультимасштабного изображения, и

- подсистему пользовательского интерфейса, содержащую:

i) дисплейный процессор, выполненный с возможностью формирования просмотрового окна на дисплее для отображения мультимасштабного изображения, причем просмотровое окно является конфигурируемым с использованием коэффициента увеличения, определяющего, какой масштаб из множества масштабов должен быть отображен в просмотровом окне, и параметра пространственного смещения, задающего часть указанного масштаба, подлежащую отображению, и

ii) пользовательский интерфейс ввода, выполненный с возможностью принимать вводимые пользователем входные данные, которые характеризуют ручное аннотирование пользователем объекта в просмотровом окне;

при этом выполнение набора инструкций процессором приводит к осуществлению процессором:

- использования ручного аннотирования объекта пользователем в качестве обучающего входа в алгоритм машинного обучения, и

- до приема входных данных от пользователя, определения коэффициента увеличения и параметра пространственного смещения для просмотрового окна путем идентификации места в мультимасштабном изображении, в котором ручное аннотирование объекта пользователем вызовет изменение в машинном аннотировании объектов посредством алгоритма машинного обучения, удовлетворяющее критерию изменения.

Согласно другому аспекту изобретения предлагается рабочая станция или аппарат для формирования изображений, содержащие данную систему.

Согласно еще одному аспекту изобретения предлагается компьютеризованный способ обучения аннотированию объектов в изображении, включающий следующие операции:

- получают доступ к данным изображения, соответствующим мультимасштабному представлению изображения, содержащему множество масштабов, представляющих изображение с различными пространственными разрешениями;

- используют алгоритм машинного обучения, чтобы получить машинные аннотации объектов в одном или более масштабах указанного мультимасштабного изображения;

- формируют на дисплее, для отображения мультимасштабного изображения, просмотровое окно, конфигурируемое на основе коэффициента увеличения, определяющего, какой из множества масштабов должен быть показан в просмотровом окне, и параметра пространственного смещения, задающего часть указанного масштаба, которая должна быть показана, и

- осуществляют прием от пользователя входных данных, характеризующих ручное аннотирование объекта пользователем в просмотровом окне;

при этом способ дополнительно включает следующие операции:

- используют ручное аннотирование объекта пользователем в качестве тренирующей обратной связи в процессе обучения алгоритма машинного обучения; и

- до приема входных данных от пользователя определяют коэффициент увеличения и параметр пространственного смещения для просмотрового окна путем идентификации места в мультимасштабном изображении, в котором ручное аннотирование объекта пользователем вызовет изменение в машинном аннотировании объектов посредством алгоритма машинного обучения, удовлетворяющее критерию изменения.

Согласно следующему аспекту изобретения предлагается машиночитаемый носитель, содержащий временные или долговременные данные, представляющие инструкции, выполнение которых приводит к осуществлению процессорной системой указанного способа.

Описанные меры и средства связаны с аннотированием (разметкой) мультимасштабного представления изображения. Такие представления сами по себе известны. Неограничивающим примером является представление изображения в виде пирамиды. В частности, в цифровой патологии изображения, как правило, хранятся в виде пирамиды изображений с мультиразрешением, при котором n-ый уровень изображения имеет вдвое более низкое разрешение по сравнению с (n-1)-ым уровнем. Другим неограничивающим примером является масштабно-пространственное представление изображения. Как правило, такие мультимасштабные представления содержат или обеспечивают множество масштабов, представляющих один и тот же контент изображения с различными уровнями пространственной детализации.

Описанные меры и средства позволяют пользователю просматривать на дисплее мультимасштабное изображение в просмотровом окне. Просмотровое окно является конфигурируемым посредством коэффициента увеличения, который определяет, какой именно масштаб из множества масштабов изображения будет показан. Поскольку в типичной ситуации выбранный масштаб изображения больше, чем просмотровое окно, просмотровое окно имеет один или более конфигурируемых параметров пространственного (например горизонтального и вертикального) смещения. Такие пространственные смещения делают возможным перемещение контента изображения в пределах просмотрового окна. Следует отметить, что функциональность, описанная в этом абзаце, сама по себе известна; она реализована, например, в медицинских рабочих станциях.

Описанные меры и средства включают также использование алгоритма машинного обучения для проведения аннотирования объектов в одном или более масштабах мультимасштабного изображения. Неограничивающим примером такого алгоритма машинного обучения является алгоритм обучения с подкреплением или сверточная нейронная сеть. Полученные аннотации можно именовать также "аннотациями, освоенными алгоритмом в процессе машинного обучения" (для краткости - машинные аннотации). Алгоритм машинного обучения дополнительно использует ручное аннотирование объекта пользователем как тренирующую обратную связь. Пользователь, используя просмотровое окно, может проводить ручное аннотирование, например путем рисования в просмотровом окне контура или любым другим образом, известным в области аннотирования изображений. Ручное аннотирование может также включать коррекцию машинной аннотации. Например, ручное аннотирование может включать коррекцию пользователем ярлыка аннотированного объекта. В конкретном примере ручное аннотирование может быть использовано в качестве тренирующей обратной связи таким же или схожим образом, как это описано в CN 104537676. В этом отношении следует отметить, что аннотирование может включать не только сегментацию или очерчивание, но также присваивание ярлыка уже сегментированному объекту или изменение такого ярлыка.

Описанные меры и средства включают также автоматическое определение коэффициента увеличения и параметра пространственного смещения для просмотрового окна, а именно идентификацию того, где в мультимасштабном изображении ручное аннотирование объекта пользователем привело бы к заметному изменению аннотирования объектов в мультимасштабном изображении посредством алгоритма машинного обучения. Здесь термин "где" может относиться к масштабу изображения и к пространственному положению в пределах масштаба изображения. В результате идентификации масштаба изображения может быть идентифицирован коэффициент увеличения для просмотрового окна. В результате идентификации пространственного положения в пределах масштаба изображения может быть определен параметр пространственного смещения для просмотрового окна. После этого просмотровое окно может быть автоматически сконфигурировано с этими коэффициентом увеличения и параметром пространственного смещения. Альтернативно, коэффициент увеличения и параметр пространственного смещения могут быть указаны пользователю, например, в форме графического индикатора или текста, чтобы дать пользователю возможность вручную сконфигурировать просмотровое окно соответствующим образом.

Полезный эффект описанных мер состоит в том, что внимание пользователя привлекается к тому месту в мультимасштабном изображении, для которого обратная связь от пользователя рассматривается как способная обеспечить достаточное изменение машинного аннотирования объектов в мультимасштабном изображении посредством алгоритма машинного обучения. Здесь термин "достаточное изменение" должен пониматься как означающий изменение, удовлетворяющее критерию изменения. Критерием изменения может быть, например, абсолютный или относительный порог. Согласно другому примеру критерий изменения может идентифицировать максимальное достигаемое изменение. Должно быть понятно, что такое изменение может быть квантифицировано посредством различных метрик. В неограничивающем примере метрика может определять разницу между машинными аннотациями до и после использования ручного аннотирования в качестве тренирующей обратной связи. В конкретном примере, если машинное аннотирование приводит к ярлыкам, составленным из пикселей, чтобы квантифицировать изменение, различия в таких ярлыках могут быть просуммированы по всем пикселям мультимасштабного изображения.

Путем идентификации того, где в мультимасштабном изображении ручное аннотирование объекта пользователем приведет к достаточному общему изменению аннотирования объектов посредством алгоритма машинного обучения, пользователю будет показано, где обеспечиваемая им обратная связь способна внести значительный вклад. Должно быть понятно, что ручное аннотирование, которое при его использовании в качестве тренирующей обратной связи не вносит реальных изменений в машинное аннотирование, может рассматриваться как излишнее. Изобретение позволяет избежать подобного ручного аннотирования. Преимущество такого подхода в том, что пользователь может более селективно выдавать входные данные в процессе тренировки алгоритма машинного обучения, поскольку можно будет избежать ручных аннотаций, которые слабо повлияют на машинное аннотирование.

Должно быть понятно, что в контексте изобретения выражение "имитирование ручного аннотирования" должно пониматься как аннотирование, проводимое "автоматически", т. е. без участия пользователя. Такое автоматическое аннотирование обычно стремится имитировать аннотирование человеком, который следует почти всем операциям автоматического машинного аннотирования, которое использует ручные аннотации как тренирующий вход и базовые принципы которого в обычных случаях основаны на ручном аннотировании. Таким образом, концепция "имитирования ручного аннотирования" означает автоматическое аннотирование посредством процессора/способа, а не пользователем.

В результате выполнения процессором набора инструкций процессор может идентифицировать место в мультимасштабном изображении, в котором ручное аннотирование объекта пользователем приведет к максимальному изменению в машинном аннотировании объектов посредством алгоритма машинного обучения или к изменению, превышающему абсолютный или относительный порог. В результате внимание пользователя может быть привлечено к месту, в котором обеспечиваемая им обратная связь внесет максимальный вклад в тренировку алгоритма машинного обучения или достаточный вклад, превышающий установленный порог.

Например, в результате выполнения процессором набора инструкций процессор определит коэффициент увеличения и параметр пространственного смещения для просмотрового окна путем:

- имитирования ручного аннотирования объекта в различных масштабах и/или в различных частях каждого масштаба мультимасштабного изображения;

- использования указанных имитированных ручных аннотаций в качестве различных обучающих входов в алгоритм машинного обучения;

- квантификации изменений в различных машинных аннотациях объектов, чтобы идентифицировать имитированную ручную аннотацию, которая обеспечивает максимальное изменение в машинном аннотировании объектов посредством алгоритма машинного обучения, и

- выбора коэффициента увеличения и параметра пространственного смещения для просмотрового окна на основе идентифицированной имитированной ручной аннотации.

Описанные меры включают имитирование различных ручных аннотаций и квантификацию результирующего изменения для каждой из этих имитированных ручных аннотаций. Это позволяет идентифицировать имитированную ручную аннотацию, которая обеспечивает максимальное изменение в машинном аннотировании объектов посредством алгоритма машинного обучения. Путем привлечения внимания пользователя к масштабу изображения и к положению, в котором локализована имитированная ручная аннотация, пользователю может быть указано место, в котором создаваемая им обратная связь вносит максимальный вклад в тренировку алгоритма машинного обучения. В этом отношении следует отметить, что имитированное ручное аннотирование может отличаться и, фактически, с большой вероятностью отличается от ручного аннотирования пользователем. В частности, имитированное ручное аннотирование может быть грубым, например включающим присваивание ярлыка на уровне области, а не на локальной основе. Тем не менее, имитированное ручное аннотирование может обеспечить идентификацию областей, имеющих максимальное влияние, для последующего ручного аннотирования пользователем.

Как вариант, в результате выполнения процессором набора инструкций процессор осуществляет:

- разделение каждого масштаба мультимасштабного изображения на части изображения; и

- имитирование ручного аннотирования объекта путем присваивания ярлыка объекта по меньшей мере одной части изображения или изменения ярлыка объекта, ранее присвоенного этой части.

Ручное аннотирование может быть имитировано на относительно грубом уровне, например путем квантификации эффекта изменения в ручном аннотировании на уровне частей изображения. Частями изображения могут быть, например, блоки размером 8x8 или 16x16 пикселей. Это может позволить ограничить сложность вычислений для идентификации места в мультимасштабном изображении, где ручное аннотирование объекта пользователем вызовет максимальное изменение. Альтернативно, частями изображения могут быть объекты, автоматически сегментированные, например, с использованием алгоритма сегментации.

Как вариант, процессор может быть выполнен с возможностью генерирования карты степени изменения, совершенного ручным аннотированием в каждой части изображения, а подсистема пользовательского интерфейса может быть выполнена с возможностью наложения этой карты на отображаемое мультимасштабное изображение. Например, степень изменения может быть визуализирована применением цветового кодирования, при котором интенсивность, насыщенность или оттенок цвета варьируется в соответствии со степенью изменения.

В другом варианте подсистема пользовательского интерфейса выполнена с возможностью автоматического применения, по отношению к просмотровому окну, коэффициента увеличения и параметра пространственного смещения, определенных процессором. В результате пользователю прямо указывается область изображения, подлежащая аннотированию.

Как вариант:

- подсистема пользовательского интерфейса сконфигурирована для обеспечения пользователю возможности вручную выбирать, при отображении изображения, коэффициент увеличения и параметр пространственного смещения для просмотрового окна с целью задать выбранную пользователем область изображения;

- выполнение набора инструкций процессором приводит к использованию процессором алгоритма машинного обучения, чтобы осуществить машинное аннотирование объектов в выбранной пользователем области изображения, а

- подсистема пользовательского интерфейса выполнена с возможностью визуализации в просмотровом окне машинных аннотаций объектов.

В результате пользователь получает возможность обратной связи в отношении машинных аннотаций, получаемых посредством алгоритмов машинного обучения. При этом ручное аннотирование пользователем может учитывать текущее состояние машинных аннотаций в мультимасштабном изображении. В дополнение, если ручное аннотирование включает коррекцию машинных аннотаций, пользователь может легко скорректировать такую машинную аннотацию, поскольку она видна ему в просмотровом окне. С этой целью подсистема пользовательского интерфейса может быть опционно сконфигурирована для обеспечения пользователю возможности ручной коррекции машинных аннотаций объектов в просмотровом окне, а выполнение набора инструкций процессором может, как вариант, приводить к использованию процессором указанной коррекции аннотаций в качестве тренирующей обратной связи по отношению к алгоритму машинного обучения.

Как вариант, выполнение процессором набора инструкций приводит к реализации процессором алгоритма машинного обучения применительно к каждому масштабу мультимасштабного изображения с получением множества карт аннотаций, причем каждая карта представляет машинные аннотации объектов в соответствующем масштабе. В другом варианте выполнение процессором набора инструкций приводит к генерированию процессором семантического описания мультимасштабного изображения с использованием комбинации или взаимного наложения множества карт аннотаций. Одновременное аннотирование на различных масштабах может обеспечить семантическое понимание мультимасштабного изображения. Например, при более мелком масштабе изображения могут быть детектированы различные типы клеток, тогда как при более грубом масштабе изображения могут быть детектированы различные типы тканей. Путем комбинирования или накладывания одна на другую множества карт аннотаций семантическое описание может генерироваться автоматически, например, на основе набора правил, которые обеспечивают получение семантического описания для области изображения как функции аннотаций в той же области изображения в пределах различных масштабов изображения.

Специалистам в данной области должно быть понятно, что два или более из вышеупомянутых вариантов, модификаций и/или опционных аспектов изобретения могут быть скомбинированы любым способом, признанным полезным.

При этом специалисты, основываясь на данном описании, смогут реализовать также модификации и усовершенствования рабочей станции, аппарата для формирования изображений, компьютеризованного способа и/или компьютерного программного продукта, которые соответствуют описанным модификациям и усовершенствованиям рассмотренной системы.

Специалисту будет понятно, что система и способ могут быть применены к данным изображения, полученным различными методами, включая (не ограничиваясь ими) стандартную рентгенографию, компьютерную томографию (КТ), магнитно-резонансную томографию (МРТ), ультразвуковую позитронно-эмиссионную томографию (ПЭТ), однофотонную эмиссионную компьютерную томографию (ОФЭКТ) и ядерную медицину. Однако предусматривается также и немедицинское использование изобретения, т. е. данные изображения могут быть также данными немедицинских изображений.

Краткое описание чертежей

Эти и другие аспекты изобретения станут ясны из дальнейшего описания, включающего варианты осуществления изобретения, рассмотренные в качестве примеров со ссылками на прилагаемые чертежи.

На фиг. 1 проиллюстрирована система для обучения аннотированию объектов.

На фиг. 2 показано мультимасштабное изображение в форме пирамиды изображений.

На фиг. 3 показано просмотровое окно, которое может быть сформировано системой на дисплее, чтобы пользователь мог рассматривать мультимасштабное изображение.

На фиг. 4 показано просмотровое окно, автоматически сконфигурированное системой, чтобы показать область изображения, имеющую максимальное влияние на машинное аннотирование.

Фиг. 5 иллюстрирует систему, обеспечивающую наложение на контент изображения в просмотровом окне, чтобы визуально индицировать пользователю влияние.

Фиг. 6 иллюстрирует способ обучения аннотированию объектов.

На фиг. 7 показана машиночитаемый носитель, содержащий инструкции, обеспечивающие осуществление способа процессорной системой.

Следует отметить, что чертежи являются весьма схематичными и выполнены без соблюдения масштаба. Элементы, соответствующие уже описанным элементам, могут иметь те же обозначения.

Список обозначений

Приводимый далее список обозначений предназначен для облегчения интерпретации чертежей и не должен рассматриваться как ограничивающий объем изобретения.

020 хранилище изображений

022 канал передачи данных

030 данные изображения

060 дисплей

062 данные для дисплея

080 пользовательское устройство ввода

082 входные данные, вводимые пользователем

100 система для обучения аннотированию объектов

120 интерфейс данных изображения

122 внутренний канал передачи данных

140 процессор

142, 144 внутренний канал передачи данных

160 память

180 подсистема пользовательского интерфейса

182 дисплейный процессор

184 пользовательский интерфейс ввода

200 мультимасштабное представление изображения

202-208 масштабы изображения

210 ткань

220 клетки

300 просмотровое окно

310, 312 элемент пользовательского интерфейса (ПИ) для

отображения

коэффициента увеличения

320, 322 элемент ПИ для осуществления горизонтального смещения

330, 332 элемент ПИ для осуществления вертикального смещения

350 накладка, указывающая область изображения, имеющую

влияние

400 способ обучения аннотированию объектов

410 операция получения доступа к данным изображения

420 операция получения машинных аннотаций объектов

430 операция формирования просмотрового окна

440 операция идентификации области изображения, имеющей

влияние

450 операция конфигурирования просмотрового окна

460 операция приема ручной аннотации

470 операция использования ручного аннотирования в качестве

тренирующей обратной связи

500 машиночитаемый носитель

510 долговременные данные, представляющие инструкции

Осуществление изобретения

На фиг. 1 представлена система 100 для обучения аннотированию объектов в изображении. Показано, что система 100 содержит интерфейс 120 данных изображения, выполненный с возможностью получения доступа, через канал 022 передачи данных, к данным 030 изображения, соответствующим мультимасштабному представлению изображения. Мультимасштабное представление изображения может использовать множество масштабов для представления изображения с различными пространственными разрешениями. В примере по фиг. 1 интерфейс 120 данных изображения показан соединенным с внешним хранилищем 020 изображений, которое содержит данные 030 изображения, относящиеся к мультимасштабному изображению. Например, хранилище 020 изображений может быть образовано Системой архивации и передачи изображений (PACS) медицинской информационной системы (МИС) или составлять ее часть. Система 100 может быть подключена к PACS или входить в ее состав. Соответственно, система 100 может получать доступ к данным 030 изображения для мультимасштабного изображения через МИС. Альтернативно, данные 030 изображения для мультимасштабного изображения могут быть доступны от внутреннего хранилища данных системы 100. Интерфейсу 120 данных изображения можно придавать различные формы, например форму сетевого интерфейса для связи с сетями типа LAN или WAN, в том числе с Интернетом, или интерфейса для связи с внутренними или внешними хранилищами данных.

Система 100 показана содержащей также: процессор 140, выполненный с возможностью коммуникации с интерфейсом 120 данных изображения по каналу 122 передачи данных; память 160, доступную процессору 140 по каналу 142 передачи данных, и подсистему 180 пользовательского интерфейса с дисплейным процессором 182 и пользовательским интерфейсом 184 ввода, который сконфигурирован с возможностью внутренней коммуникации с процессором 140 по каналу 144 передачи данных.

Подсистема 180 пользовательского интерфейса может быть сконфигурирована обеспечивающей пользователю возможность, при функционировании системы 100, вручную аннотировать объект в мультимасштабном изображении. С этой целью дисплейный процессор 182 может быть сконфигурирован для генерирования отображаемых данных 062 для дисплея 060 с возможностью сформировать на дисплее 060 просмотровое окно для отображения мультимасштабного изображения. Например, просмотровое окно может быть частью графического пользовательского интерфейса, генерируемого дисплейным процессором 182. Пользовательский интерфейс 184 ввода может быть выполнен с возможностью приема входных данных 082, вводимых пользователем через пользовательское устройство 080, которое позволяет пользователю указывать ручную аннотацию и, возможно, взаимодействовать с графическим пользовательским интерфейсом.

Хотя на фиг. 1 дисплей 060 показан как внешнее устройство, он может быть также внутренним дисплеем. Просмотровое окно может быть представлено набором инструкций для интерфейса, записанных как данные в памяти, доступной дисплейному процессору 182, например, в памяти 160 или в другой памяти системы 100. Пользовательское устройство 080 ввода также может иметь различные формы, включая (но не ограничиваясь ими) компьютерную мышь, тачскрин, клавиатуру и микрофон. На фиг. 1 показано пользовательское устройство 080 ввода в виде компьютерной мыши. В общем случае тип пользовательского интерфейса 184 может соответствовать типу пользовательского устройства 080 ввода, т. е. он также может быть интерфейсом на базе соответствующего пользовательского устройства.

Процессор 140 может быть выполнен с возможностью использовать, при работе системы 100, алгоритм машинного обучения, чтобы осуществлять машинное аннотирование объектов на одном или более масштабах мультимасштабного изображения. Алгоритм машинного обучения может быть представлен набором инструкций, записанных в качестве данных в память 160. Примеры алгоритма машинного обучения включают (но не ограничиваются ими) алгоритмы глубокого обучения, например сверточные нейронные сети. Подобные алгоритмы сами по себе известны в области машинного обучения и компьютерного зрения.

Хотя это не проиллюстрировано на фиг. 1, просмотровое окно, создаваемое на дисплее, может быть конфигурируемым в соответствии с коэффициентом увеличения, который определяет, какой именно из множества масштабов должен быть отображен в просмотровом окне, и с параметром пространственного смещения, который определяет, какая часть указанного масштаба должна быть видна в просмотровом окне. При этом процессор 140 может быть выполнен с возможностью определять, при функционировании системы 100, коэффициент увеличения и параметр пространственного смещения для просмотрового окна, идентифицируя, где именно в мультимасштабном изображении ручное аннотирование объекта пользователем вносит в машинное аннотирование, проведенное алгоритмом машинного обучения объектов, изменение, которое удовлетворяет критерию изменения. Ручное аннотирование может быть проведено в желательной области мультимасштабного изображения, идентифицированной процессором 140.

Далее, со ссылками на фиг. 2-5, будет описано функционирование системы 100, включая его различные опционные аспекты.

В общем случае система по фиг. 1 может быть выполнена как устройство или аппарат, например как рабочая станция или аппарат для формирования изображений, или входить в ее (его) состав. Данное устройство или данный аппарат может содержать один или более (микро)процессоров, выполняющих соответствующие программы. И процессор, и дисплейный процессор системы могут быть реализованы посредством одного или более из этих (микро)процессоров или одним и тем же (микро)процессором. Программное обеспечение, обеспечивающее, например, алгоритм машинного обучения, просмотровое окно или графический пользовательский интерфейс, содержащий просмотровое окно и/или другую функциональность системы, может быть загружено и/или записано в соответствующую память или в различные блоки памяти, например в энергозависимую память, такую как RAM, или в энергонезависимую память, такую как флеш-накопитель. Альтернативно, процессор и дисплейный процессор системы могут быть реализованы в устройстве или аппарате в форме программируемой логики, например, как программируемая пользователем вентильная матрица (ППВМ). Интерфейс данных изображения и пользовательский интерфейс могут быть реализованы посредством интерфейсов устройства или аппарата. В общем случае каждый блок (или модуль) системы может быть реализован в форме контура. Следует отметить, что система может также быть реализована, как распределенная, например как содержащая различные устройства или аппараты. В частности, такая система может быть построена согласно модели клиент-сервер, например, с использованием сервера и "тонкого клиента" (клиента-терминала) в форме рабочей станции PACS.

На фиг. 2 показано мультимасштабное изображение 200 в форме пирамиды изображений, представляющее собой пример мультимасштабного представления изображения, которое может быть использовано системой 100 по фиг. 1 в качестве входных данных. Как можно видеть на фиг. 2, мультимасштабное изображение 200 может быть построено с применением различных масштабов изображения (на фиг. 2 для наглядности представлено лишь ограниченное количество масштабов). В качестве примера, мультимасштабное изображение по фиг. 2 может быть изображением из области цифровой патологии. Подобные изображения цифровой патологии, как правило, хранятся в виде пирамиды изображений с мультиразрешением, при котором n-ый уровень изображения имеет вдвое более низкое разрешение по сравнению с (n-1)-ым уровнем. В примере по фиг. 2 масштаб 208 (масштаб “0”) может соответствовать "необработанному" патологическому изображению, имеющему, например, типичное разрешение изображения, тогда как масштабы с более высокими номерами, в частности масштабы 206 (масштаб “5”), 204 (масштаб “6”) и 202 (масштаб “8”), могут иметь разрешение, уменьшенное в 32, 64 и 256 раз соответственно. Следует отметить, что такие масштабы могут также именоваться уровнями.

Для пользователя, просматривающего часть, имеющую фиксированный размер при каждом масштабе изображения, например в пределах окна X×Y пикселей, контент изображения и его контекст могут представляться сильно различающимися при каждом масштабе изображения. Например, на масштабе 208 (“0”) пользователь может различать индивидуальные клетки 220, а на масштабе 206 (“5”) и на других масштабах с большими номерами видеть микроорганы и различные ткани 210.

На фиг. 3 показано просмотровое окно 300, которое может быть сформировано системой на дисплее, чтобы пользователь мог рассматривать мультимасштабное изображение. Такое просмотровое окно 300 может отображать упомянутую часть с фиксированным размером для каждого выбранного масштаба изображения. В примере по фиг. 3 просмотровое окно показано отображающим мультимасштабное изображение на масштабе, на котором видна ткань 210, например на масштабе "5" или "6". Пользователь может использовать просмотровое окно, чтобы зуммировать мультимасштабное изображение в сторону увеличения или уменьшения, тем самым активируя систему для отображения другого масштаба изображения. С этой целью пользователь может использовать элементы пользовательского интерфейса (ПИ), например слайдер 310, который отображает коэффициент увеличения. Аналогично, чтобы обеспечивать смещение в пределах выбранного масштаба изображения, пользователь может использовать элементы ПИ, такие как слайдеры 320, 330, выбирая на них параметр горизонтального и/или вертикального пространственного смещения и тем самым панорамируя контент изображения в просмотровом окне.

Как было кратко описано со ссылками на фиг. 1, просмотровое окно по фиг. 3 может использоваться пользователем, чтобы обеспечить тренирующую обратную связь путем ручного аннотирования объекта. Например, пользователь может очертить объект, присвоить части изображения ярлык объекта или изменить ярлык объекта, ранее присвоенный алгоритмом машинного обучения.

Уже известно использование просмотрового окна, подобного показанному на фиг. 3, для ручного аннотирования объектов, таких как клетки и ткани. Однако должно быть понятно, что в рассматриваемом примере изображения патологии функция клетки зависит от контекста. Различать типы клеток легче, если известно, в какой/каком ткани/органе расположена клетка. Более конкретно, клетка может быть отнесена к одному из различных типов клеток и функций в зависимости от этого контекста. В типичном случае подразумевается, что патолог использует контекст изображения при различных уровнях увеличения, чтобы аннотировать/детектировать определенный тип ткани/клетки. Более конкретно, может быть легче классифицировать, как вредоносные или здоровые, конкретные комбинации клеток/тканей, чем классифицировать индивидуальные клетки вне их контекста. Кроме того, может быть легче одновременно аннотировать и классифицировать, единообразным образом, несколько типов клеток/тканей, используя дифференциальную классификацию.

С точки зрения аннотирования, в качестве контекста аннотированного/ сегментированного объекта может рассматриваться множество всех других объектов, видимых в конкретном просмотровом окне и представленных при определенном разрешении. Когда пользователь осуществляет зуммирование в прямом или обратном направлении, контекст объекта может изменяться в отношении как количества (например количества видимых объектов), так и качества (например пиксельное представление объектов зависит от разрешения). Так, для изображения с большим увеличением контекстом клетки может быть множество соседних клеток, тогда как для изображения с уменьшенным увеличением контекстом может быть множество окружающих тканей.

Согласно уровню техники для аннотирования мультимасштабных изображений аннотирование изображения обычно производится при определенном коэффициенте увеличения без сохранения какой-либо информации о точном значении увеличения. Коэффициент увеличения, выбранный для аннотирования, может быть компромиссом между скоростью, точностью и единообразием аннотирования. Таким образом, при больших коэффициентах зуммирования аннотирование может быть точным, но медленным и менее единообразным, поскольку прямое сравнение можно проводить только для объектов в просмотровом окне, а контекст в виде структур, окружающих клетки и ткани, находится вне границ просмотрового окна. Для малых коэффициентов зуммирования аннотирование будет более быстрым, но менее точным, поскольку индивидуальные клетки едва видны.

На фиг. 4 представлен результат, обеспеченный системой по фиг. 1, сконфигурированной с возможностью автоматически отображать область изображения, оказывающую максимальное влияние на машинное аннотирование. Более конкретно, можно видеть, что просмотровое окно 300 использует масштаб “0” (см. фиг. 2), при котором видны индивидуальные клетки 220. В дополнение, горизонтальный и вертикальный параметры пространственного смещения могут быть выбраны так, чтобы показать область изображения с максимальным влиянием. Здесь термин "область изображения с максимальным влиянием" означает область при таком масштабе и таком положении изображения, при которых ручное аннотирование пользователем принимается максимально разрешающим неопределенность машинного аннотирования посредством алгоритма машинного обучения. Максимальное влияние может быть вычислено путем определения степени изменения машинной аннотации в мультимасштабном изображении, как функции области изображения, к которой было применено ручное аннотирование, и путем выбора области изображения, ассоциированной с наибольшим изменением. Альтернативно, область изображения можно также идентифицировать, основываясь на существенности изменения машинной аннотации, например, превышающего абсолютный или относительный порог. При этом ссылки на "максимальное влияние" могут быть также применимы к "достаточному влиянию".

Чтобы идентифицировать область изображения с максимальным влиянием, процессор системы может быть сконфигурирован, посредством соответствующих инструкций, с возможностью определения коэффициента увеличения и параметра пространственного смещения для просмотрового окна (и, тем самым, требуемой области изображения) путем количественного определения степени изменения как результата имитированного ручного аннотирования. Например, процессор может: имитировать ручное аннотирование объекта в различных масштабах и/или в различных частях каждого масштаба мультимасштабного изображения, используя имитированные ручные аннотации, как различные входные обучающие данные для алгоритма машинного обучения; квантифицировать изменение результирующих (и отличающихся) машинных аннотаций объектов, чтобы идентифицировать имитированную ручную аннотацию, которая приводит к максимальному изменению в машинном аннотировании объектов посредством алгоритма машинного обучения, и выбирать коэффициент увеличения и параметр пространственного смещения для просмотрового окна на основе идентифицированной имитированной ручной аннотации.

В другом примере система может выполнять, в итеративном режиме, следующий псевдокод.

A. Пользователь или система выбирает коэффициент увеличения и пространственного смещения.

B. Для всех частей мультимасштабного изображения требуется:

a. выбрать ярлык,

b. выбрать (без специального контроля) способ сегментации,

c. использовать неконтролируемый алгоритм для сегментации части изображения на кластеры,

d. отредактировать карту сегментации путем присваивания/стирания ярлыков,

e. обновить алгоритм машинного обучения.

f. квантифицировать изменения, совершенные в результате этих действий.

C. Провести поиск коэффициента увеличения и пространственного смещения, выводящих часть изображения, аннотирование в которой пользователем оказало бы максимальное влияние на автоматические карты аннотаций; эти величины могут быть выбраны системой при возвращении на шаг A. Следует отметить, что шаги a-b могут быть опционными, начиная с первого повторного вычисления карт аннотаций.

Чтобы имитировать ручное аннотирование пользователем, можно, вместо сегментирования контента изображения на кластеры, использовать стандартного расчленение контента изображения. Например, контент изображения может быть разделен на блоки, ярлыки которых можно изменять, чтобы имитировать ручное аннотирование некоторого блока пользователем. В конкретном примере система может выполнять, в итеративном режиме, следующий псевдокод. Сначала мультимасштабное изображение может быть разбито на блоки, например, размером 8x8 пикселей. Затем "влияние" каждого блока или выбор блоков можно вычислить путем выполнения следующих действий:

a) изменить ярлык блока,

b) рассматривать блок с измененным ярлыком как ручную аннотацию,

c) обновить алгоритм машинного обучения,

d) подсчитать количество пикселей, аннотированных различным образом; это количество пикселей можно рассматривать как "влияние" блока.

Следует отметить, что после того как блок или другая часть изображения был(а) идентифицирован(а), коэффициент увеличения и параметр(ы) пространственного смещения могут быть выбраны такими, чтобы показать область изображения, которая содержит данный блок или данную часть изображения. Например, коэффициент увеличения и параметр(ы) пространственного смещения могут центрировать данный блок или данную часть изображения.

Таким образом, процессор может разделить каждый масштаб мультимасштабного изображения на части изображения посредством сегментации или разделения и имитировать ручное аннотирование объекта путем присваивания ярлыка объекта или изменения ярлыка объекта, ранее присвоенного по меньшей мере одной из частей изображения. Влияние конкретной части изображения может быть вычислено, как размер части изображения, которая изменила бы ярлык при условии, что эта часть изображения была способна изменить ярлык. Здесь термин "изменить ярлык" может охватывать изменение в типе объекта, такого как тип клетки, но также и любое другое действие с ярлыком, который может быть присвоен при аннотировании.

На фиг. 5 показано, как система обеспечила наложение карты (накладки) 350 на область изображения, показанную в просмотровом окне, чтобы визуально выделить для пользователя часть изображения. Накладка 350 может указывать, где в области изображения ручное аннотирование пользователем оценивается максимально влияющим на машинное аннотирование. Чтобы сгенерировать накладку 350, система может использовать определенные ранее влияния имитированных ручных аннотирований. Накладка 350 может представлять собой помещенную поверх масштаба изображения прозрачную цветовую карту, прозрачность, интенсивность, оттенок, насыщенность или другое визуальное свойство которой может выбираться системой пропорциональной (пропорциональным) влиянию ручного аннотирования в этой части изображения. В примере по фиг. 5 более темный оттенок указывает на меньшее влияние, тогда как более светлый оттенок - на более сильное влияние.

Карты аннотаций, полученные системой при различных уровнях увеличения, могут быть скомбинированы, чтобы получить семантическое описание контекста изображения. Система может автоматически создавать/уточнять семантическое описание, чтобы оно было a) согласованным с аннотированным изображением (например, семантическое описание является согласованным с ручными аннотациями) и b) согласованным с контентом изображения (например, со схожими пикселями контента изображения будут ассоциированы схожие семантические описания). С этой целью система может комбинировать или накладывать одна на другую карты аннотаций, полученные для каждого масштаба. Например, если одна карта аннотаций на слое с высоким разрешением сегментирует индивидуальные клетки, а другая карта аннотаций на слое с более грубым разрешением обеспечивает различение между посиневшим сосудом и мышечной тканью, комбинируя эти карты, можно идентифицировать "клетки сосуда" и "клетки мышцы". Чтобы получить семантическое описание, можно использовать систему, основанную на продукционных правилах, просмотровую таблицу или аналогичный метод. Например, система, основанная на продукционных правилах, может определить, что, если, применительно к конкретному пространственному положению, в слое с более высоким разрешением была идентифицирована клетка, а в слое с более грубым разрешением - мышечная ткань, семантическим описанием будет "мышечная клетка".

Должно быть понятно, что система может эффективно использоваться в следующем конкретном контексте. В процессе аннотирования изображения, в то время как патолог изучает и зуммирует мультимасштабное изображение, система может автоматически проанализировать контент изображения в текущем просмотровом окне, чтобы предложить автоматическую карту (автоматические карты) аннотаций. Патолог может рассмотреть эти карты, отбрасывая ошибочно классифицированные ярлыки (например в отношении типа клетки или ткани). Патолог может также сделать новую аннотацию, определяя свои собственные новые сегментации или новые ярлыки. Карты аннотаций могут рассматриваться как характерные для конкретного масштаба изображения (например уровня разрешения) и поэтому быть рассчитанными на то, что будут видимыми только в ограниченном интервале смежных масштабов изображения. Однако в ограниченном интервале масштабов изображения карты аннотаций могут быть адаптированы, чтобы быть видимыми во всех этих масштабах.

Должно быть также понятно, что тренировка алгоритма машинного обучения может производиться параллельно для каждого масштаба изображения. Алгоритм машинного обучения может иметь стоимостную функцию, которая зависит от суперпозиции всех ручных карт аннотаций, доступных при текущих координатах изображения. Алгоритм машинного обучения может быть алгоритмом глубокого обучения.

На фиг. 6 проиллюстрирован компьютеризованный способ 400 для обучения аннотированию объектов в изображении. Следует отметить, что способ 400 может соответствовать функционированию системы 100 (описанному со ссылками на фиг. 1 и др.), хотя это и необязательно

Способ 400 предусматривает, на операции 410 “получение ДОСТУПа к ДАННЫм ИЗОБРАЖЕНИЯ”, доступ к данным изображения, соответствующим мультимасштабному представлению изображения. Способ 400 включает также, на операции 420 “получение Машинных анНОТаций ОБЪЕКТОВ”, использование алгоритма машинного обучения, чтобы получить машинные аннотации объектов на одном или более масштабах указанного мультимасштабного изображения. Способ 400 включает далее, на операции 430 “формирование ПРОСМОТРОВОго ОКНа”, формирование на дисплее просмотрового окна для отображения мультимасштабного изображения. Способ 400 дополнительно включает, на операции 440 “идентификация области изображения, имеющей ВЛИЯНИе”, идентификацию области, на которой ручное аннотирование пользователем объекта в мультимасштабном изображении приводит к изменению в машинном аннотировании объектов посредством алгоритма машинного обучения, удовлетворяющему критерию изменения. Способ 400 включает, кроме того, на операции 450 “конфигурирование ПРОСМОТРОВОго ОКНа”, определение коэффициента увеличения и параметра пространственного смещения для просмотрового окна. Далее, способ 400 включает, на операции 460 “ПРИем РУЧНОй АННОТации”, прием входных данных от пользователя, характеризующих ручное аннотирование объекта пользователем в просмотровом окне. Кроме того, способ 400 дополнительно включает, на операции 470 “ИСПОЛЬЗование РУЧНОго АННОТИРОВАНИя в качестве тренирующей обратной связи”, использование ручного аннотирования объекта пользователем в качестве тренирующей обратной связи в процессе обучения алгоритма машинного обучения.

Должно быть понятно, что описанные операции могут выполняться в любом подходящем порядке, например последовательно, одновременно или как комбинация последовательных и одновременных операций с учетом, когда это возможно, необходимости определенного порядка, задаваемого, например, соотношением входных/выходных данных.

Способ 400 может быть осуществлен на компьютере как компьютеризованный способ, как специализированные аппаратные средства или как комбинация обоих этих вариантов. Как это проиллюстрировано на фиг. 7, инструкции для компьютера, например в форме выполняемого кода, могут быть записаны на машиночитаемом носителе 500, например в форме серии 510 машиночитаемых физических отметок и/или серии элементов, имеющих различные значения или свойства, например электрические, магнитные или оптические. Выполняемый код может храниться в изменяемом или неизменяемом формате. Примеры машиночитаемых носителей включают запоминающие устройства, оптические запоминающие устройства, интегральные схемы, серверы, онлайновое программное обеспечение и т. д. На фиг. 7 показан оптический диск 500.

Примеры, варианты осуществления или опционные свойства, отмеченные или неотмеченные как неограничивающие, не должны пониматься как ограничивающие изобретение, охарактеризованное в прилагаемой формуле.

Должно быть понятно, что изобретение применимо также к компьютерным программам, в частности к компьютерным программам, записанным на носителе, адаптированном для практического осуществления изобретения. Программа может быть реализована в форме исходного кода, объектного кода, промежуточного исходного и объектного кода, например, в частично компилированной форме, или в любой другой форме, пригодной для использования при осуществлении способа согласно изобретению. Должно быть также понятно, что такая программа может иметь многие различные архитектурные варианты. Например, программный код, реализующий функциональность способа или системы согласно изобретению, может быть разделен на одну или более подпрограмм. Специалисту будут ясны многие различные варианты распределения функциональности между этими подпрограммами. Подпрограммы могут быть записаны в одном выполняемом файле, чтобы сформировать самодостаточную программу. Такой выполняемый файл может содержать машиноисполняемые инструкции, например процессорные инструкции и/или инструкции интерпретатора (например инструкции интерпретатора Java). Альтернативно, одна или более или все подпрограммы могут храниться по меньшей мере в одном файле внешней библиотеки и быть связанными с главной программой либо статически, либо динамически, например, во время выполнения главной программы. Главная программа содержит по меньшей мере один вызов по меньшей мере одной из подпрограмм. Подпрограммы могут также включать функциональные вызовы одна другой. Вариант осуществления, относящийся к компьютерному программному продукту, содержит машиноисполняемые инструкции, соответствующие каждой стадии осуществления по меньшей мере одного из описываемых способов. Эти инструкции могут быть подразделены на подпрограммы и/или храниться в одном или более файлах, которые могут быть связаны статически или динамически. Другой вариант осуществления, относящийся к компьютерному программному продукту, содержит машиноисполняемые инструкции, соответствующие каждому средству по меньшей мере одной системы и/или набора описанных продуктов. Эти инструкции могут быть подразделены на подпрограммы и/или храниться в одном или более файлах, которые могут быть связаны статически или динамически.

Носителем компьютерной программы может быть любое средство или устройство, способное нести программу. Например, носитель может содержать хранилище данных, такое как постоянная память (ROM), например компакт-диск (CD ROM) или полупроводниковая ROM, или магнитный носитель записи, например жесткий диск. Кроме того, носитель может являться передаваемым носителем, таким как электрический или оптический сигнал, который может быть передан по электрическому или оптическому кабелю или с помощью радио или других средств. В случае, когда программа воплощается в таком сигнале, носитель может состоять из такого кабеля или другого устройства или средства. Альтернативно, носитель может являться интегральной схемой, в которую встроена программа и которая адаптирована для выполнения или использования при осуществлении соответствующего способа.

Следует отметить, что приведенные выше варианты иллюстрируют, а не ограничивают изобретение и что специалисты в данной области техники будут в состоянии разработать множество альтернативных вариантов осуществления, не выходящих за границы объема прилагаемой формулы изобретения. В формуле изобретения любые обозначения, помещенные между круглыми скобками, не должны рассматриваться как ограничивающие соответствующий пункт формулы. Использование глагола "содержать" и слов, производных от него, не исключает присутствия других элементов или операций, помимо включенных в соответствующий пункт формулы. При этом упоминание элемента в единственном числе не исключает присутствия более одного элемента. Изобретение может быть осуществлено посредством технических средств, содержащих несколько дискретных элементов, и посредством соответствующим образом запрограммированного компьютера. В пункте формулы изобретения, относящемся к устройству и перечисляющем несколько средств, некоторые из этих средств могут быть реализованы одним и тем же элементом. Из того, что определенные признаки излагаются в различных зависимых пунктах формулы, не следует, что невозможно эффективно использовать и комбинацию этих признаков.

Изобретение относится к области вычислительной техники для обработки изображений. Технический результат заключается в улучшении аннотирования объектов в изображении за счет алгоритма машинного обучения. Компьютеризованный способ обучения, включающий следующие операции: получают доступ к данным изображения; используют алгоритм машинного обучения, чтобы получить машинные аннотации объектов в одном или более масштабах указанного изображения; формируют на дисплее просмотровое окно, конфигурируемое на основе коэффициента увеличения; имитируют ручное аннотирование объекта в различных масштабах и/или в различных частях каждого масштаба изображения; используют имитированные ручные аннотации в качестве различных обучающих входов в алгоритм машинного обучения; квантифицируют изменения в различных результирующих машинных аннотациях объектов; выбирают коэффициент увеличения и параметр пространственного смещения на основе идентифицированной имитированной ручной аннотации и после приема входных данных используют ручное аннотирование объекта пользователем в качестве обучающего входа в алгоритм машинного обучения. 6 н. и 14 з.п ф-лы, 7 ил.

1. Система для обучения аннотированию объектов в изображении, содержащая:

- интерфейс данных изображения, выполненный с возможностью обеспечения доступа к данным изображения, соответствующим мультимасштабному представлению изображения, содержащему множество масштабов, отображающих изображение с различными пространственными разрешениями;

- память, содержащую данные по инструкциям, представляющие набор инструкций;

- процессор, выполненный с возможностью коммуникации с интерфейсом данных изображения и с памятью и выполнения набора инструкций, причем выполнение набора инструкций процессором приводит к использованию процессором алгоритма машинного обучения для получения машинных аннотаций объектов в одном или более масштабах указанного мультимасштабного изображения; и

- подсистему пользовательского интерфейса, содержащую:

i) дисплейный процессор, выполненный с возможностью формирования на дисплее просмотрового окна для отображения мультимасштабного изображения, причем просмотровое окно является конфигурируемым с использованием коэффициента увеличения, который определяет, какой масштаб из множества масштабов должен быть отображен в просмотровом окне, и параметра пространственного смещения, задающего часть указанного масштаба, подлежащую отображению, и

ii) пользовательский интерфейс ввода, выполненный с возможностью принимать вводимые пользователем входные данные, которые характеризуют ручное аннотирование пользователем объекта в просмотровом окне;

при этом выполнение набора инструкций процессором приводит к осуществлению процессором

- имитирования ручного аннотирования объекта в различных масштабах и/или в различных частях каждого масштаба мультимасштабного изображения;

- использования указанных имитированных ручных аннотаций в качестве различных обучающих входов в алгоритм машинного обучения;

- квантификации изменений в различных результирующих машинных аннотациях объектов, чтобы идентифицировать имитированную ручную аннотацию, которая обеспечивает максимальное изменение или изменение, превышающее абсолютный или относительный порог, в машинных аннотациях объектов посредством алгоритма машинного обучения;

- выбора коэффициента увеличения и параметра пространственного смещения для просмотрового окна на основе идентифицированной имитированной ручной аннотации; и

- после приема входных данных от пользователя использования ручного аннотирования объекта пользователем в качестве обучающего входа в алгоритм машинного обучения.

2. Система по п. 1, в которой выполнение набора инструкций процессором приводит к осуществлению процессором

- разделения каждого масштаба мультимасштабного изображения на части изображения; и

- имитирования ручного аннотирования объекта путем присваивания ярлыка объекта по меньшей мере одной из частей изображения или изменения ярлыка объекта, ранее присвоенного по меньшей мере одной из частей изображения.

3. Система по п. 2, в которой выполнение набора инструкций процессором приводит к генерированию процессором карты степени изменения, совершенного ручным аннотированием в каждой части изображения, при этом подсистема пользовательского интерфейса выполнена с возможностью наложения указанной карты в просмотровом окне.

4. Система по п. 1, в которой подсистема пользовательского интерфейса выполнена с возможностью автоматического применения, по отношению к просмотровому окну, коэффициента увеличения и параметра пространственного смещения, определенных процессором.

5. Система по п. 1, в которой

- подсистема пользовательского интерфейса выполнена с возможностью обеспечения пользователю возможности вручную выбирать, при отображении изображения, коэффициент увеличения и параметр пространственного смещения для просмотрового окна с целью задать выбранную пользователем область изображения;

- выполнение набора инструкций процессором приводит к использованию процессором алгоритма машинного обучения, чтобы осуществить машинное аннотирование объектов в выбранной пользователем области изображения, и

- подсистема пользовательского интерфейса выполнена с возможностью визуализации в просмотровом окне машинных аннотаций объектов.

6. Система по п. 5, в которой

- подсистема пользовательского интерфейса выполнена с возможностью обеспечения пользователю возможности ручной коррекции машинных аннотаций объектов в просмотровом окне, и

- выполнение набора инструкций процессором приводит к использованию процессором указанной коррекции аннотаций в качестве обучающего входа в алгоритм машинного обучения.

7. Система по п. 1, в которой выполнение процессором набора инструкций приводит к реализации процессором алгоритма машинного обучения применительно к каждому масштабу мультимасштабного изображения с получением множества карт аннотаций, причем каждая карта представляет машинные аннотации объектов в соответствующем масштабе.

8. Система по п. 7, в которой выполнение процессором набора инструкций приводит к генерированию процессором семантического описания мультимасштабного изображения с использованием комбинации или взаимного наложения множества карт аннотаций.

9. Система по п. 1, в которой алгоритм машинного обучения содержит сверточную нейронную сеть.

10. Рабочая станция, содержащая систему согласно п. 1.

11. Аппарат для формирования изображений, содержащий систему согласно п. 1.

12. Машиночитаемый носитель, содержащий долговременные данные, представляющие алгоритм машинного обучения, полученный в результате тренировки с использованием системы согласно п. 1.

13. Компьютеризованный способ обучения аннотированию объектов в изображении, включающий следующие операции:

- получают доступ к данным изображения, соответствующим мультимасштабному представлению изображения, содержащему множество масштабов, представляющих изображение с различными пространственными разрешениями;

- используют алгоритм машинного обучения, чтобы получить машинные аннотации объектов в одном или более масштабах указанного мультимасштабного изображения;

- формируют на дисплее, для отображения мультимасштабного изображения, просмотровое окно, конфигурируемое на основе коэффициента увеличения, определяющего, какой из множества масштабов должен быть показан в просмотровом окне, и параметра пространственного смещения, задающего часть указанного масштаба, которая должна быть показана, и

- осуществляют прием от пользователя входных данных, характеризующих ручное аннотирование объекта пользователем в просмотровом окне;

при этом способ дополнительно включает следующие операции:

- имитируют ручное аннотирование объекта в различных масштабах и/или в различных частях каждого масштаба мультимасштабного изображения;

- используют имитированные ручные аннотации в качестве различных обучающих входов в алгоритм машинного обучения;

- квантифицируют изменения в различных результирующих машинных аннотациях объектов, чтобы идентифицировать имитированную ручную аннотацию, которая обеспечивает максимальное изменение или изменение, превышающее абсолютный или относительный порог, в машинных аннотациях объектов посредством алгоритма машинного обучения;

- выбирают коэффициент увеличения и параметр пространственного смещения для просмотрового окна на основе идентифицированной имитированной ручной аннотации и

- после приема входных данных от пользователя используют ручное аннотирование объекта пользователем в качестве обучающего входа в алгоритм машинного обучения.

14. Способ по п. 13, дополнительно включающий:

разделение каждого масштаба мультимасштабного изображения на части изображения; и

имитирование ручного аннотирования объекта путем присваивания ярлыка объекта по меньшей мере одной из частей изображения или изменения ярлыка объекта, ранее присвоенного по меньшей мере одной из частей изображения.

15. Способ по п. 13, дополнительно включающий:

генерирование карты степени изменения, совершенного ручным аннотированием в каждой части изображения, и

наложение указанной карты в просмотровом окне.

16. Способ по п. 13, дополнительно включающий:

применение, по отношению к просмотровому окну, коэффициента увеличения и параметра пространственного смещения, определенных процессором.

17. Способ по п. 13, дополнительно включающий:

применение алгоритма машинного обучения применительно к каждому масштабу мультимасштабного изображения с получением множества карт аннотаций, причем каждая карта представляет машинные аннотации объектов в соответствующем масштабе.

18. Способ по п. 13, дополнительно включающий:

генерирование семантического описания мультимасштабного изображения с использованием комбинации или взаимного наложения множества карт аннотаций.

19. Способ по п. 13, в котором алгоритм машинного обучения содержит сверточную нейронную сеть.

20. Машиночитаемый носитель, содержащий долговременные данные, представляющие инструкции, выполнение которых приводит к осуществлению процессорной системой способа согласно п. 13.