ОБЛАСТЬ ТЕХНИКИ
[01] Настоящее изобретение в целом относится к области нейронных сетей и использованию таких сетей для анализа изображений и обнаружения объектов. Более конкретно и без ограничения это изобретение относится к компьютерным системам и способам обучения генеративно-состязательных сетей и их использования. Описанные в данном документе системы и способы, а также обученные нейронные сети могут использоваться в различных приложениях и системах технического зрения, таких как анализ медицинских изображений и системах, которые извлекают выгоду из возможностей точного обнаружения объектов.
УРОВЕНЬ ТЕХНИКИ
[02] Во многих системах обнаружения объектов объект обнаруживается на изображении. Объектом интереса может быть человек, место или вещь. В некоторых приложениях, таких как анализ и диагностика медицинских изображений, также важно местоположение объекта. Однако компьютерные системы, использующие классификаторы изображений, обычно не могут идентифицировать или предоставить местоположение обнаруженного объекта. Соответственно, существующие системы, которые используют только классификаторы изображений, не очень полезны.
[03] Кроме того, способы обучения для обнаружения объектов могут полагаться на обучающие наборы, аннотированные вручную. Такие аннотации занимают много времени, когда обучаемая сеть обнаружения основана на ограничивающем прямоугольнике, например, архитектура You Only Look Once (YOLO), архитектура Single Shot Detector (SSD) и т.п. Соответственно, большие наборы данных трудно аннотировать для обучения, что часто приводит к тому, что нейронная сеть обучается на меньшем наборе данных, а это снижает точность.
[04] Для компьютерных систем существующие медицинские изображения обычно строятся на основе одной сети детекторов. Соответственно, как только обнаружение выполнено, сеть просто передает данные об обнаружении, например, врачу или другому специалисту в области здравоохранения. Однако такое обнаружение может быть ложноположительным, например, отсутствие полипов при эндоскопии и т.п. Такие системы не обеспечивают отдельной сети для различения ложноположительных срабатываний от истинно положительных срабатываний.
[05] Кроме того, детекторы объектов на основе нейронных сетей обычно передают функции, идентифицированные нейронной сетью, в детектор, который может содержать вторую нейронную сеть. Однако такие сети часто неточны, потому что обнаружение признаков выполняется обобщенной сетью, при этом специализированной является только часть детектора.
[06] Наконец, многие существующие детекторы объектов работают с задержкой. Например, медицинские изображения могут быть захвачены и сохранены перед анализом. Однако некоторые медицинские процедуры, такие как эндоскопия, осуществляются в режиме реального времени. Следовательно, эти системы обычно трудно применять в режиме реального времени.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
[07] Ввиду вышеизложенного, варианты воплощения настоящего изобретения предоставляют реализованные на компьютере системы и способы для обучения генеративно-состязательной сети и их использования для таких приложений, как анализ медицинских изображений. Системы и способы настоящего изобретения обеспечивают преимущества по сравнению с существующими системами и методами, включая улучшенное обнаружение объекта и информацию о местоположении.
[08] В соответствии с некоторыми вариантами воплощения предоставляется компьютерная система, содержащая сеть обнаружения объектов, которая идентифицирует интересующие особенности (т.е. аномалии или объекты, представляющие интерес), а также их местоположения, и состязательная сеть, которая отличает истинно положительные срабатывания от ложноположительные срабатываний. Более того, варианты воплощения настоящего изобретения предоставляют двухконтурную технику для обучения сети обнаружения объектов. В этом процессе обучения используются аннотации, основанные на просмотре обнаружения, поэтому ручное аннотирование может выполняться намного быстрее и, следовательно, с большим набором данных. Более того, этот процесс можно использовать для обучения генеративно-состязательной сети, чтобы отличать ложноположительные срабатывания от истинно положительных срабатываний.
[09] Кроме того, предложены раскрытые системы, которые объединяют сеть обнаружения объектов с генеративно-состязательной сетью. Комбинируя такие сети, можно отличать ложноположительные срабатывания от истинно положительных срабатываний, тем самым обеспечивая более точные результаты. Уменьшая количество ложных срабатываний, врач или другой медицинский работник может уделять повышенное внимание выходным данным сети, чему способствует существенно повышенная точность.
[010] Кроме того, варианты воплощения настоящего изобретения включают в себя нейронные сети, которые не используют идентификацию общих признаков одной нейронной сетью в сочетании со специализированным детектором. Скорее, единая бесшовная нейронная сеть обучается для части детектора объектов, что приводит к большей специализации, а также к повышенной точности и эффективности.
[011] Наконец, варианты воплощения настоящего изобретения выполнены с возможностью отображения видео в реальном времени (например, видео эндоскопии или других медицинских изображений) вместе с обнаружениями объектов на одном дисплее. Соответственно, варианты воплощения настоящего изобретения обеспечивают обход видео для минимизации потенциальных проблем из-за ошибок и других недостатков, связанных с детектором объекта. Более того, обнаруженные объекты могут отображаться особым образом, чтобы больше привлечь внимание врача или другого медицинского работника.
[012] В одном из вариантов воплощения, система для обучения генеративно-состязательной сети с использованием изображений, содержащих представления интересующей особенности, может содержать по меньшей мере один блок памяти, выполненный с возможностью хранения инструкций, и по меньшей мере один процессор, выполненный с возможностью вызова инструкций, предназначенных для выполнения операций. Операции могут включать: предоставление первого множества изображений, содержащего представления интересующего объекта, индикаторы местоположения интересующей особенности в изображениях первого множества изображений, и использование первого множества изображений, а также индикаторов интересующей особенности, обучение сети обнаружения объектов идентификации интересующей особенности. Операции могут дополнительно включать: предоставление второго множества изображений, которое содержит представления интересующей особенности, и задействование обученной сети обнаружения объектов ко второму множеству изображений для создания первого множества обнаружений интересующей особенности. Второе множество изображений может содержать большее количество изображений, чем то, которое содержится в первом множестве изображений. Операции могут дополнительно включать: обеспечение установленных вручную проверок истинно положительных срабатываний и ложноположительных срабатываний по отношению к первому множеству обнаружений; использование проверок истинно положительных срабатываний и ложноположительных срабатываний по отношению к первому множеству обнаружений, обучение генеративно-состязательной сети; и переобучение генеративно-состязательной сети, используя по меньшей мере один дополнительный набор изображений и обнаружений интересующей особенности, вместе с дополнительными вручную установленными проверками истинно положительных и ложноположительных срабатываний относительно дальнейших обнаружений интересующей особенности.
[013] В некоторых вариантах воплощения, по меньшей мере один процессор может быть дополнительно выполнен с возможностью переобучения генеративно-состязательной сети путем обеспечения проверки ложноотрицательных результатов для пропущенных обнаружений интересующей особенности в двух или более изображениях.
[014] В любом из вариантов воплощения, сеть обнаружения объектов может быть сверточной нейронной сетью.
[015] В любом из вариантов воплощения, количество изображений во втором множестве изображений может быть по меньшей мере в 100 раз больше, чем количество изображений, содержащихся в первом множестве изображений.
[016] В любом из вариантов воплощения, первое множество изображений и второе множество изображений могут содержать медицинские изображения. Например, медицинские изображения могут содержать изображения органов желудочно-кишечного тракта.
[017] В любом из вариантов воплощения, по меньшей мере одно из первого множества изображений и второго множества изображений содержит изображения, полученные с эндоскопического устройства. Дополнительно или альтернативно по меньшей мере одно из первого множества изображений и второго множества изображений могут содержать изображения, полученные с устройства формирования изображений, используемого во время выполнения по меньшей мере одной из следующих процедур: гастроскопия, колоноскопия, энтероскопия или эндоскопия верхних отделов пищеварительного тракта, такая как эндоскопия пищевода.
[018] В любом из вариантов воплощения, интересующей особенностью может быть аномалия. Например, аномалия может представлять собой изменение в человеческой ткани, когда один тип клеток превращается в другой тип клеток. Дополнительно или альтернативно, аномалия может представлять собой отсутствие человеческой ткани в том месте, где она предполагается. Дополнительно или альтернативно, аномалия может представлять собой образование в ткани человека или за пределами ткани человека.
[019] В любом из вариантов воплощения, аномалия может представлять собой участок поражения. В частности, поражение может представлять собой полиповидное поражение или неполиповидное поражение.
[020] В одном варианте воплощения, способ обучения системы обнаружения аномалий в изображениях человеческого органа, созданной на основе нейронной сети, может включать сохраненное в базе данных множество видео, в том числе представления аномалий; выборка первого поднабора из множества видео; и задействование ветви восприятия сети обнаружения объектов к кадрам первого поднабора множества видео, чтобы сгенерировать первое множество обнаруженных аномалий. Способ может дополнительно включать выборку второго поднабора из множества видео; и использование первого множества обнаружений и кадров из второго поднабора множества видео, обучая генеративную сеть генерировать множество искусственных представлений аномалий. Множество искусственных представлений может быть создано посредством остаточного обучения. Способ может дополнительно включать обучение состязательной ветви дискриминаторной сети различению искусственных представлений аномалий и истинных представлений аномалий; задействование состязательной ветви дискриминаторной сети к множеству искусственных представлений для создания индикаторов различия между искусственными представлениями аномалий и истинными представлениями аномалий, содержащихся в кадрах второго подмножества множества видео; задействование ветви восприятия дискриминаторной сети к искусственным представлениям для получения второго множества обнаружений аномалий; и переобучение ветви восприятия на основе индикаторов различия и второго множества обнаружений. Эти шаги могут выполняться по меньшей мере одним процессором.
[021] В некоторых вариантах воплощения, аномалия может представлять собой изменение в человеческой ткани от одного типа клетки к другому типу клеток. Дополнительно или альтернативно аномалия может представлять собой отсутствие человеческой ткани в том месте, где она предполагается. Дополнительно или альтернативно аномалия может представлять собой образование в области человеческой ткани или вне ее.
[022] В любом из вариантов воплощения, аномалия может представлять собой участок поражения. Например, поражение может представлять собой полиповидное поражение или неполиповидное поражение.
[023] В любом из вариантов воплощения, каждое искусственное представление может обеспечивать ложное представление аномалии, которое очень похоже на истинное представление аномалии.
[024] В любом из вариантов воплощения, сеть генератора может содержать генеративно-состязательную сеть.
[025] В любом из вариантов воплощения, дискриминаторная сеть может содержать сверточную нейронную сеть.
[026] В одном варианте воплощения, система для обнаружения интересующей особенности в изображениях человеческого органа может содержать по меньшей мере одну инструкцию хранения в памяти и по меньшей мере один процессор, выполненный с возможностью вызова инструкций, предназначенных для выполнения операций. Операции могут включать: выборку кадров из видео человеческого органа; задействование, обученной системы нейронной сети, к кадрам для выполнения по меньшей мере одного обнаружения интересующей особенности; генерирование индикатора местоположения по меньшей мере одного обнаружения на одном из кадров; перекодирование кадров в видео; и вывод перекодированного видео с индикатором. Система нейронной сети может быть обучена согласно любому из вариантов воплощения, изложенных в этом документе.
[027] Дополнительные цели и преимущества настоящего изобретения будут изложены частично в нижеследующем подробном описании и частично будут очевидны из описания или могут быть изучены при практическом использовании настоящего изобретения. Цели и преимущества настоящего изобретения будут реализованы и достигнуты посредством элементов и комбинаций, конкретно указанных в прилагаемой формуле изобретения.
[028] Следует понимать, что приведенное выше общее описание и последующее подробное описание являются только примерными и пояснительными и не ограничивают предлагаемые варианты воплощения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[029] Прилагаемые чертежи, которые составляют часть этого описания, иллюстрируют несколько вариантов воплощения и вместе с описанием служат для объяснения принципов и особенностей предлагаемых вариантов воплощения. На чертежах:
[030] На Фиг. 1 проиллюстрировано схематическое представление приведенной в качестве примера реализованной на компьютере системы наложения обнаруженных объектов на видеопоток согласно вариантам воплощения настоящего изобретения.
[031] На Фиг. 2 проиллюстрирован приводимый в качестве примера двухфазный обучающий цикл для сети обнаружения объектов согласно вариантам воплощения настоящего изобретения.
[032] На Фиг. 3 проиллюстрирована блок-схема приводимого в качестве примера способа обучения сети обнаружения объектов согласно вариантам воплощения настоящего изобретения.
[033] На Фиг. 4 проиллюстрировано схематическое представление приводимого в качестве примера детектора объекта с дискриминаторной сетью и генеративной сетью согласно вариантам воплощения настоящего изобретения.
[034] На Фиг. 5 проиллюстрирована блок-схема приводимого в качестве примера способа обнаружения интересующей особенности с использованием сети дискриминатора и сети генератора, согласно вариантам воплощения настоящего изобретения.
[035] На Фиг. 6 проиллюстрировано схематическое представление реализованной на компьютере системы, использующей сеть обнаружения объектов, согласно вариантам воплощения настоящего изобретения.
[036] На Фиг. 7 проиллюстрирована блок-схема приводимого в качестве примера способа наложения индикаторов объектов на видеопоток с использованием сети обнаружения объектов согласно вариантам воплощения настоящего изобретения.
[037] На Фиг. 8A проиллюстрирован пример отображения с наложением для обнаружения объекта в видео согласно вариантам воплощения настоящего изобретения.
[038] На Фиг. 8B проиллюстрирован еще один пример отображения с наложением для обнаружения объекта в видео согласно вариантам воплощения настоящего изобретения.
[039] На Фиг. 8C проиллюстрирован пример отображения с наложением для обнаружения объекта в видео согласно вариантам воплощения настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[040] Раскрытые варианты воплощения относятся к компьютерно-реализуемым системам и способам для обучения генеративных состязательных сетей и их использования. Преимущественно приводимые в качестве примера варианты воплощения могут обеспечивать улучшенные обученные сети и быстрое и эффективное обнаружение объектов. Варианты воплощения настоящего изобретения также могут обеспечить улучшенное обнаружение объекта для анализа медицинских изображений с уменьшенным количеством ложных срабатываний.
[041] Варианты воплощения настоящего изобретения могут быть реализованы и использованы в различных приложениях и системах технического зрения. Например, варианты воплощения настоящего изобретения могут быть реализованы для систем анализа медицинских изображений и других типов систем, которые извлекают выгоду из обнаружения объекта, причем объекты могут быть истинно положительными или ложноположительными. Хотя варианты воплощения настоящего изобретения описаны в данном документе в целом со ссылкой на анализ медицинских изображений и эндоскопию, следует понимать, что варианты воплощения могут применяться к другим процедурам получения медицинских изображений, таким как гастроскопия, колоноскопия, энтероскопия и эндоскопия верхних отделов пищеварительного тракта, например эндоскопия пищевода. Кроме того, варианты воплощения настоящего изобретения не ограничиваются другими средами и системами видения, такими как системы лазерных дальномеров, наблюдения, автопилотирования и другие системы визуализации или содержащие их системы.
[042] Согласно одному из аспектов настоящего изобретения, реализованная на компьютере система предоставляется для обучения генеративно-состязательной сети с использованием изображений, содержащих представления интересующего объекта. Система может содержать по меньшей мере один блок памяти, выполненный с возможностью хранения инструкций, и по меньшей мере один процессор, выполненный с возможностью вызова инструкций (как проиллюстрировано, например на Фиг. 1 и 6). По меньшей мере один процессор может предоставлять первое множество изображений. Например, по меньшей мере один процессор может извлекать первое множество изображений из одной или более баз данных. Дополнительно или альтернативно, первое множество изображений может содержать множество кадров, извлеченных из одного или более видео.
[043] В контексте данного документа, термин «изображение» относится к любому цифровому представлению сцены или поля зрения. Цифровое представление может быть закодировано в любом подходящем формате, таком как формат, разработанный Объединенной экспертной группой по фотографии (JPEG), формат обмена графической информацией (GIF), формат растрового изображения, формат масштабируемой векторной графики (SVG), формат инкапсулированного PostScript (EPS) и т.п. Точно так же термин «видео» относится к любому цифровому представлению сцены или интересующей области, состоящему из множества последовательно расположенных изображений. Цифровое представление может быть закодировано в любом подходящем формате, таком как формат группы экспертов по движущимся изображениям (MPEG), формат флэш-видео, формат аудио-видео с чередованием (AVI) и т.п. В некоторых вариантах воплощения последовательность изображений может быть скомбинирована со звуком.
[044] Первое множество изображений может содержать представления интересующей особенности (то есть аномалии или интересующего объекта) и индикаторы местоположений интересующей особенности в изображениях первого множества изображений. Например, интересующая особенность может представлять собой аномалию человеческой ткани или за пределами ткани. В некоторых вариантах воплощения интересующая особенность может содержать объект, такой как транспортное средство, человека или другой объект.
[045] В соответствии с настоящим изобретением, «аномалия» может включать образования, сформированные в области человеческой ткани или вне ее, изменение в человеческой ткани одного типа клетки на другой и/или отсутствие человеческой ткани в том месте, где она ожидается. Например, опухоль или рост другой ткани может содержать аномалию, поскольку присутствует больше клеток, чем ожидалось. Точно так же синяк или другое изменение типа клеток может содержать аномалию, поскольку клетки крови присутствуют там, где их быть не должно (то есть вне капилляров). Точно так же впадина в человеческой ткани может представлять собой аномалию, поскольку в этом случае клетки отсутствуют в ожидаемом месте, что приводит к появлению впадины.
[046] В некоторых вариантах воплощения, аномалия может представлять собой участок поражение. Поражения могут представлять собой поражения слизистой оболочки желудочно-кишечного тракта. Поражения могут быть классифицированы гистологически (например, согласно Венской классификации), морфологически (например, согласно Парижской классификации) и/или классифицированы структурно (например, как зубчатые или не зубчатые). Парижская классификация описывает полиповидные и неполиповидные поражения. Полиповидные поражения могут быть выступающими, выступающими на ножке или сидячими поражениями. Неполиповидные поражения могут представлять собой поверхностные приподнятые, плоские, поверхностные, неглубоко вдавленные или углубленные поражения.
[047] Что касается обнаруженных аномалий, зубчатые поражения могут представлять собой сидячие зубчатые аденомы (SSA); традиционные зубчатые аденомы (TSA); гиперпластические полипы (ГП); фибробластические полипы (ФП); или смешанные полипы (МП). В соответствии с Венской классификацией аномалии делятся на пять следующих категорий: (категория 1) - отрицательные на неоплазию/дисплазию; (категория 2) бессрочные в плане неоплазии/дисплазии; (категория 3) неинвазивная неоплазия низкой степени злокачественности (аденома/дисплазия низкой степени); (категория 4) неоплазия слизистой оболочки высокой степени, такая как аденома/дисплазия высокой степени, неинвазивная карцинома (карцинома in-situ) или подозрение на инвазивную карциному; и (категория 5) инвазивная неоплазия, внутрислизистая карцинома, подслизистая карцинома и т.п.
[048] Индикаторы местоположения аномалии или интересующей особенности могут содержать точки (например, координаты) или области (например, прямоугольник, квадрат, овал или любую другую правильную или неправильную форму). Индикаторы могут содержать ручные аннотации на или к изображениям. В некоторых вариантах воплощения, первое множество изображений может содержать медицинские изображения, такие как изображения желудочно-кишечного тракта или другого органа или области ткани человека. Изображения могут быть созданы с помощью медицинского устройства визуализации, такого как те, которые используются во время эндоскопии, гастроскопии, колоноскопии, энтероскопии или процедуры эндоскопии верхних отделов пищеварительного тракта, такой как процедура эндоскопии пищевода. В таких вариантах воплощения, если интересующей особенностью является поражение или другая аномалия, врач или другой медицинский работник может аннотировать изображения, чтобы разместить на изображениях индикаторы аномалии.
[049] Процессор(ы) системы может использовать первое множество изображений и индикаторов интересующей особенности для обучения сети обнаружения объектов детектированию интересующей особенности. Например, сеть обнаружения объектов может содержать нейронную сеть с одним или более слоями, выполненную с возможностью приема изображения в качестве входных данных и для вывода индикатора местоположения интересующего объекта. В некоторых вариантах воплощения, сеть обнаружения объектов может содержать сверточную сеть.
[050] Обучение сети обнаружения объектов может предусматривать настройку весов одного или более узлов сети и/или настройку функций активации (или передачи) одного или более узлов сети. Например, веса сети обнаружения объектов могут быть скорректированы для минимизации функции потерь, связанной с сетью. В некоторых вариантах воплощения, функция потерь может содержать квадратную функцию потерь, кусочно-линейную функцию потерь, функцию логистических потерь, функцию кросс-энтропийных потерь или любую другую подходящую функцию потерь или комбинацию функций потерь. В некоторых вариантах воплощения, функции активации (или передачи) сети обнаружения объектов могут быть изменены, чтобы улучшить соответствие между одной или более моделями узла(ов) и входом в узел (узлы). Например, процессор(ы) может увеличивать или уменьшать мощность полиномиальной функции, связанной с узлом(ами), может изменять ассоциированную функцию с одного типа на другой (например, с полинома на экспоненциальную функцию, с логарифмической функции полинома или тому подобное) или выполнить любую другую настройку модели(ей) узла(ов).
[051] Процессор(ы) системы может дополнительно предоставить второе множество изображений, которое содержит представления интересующей особенности. Например, процессор(ы) может извлекать первое множество изображений из одной или более баз данных, будь то одна и та же база данных, которая хранила первое множество изображений, или одна или более разных баз данных. Дополнительно или альтернативно, второе множество изображений может содержать множество кадров, извлеченных из одного или более видео, независимо от того, использовалось ли одно и то же видео для извлечения первого множества изображений или одного или более разных видео.
[052] В некоторых вариантах воплощения, второе множество изображений может содержать медицинские изображения, такие как изображения с эндоскопического устройства. В таких вариантах воплощения, интересующая особенность может представлять собой поражение или другую аномалию.
[053] В некоторых вариантах воплощения, второе множество изображений может содержать большее количество изображений, чем то, которое находится в первом множестве изображений. Например, второе множество изображений может содержать по меньшей мере в сто раз больше изображений, чем первое множество изображений. В некоторых вариантах воплощения, второе множество изображений может содержать первое множество, по меньшей мере частично, или может быть изображениями, отличными от первого множества. В вариантах воплощения, где второе множество изображений извлекается, по меньшей мере частично, из одного или более видеороликов, из которых была извлечена по меньшей мере часть первого множества изображений, второе множество изображений может содержать кадры, отличные от первого множества из такого же видео.
[054] Процессор(ы) системы может задействовать сеть обнаружения обученных объектов ко второму множеству изображений, чтобы произвести первое множество обнаружений интересующей особенности. Например, в вариантах воплощения, когда сеть обнаружения обученных объектов содержит нейронную сеть, по меньшей мере один процессор может добавлять второе множество изображений в сеть и принимать результаты обнаружения. Обнаружения могут содержать индикаторы местоположения интересующего объекта во втором множестве изображений. Если второе множество изображений не содержит интересующую особенность, индикатор может содержать нулевой индикатор или другой индикатор отсутствия интересующей особенности.
[055] Процессор(ы) системы может дополнительно обеспечивать вручную установленные проверки истинно положительных и ложноположительных срабатываний в отношении первого множества обнаружений. Например, подтверждения могут быть извлечены из одной или более баз данных или получены в качестве входных данных. В вариантах воплощения, когда интересующая особенность представляет собой поражение или другую аномалию, подтверждения может вводить врач или другой медицинский работник. Например, процессор(ы) может выводить результаты обнаружения для отображения врачу или другому специалисту в области здравоохранения и принимать подтверждения в ответ на отображаемые обнаружения.
[056] Процессор(ы) системы может использовать проверки истинно положительных и ложноположительных срабатываний по отношению к первому множеству обнаружений для обучения генеративно-состязательной сети. Например, порождающая ветвь сети может быть обучена генерированию искусственных представлений интересующей особенности. Соответственно, генеративная ветвь может содержать сверточную нейронную сеть.
[057] Подобно сети обнаружения объектов, обучение генеративной ветви может предусматривать настройку весов одного или более узлов сети и/или настройку функций активации (или передачи) одного или более узлов сети. Например, как рассмотрено в этом документе, веса порождающей ветви можно регулировать, чтобы минимизировать функцию потерь, связанную с сетью. Дополнительно или альтернативно, функции активации (или передачи) генеративной ветви могут быть изменены, чтобы улучшить соответствие между одной или более моделями узла(ов) и входом в узел(ы).
[058] Более того, состязательная ветвь сети может быть обучена отличать ложноположительные срабатывания от истинно положительных с помощью проверок, выполняемых вручную. Например, состязательная ветвь может содержать нейронную сеть, принимающую изображение и одно или более соответствующих обнаружений, используемых в качестве входных данных, а в качестве выходных данных будет выполняться проверка. В некоторых вариантах воплощения, процессор(ы) может дополнительно переобучать генеративную сеть, обеспечивая проверки ложноотрицательных результатов для пропущенных обнаружений интересующей особенности в двух или более изображениях. Предоставляя искусственные представления из порождающей ветви в качестве входных данных для состязательной ветви и рекурсивно используя выходные данные из состязательной ветви, состязательная ветвь и порождающая ветвь могут выполнять неконтролируемое обучение.
[059] Подобно генеративной ветви, обучение состязательной ветви может предусматривать настройку весов одного или более узлов сети и/или настройку функций активации (или передачи) одного или более узлов сети. Например, как рассмотрено в данном документе, веса состязательной ветви могут быть скорректированы, чтобы минимизировать функцию потерь, связанную с сетью. Дополнительно или альтернативно, функции активации (или передачи) состязательной ветви могут быть изменены, чтобы улучшить соответствие между одной или более моделями узла(ов) и входом в узел(ы).
[060] Соответственно, в вариантах воплощения, где интересующая особенность включает поражение или другую аномалию, генеративная ветвь может быть обучена генерировать представления не-аномалий, которые выглядят аналогичными аномалиям, а состязательная ветвь может быть обучена отличать искусственные не-аномалии от аномалий во втором множестве изображений.
[061] Процессор(ы) системы может повторно обучать генеративно-состязательную сеть, используя по меньшей мере один дополнительный набор изображений и обнаружений интересующей особенности, вместе с дополнительными вручную установленными проверками истинно положительных и ложноположительных срабатываний в отношении дополнительных обнаружений интересующей особенности. Например, процессор(ы) может извлекать дополнительный набор изображений из одной или более баз данных, будь то одна и та же база данных, которая хранит первое множество изображений и/или второе множество изображений, или одну или более других баз данных. Дополнительно или альтернативно, дополнительный набор изображений может содержать множество кадров, извлеченных из одного или более видео, независимо от того, использовалось ли одно и то же видео для извлечения первого множества изображений и/или второго множества изображений, или одного или более других видео. Подобно обучению, повторное обучение состязательной ветви может включать дополнительные корректировки весов одного или более узлов сети и/или дополнительные корректировки функций активации (или передачи) одного или более узлов сети.
[062] В соответствии с другим аспектом настоящего изобретения, предоставляется компьютерно-реализуемый способ для обучения нейросетевой системы обнаружению аномалий в изображениях человеческого органа. Способ может быть реализован по меньшей мере одним процессором (см., например, процессор 607, проиллюстрированный на Фиг. 6).
[063] Согласно приведенному в качестве примера способу, процессор(ы) может хранить в базе данных множество видео, включая представления аномалий. Например, видео могут представлять собой видео эндоскопии. Видео могут быть закодированы в одном или более форматах, таких как формат Группы экспертов по движущимся изображениям (MPEG), формат флэш-видео, формат аудио-видео с чередованием (AVI) и т.п.
[064] Способ может дополнительно включать выборку с помощью процессора(ов) первого подмножества множества видео. Например, процессор(ы) может случайным образом осуществлять выборку первого подмножества. Альтернативно, процессор(ы) может использовать один или более индексов базы данных для выборки первого подмножества. Например, процессор(ы) может осуществить выборку первого подмножества в качестве видео, проиндексированного как содержащее представления аномалий.
[065] Способ может дополнительно включать задействование, вместе с процессором (ами), ветви восприятия сети обнаружения объектов, к кадрам первого поднабора множества видео, чтобы произвести первое множество обнаружений аномалий. Например, сеть обнаружения объектов может содержать нейронную сеть, обученную принимать изображения в качестве входных данных и выводить первое множество обнаружений. Первое множество обнаружений может содержать индикаторы местоположений аномалий в кадрах, таких как точка или область обнаруженной аномалии. Отсутствие аномалии может привести к появлению нулевого индикатора или другого индикатора отсутствия аномалии. Ветвь восприятия может содержать нейронную сеть (например, сверточную нейронную сеть), выполненную с возможностью обнаружения аномалий и выходных индикаторов местоположений любых обнаруженных аномалий.
[066] Способ может дополнительно включать выборку с помощью процессора(ов) второго поднабора из множества видео. В некоторых вариантах воплощения, второе подмножество может содержать, по меньшей мере частично, первое подмножество или может представлять собой видео, отличающиеся от первого подмножества.
[067] Способ может дополнительно включать использование первого множества обнаружений и кадров из второго подмножества множества видео для обучения сети генератора генерированию множества искусственных представлений аномалий. Например, генераторная сеть может содержать нейронную сеть, выполненную с возможностью создания искусственных представлений. В некоторых вариантах воплощения, генераторная сеть может содержать сверточную нейронную сеть. Множество искусственных представлений может быть создано посредством остаточного обучения.
[068] Как упоминалось выше, обучение генеративной сети может включать в себя настройку весов одного или более узлов сети и/или настройку функций активации (или передачи) одного или более узлов сети. Например, как упоминалось выше, веса генеративной сети могут быть скорректированы для минимизации функции потерь, связанной с сетью. Дополнительно или альтернативно, функции активации (или передачи) генеративной сети могут быть изменены, чтобы улучшить соответствие между одной или более моделями узла(ов) и входом в узел(ы).
[069] Способ может дополнительно включать обучение с помощью процессора(ов) состязательной ветви сети дискриминатора, чтобы отличать искусственные представления аномалий и истинные представления аномалий. Например, состязательная ветвь может содержать нейронную сеть, которая принимает представления в качестве входных данных и выводит индикаторы того, является ли входное представление искусственным или истинным. В некоторых вариантах воплощения, нейронная сеть может содержать сверточную нейронную сеть.
[070] Подобно генеративной ветви, обучение состязательной ветви сети дискриминатора может включать в себя настройку весов одного или более узлов сети и/или настройку функций активации (или передачи) одного или более узлов сети. Например, как упоминалось выше, веса состязательной ветви сети дискриминатора могут быть скорректированы для минимизации функции потерь, связанной с сетью. Дополнительно или альтернативно, функции активации (или передачи) состязательной ветви сети дискриминатора могут быть изменены для улучшения соответствия между одной или более моделями узла(ов) и входом в узел(узлы).
[071] Способ может дополнительно включать задействование, вместе с процессором(ами), состязательной ветви сети дискриминатора, к множеству искусственных представлений для создания индикаторов различия между искусственными представлениями аномалий и истинными представлениями аномалий, содержащихся в кадрах второго подмножества множества видео. Например, искусственные представления могут содержать представления не-аномальных состояний, которые выглядят подобными аномалиям. Соответственно, каждое искусственное представление может обеспечивать ложное представление аномалии, которое очень похоже на истинное представление аномалии. Состязательная ветвь может научиться определять различия между не-аномалиями (ложными представлениями) и аномалиями (истинными представлениями), особенно между не-аномалиями, которые похожи на аномалии.
[072] Способ может дополнительно включать задействование, вместе с процессором(ами), ветви восприятия дискриминаторной сети, к искусственным представлениям, чтобы произвести второе множество обнаружений аномалий. Подобно первому множеству обнаружений, второе множество обнаружений может содержать индикаторы местоположений аномалий в искусственных представлениях, таких как точка или область обнаруженной аномалии. Отсутствие аномалии может привести к появлению нулевого индикатора или другого индикатора отсутствия аномалии.
[073] Способ может дополнительно включать повторное обучение ветви восприятия на основе индикаторов различия и второго множества обнаружений. Например, повторное обучение ветви восприятия может включать настройку весов одного или более узлов сети и/или настройку функций активации (или передачи) одного или более узлов сети. Например, как упоминалось выше, веса ветви восприятия могут быть отрегулированы для минимизации функции потерь, связанной с сетью. Дополнительно или альтернативно, функции активации (или передачи) ветви восприятия могут быть изменены, чтобы улучшить соответствие между одной или более моделями узла(ов), индикаторами разности и вторым множеством обнаружений.
[074] Пример способа обучения, рассмотренного в этом документе, может создавать обученную систему нейронной сети. Обученная нейронная сетевая система может составлять часть системы, используемой для обнаружения интересующей особенности в изображениях человеческого органа (например, нейросетевая система может быть реализована как часть устройства наложения 105, проиллюстрированного на Фиг. 1). Например, такая система может содержать по меньшей мере единственный блок памяти, выполненный с возможностью хранения инструкций, и по меньшей мере один процессор, выполненный с возможностью выполнения инструкций. По меньшей мере один процессор может осуществлять выборку кадров из видео человеческого органа. В частности, видео может представлять собой видео эндоскопии.
[075] Процессор(ы) системы может задействовать обученную систему нейронной сети к кадрам, чтобы выполнить по меньшей мере одно обнаружение интересующей особенности. В некоторых вариантах воплощения, интересующая особенность может быть аномалией. По меньшей мере одно обнаружение может включать в себя индикатор местоположения интересующей особенности. Например, местоположение может содержать точку или область, включающую обнаруженный интересующий объект. Система нейронной сети может быть обучена обнаружению аномалий, как упомянуто выше.
[076] В некоторых вариантах воплощения, процессор(ы) системы может дополнительно применять один или более дополнительных классификаторов и/или нейронных сетей к обнаруженной интересующей особенности. Например, если интересующая особенность включает поражение, по меньшей мере один процессор может классифицировать поражение в соответствии с одним или более типами (например, злокачественный или незлокачественный или тому подобное). Дополнительно или альтернативно, система нейронной сети может дополнительно выводить, является ли обнаруженная интересующая особенность ложноположительной или истинно положительной.
[077] Процессор(ы) системы может генерировать индикатор местоположения по меньшей мере одного обнаружения, находящегося в одном из кадров. Например, местоположение интересующего объекта может быть определено на основе индикатора и графического индикатора местоположения, размещенного на кадре. В вариантах воплощения, где местоположение содержит точку, графический индикатор может содержать круг, звезду или любую другую форму, помещенную в точке. В вариантах воплощения, когда местоположение содержит область, графический индикатор может содержать границу вокруг области. В некоторых вариантах воплощения, форма или граница могут быть анимированы; соответственно, форма или граница могут быть сгенерированы для множества кадров, так что они отслеживают местоположение интересующего объекта в кадрах, а также появляются анимированными, когда кадры отображаются последовательно. Как дополнительно упомянуто ниже, графический индикатор может быть скомбинирован с другими индикаторами, такими как звуковой и/или вибрационный индикатор.
[078] Любой аспект индикатора может зависеть от классификации интересующего свойства, например соответствующему одному или более типам или являющемуся ложноположительным или истинно положительным признаком. Соответственно, цвет, форма, узор или другой аспект графического индикатора может зависеть от классификации. В вариантах воплощения, использующих также звуковой и/или вибрационный индикатор, продолжительность, частота и/или амплитуда звука и/или вибрации могут зависеть от имеющейся классификации.
[079] Процессор(ы) системы может перекодировать кадры в видео. Соответственно, после генерации (графического) индикатора и наложения его на кадр(ы) кадры могут быть повторно собраны в последовательность видео. Таким образом, процессор(ы) системы может выводить перекодированное видео вместе с индикатором.
[080] В соответствии с другим аспектом настоящего изобретения описывается реализованная на компьютере система (см., например, проиллюстрированная на Фиг. 1 и 6) для обработки видео в реальном времени. Система может содержать входной порт для приема видео в реальном времени. Например, входной порт может содержать порт видеографического массива (VGA), порт мультимедийного интерфейса высокой четкости (HDMI), порт цифрового визуального интерфейса (DVI), последовательный цифровой интерфейс (SDI) и т.п. Видео в реальном времени может содержать медицинское видео. Например, система может получать видео в реальном времени с эндоскопического устройства.
[081] Система может дополнительно содержать первую шину для передачи принятого видео в реальном времени. Например, первая шина может содержать параллельное соединение или последовательное соединение и может быть подключена в многоточечной топологии или топологии гирляндного подключения. Первая шина может содержать шину PCI Express (экспресс-соединение периферийных компонентов), универсальную последовательную шину (USB), интерфейс IEEE 1394 (FireWire) и т.п.
[082] Система может содержать по меньшей мере один процессор, выполненный с возможностью приема видео в реальном времени с первой шины, выполнения обнаружения объектов на кадрах принятого видео в реальном времени и наложения границы, указывающей местоположение по меньшей мере одного обнаруженного объекта в кадрах. Процессор(ы) может выполнять обнаружение объекта, используя систему нейронной сети, обученную выполнять по меньшей мере одно обнаружение объекта. В некоторых вариантах воплощения, по меньшей мере один объект может включать поражение или другую аномалию. Соответственно, система нейронной сети может быть обучена обнаруживать аномалии, как рассмотрено в этом документе.
[083] Процессор(ы) может перекрывать границу, как рассмотрено в этом документе. Например, граница может окружать область, содержащую объект, причем эта область принимается по меньшей мере с одним обнаружением процессором(ами).
[084] Система может дополнительно содержать вторую шину для приема видео с наложенной границей. Например, как и первая шина, вторая шина может содержать параллельное соединение или последовательное соединение и может быть подключена в многоточечной топологии или топологии гирляндного подключения. Соответственно, как и первая шина, вторая шина может содержать шину PCI Express (Peripheral Component Interconnect Express), универсальную последовательную шину (USB), интерфейс IEEE 1394 (FireWire) и т.п. Вторая шина может содержать шину того же типа, что и первая шина, или может содержать шину другого типа.
[085] Система может дополнительно содержать порт вывода для вывода видео с перекрытой границей со второй шины на внешний дисплей. Выходной порт может представлять собой порт VGA, порт HDMI, порт DVI, порт SDI и т.п. Соответственно, выходной порт может быть того же типа, что и входной порт, или может быть портом другого типа.
[086] Система может содержать третью шину для прямой передачи принятого видео в реальном времени на выходной порт. Третья шина может передавать видео в реальном времени от входного порта к выходному порту пассивно, чтобы работать даже тогда, когда вся система выключена. В некоторых вариантах воплощения, третья шина может быть шиной по умолчанию, которая активна, когда вся система выключена. В таких вариантах воплощения, первая и вторая шина могут быть активированы, когда активирована вся система, а третья шина может быть соответственно деактивирована. Третья шина может быть повторно активирована, когда вся система выключена или после получения сигнала ошибки от процессора(ов). Например, если обнаружение объекта, выполняемое процессором, дает сбой, процессор(ы) может активировать третью шину, тем самым позволяя продолжать вывод видеопотока в реальном времени без прерывания из-за неисправности.
[087] В некоторых вариантах воплощения, наложенная граница может быть изменена по кадрам. Например, наложенная граница может содержать двухмерную форму, которая отображается вокруг области изображения, содержащей по меньшей мере один обнаруженный объект, причем граница является первым цветом. По истечении определенного периода времени процессор(ы) может изменить границу на второй цвет, если по меньшей мере один обнаруженный объект является истинно положительным, и на третий цвет, если по меньшей мере один обнаруженный объект является ложноположительным. Дополнительно или альтернативно, процессор(ы) может изменять границу на основе классификации обнаруженного объекта. Например, если объект содержит поражение или другую аномалию, модификация может быть основана на том, является ли поражение или образование злокачественным или ненормальным в каком-либо другом смысле.
[088] В любом из вариантов воплощения, описанных в этом документе, наложенный индикатор может быть спарен с одним или более дополнительными индикаторами. Например, процессор(ы) может передать команду одному или более динамикам для воспроизведения звука при обнаружении по меньшей мере одного объекта. В вариантах воплощения, когда изменена граница, процессор(ы) может передать команду об изменении границы. В таких вариантах воплощения, по меньшей мере один из признаков, а именно: длительность, тон, частота и амплитуда звука, может зависеть от того, является ли по меньшей мере один обнаруженный объект истинно положительным или ложноположительным результатом. Дополнительно или альтернативно, по меньшей мере один из признаков, а именно: длительность, тон, частота и амплитуда звука, может зависеть от классификации обнаруженного объекта.
[089] Дополнительно или альтернативно, процессор(ы) может передать команду выполнять вибрацию по меньшей мере одному носимому устройству при обнаружении по меньшей мере одного объекта. В вариантах воплощения, когда изменена граница, процессор(ы) может передавать команду в случае изменения границы. В таких вариантах воплощения, по меньшей мере один из признаков, таких как: длительность, частота и амплитуда вибрации, может зависеть от того, является ли по меньшей мере один обнаруженный объект истинно положительным или ложноположительным результатом. Дополнительно или альтернативно, по меньшей мере один из признаков, таких как: продолжительность, тон, частота и амплитуда вибрации, может зависеть от классификации обнаруженного объекта.
[090] Согласно другому аспекту настоящего изобретения описывается система для обработки видео в реальном времени. Подобно системе обработки, описанной в этом документе, система может содержать входной порт для приема видео в реальном времени; по меньшей мере один процессор, выполненный с возможностью приема видео в реальном времени из входного порта, выполнения обнаружения объекта путем задействования обученной нейронной сети к кадрам принятого видео в реальном времени и наложения границы, указывающей местоположение по меньшей мере одного обнаруженного объекта в кадрах; и порт вывода для вывода видео с наложенной границей из процессора на внешний дисплей.
[091] Система может дополнительно содержать устройство ввода для приема настройки чувствительности от пользователя. Например, устройство ввода может содержать переключатель, одну или более кнопок или любое другое устройство, подходящее для приема одной команды для увеличения значения настройки и другой команды для уменьшения значения настройки.
[092] Системный процессор(ы) может регулировать по меньшей мере один параметр обученной нейронной сети в ответ на настройку чувствительности. Например, процессор(ы) может регулировать один или более весов одного или более узлов сети, чтобы увеличить или уменьшить количество обнаружений, производимых сетью, в зависимости от настройки чувствительности. Дополнительно или альтернативно, одно или более пороговых значений выходного уровня сети и/или применяемых к обнаружениям, принятым с выходного уровня сети, могут быть увеличены или уменьшены в ответ на настройку чувствительности. Соответственно, если настройка чувствительности увеличивается, процессор(ы) может уменьшать порог(и), так что количество обнаружений, производимых сетью, увеличивается. Аналогично, если настройка чувствительности уменьшается, процессор(ы) может увеличить порог(и), так что количество обнаружений, производимых сетью, уменьшается.
[093] На Фиг. 1 проиллюстрировано схематическое представление рассматриваемой в качестве примера системы 100, содержащей конвейер для наложения обнаруженных объектов на видеопоток, в соответствии с вариантами воплощения настоящего изобретения. Как показано в примере, проиллюстрированном на Фиг. 1, система 100 содержит оператора 101, который управляет устройством визуализации 103. В вариантах воплощения, когда видеопоток представляет собой медицинское видео, оператором 101 может быть врач или другой медицинский работник. Устройство визуализации 103 может содержать устройство медицинской визуализации, такое как рентгеновский аппарат, компьютер компьютерной томографии (КТ), аппарат магнитно-резонансной томографии (МРТ), эндоскопический аппарат или другое устройство медицинской визуализации, которое выдает видео или одно или более изображений человеческого тела или его части. Оператор 101 может управлять устройством визуализации 103, изменяя скорость захвата устройства 103 и/или перемещая устройство 103, например, сквозь тело человека или относительно него. В некоторых вариантах воплощения, устройство визуализации 103 может содержать устройство Pill-Cam™ или другую форму капсульного эндоскопического устройства, вместо внешнего устройства визуализации, такого как рентгеновский аппарат или устройства визуализации, вводимого через полость человеческого тела, например, эндоскопического устройства.
[094] Как дополнительно проиллюстрировано на Фиг. 1, устройство визуализации 103 может передавать захваченное видео или изображения устройству наложения 105. Устройство наложения 105 может содержать один или более процессоров для обработки видео, как описано в данном документе. Кроме того, в некоторых вариантах воплощения, оператор 101 может управлять устройством наложения 105 в дополнение к устройству визуализации 103, например, посредством управления чувствительностью детектора объекта (не проиллюстрирован) устройства наложения 105.
[095] Как проиллюстрировано на Фиг. 1, устройство наложения 105 может расширять видео, полученное от устройства визуализации 103, а затем передавать расширенное видео на дисплей 107. В некоторых вариантах воплощения, расширение может включать наложение, описанное в данном документе. Как дополнительно проиллюстрировано Фиг. 1, устройство наложения 105 также может быть выполнено с возможностью выполнения ретрансляции видео с устройства визуализации 103 непосредственно на дисплей 107. Например, устройство наложения 105 может выполнять прямую ретрансляцию при заранее определенных условиях, например, если детектор объекта (не показан), содержащийся в устройстве наложения 105, неисправен. Дополнительно или альтернативно, устройство наложения 105 может выполнять прямую ретрансляцию, если оператор 101 вводит команду в устройство наложения105, чтобы выполнить эту операцию. Команда может быть получена с помощью одной или более кнопок, находящихся в устройстве наложения 105, и/или через устройство ввода, такое как клавиатура или подобное устройство.
[096] На Фиг. 2 проиллюстрировано схематическое представление двухфазного обучающего цикла 200 для сети обнаружения объектов в соответствии с вариантами воплощения настоящего изобретения. Цикл 200 может быть реализован одним или более процессорами. Как проиллюстрировано на Фиг. 2, фаза I цикла 200 может использовать базу данных изображений 201, в том числе интересующий элемент. В вариантах воплощения, когда изображения содержат медицинские изображения, интересующий элемент может представлять собой, аномалию, такую как поражение.
[097] Как упомянуто выше, база данных 201 может хранить отдельные изображения и/или одно либо более видео, каждое видео содержит множество кадров. Во время фазы I цикла 200 один или более процессоров могут извлекать поднабор 203 изображений и/или кадров из базы данных 201. Один или более процессоров могут осуществлять выборку поднабора 203 случайным образом или, по меньшей мере частично, используя один или более шаблонов. Например, если база данных 201 хранит видео, один или более процессоров могут выбрать не более одного, двух или подобного количества кадров из каждого видео поднабора 203.
[098] Как дополнительно проиллюстрировано на Фиг. 2, индикаторы особенностей 205 могут содержать аннотации к подмножеству 203. Например, аннотации могут содержать точку или область, содержащую интересующий объект. В некоторых вариантах воплощения, оператор может просматривать видео или изображения и вручную вводить аннотации через устройство ввода (например, любую комбинацию клавиатуры, мыши, сенсорного экрана и дисплея) в процессор(ы). Аннотации могут храниться как структура данных, отдельная от изображения, в таких форматах, как JSON, XML, текст и т.п. Например, в вариантах воплощения, когда изображения являются медицинскими изображениями, оператор может быть врачом или другим специалистом в области здравоохранения. Хотя это и показано как добавление к подмножеству 203 после извлечения, подмножество 203 могло быть аннотировано перед сохранением в базе данных 201 или в другое более раннее время. В таких вариантах воплощения, один или более процессоров могут осуществлять выборку подмножества 203 путем выбора изображений в базе данных 201, имеющих индикаторы особенностей 205.
[099] Подмножество 203 вместе с индикаторами особенностей 205 содержит обучающий набор 207. Один или более процессоров могут обучать сеть дискриминатора 209 с использованием обучающего набора 207. Например, сеть дискриминатора 209 может содержать сеть обнаружения объектов, как описано выше. Как упомянуто выше, обучение сети дискриминатора может предусматривать настройку весов одного или более узлов сети и/или настройку функций активации (или передачи) одного или более узлов сети. Например, веса сети обнаружения объектов могут быть скорректированы для минимизации функции потерь, связанной с сетью. В другом примере функции активации (или передачи) сети обнаружения объектов могут быть изменены, чтобы улучшить соответствие между одной или более моделями узла(ов) и входом в узел(ы).
[0100] Как проиллюстрировано на Фиг. 2, во время фазы II цикла 200 один или более процессоров могут извлекать подмножество 211 изображений (и/или кадров) из базы данных 201. Подмножество 211 может содержать, по меньшей мере частично, некоторые или все изображения из подмножества 203 или может содержать другое подмножество. В вариантах воплощения, когда поднабор 203 содержит множество кадров из одного или более видео, подмножество 211 может содержать смежные или другие кадры из одного или более таких же видео. Подмножество 211 может содержать большее количество изображений, чем поднабор 203, например, по меньшей мере в 100 раз больше изображений.
[0101] Один или более процессоров могут задействовать дискриминаторную сеть 209' (которая представляет дискриминаторную сеть 209 после завершения фазы обучения I) к подмножеству 211 для создания множества индикаторов особенностей 213. Например, индикаторы особенностей 213 могут содержать точку или область, содержащую интересующий объект, обнаруженный дискриминаторной сетью 209'.
[0102] Как дополнительно проиллюстрировано на Фиг. 2, проверки 215 могут содержать аннотации к индикаторам особенности 213. Например, аннотации могут содержать индикатор, который указывает, является ли каждый индикатор особенности истинно положительным или ложноположительным результатом. Изображение, на котором не было обнаружено интересующего объекта, но которое содержит интересующий объект, может быть аннотировано как ложноотрицательное.
[0103] Подмножество 211 вместе с индикаторами особенностей 213 и проверками 215 формируют обучающий набор 217. Один или более процессоров могут обучать генеративно-состязательную сеть 219 с использованием обучающего набора 217. Например, генеративно-состязательная сеть 219 может содержать генеративную сеть и состязательную сеть 219, как описано выше. Обучение генеративно-состязательной сети может включать в себя обучение генеративной сети для создания искусственных представлений интересующей особенности или ложной интересующей особенности, которая похожа на истинную интересующую особенность, и обучение состязательной сети распознаванию искусственных представлений из реальных представлений, например, содержащихся в подмножестве 211.
[0104] Хотя это не проиллюстрировано на Фиг. 2, проверки 213 могут дополнительно использоваться для повторного обучения дискриминаторной сети 209'. Например, весовые коэффициенты и/или функции активации (или переноса) дискриминаторной сети 209' могут быть отрегулированы для устранения обнаружений в изображениях, аннотированных как ложные срабатывания, и/или отрегулированы для создания обнаружений на изображениях, аннотированных как ложноотрицательные.
[0105] На Фиг. 3 проиллюстрирована блок-схема рассмотренного в качестве примера способа 300 обучения сети обнаружения объектов. Способ 300 может выполняться одним или более процессорами. На этапе 301, проиллюстрированном на Фиг. 3, по меньшей мере один процессор может предоставлять первое множество изображений, которые содержат представления интересующей особенности и индикаторы местоположения интересующей особенности среди изображений первого множества изображений. Индикаторы могут содержать индикаторы, устанавливаемые вручную. Индикаторы, установленные вручную, могут быть извлечены из базы данных или получены как ввод от оператора.
[0106] На этапе 303, по меньшей мере один процессор может, используя первое множество изображений и индикаторов интересующей особенности, обучить сеть обнаружения объектов идентифицировать интересующую особенность. В частности, сеть обнаружения объектов может быть обучена, как упомянуто выше.
[0107] На этапе 305, по меньшей мере один процессор может предоставить второе множество изображений, которые содержат представления интересующего объекта, второе множество изображений содержит большее количество изображений, чем то, которое содержится в первом множестве изображений. В некоторых вариантах воплощения, второе множество изображений может перекрываться, по меньшей мере частично, с первым множеством изображений. Альтернативно, второе множество изображений может состоять из изображений, отличных от изображений, относящихся к первому множеству.
[0108] На этапе 307, по меньшей мере один процессор может задействовать сеть обнаружения обученных объектов ко второму множеству изображений, чтобы произвести первое множество обнаружений интересующей особенности. Как упоминалось выше, в некоторых вариантах воплощения, обнаружения могут содержать индикаторы местоположения обнаруженных интересующих особенностей. Например, сеть обнаружения объектов может содержать сверточную нейронную сеть, выводящую одну или более матриц, каждая из которых определяет координаты и/или области любых обнаруженных интересующих особенностей, необязательно с одной или более связанными оценками достоверности для каждого обнаружения.
[0109] На этапе 309 по меньшей мере один процессор может предоставить вручную установленные проверки истинно положительных и ложноположительных срабатываний по отношению к первому множеству обнаружений. Например, по меньшей мере один процессор может извлекать установленные вручную проверки из базы данных или принимать их в качестве входных данных от оператора.
[0110] На этапе 311 по меньшей мере один процессор может, используя проверки истинно положительных срабатываний и ложноположительных срабатываний относительно первого множества обнаружений, обучать генеративно-состязательную сеть. В частности, генеративно-состязательная сеть может быть обучена, как описано в этом документе.
[0111] На этапе 313, по меньшей мере один процессор может повторно обучить генеративно-состязательную сеть, используя по меньшей мере один дополнительный набор изображений и обнаружений интересующей особенности, вместе с дополнительной ручной установкой проверок истинно положительных и ложноположительных срабатываний в отношении дальнейшего обнаружения интересующей особенности. В некоторых вариантах воплощения, дополнительный набор изображений может перекрываться, по меньшей мере частично, с первым множеством изображений и/или вторым множеством изображений. Альтернативно, дополнительный набор изображений может состоять из изображений, отличающихся от первого множества изображений и второго множества изображений. Таким образом, этап 313 может включать задействование сети обнаружения обученных объектов к дополнительному набору изображений для получения дополнительных обнаружений интересующей особенности, обеспечения вручную установленных проверок истинно положительных и ложноположительных срабатываний относительно дальнейших обнаружений и повторного обучения генеративно-состязательной сети, использующей проверки относительно дальнейших обнаружений.
[0112] В соответствии с настоящим изобретением, рассмотренный в качестве примера способ 300 может включать дополнительные этапы. Например, в некоторых вариантах воплощения, способ 300 может включать повторное обучение генеративно-состязательной сети путем предоставления проверок ложноотрицательных результатов для пропущенных обнаружений интересующего объекта на двух или более изображениях. Соответственно, установленные вручную проверки, извлеченные из базы данных или полученные в качестве входных данных, могут предусматривать проверки ложноотрицательных результатов, а также проверки истинно положительных и ложноположительных срабатываний. Ложноотрицательные результаты могут быть использованы для переобучения генеративно-состязательной сети. Дополнительно или в качестве альтернативы ложноотрицательные результаты могут быть использованы для переобучения сети обнаружения объектов.
[0113] На Фиг. 4 проиллюстрировано схематическое представление детектора объекта 400. Детектор объекта 400 может быть реализован с помощью одного или более процессоров. Как проиллюстрировано на Фиг. 4, детектор объектов может 400 использовать базу данных видео 401, содержащую интересующую функцию. В вариантах воплощения, когда изображения содержат медицинское изображение, интересующий элемент может представлять собой аномалию, такую как поражение. В примере, проиллюстрированном на Фиг. 4 база данных 401 содержит базу данных эндоскопических видео.
[0114] Как дополнительно проиллюстрировано на Фиг. 4, детектор 400 может извлекать подмножество 403 видео из базы данных 401. Как рассмотрено выше со ссылкой на Фиг. 2, подмножество 403 может быть выбрано случайным образом и/или с использованием одного или более шаблонов. Детектор 400 может вводить в действие ветвь восприятия 407 сети дискриминатора 405 по отношению к кадрам поднабора 403. Ветвь восприятия 407 может содержать сеть обнаружения объектов, как описано выше. Ветвь восприятия 407 может быть обучена обнаруживать интересующую особенность и идентифицировать местоположение (например, точку или регион), связанное с обнаруженной интересующей особенностью. Например, ветвь восприятия 407 может обнаруживать аномалии и ограничивающие границы вывода, включая обнаруженные аномалии.
[0115] Как проиллюстрировано на Фиг. 4, ветвь восприятия 407 может выводить обнаружения 413. Как упомянуто выше, обнаружения 413 могут содержать точки или области, идентифицирующие местоположения обнаруженных интересующих особенностей в подмножестве 403. Как дополнительно проиллюстрировано на Фиг. 4, детектор 400 может извлекать подмножество 411 видео из базы данных 401. Например, подмножество 411 может перекрывать, по меньшей мере частично, подмножество 403 или состоять из разных видео. Подмножество 411 может содержать большее количество видео, чем поднабор 403, например, по меньшей мере в 100 раз больше видео. Детектор 400 может использовать подмножество 411 и детекторы 413 для обучения генеративной сети 415. Генеративная сеть 415 может быть обучена создавать искусственные представления 417 интересующих особенностей, например аномалий. Искусственные представления 417 могут содержать ложные представления интересующей особенности, которые выглядят аналогично истинным представлениям интересующей особенности. Соответственно, генеративная сеть 415 может быть обучена, чтобы обмануть ветвь восприятия 407, заставляя обнаруживать ложные срабатывания.
[0116] Как дополнительно проиллюстрировано на Фиг. 4, генеративная сеть 415 после обучения может создавать искусственные представления 417. Детектор 400 может использовать искусственные представления 417 для обучения состязательной ветви 409 дискриминаторной сети 405. Как описано выше, состязательную ветвь 409 можно обучить отличать искусственные представления 417 от подмножества 411. Соответственно, состязательная ветвь 409 может определять индикаторы различия 419. Индикаторы различия 419 могут представлять любые векторы признаков или другие аспекты изображения, которые присутствуют в искусственных представлениях 417, но не в подмножестве 411, присутствуют в подмножестве 411, но не в искусственных представлениях 417, либо субтрактивные векторы или другие аспекты, представляющие различия между векторами признаков или другими аспектами искусственных представлений 417 и таковыми из поднабора 411.
[0117] Как проиллюстрировано на Фиг. 4, детектор 400 может повторно обучить ветвь восприятия 407, используя индикаторы различия 419. Например, в вариантах воплощения, когда искусственные представления 417 содержат ложные представления интересующей особенности, детектор 400 может повторно обучать ветвь восприятия 407, так что ложные представления не приводят к обнаружению истинного представления в подмножестве 411.
[0118] Хотя это не проиллюстрировано на Фиг. 4, детектор 400 может дополнительно использовать рекурсивное обучение для улучшения генеративной сети 415, ветви восприятия 407 и/или состязательной ветви 409. Например, детектор 400 может повторно обучать генеративную сеть 415, используя индикаторы различия 419. Соответственно, выходной сигнал состязательной ветви 409 может использоваться для переобучения генеративной сети 415 таким образом, чтобы искусственные представления выглядели еще более похожими на истинные представления. Кроме того, переобученная генеративная сеть 415 может создавать новый набор искусственных представлений, используемых для переобучения состязательной ветви 409. Соответственно, состязательная ветвь 409 и генеративная сеть 415 могут участвовать в неконтролируемом обучении, когда выходные данные каждой сети используются для переобучения другой сети рекурсивным образом. Это рекурсивное обучение может повторяться до тех пор, пока не будет достигнуто пороговое количество циклов и/или пока функция потерь, связанная с генеративной сетью 415, и/или функция потерь, связанная со состязательной ветвью 409, не достигнет порога. Более того, во время этого рекурсивного обучения ветвь восприятия 407 также может быть повторно обучена с использованием каждого нового выходного сигнала индикаторов различия, так что новое подмножество с новыми обнаружениями может использоваться для дальнейшего повторного обучения генеративной сети 415.
[0119] На Фиг. 5 проиллюстрирована блок-схема приведенного в качестве примера способа 500 для обнаружения интересующей особенности с использованием дискриминаторой и генеративной сети. Способ 500 может выполняться одним или более процессорами.
[0120] Как проиллюстрировано Фиг. 5, на этапе 501, по меньшей мере один процессор может хранить в базе данных множество видео, в том числе представления интересующей особенности, такой как аномалии. Например, видео могло быть снято во время эндоскопических процедур. Как часть этапа 501, по меньшей мере один процессор может дополнительно осуществить выборку первого подмножества из множества видео. Как упомянуто выше, по меньшей мере один процессор может осуществлять выборку случайным образом и/или с использованием одного или более шаблонов.
[0121] На этапе 503, по меньшей мере один процессор может задействовать ветвь восприятия сети обнаружения объектов к кадрам первого поднабора множества видео, чтобы произвести первое множество обнаружений аномалий. В некоторых вариантах воплощения, как упоминалось выше, обнаружениями могут быть индикаторы местоположений обнаруженных аномалий. Кроме того, в некоторых вариантах воплощения, ветвь восприятия может содержать сверточную нейронную сеть, как упоминалось выше.
[0122] На этапе 505, по меньшей мере один процессор может осуществить выборку второго поднабора из множества видео. Как упоминалось выше, по меньшей мере один процессор может осуществлять выборку случайным образом и/или с использованием одного или более шаблонов. Используя первое множество обнаружений и кадры из второго подмножества множества видео, по меньшей мере один процессор может дополнительно обучить генеративную сеть генерировать множество искусственных представлений аномалий, причем множество искусственных представлений генерируется посредством остаточного обучения. Как упомянуто выше, каждое искусственное представление обеспечивает ложное представление аномалии, которое очень похоже на истинное представление аномалии.
[0123] На этапе 507, по меньшей мере один процессор может обучить состязательную ветвь дискриминаторной сети различать искусственные представления аномалий и истинные представления аномалий. Например, как упомянуто выше, состязательная ветвь может быть обучена идентификации различий между искусственными представлениями и истинными представлениями в кадрах. В некоторых вариантах воплощения, состязательная ветвь может представлять собой сверточную нейронную сеть, как упомянуто выше.
[0124] На этапе 509, по меньшей мере один процессор может ввести в действие состязательную ветвь дискриминаторной сети к множеству искусственных представлений, чтобы создать индикаторы различия между искусственными представлениями аномалий и истинными представлениями аномалий, содержащихся в кадрах второго подмножества из множества видео. Например, как упомянуто выше, индикаторы различия могут представлять любые векторы признаков или другие аспекты изображения, которые присутствуют в искусственных представлениях, но не в кадрах, присутствуют в кадрах, но не в искусственных представлениях, или являются субтрактивными векторами или другими аспектами, представляющими различия между векторами признаков или другими аспектами искусственных представлений и репрезентациями кадров.
[0125] На этапе 511, по меньшей мере один процессор может ввести в действие ветвь восприятия дискриминаторной сети применительно к искусственным представлениям, чтобы произвести второе множество обнаружений аномалий. Подобно первому множеству обнаружений, обнаружения могут содержать индикаторы местоположений обнаруженных аномалий в искусственных представлениях.
[0126] На этапе 513, по меньшей мере один процессор может повторно обучить ветвь восприятия на основе индикаторов различия и второго множества обнаружений. Например, в вариантах воплощения, когда каждое искусственное представление обеспечивает ложное представление аномалии, которое очень похоже на истинное представление аномалии, по меньшей мере один процессор может повторно обучить ветвь восприятия, чтобы уменьшить количество обнаружений, возвращаемых из искусственных представлений и соответственно, чтобы увеличить количество нулевых индикаторов или других индикаторов отсутствия аномалии, возвращаемых из искусственных представлений.
[0127] В соответствии с настоящим изобретением, приведенный в качестве примера способ 500 может включать в себя дополнительные этапы. Например, в некоторых вариантах воплощения, способ 500 может включать повторное обучение генеративной сети на основе индикаторов различия. В таких вариантах воплощения, способ 500 может дополнительно включать в себя задействование генеративной сети для генерирования дополнительного множества искусственных представлений аномалий и повторное обучение состязательной ветви на основе дополнительного множества искусственных представлений аномалий. Такие шаги переобучения могут быть рекурсивными. Например, способ 500 может включать в себя задействование повторно обученной состязательной ветви к дополнительному множеству искусственных представлений для создания дополнительных индикаторов различия между дополнительными искусственными представлениями аномалий и истинными представлениями аномалий, находящихся в кадрах второго подмножества из множества видео, и повторное обучение генеративной сети на основе дальнейших показателей различия. Как упомянуто выше, это рекурсивное повторное обучение может повторяться до тех пор, пока не будет достигнуто пороговое количество циклов и/или пока функция потерь, связанная с генеративной сетью, и/или функция потерь, связанная с состязательной сетью, не достигнет порога.
[0128] На Фиг. 6 проиллюстрировано схематическое представление системы 600, содержащей конфигурацию оборудования для видеопотока, в соответствии с вариантами воплощения настоящего изобретения. Как проиллюстрировано на Фиг. 6, система 600 может быть соединена с возможностью обмена данными с устройством визуализации 601, таким как камера или другое устройство, выводящее видеопоток. Например, устройство визуализации 601 может содержать устройство медицинской визуализации, такое как компьютерный томограф, аппарат МРТ, эндоскопическое устройство и т.п. Система 600 может быть дополнительно соединена с возможностью обмена данными с дисплеем 615 или другим устройством для отображения или хранения видео. В частности, дисплей 615 может представлять собой монитор, экран или другое устройство для отображения изображений пользователю. В некоторых вариантах воплощения, дисплей 615 может быть заменен или дополнен запоминающим устройством (не проиллюстрировано) или контроллером сетевого интерфейса (NIC), подключенным к облачной системе хранения (также не проиллюстрирована) с возможностью обмена данными.
[0129] Как дополнительно проиллюстрировано на Фиг. 6, система 600 может содержать порт ввода 603 для приема видеопотока с камеры 601, а также порт вывода 611 для вывода видео на дисплей 615. Как рассмотрено в этом документе, порт ввода 603 и порт вывода 611 могут содержать порты VGA, HDMI-порты, порты DVI и т.п.
[0130] Система 600 дополнительно содержит первую шину 605 и вторую шину 613. Как проиллюстрировано на Фиг. 6, первая шина 605 может передавать видео, принятое через порт ввода 603, по меньшей мере через один процессор 607. Например, процессор(ы) 607 может реализовывать любую из сетей обнаружения объектов и/или дискриминаторных сетей, рассмотренных в этом документе. Соответственно, процессор(ы) 607 может наложить один или более индикаторов, например приведенный в качестве примера графический индикатор, который проиллюстрирован на Фиг. 8, на видео, полученное через первую шину 602, например, с использованием приведенного в качестве примера способа 700, проиллюстрированного на Фиг. 7. Затем процессор 607 может передавать наложенное видео через третью шину 609 на порт вывода 611.
[0131] В определенных обстоятельствах, детектор объекта, реализованный процессором (ами) 607, может срабатывать неправильно. Например, программное обеспечение, реализующее детектор объектов, может дать сбой или иным образом перестать работать должным образом. Дополнительно или альтернативно, процессор(ы) 607 может получить команду на остановку наложения видео (например, от оператора системы 600). В ответ на неисправность и/или команду, процессор(ы) 607 может активировать вторую шину 613. Например, процессор(ы) 607 может послать команду или другой сигнал, как проиллюстрировано на Фиг. 6, чтобы активировать вторую шину 613.
[0132] Как проиллюстрировано на Фиг. 6, вторая шина 613 может передавать принятое видео непосредственно из порта ввода 603 в порт вывода 611, тем самым позволяя системе 600 функционировать в качестве сквозного канала для устройства визуализации 601. Вторая шина 613 может обеспечивать бесшовное представление видео с устройства визуализации 601, даже если программное обеспечение, реализованное процессором 607, работает со сбоями или в случае, когда оператор аппаратного наложения 600 решает остановить наложение в середине видеопотока.
[0133] На Фиг. 7 проиллюстрирована блок-схема приведенного в качества примера способа 700 наложения индикаторов объектов на видеопоток с использованием сети обнаружения объектов, в соответствии с вариантами воплощения настоящего изобретения. Способ 700 может выполняться одним или более процессорами. На этапе 701, проиллюстрированном на Фиг. 7, по меньшей мере один процессор может предоставить по меньшей мере одно изображение. Например, по меньшей мере одно изображение может быть извлечено из базы данных или получено с устройства формирования изображения. В некоторых вариантах воплощения, по меньшей мере одно изображение может содержать кадр из видеопотока.
[0134] На этапе 703, по меньшей мере один процессор может наложить границу, содержащую двумерную форму, вокруг области изображения, обнаруженной как содержащей интересующий элемент, причем граница визуализируется в первом цвете. На этапе 705, по истечении истекшего периода времени, по меньшей мере один процессор может изменить границу, чтобы она отображалась во втором цвете, если интересующая особенность является истинно положительной, и чтобы отображаться в третьем цвете, если интересующая особенность демонстрирует ложноположительное срабатывание. Истекший период времени может представлять собой заранее установленный период (например, пороговое количество кадров и/или секунд) и/или может представлять собой время, прошедшее между обнаружением интересующей особенности и ее классификацией как истинно положительного или ложноположительного срабатывания.
[0135] Дополнительно или альтернативно, по меньшей мере один процессор может изменить границу на второй цвет, если интересующий объект отнесен к первой категории, и изменить границу на третий цвет, если интересующий объект отнесен ко второй категории. Например, если интересующей особенностью является поражение, первая категория может содержать раковые поражения, а вторая категория может содержать доброкачественные поражения.
[0136] В соответствии с настоящим изобретением, приведенный в качестве примера способ 700 может включать дополнительные этапы. Например, в некоторых вариантах воплощения, способ 700 может включать передачу команды одному или более динамикам для воспроизведения звука при изменении границы и/или передачу команды по меньшей мере одному носимому устройству для вибрации при изменении границы. В таких вариантах воплощения, по меньшей мере одно из длительности, тона, частоты и амплитуды звука и/или вибрации может зависеть от того, является ли по меньшей мере один обнаруженный объект истинно положительным или ложноположительным результатом.
[0137] На Фиг. 8A проиллюстрирован пример наложения 801 для обнаружения объекта в видео в соответствии с вариантами воплощения настоящего изобретения. В примере, проиллюстрированном на Фиг. 8A, а также на Фиг. 8B и 8C, проиллюстрированные образцы видео 800a и 800b взяты из результатов процедуры колоноскопии. Из настоящего изобретения будет понятно, что видео, взятое из результатов других процедур и устройств формирования изображения, может использоваться при реализации вариантов воплощения настоящего изобретения. Таким образом, образцы 800a и 800b видео являются неограничивающими примерами настоящего изобретения. Кроме того, пример видеодисплея, проиллюстрированный на Фиг. 8A-8C, может быть представлен на устройстве визуализации, таком как дисплей 107, проиллюстрированный на Фиг. 1, или дисплей 615, проиллюстрированный на Фиг. 6.
[0138] Наложение 801 представляет один пример графической границы, используемой в качестве индикатора для обнаруженной аномалии или интересующей особенности в видео. Как проиллюстрировано на Фиг. 8A, изображения 800a и 800b содержат кадры видео, содержащие обнаруженную интересующую особенность. Изображение 800b содержит графическое наложение 801 и соответствует кадру, который находится дальше по последовательности или позже по времени, чем изображение 800a.
[0139] Как проиллюстрировано на Фиг. 8A, изображения 800a и 800b содержат видеокадры из колоноскопии, а интересующий объект представляет собой поражение или полип. В других вариантах воплощения, как упомянуто выше, можно использовать изображения из других медицинских процедур, таких как гастроскопия, энтероскопия, эндоскопия верхних отделов желудочно-кишечного тракта, такая как эндоскопия пищевода и т.п., и наложить их на графический индикатор, такой как наложение 801. В некоторых вариантах воплощения, индикатор 801 может быть наложен после обнаружения аномалии и истечения времени (например, определенного количества кадров и/или секунд между изображением 800a и изображением 800b). В примере, проиллюстрированном на Фиг. 8A, наложение 801 содержит индикатор в виде прямоугольной границы с заданным рисунком (то есть сплошными углами). В других вариантах воплощения, наложение 801 может иметь другую форму (правильную или неправильную). Кроме того, наложение 801 может отображаться в заранее заданном цвете или переходить от первого цвета к другому цвету.
[0140] В примере, проиллюстрированном на Фиг. 8A, наложение 801 содержит индикатор со сплошными углами, окружающими обнаруженное местоположение интересующего объекта в видеокадре. Наложение 801 появляется в видеокадре 800b, который может последовательно следовать за видеокадром 800a.
[0141] На Фиг. 8B проиллюстрирован другой пример отображения с наложением для обнаружения объекта в видео согласно вариантам воплощения настоящего изобретения. На Фиг. 8B проиллюстрировано изображение 810a (подобное изображению 800a) и более позднее изображение 810b (подобное изображению 800b), на которое накладывается индикатор 811. В примере, проиллюстрированном на Фиг. 8B, наложение 811 содержит прямоугольную рамку со сплошными линиями со всех сторон. В других вариантах воплощения, наложение 811 может иметь первый цвет и / или другую форму (правильную или неправильную). Кроме того, наложение 811 может отображаться в заранее заданном цвете или переходить от первого цвета к другому цвету. Как проиллюстрировано на Фиг. 8B, наложение 811 помещается поверх обнаруженной аномалии или интересующей особенности в видео. Наложение 811 появляется в видеокадре 810b, который может последовательно следовать за видеокадром 810a.
[0142] На Фиг. 8C проиллюстрирован другой пример изображения с наложением для обнаружения объекта в видео согласно вариантам воплощения настоящего изобретения. На Фиг. 8C проиллюстрировано изображение 820a (подобное изображению 800a) и более позднее изображение 820b (подобное изображению 800b), на которое накладывается индикатор 821. В примере, проиллюстрированном на Фиг. 8C, наложение 821 содержит прямоугольную границу с пунктирными линиями со всех сторон. В других вариантах воплощения, индикатор 821 может иметь другую форму (правильную или неправильную). Кроме того, наложение 821 может отображаться в заранее заданном цвете или переходить от первого цвета к другому цвету. Как проиллюстрировано на Фиг. 8C, наложение 821 помещается поверх обнаруженной аномалии или интересующей особенности в видео. Наложение 821 появляется в видеокадре 820b, который может последовательно следовать за видеокадром 820a.
[0143] В некоторых вариантах воплощения, графический индикатор (то есть наложение 801, 811 или 821) может изменять узор и/или цвет. Например, узор и/или цвет границы узора можно изменять в зависимости от периода времени (например, определенного количества кадров и/или секунд между изображением 800a и изображением 800b, изображением 810a и изображением 810b, или изображением 820a и изображением 820b). Дополнительно или в качестве альтернативы узор и/или цвет индикатора могут быть изменены в соответствии с конкретной классификацией интересующей особенности (например, если интересующая особенность представляет собой полип, классификация полипа как злокачественного или незлокачественного и т.п.). Более того, узор и/или цвет индикатора могут зависеть от классификации интересующей особенности. Соответственно, индикатор может иметь первый узор или цвет, если интересующая особенность отнесена к первой категории, второй узор или цвет, если интересующая особенность отнесена ко второй категории и т.п. В качестве альтернативы, узор и/или цвет индикатора может зависеть от того, идентифицирована ли интересующая особенность как истинно положительная или ложноположительная. Например, интересующая особенность может быть обнаружена сетью обнаружения объектов (или ветвью восприятия дискриминаторной сети), как упомянуто выше, что приводит к появлению индикатора, но затем определяется как ложноположительное срабатывание состязательной ветви или сети, как упомянуто выше, в результате чего индикатор представляет собой первый узор или цвет. Индикатор может отображаться во втором узоре или цвете, если вместо этого интересующая особенность определена состязательной ветвью или сетью как истинно положительная.
[0144] Вышеприведенное описание было представлено в целях иллюстрации. Оно не является исчерпывающим и не ограничивается раскрытыми точными формами или вариантами воплощения. Модификации и адаптации вариантов воплощения будут очевидны из рассмотрения спецификации и практики раскрытых вариантов воплощения. Например, описанные варианты воплощения включают в себя аппаратное обеспечение, однако, системы и способы, соответствующие настоящему изобретению, могут быть реализованы с помощью и аппаратного и программного обеспечения. Кроме того, хотя некоторые компоненты описаны как связанные друг с другом, такие компоненты могут быть, как интегрированы друг с другом, таки и распределены любым подходящим способом.
[0145] Кроме того, хотя в данном документе были описаны иллюстративные варианты воплощения, объем включает любые и все варианты воплощения, имеющие эквивалентные элементы, модификации, пропуски, комбинации (например, аспекты в различных вариантах воплощения), адаптации и/или изменения на основе настоящего изобретения. Элементы в формуле изобретения следует интерпретировать в широком смысле на основе языка, используемого в формуле изобретения, и не ограничиваться примерами, описанными в настоящем описании или во время рассмотрения заявки, причем эти примеры следует рассматривать как неисключительные. Кроме того, этапы раскрытых способов могут быть изменены любым способом, включая этапы переупорядочения и/или этапы вставки или удаления.
[0146] Признаки и преимущества изобретения очевидны из подробного описания, и, таким образом, подразумевается, что прилагаемая формула изобретения охватывает все системы и способы, попадающие в истинный дух и объем изобретения. В контексте данного документа, термины в единственном числе означают «один или более». Точно так же, использование термина во множественном числе не обязательно означает множество, если оно не является однозначным в данном контексте. Такие слова, как «и» или «или» означают «и/или», если специально не указано иное. Кроме того, поскольку многочисленные модификации и вариации будут легко иметь место при изучении настоящего изобретения, нежелательно ограничивать раскрытие точными конструкциями и операциями, проиллюстрированными и описанными, и, соответственно, могут быть применены все подходящие модификации и эквиваленты, подпадающие под действие объема изобретения.
[0147] Другие варианты воплощения будут очевидны из рассмотрения спецификации и практики раскрытых в данном документе вариантов воплощения. Предполагается, что описание и примеры следует рассматривать только как пример, при этом истинный объем и сущность раскрытых вариантов воплощения указаны в нижеследующей формуле изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| ОБУЧЕНИЕ GAN (ГЕНЕРАТИВНО-СОСТЯЗАТЕЛЬНЫХ СЕТЕЙ) СОЗДАНИЮ ПОПИКСЕЛЬНОЙ АННОТАЦИИ | 2019 |
|
RU2735148C1 |
| Способ локального генерирования и представления потока обоев и вычислительное устройство, реализующее его | 2020 |
|
RU2768551C1 |
| Обучение по нескольким кадрам реалистичных нейронных моделей голов говорящих персон | 2019 |
|
RU2720361C1 |
| СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ ОБУЧЕННЫМИ НЕЙРОННЫМИ СЕТЯМИ | 2021 |
|
RU2779281C1 |
| ТЕКСТУРИРОВАННЫЕ НЕЙРОННЫЕ АВАТАРЫ | 2019 |
|
RU2713695C1 |
| МОДЕЛИРОВАНИЕ ЧЕЛОВЕЧЕСКОЙ ОДЕЖДЫ НА ОСНОВЕ МНОЖЕСТВА ТОЧЕК | 2021 |
|
RU2776825C1 |
| УСТРОЙСТВО И СПОСОБ ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЯ И СИСТЕМА ДЛЯ ОБУЧЕНИЯ НЕЙРОНОЙ СЕТИ | 2019 |
|
RU2762144C1 |
| СПОСОБ ПЕРЕДАЧИ ДВИЖЕНИЯ СУБЪЕКТА ИЗ ВИДЕО НА АНИМИРОВАННОГО ПЕРСОНАЖА | 2019 |
|
RU2708027C1 |
| Стереоскопическая система обнаружения пешеходов с двухпоточной нейронной сетью с глубоким обучением и способы ее применения | 2019 |
|
RU2730687C1 |
| Способ оцифровки биологического препарата костного мозга с использованием нейронных сетей | 2022 |
|
RU2793054C1 |
Изобретение относится к вычислительным системам для обучения генеративных состязательных сетей. Технический результат заключается в повышении точности анализа медицинских изображений. Система для обучения генеративно-состязательной сети с использованием медицинских изображений, включающих представления интересующей особенности, содержащая: по меньшей мере один блок памяти и по меньшей мере один процессор, с возможностью выполнения операций, включающих: предоставление первого множества изображений и использование первого множества изображений и индикаторов интересующей особенности, обучение сети обнаружения объектов обнаружению интересующей особенности, предоставление второго множества изображений, которые включают в себя представления интересующей особенности, причем второе множество изображений содержит большее количество изображений, чем первое множество изображений, задействование сети обнаружения обученных объектов ко второму множеству изображений, обеспечение ручной установки проверок истинно и ложноположительных срабатываний по отношению к первому множеству обнаружений, обучение генеративно-состязательной сети и переобучение генеративно-состязательной сети, используя по меньшей мере один дополнительный набор изображений и обнаружений интересующей особенности. 3 н. и 17 з.п. ф-лы, 10 ил.
1. Система для обучения генеративно-состязательной сети с использованием медицинских изображений, включающих представления интересующей особенности, содержащая:
по меньшей мере один блок памяти, выполненный с возможностью хранения инструкций; и
по меньшей мере один процессор, выполненный с возможностью выполнения инструкций для выполнения операций, включающих:
предоставление первого множества изображений, которые содержат представления интересующей особенности и индикаторы местоположения интересующей особенности в изображениях первого множества изображений;
использование первого множества изображений и индикаторов интересующей особенности, обучение сети обнаружения объектов обнаружению интересующей особенности;
предоставление второго множества изображений, которые включают в себя представления интересующей особенности, причем второе множество изображений содержит большее количество изображений, чем то, которое включено в первое множество изображений;
задействование сети обнаружения обученных объектов ко второму множеству изображений, чтобы произвести первое множество обнаружений интересующей особенности;
обеспечение ручной установки проверок истинно положительных срабатываний и ложноположительных срабатываний по отношению к первому множеству обнаружений;
использование проверки истинно положительных и ложноположительных срабатываний по отношению к первому множеству обнаружений, обучение генеративно-состязательной сети; и
переобучение генеративно-состязательной сети, используя по меньшей мере один дополнительный набор изображений и обнаружений интересующей особенности, вместе с дополнительной установкой вручную проверок истинно положительных и ложноположительных срабатываний в отношении дальнейших обнаружений интересующей особенности.
2. Система по п. 1, отличающаяся тем, что сеть обнаружения объектов является сверточной нейронной сетью.
3. Система по п. 1, отличающаяся тем, что по меньшей мере один процессор дополнительно выполнен с возможностью для переобучения генеративно-состязательной сети путем обеспечения проверки ложноотрицательных результатов для пропущенных обнаружений интересующего объекта на двух или более изображениях.
4. Система по любому из предшествующих пунктов, отличающаяся тем, что количество изображений во втором множестве изображений по меньшей мере в 100 раз больше, чем количество изображений в первом множестве изображений.
5. Система по любому из предшествующих пунктов, отличающаяся тем, что первое множество изображений и второе множество изображений содержат медицинские изображения.
6. Система по любому из пп. 1-4, отличающаяся тем, что первое множество изображений и второе множество изображений содержат медицинские изображения, а медицинские изображения представляют собой изображения желудочно-кишечного тракта.
7. Система по любому из предшествующих пунктов, отличающаяся тем, что по меньшей мере одно из первого множества изображений и второго множества изображений содержат изображения с устройства формирования изображений, используемого во время выполнения по меньшей мере одной из операций: гастроскопия, колоноскопия, энтероскопия или эндоскопия верхнего отдела желудочно-кишечного тракта.
8. Система по любому из пп. 1-6, отличающаяся тем, что по меньшей мере одно из первого множества изображений и второго множества изображений содержат изображения с устройства формирования изображений, используемого во время выполнения по меньшей мере одной из операций: гастроскопия, колоноскопия, энтероскопия или эндоскопия верхнего отдела желудочно-кишечного тракта, включая устройство для эндоскопии.
9. Система по любому из предшествующих пунктов, отличающаяся тем, что интересующая особенность представляет собой аномалию.
10. Система по любому из пп. 1-8, отличающаяся тем, что что интересующая особенность представляет собой аномалию, которая включает изменение человеческой ткани от одного типа клетки к другому типу клеток, отсутствие человеческой ткани в определенном месте, где она предполагается, и/или образование, находящееся в пределах человеческой ткани или вне ее.
11. Система по п. 9 или 10, отличающаяся тем, что аномалия представляет собой поражение.
12. Система по п. 9 или 10, отличающаяся тем, что аномалия представляет собой поражение, включающее полиповидное поражение или неполиповидное поражение.
13. Способ обучения нейросетевой системы обнаружению аномалий на медицинских изображениях, включающий следующие этапы, выполняемые по меньшей мере одним процессором:
сохранение в базе данных множества видео, включая изображения аномалий;
выбор первого подмножества из множества видео;
задействование ветви восприятия сети обнаружения объектов к кадрам первого поднабора множества видео для создания первого множества обнаружений аномалий;
выбор второго подмножества из множества видео;
использование первого множества обнаружений и кадров из второго подмножества множества видео, обучение генеративной сети для генерации множества искусственных представлений полипов, при этом множество искусственных представлений генерируется посредством остаточного обучения;
обучение состязательной ветви дискриминаторной сети для различения искусственных представлений аномалий и истинных представлений аномалий;
задействование состязательной ветви дискриминаторной сети к множеству искусственных представлений для создания индикаторов различия между искусственными представлениями аномалий и истинными представлениями аномалий, содержащимися в кадрах второго поднабора множества видео;
задействование ветви восприятия дискриминаторной сети к искусственным представлениям для получения второго множества обнаружений аномалий; и
переобучение ветви восприятия на основе индикаторов различия и второго множества обнаружений.
14. Способ по п. 13, отличающийся тем, что генеративная сеть содержит генеративно-состязательную сеть.
15. Способ по п. 13, отличающийся тем, что дискриминаторная сеть представляет собой сверточную нейронную сеть.
16. Способ по любому из пп. 13-15, отличающийся тем, что аномалия представляет собой изменение в человеческой ткани от одного типа клеток к другому типу клеток, отсутствие человеческой ткани в месте, где она предполагается, и/или наличие образования в области человеческой ткани или вне этой области.
17. Способ по п. 16, отличающийся тем, что аномалия представляет собой поражение.
18. Способ по п. 16, отличающийся тем, что аномалия представляет собой поражение, включающее полиповидное поражение или неполиповидное поражение.
19. Способ по любому из пп. 13-18, отличающийся тем, что каждое искусственное представление обеспечивает ложное представление аномалии, которое очень похоже на истинное представление аномалии.
20. Система для обнаружения аномалии на медицинских изображениях, содержащая:
по меньшей мере, одну инструкцию хранения в памяти; и
по меньшей мере, один процессор, выполненный с возможностью выполнения инструкций для отработки операций, содержащих:
выборку кадров из видео человеческого органа;
задействование обученной системы нейронной сети к кадрам для выполнения по меньшей мере одного обнаружения аномалии;
генерирование индикатора местоположения по меньшей мере одного обнаружения на одном из кадров;
перекодирование кадров в видео; и
вывод перекодированного видео с индикатором,
при этом система нейронной сети обучается в соответствии со способом по любому из пп. 13-19.
| AHN JUNGMO | |||
| et al | |||
| "Finding Small-Bowel Lesions: Challenges in Endoscopy-Image-Based Learning Systems", COMPUTER, IEEE COMPUTER SOCIETY, USA, vol | |||
| Способ запрессовки не выдержавших гидравлической пробы отливок | 1923 |
|
SU51A1 |
| Кипятильник для воды | 1921 |
|
SU5A1 |
| US 20180075599 A1, 15.03.2018 | |||
| ROSS TOBIAS | |||
| et al | |||
| "Exploiting the potential of unlabeled endoscopic video data with self-supervised learning", INTERNATIONAL JOURNAL OF COMPUTER | |||
