ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
В этой заявке испрашивается приоритет согласно предварительной заявке на патент США № 62/305,980, поданной 9 марта 2016 г., и предварительной заявке на патент США № 62/313,601, поданной 25 марта 2016 г., которые во всей их полноте включены сюда посредством ссылки.
УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ
Область техники, к которой относится изобретение
Это изобретение относится в целом к системам и способам распознавания ультразвуковых изображений, а конкретнее - к созданным на основе искусственного интеллекта сетям, предназначенным для ультразвуковой визуализации и оценки ультразвуковых изображений, и к системам и способам для определения того, представляют ли получаемые ультразвуковые изображения клинически желательную проекцию одного или нескольких органов у пациента.
Описание предшествующего уровня техники
Как правило, ультразвуковую визуализацию проводят обученные специалисты по ультразвуку в условиях клиники. Для диагностической ультразвуковой визуализации клинически значимы конкретные проекции ткани некоторого органа или другой ткани или особенности тела (такой, как текучие среды, кости, суставы или аналогичные особенности). Такие проекции могут быть предписаны клиническими стандартами в качестве проекций, которые должен захватывать специалист по ультразвуку, в зависимости от целевого органа, цели диагностики и т.п. Специалисты по ультразвуку в общем случае должны быть специально обучены надлежащей эксплуатации оборудования для ультразвуковой визуализации и распознаванию ситуаций, когда получаемое изображение или получаемая проекция ткани органа либо другой ткани или особенности тела пациента адекватно представляет клинически желательную проекцию. Тем не менее, ультразвуковые изображения, захватываемые специалистом по ультразвуку, в типичных случаях просматривает врач, чтобы определить, в достаточной ли мере захватываемые изображения представляют клинически желательные или стандартные проекции.
Хотя для большинства пациентов в обстановке больницы или иной клиники могут оказаться подходящими обычные системы ультразвуковой визуализации, для эксплуатации таких систем и адекватного захвата клинически желательных проекций требуется серьезное обучение. Это увеличивает совокупные расходы на такую ультразвуковую визуализацию и дополнительно ограничивает доступность ультразвуковой визуализации пациентам, поскольку эксплуатировать обычные устройства ультразвуковой визуализации могут лишь хорошо обученные профессионалы.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Данное изобретение обеспечивает ультразвуковые системы и способы, которые облегчают распознавание ультразвуковых изображений. В частности, ультразвуковые системы и способы применяют, чтобы определить, соответствуют ли ультразвуковые изображения, получаемые посредством устройства ультразвуковой визуализации, известным, клинически желательным проекциям одного или нескольких органов или тканей или особенностей тела у пациента. Чтобы сформулировать такие определения относительно ультразвуковых изображений, захватываемых устройством ультразвуковой визуализации, в модуле распознавания ультразвуковых изображений применяют подходы, связанные с искусственным интеллектом.
В одном варианте осуществления предложена ультразвуковая система, включающая в себя устройство ультразвуковой визуализации и модуль распознавания ультразвуковых изображений. Конфигурация устройства ультразвуковой визуализации обеспечивает получение ультразвуковых изображений пациента. Конфигурация модуля распознавания ультразвуковых изображений обеспечивает прием получаемых ультразвуковых изображений из устройства ультразвуковой визуализации и определение того, представляют ли принимаемые ультразвуковые изображения клинически желательную проекцию органа или другой особенности тела. Тогда можно предусмотреть для пользователя положительную или отрицательную обратную связь, чтобы указать, захвачена ли клинически желательная проекция, таким образом, как посредством визуальной или звуковой подсказки. Чтобы помочь системе в определении того, захвачена ли клинически желательная проекция, пользователь может идентифицировать - перед процессом захвата или во время его - перспективу или проекцию конкретного изображения, которое пользователь желает захватить, и система может затем использовать это как входное воздействие, чтобы способствовать идентификации того, захвачена ли желательную проекцию на самом деле.
В еще одном варианте осуществления предложен способ, заключающийся в том, что посредством устройства ультразвуковой визуализации получают одно или несколько ультразвуковых изображений пациента; передают получаемые ультразвуковые изображения пациента в модуль распознавания ультразвуковых изображений; и посредством модуля распознавания ультразвуковых изображений определяют, представляют ли получаемые ультразвуковые изображения клинически желательную проекцию органа или другой особенности тела.
В еще одном варианте осуществления предложена ультразвуковая система, включающая в себя устройство ультразвуковой визуализации, конфигурация которого обеспечивает получение ультразвуковых изображений пациента, и средства распознавания ультразвуковых изображений для определения того, представляют ли получаемые ультразвуковые изображения клинически желательную проекцию органа или другой особенности тела.
Данное изобретение дополнительно обеспечивает ультразвуковые системы и способы получения информации в виде данных, которые облегчают распознавание ультразвуковых изображений в целях получения и интерпретации ультразвуковых изображений. В частности, ультразвуковые системы и способы получения информации в виде данных применяют для того, чтобы определить в контексте получения изображений, соответствуют ли ультразвуковые изображения, получаемые устройством ультразвуковой визуализации, известным, клинически желательным проекциям одного или нескольких органов или тканей или особенностей тела у пациента, или - в контексте интерпретации изображений, - указывают ли ультразвуковые изображения, получаемые устройством ультразвуковой визуализации, на определенные патологии или нормальное функционирование. В центральной сети с искусственным интеллектом (ИИ), обучаемой распознаванию ультразвуковых изображений, которую обучают распознавать ультразвуковые изображения пациента и/или формулировать касающиеся их определения, применяют подходы, связанные с искусственным интеллектом. Обучаемая сеть с ИИ и/или знания, расширяемые посредством обучаемой сети с ИИ, можно обеспечить и воплотить посредством некоторого количества устройств ультразвуковой визуализации, которые могут находиться в любом месте. Таким образом, за счет использования знаний об ультразвуковых изображениях, расширяемых посредством обучаемой сети на основе ИИ, устройства ультразвуковой визуализации могут получать изображения пациента и определять, например, представляют ли получаемые изображения один или несколько клинически желательных проекций. Ультразвуковые изображения, получаемые посредством устройств ультразвуковой визуализации, можно затем передавать обратно в обучаемую сеть с ИИ в качестве обучающей входной информации, тем самым дополнительно обучая обучаемую сеть с ИИ и расширяя дополнительные и/или уточненные знания об ультразвуковых изображениях.
Устройства ультразвуковой визуализации могут принимать периодические обновления (например, ежемесячные, еженедельные, ежедневные или более частые, и т.д.) из обучаемой сети с ИИ, тем самым принимая совсем недавно расширенные знания об ультразвуковых изображениях, сохраняемые в обучаемой сети с ИИ при каждом обновлении.
По меньшей мере, в одном варианте осуществления предложена ультразвуковая система получения информации в виде данных, включающая в себя сеть, обучаемую распознаванию ультразвуковых изображений, хранимую, по меньшей мере, частично на компьютерном устройстве, имеющем один или несколько процессоров. Конфигурация сети, обучаемой распознаванию ультразвуковых изображений, обеспечивает прием ультразвуковых обучающих изображений и расширение знаний об ультразвуковых изображениях на основе принимаемых ультразвуковых обучающих изображений. Ультразвуковая система получения информации в виде данных дополнительно включает в себя устройство ультразвуковой визуализации, конфигурация которого обеспечивает получение ультразвуковых изображений пациента, и модуль распознавания ультразвуковых изображений, находящийся внутри устройства ультразвуковой визуализации. Конфигурация модуля распознавания ультразвуковых изображений обеспечивает прием знаний об ультразвуковых изображениях, прием получаемых ультразвуковых изображений из устройства ультразвуковой визуализации и проводимое на основе знаний об ультразвуковых изображениях определение того, представляют ли принимаемые ультразвуковые изображения клинически желательную проекцию органа или некоторую определенную патологию.
В еще одном варианте осуществления в данном изобретении предложен способ, заключающийся в том, что посредством сети, обучаемой распознаванию ультразвуковых изображений, осуществляют прием ультразвуковых обучающих изображений. Способ дополнительно предусматривает осуществляемое посредством сети, обучаемой распознаванию ультразвуковых изображений, генерирование знаний об ультразвуковых изображениях на основе принимаемых ультразвуковых обучающих изображений и передачу знаний об ультразвуковых изображениях в устройство ультразвуковой визуализации, которое является отдельным от сети, обучаемой распознаванию ультразвуковых изображений, и расположено отдаленно от нее. Таким образом, устройство ультразвуковой визуализации может получать ультразвуковые изображения пациента и определять на основе знаний об ультразвуковых изображениях, представляют ли получаемые ультразвуковые изображения клинически желательную проекцию органа.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На фиг.1 представлена блок-схема, иллюстрирующая систему распознавания ультразвуковых изображений в соответствии с одним или несколькими вариантами осуществления изобретения;
На фиг.2 представлена блок-схема, иллюстрирующая обучение модуля распознавания ультразвуковых изображений в соответствии с одним или несколькими вариантами осуществления изобретения;
На фиг.3 представлена блок-схема, иллюстрирующая нейронную сеть, которую можно воплотить посредством модуля распознавания ультразвуковых изображений в соответствии с одним или несколькими вариантами осуществления изобретения;
На фиг.4 представлена схематическая иллюстрация устройства ультразвуковой визуализации в соответствии с одним или несколькими вариантами осуществления изобретения;
На фиг.5 представлена блок-схема последовательности операций, иллюстрирующая способ распознавания ультразвуковых изображений в соответствии с одним или несколькими вариантами осуществления изобретения;
На фиг.6 представлена блок-схема, иллюстрирующая ультразвуковую систему получения информации в виде данных в соответствии с одним или несколькими вариантами осуществления изобретения;
На фиг.7 представлена блок-схема, иллюстрирующая устройство ультразвуковой визуализации в соответствии с одним или несколькими вариантами осуществления изобретения;
На фиг.8 представлена блок-схема, иллюстрирующая обучение сети с искусственным интеллектом, обучаемой распознаванию ультразвуковых изображений, в соответствии с одним или несколькими вариантами осуществления изобретения; и
На фиг.9 представлена блок-схема последовательности операций, иллюстрирующая способ распознавания ультразвуковых изображений в соответствии с одним или несколькими вариантами осуществления изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
Данное изобретение обеспечивает несколько вариантов осуществления систем и способов распознавания ультразвуковых изображений. Предлагаемые здесь системы и способы могут оказаться полезными конкретно для ультразвуковой визуализации, проводимой начинающими специалистами по ультразвуку, и/или для ультразвуковой визуализации, при осуществлении которой используют карманное или мобильное устройство ультразвуковой визуализации, которое можно разворачивать вне традиционных условий клиники. За счет использования подходов, связанных с искусственным интеллектом, предлагаемые здесь системы и способы дают возможность определять, точно ли получаемые ультразвуковые изображения отображают или представляют желательную проекцию ткани органа или другой ткани пациента, интересующего признака или интересующей области у пациента. Далее, эти системы также могут обеспечивать пользователю обратную связь, чтобы указать, захвачена ли желательная проекция ткани органа или другой ткани или особенности пациента. В альтернативном или дополнительном варианте, эти системы могут принимать входное воздействие от пользователя, которому требуется конкретная проекция органа пациента, которую пользователю желательно захватить. В дополнение к этому, система может наставлять пользователя в его попытках захватить одну или несколько конкретных проекций конкретной анатомической области в некотором порядке и подтверждать для пользователя, захвачена ли одна или несколько желаемых проекций.
Данное изобретение дополнительно обеспечивает несколько вариантов осуществления систем сетей и способов, предусматривающих применение искусственного интеллекта для ультразвуковой визуализации. Системы сетей и способы, предусматривающие применение искусственного интеллекта для ультразвуковой визуализации, о которых здесь идет речь, могут оказаться полезными конкретно для ультразвуковой визуализации, проводимой специалистами по ультразвуку на всех уровнях квалификации, и/или для ультразвуковой визуализации, при осуществлении которой используют карманное или мобильное устройство ультразвуковой визуализации, которое можно разворачивать вне традиционных условий клиники. За счет использования подходов, связанных с искусственным интеллектом, предлагаемые здесь системы и способы дают возможность определять, точно ли или, по существу, точно, либо неточно или, по существу, неточно получаемые ультразвуковые изображения (i) отображают или представляют желательную проекцию структуры и/или анатомической области, включающей в себя, например, ткань органа или другую ткань пациента, интересующую особенность или область у пациента, и (ii) указывают ли получаемые изображения, представляющие клинически желательные проекции анатомической области на нормальное функционирование или конкретную патологию. Например, на основе получаемых ультразвуковых изображений, определяемых как, по существу, точно отображающие или представляющие некоторую конкретную проекцию сердца, подходы, связанные с искусственным интеллектом, могут дополнительно указывать на конкретную проблему с клапанами в этом сердце.
Сеть с искусственным интеллектом, обучаемая распознаванию ультразвуковых изображений, («обучаемая сеть с ИИ») может быть созданной на основе облака или распределенной вычислительной сетью и может быть доступной некоторому большому количеству устройств ультразвуковой визуализации. Обучаемую сеть с ИИ можно обучать с помощью некоторого большого количества ультразвуковых изображений, представляющих известные или клинически определенные проекции, и в пределах этих проекций ультразвуковые изображения могут представлять нормальное или патологическое функционирование. Посредством некоторого процесса обучения оптимизируют параметры обучаемой сети на основе ИИ для распознавания некоторого многообразия проекций структур, таких, как органы, ткани, или любой другой области, представляющей интерес у пациента, и для некоторого многообразия нормальных и патологических состояний. Обучаемую сеть с ИИ и/или параметры этой сети (например, любые знания, изученные обучаемой сетью с ИИ посредством процесса обучения) можно загружать и воплощать посредством устройств ультразвуковой визуализации, чтобы распознавать, интерпретировать получаемые ультразвуковые изображения и/или формулировать определения в отношении них. Соответственно, устройства ультразвуковой визуализации не нужно обучать индивидуально (что является вычислительно интенсивным процессом). Ультразвуковые изображения, получаемые посредством устройств ультразвуковой визуализации, можно передавать обратно в обучаемую сеть с ИИ, по мере приложения обучающего входного воздействия для дальнейшего обучения обучаемой сети с ИИ.
На фиг.1 изображена блок-схема ультразвуковой системы 100 в соответствии с вариантами осуществления данного изобретения. Как показано на фиг.1, ультразвуковая система 100 включает в себя устройство 110 ультразвуковой визуализации, сеть 102 связи, модуль 120 распознавания ультразвуковых изображений и базу 122 данных знаний об изображениях. Каждый из этих компонентов можно встроить в одиночное ультразвуковое устройство, такое, как карманное или портативное устройство, или они могут составлять несколько устройств, оперативно связанных или выполненных с возможностью оперативной связи друг с другом.
Устройство 110 ультразвуковой визуализации представляет собой любое ультразвуковое устройство, эксплуатируемое для получения ультразвуковых изображений пациента, и может быть, например, карманным устройством ультразвуковой визуализации. Устройство 110 ультразвуковой визуализации может включать в себя дисплей 112, запоминающее устройство 114, один или несколько процессоров 116. Устройство 110 ультразвуковой визуализации оперативно подключено к ультразвуковому зонду 118.
Запоминающее устройство 114 может представлять собой или включать в себя любой компьютерно-читаемый носитель информации, включая, например, постоянное запоминающее устройство (ПЗУ), оперативное запоминающее устройство (ОЗУ), флэш-память, накопитель на жестких дисках, оптическое запоминающее устройство, магнитное запоминающее устройство, электрически стираемое программируемое постоянное запоминающее устройство (ЭСППЗУ), органический носитель информации или аналогичное средство.
Процессор 116 может быть процессором любого компьютера, эксплуатируемым для исполнения команд (например, хранимых в запоминающем устройстве 114) для выполнения функций описываемого здесь устройства 110 ультразвуковой визуализации.
Устройство 110 ультразвуковой визуализации возбуждает ультразвуковой зонд 118 для передачи сигналов к целевой области у пациента, а также для приема отраженных сигналов, возвращающихся из целевой области в ответ на переданные сигналы. При эксплуатации, пользователь ультразвукового устройства 110 может удерживать зонд 118 у тела пациента в некотором положении и под некоторым углом для получения желательного ультразвукового изображения. Сигналы, принимаемые зондом (т.е., отраженные сигналы) сообщаются устройству 110 ультразвуковой визуализации и могут образовывать ультразвуковое изображение целевой области пациента, или могут быть обработаны с этой целью. Кроме того, возможна выдача ультразвуковых изображений в дисплей 112, который может отображать ультразвуковые изображения и/или любую другую релевантную информацию для пользователя.
Ультразвуковые изображения, получаемые таким образом с помощью устройства 110 ультразвуковой визуализации, можно выдавать в модуль 120 распознавания ультразвуковых изображений через сеть 102 связи. Ультразвуковые изображения из устройства 110 ультразвуковой визуализации выдаются в модуль 120 распознавания ультразвуковых изображений, как показано позицией 101. Сеть 102 связи может использовать один или несколько протоколов для осуществления связи через одну или несколько физических сетей, включая локальные вычислительные сети, беспроводные сети связи, выделенные линии, внутрикорпоративные сети, Internet, и т.п.
В одном или нескольких вариантах осуществления модуль 120 распознавания ультразвуковых изображений может быть предусмотрен внутри устройства 110 ультразвуковой визуализации, либо локальная копия модуля 120 распознавания ультразвуковых изображений и/или знания об ультразвуке, хранимые в базе 122 данных знаний об изображениях, могут содержаться внутри устройства 110 ультразвуковой визуализации, при этом устройство 110 ультразвуковой визуализации имеет доступ к удаленно расположенному (например, хранимому на одном или нескольких компьютерах-серверах, или в «облаке») модулю 120 распознавания ультразвуковых изображений, например, для приема обновленных алгоритмов распознавания ультразвуковых изображений и/или знаний об этом.
Модуль 120 распознавания ультразвуковых изображений принимает ультразвуковые изображения, получаемые из устройства 110 ультразвуковой визуализации, и определяет, представляет ли одно или несколько принимаемых ультразвуковых изображений клинически желательную проекцию органа или другого аспекта, другой области или особенности пациента. Модуль 120 распознавания ультразвуковых изображений можно воплотить посредством любой вычислительно интеллектуальной системы, которая предусматривает применение искусственного интеллекта, выборки из базы 122 данных знаний об изображениях, чтобы определить, представляют ли принимаемые ультразвуковые изображения клинически желательную проекцию. Некоторые или все описываемые здесь определения, формулируемые посредством модуля распознавания ультразвуковых изображений, можно формулировать автоматически посредством модуля 120 распознавания ультразвуковых изображений, например, в ответ на прием получаемых ультразвуковых изображений.
Термин «искусственный интеллект» употребляется здесь для описания в широком смысле любых вычислительно интеллектуальных систем и способов, которые могут предусматривать изучение знаний (например - на основе обучающих данных) и использование таких изученных знаний с целью адаптации обуславливаемых ими подходов для решения одной или нескольких проблем. В машинах, обладающих искусственным интеллектом, возможно применение, например, нейронной сети, глубокого обучения, сверточной нейронной сети и методов обучения посредством байесовской программы для решения таких проблем, как распознавание изображений. Кроме того, искусственный интеллект может предусматривать любой из следующих вычислительных методов или их комбинацию: программу ограничений, нечеткую логику, классификацию, традиционный искусственный интеллект, манипулирование символами, теорию нечетких множеств, эволюционные вычисления, кибернетику, извлечение данных, приблизительные рассуждения, оптимизацию без вычисления производных, деревья решений и/или мягкие вычисления. За счет применения одного или нескольких вычислительно интеллектуальных методов, модуль 120 распознавания ультразвуковых изображений может проводить изучение для адаптации к неизвестной и/или меняющейся окружающей среде с целью получения лучших рабочих характеристик.
База 122 данных знаний об изображениях может включать в себя многообразие информации, облегчающей анализ изображений, проводимый в отношении принимаемых ультразвуковых изображений посредством модуля 120 распознавания ультразвуковых изображений. В частности, база 122 данных знаний об изображениях может содержать информацию, относящуюся к проекциям различных изображений различных органов. Например, база 122 данных знаний об изображениях может включать в себя информацию, ассоциируемую с клинически стандартными или желательными проекциями сердца. Клинически стандартные проекции сердца могут включать в себя, например, супрастернальную (надгрудинную), субкостальную (подреберную), парастернальную (окологрудинную) по короткой и длинной осям, 2-камерную апикальную (верхушечную), 3-камерную апикальную, 4-камерную апикальную и 5-камерную апикальную проекции. Помимо этого, информация, ассоциируемая с клинически стандартными проекциями, может быть информацией, ассоциируемой с трехмерной проекцией, двумерным поперечным сечением и/или набором двумерных поперечных сечений. Базу 122 данных знаний об изображениях можно хранить на любом компьютерно-читаемом носителе информации, доступ к которому получают посредством модуля 120 распознавания ультразвуковых изображений.
Модуль 120 распознавания ультразвуковых изображений может включать в себя процессор компьютера или - в противном случае - может исполняться процессором компьютера, конфигурация которого обеспечивает выполнение различных функций и операций, описываемых здесь. Например, модуль 120 распознавания ультразвуковых изображений может исполняться компьютером общего назначения или процессором данных, который можно избирательно активировать или переконфигурировать посредством программы, хранимой компьютером, или можно сделать специально сконструированной вычислительной платформой для реализации особенностей и операций, описываемых здесь.
На фиг.2 представлена блок-схема, иллюстрирующая обучение модуля 120 распознавания ультразвуковых изображений в соответствии с одним или несколькими вариантами осуществления. Модуль 120 распознавания ультразвуковых изображений можно обучать на основе обучающих изображений 210. Обучающие изображения 210 могут включать в себя любую ультразвуковую информацию в виде изображений. Например, обучающее изображение 210 может включать в себя многообразие информации ультразвуковых изображений, ассоциируемых с известными проекциями органа, такого, как сердце. В качестве дополнительного примера отметим, что обучающие изображения 210 могут быть клинически желательными изображениями, например, супрастернальных проекций сердца. В таком случае, обучающие изображения 210 могут быть ультразвуковыми изображениями, которые определены заранее (например, врачом) как адекватно демонстрирующие клинически желательную супрастернальную проекцию сердца. Каждое такое обучающее изображение 210 может иметь немного отличающиеся характеристики (например, изображения более высокого качества, изображения более низкого качества, расплывчатые изображения, изображения, снятые под немного отличающимися углами, и т.п.), но при этом каждое такое обучающее изображение 210 может тем не менее быть заранее определенным как адекватно представляющее клинически желательную проекцию сердца.
Помимо этого, обучающие изображения 210 могут включать в себя не только информацию в виде изображений, ассоциируемую с клинически стандартными или желательными проекциями, а могут дополнительно включать в себя информацию в виде изображений, ассоциируемую с проекциями, не являющимися клинически желательными. Соответственно, модуль 120 распознавания ультразвуковых изображений может принимать, например, проекцию сердца, не являющуюся представителем какой-либо конкретной проекции из клинически желательных (например, супрастернальной, субкостальной, парастернальной по короткой и длинной оси, 2-хкамерной апикальной, 3-хкамерной апикальной, 4-хкамерной апикальной и 5-тикамерной апикальной проекций). В таком случае, модуль 120 распознавания ультразвуковых изображений может, тем не менее, распознать изображение как являющееся проекцией сердца, и может также распознать изображение как являющееся изображением, например, где-то между 2-хкамерной апикальной проекцией и 3-хкамерной апикальной проекцией. В общем случае клинически стандартную 3-хкамерную апикальную проекцию получают, например, путем поворота зонда для ультразвуковой визуализации примерно на 60° против часовой стрелки по отношению к 2-хкамерной апикальной проекции. Ультразвуковые изображения, получаемые с помощью этого зонда под некоторым углом поворота, например, где-то между 5° и 55° против часовой стрелки по отношению к 2-хкамерной апикальной проекции можно определить как не представляющие клинически желательную проекцию сердца. Вместе с тем, модуль 120 распознавания ультразвуковых изображений можно обучить с помощью обучающих изображений 210, демонстрирующего некоторое многообразие известных, но не являющихся клинически желательными, проекций сердца (таких, как проекции где-то между 2-хкамерной апикальной и 3-хкамерной апикальной проекциями), и поэтому сможет распознавать такие проекции (например, модуль 120 распознавания ультразвуковых изображений сможет распознать проекцию как представляющую поворот зонда 118 на 35° против часовой стрелки по отношению к 2-хкамерной апикальной проекции).
В модуль 120 распознавания ультразвуковых изображений можно дополнительно подавать другое обучающее входное воздействие 220 для обучения. Это другое обучающее входное воздействие 220 может включать в себя, например, входное воздействие, вводимое вручную, для коррекции модели распознавание изображений, расширяемой в модуле 120 распознавания изображений посредством процесса обучения, или иного управления этой моделью.
С помощью обучающих изображений 210, модуль 120 распознавания ультразвуковых изображений может воплощать некий итеративный процесс обучения. Обучение может быть основано на широком многообразии правил обучения или алгоритмов обучения. Например, правила обучения могут включать в себя одно или несколько из следующих: обратное распространение ошибки обучения, обучение с обратной связью в реальном масштабе времени, поструктурное обучение, контролируемое обучение, интерполяцию, взвешенную сумму, обучение с закреплением пройденного материала, обучение методом временных различий, неконтролируемое обучение и/или обучение с регистрацией.
Алгоритм обучения с обратным распространением ошибки обучения представляет собой обычный способ обучения искусственных нейронных сетей (и может быть применен, например, с искусственной нейронной сетью 300, показанной на фиг.3). Обратное распространение ошибки обучения в общем случае включает в себя две фазы: распространения и обновления весовых коэффициентов. В фазе распространения осуществляют прямое распространение входного воздействия обучающей структурой через нейронную сеть, чтобы генерировать выходные активации распространения. Затем осуществляют обратное распространение выходных активаций распространения через нейронную сеть с использованием мишени обучающей структуры, чтобы генерировать дельты (т.е., разность между значениями входных воздействий и выходных воздействий) всех выходных и скрытых нейронов. В фазе обновления весовых коэффициентов, для каждого взвешенного синапса в общем случае проводят следующие этапы: 1. перемножают его дельту выходного воздействия и входную активацию, получая градиент весового коэффициента; 2. вычитают (выражаемую в процентах) долю градиента из весового коэффициента. Фазы распространения и обновления весовых коэффициентов повторяют столько раз, сколько это желательно, до тех пор, пока рабочие характеристики сети не окажутся удовлетворительными.
В результате обучения, модуль 120 распознавания ультразвуковых изображений можно научить изменению своего поведения в ответ на обучающие изображения 210 и получению или генерированию знаний 230 об ультразвуковых изображениях. Знания 230 об ультразвуковых изображениях могут представлять собой любую информацию, по которой модуль 120 распознавания ультразвуковых изображений сможет определить надлежащий ответ на новые данные или ситуации. В частности, знания 230 об ультразвуковых изображениях представляют собой зависимости между ультразвуковыми изображениями и одной или несколькими проекциями органа (например, одну или несколько функций, которые описывают одну или несколько проекций органа на основе параметров ультразвуковых изображений, коэффициентов, весовой информации, параметров, ассоциируемых с возможной нейронной сетью, показанной на фиг.3, или любой такой переменной). Знания 230 об ультразвуковых изображениях могут храниться в базе 122 данных знаний об ультразвуковых изображениях.
На основе обучающих изображений 210 можно обучить модуль 120 распознавания ультразвуковых изображений изменять свое поведение, и он сможет применять знания, содержащиеся в базе 122 данных знаний об изображениях, для изменения той манеры, в какой он формулирует определения по отношению к новому входному воздействию, например, такому, как ультразвуковая информация в виде изображений, принимаемая из устройства 110 ультразвуковой визуализации.
На фиг.3 представлена блок-схема, иллюстрирующая один пример искусственной нейронной сети 300, которую можно воплотить посредством модуля 120 распознавания ультразвуковых изображений, в соответствии с одним или несколькими вариантами осуществления. Искусственные нейронные сети (ИНС) представляют собой модели искусственного интеллекта, которые используются для оценки или аппроксимации функций, зависящих от большого количества входных воздействий и в общем случае неизвестных. Такие нейронные сети, вообще говоря, включают в себя систему взаимосвязанных «нейронов», которые обмениваются информацией друг с другом. Соединения имеют количественные весовые коэффициенты, которые можно настраивать на основе опыта, и поэтому нейронные сети адаптируются ко входным воздействиям и способны обучаться.
Искусственная нейронная сеть 300, показанная на фиг.3, включает в себя три слоя: входной слой 310, включающий в себя входные нейроны i1-i3, скрытый слой 320, включающий в себя слой скрытых нейронов h1-h4, и выходной слой 330, включающий в себя выходные нейроны f1 и f2. Хотя нейронная сеть 300 на фиг.3 показана имеющей три слоя, будет нетрудно понять, что в нейронную сеть 300 можно включить дополнительные слои, когда желательно достичь оптимального обучения и оптимальных рабочих характеристик модуля 120 распознавания ультразвуковых изображений. Аналогичным образом, нейроны в каждом слое показаны для примеров, и будет нетрудно понять, что каждый слой может включать в себя больше - и даже значительно больше - нейронов, чем показано на фиг.3.
Нейронную сеть 300 можно обучать путем подачи обучающих изображений 210 во входной слой 310. Как описано применительно к фиг.2, обучающие изображения могут включать в себя ультразвуковую информацию в виде изображений, обладающую широким разнообразием известных характеристик, включая, например, различные проекции органов, различные качества или характеристики изображений, различные углы визуализации, и т.п. Посредством обучения, нейронная сеть 300 может генерировать и/или модифицировать скрытый слой 320, представляющий взвешенные соединения, которые отображают обучающие изображения 210, подаваемые во входном слое 310 для получения известной информации о выходных воздействиях в выходном слое 330 (например, классификации некоторого изображения как субкостальной проекции сердца, супрастернальной проекции, и т.д.). Зависимости между нейронами входного слоя 310, скрытого слоя 320 и выходного слоя 330, формируемые посредством процесса обучения и могущие включать в себя зависимости соединений от весовых коэффициентов, в общем случае именуются здесь «знаниями об ультразвуковых изображениях», и могут храниться, например, в базе 122 данных знаний об ультразвуковых изображениях.
Сразу же после того, как нейронная сеть 300 оказалась достаточно обученной, нейронную сеть 300 можно снабдить ультразвуковыми изображениями, которые не являются обучающими, во входном слое 310 (т.е., ультразвуковыми изображениями съемки пациента, при осуществлении которой используют устройство 110 ультразвуковой визуализации). Пользуясь знаниями об ультразвуковых изображениях, хранимыми в базе 122 данных знаний об ультразвуковых изображениях (могущей включать в себя, например, взвешенную информацию о соединениях между нейронами нейронной сети 300), нейронная сеть 300 может формулировать определения по поводу принимаемой ультразвуковой информации в виде изображений в выходном слое 330. Например, нейронная сеть 300 может определять, представляют ли принимаемые ультразвуковые изображения одну или несколько клинически желательных проекций органа.
Нейронная сеть 300 согласно фиг.3 приводится лишь как один пример среди различных возможных воплощений модуля 120 распознавания ультразвуковых изображений, в котором искусственный интеллект применяют, чтобы формулировать определения применительно к принимаемой ультразвуковой информации в виде изображений. Например, модуль 120 распознавания ультразвуковых изображений может воплощать любой вариант из нейронной сети, глубокого обучения, сверточной нейронной сети и методов обучения посредством байесовской программы с целью давать определения применительно к ультразвуковым изображениям пациента.
Помимо этого, модуль 120 распознавания ультразвуковых изображений можно обучать, пользуясь некоторым многообразием обучающих изображений 210 и/или некоторым многообразием последовательностей обучающих изображений 210, чтобы сформулировать множество определений, относящихся к принимаемой ультразвуковой информации в виде изображений. Например, модуль 120 распознавания ультразвуковых изображений можно обучить или конфигурировать иным образом, чтобы обеспечить определение того, представляет ли принимаемое ультразвуковое изображение одну или несколько клинически стандартных или желательных проекций. Кроме того, модуль 120 распознавания ультразвуковых изображений может определить, представляет ли принимаемое ультразвуковое изображение проекцию, не являющуюся клинически желательной (и может распознать такую проекцию, не являющуюся клинически желательной, как конкретную проекцию или конкретный угол конкретного органа или другой ткани в теле пациента), и на основе некоторой последовательности принимаемых ультразвуковых изображений может также определить, приближаются ли изображения к клинически желательной проекции органа или отдаляются от нее. На основе проводимого упомянутым модулем распознавания того, приближаются ли изображения к клинически желательной проекции органа или отдаляются от нее, и/или на основе проводимого упомянутым модулем распознавания фактического захватываемого изображения конфигурация системы затем сможет обеспечить обратную связь с пользователем, чтобы помочь этому пользователю захватить желательную проекцию органа, например, путем указания направления, в котором пользователь может захотеть переместить зонд, и/или угла поворота либо ориентации, на который либо для достижения которой пользователь может захотеть повернуть зонд.
Например, как говорилось выше, модуль 120 распознавания ультразвуковых изображений можно обучить с помощью обучающих изображений 210, демонстрирующих многообразия известных, но не являющихся клинически желательными, проекций сердца (таких, как проекции где-то между 2-хкамерной апикальной и 3-хкамерной апикальной проекциями), и поэтому он сможет распознать такие проекции (например, модуль 120 распознавания ультразвуковых изображений сможет распознать проекцию как представляющую поворот зонда 118 на 35° против часовой стрелки по отношению к 2-хкамерной апикальной проекции). Кроме того, модуль 120 распознавания ультразвуковых изображений можно обучить с помощью некоторой последовательности распознанных, но не являющихся клинически стандартными или желательными, проекций сердца. Например, модуль 120 распознавания ультразвуковых изображений можно обучить распознаванию ультразвуковых изображений, демонстрирующих проекцию сердца на каждом градусе поворота против часовой стрелки между 0° и 60° по отношению к 2-хкамерной апикальной проекции (т.е., на каждом градусе между 2-хкамерной апикальной и 3-хкамерной апикальной проекциями). Помимо этого, модуль 120 распознавания ультразвуковых изображений можно обучить распознаванию некоторой последовательности или прогрессии таких проекций, не являющихся клинически желательными, к клинически желательной проекции и/или от нее (например, обучающие изображения 210 могут включать в себя некоторую последовательность ультразвуковых изображений, представляющих поворот зонда 118 от 2-хкамерной апикальной проекции к 3-хкамерной апикальной проекции и/или от нее). Таким образом, модуль 120 распознавания ультразвуковых изображений можно обучить распознаванию тех принимаемых ультразвуковых изображений, которые при этом не являются представительными для некоторой конкретной клинически желательной проекции и которые можно последовательно приблизить к клинически желательной проекции (или отдалить от нее).
Кроме того, модуль 120 распознавания ультразвуковых изображений можно обучить так, что модуль 120 распознавания ультразвуковых изображений сможет определить, представляют ли принимаемые ультразвуковые изображения любую из множества клинически желательных проекций органа. Такие клинически желательные проекции органа могут включать в себя, например, супрастернальную, субкостальную, парастернальную по короткой и длинной оси, 2-хкамерную апикальную, 3-хкамерную апикальную, 4-хкамерную апикальную и 5-тикамерную апикальную проекции сердца.
Обращаясь снова к фиг.1, отмечаем, что модуль 120 распознавания ультразвуковых изображений может выдавать сигнал обратной связи (обозначенный позицией 103) в устройство 110 ультразвуковой визуализации, как подробнее описывается ниже. Сигнал 103 обратной связи может быть выдан в ответ на определение, формулируемое посредством модуля 120 распознавания ультразвуковых изображений, по отношению к принимаемому ультразвуковому изображению.
На фиг.4 схематически изображено устройство 110 ультразвуковой визуализации в соответствии с одним или несколькими вариантами осуществления. Устройство 110 ультразвуковой визуализации может включать в себя дисплей 112, интерфейс 410 пользователя, включающий в себя один или несколько элементов 412 ввода, один или несколько элементов 420 визуальной обратной связи, элемент 430 звуковой обратной связи и/или элемент 440 тактильной обратной связи.
Интерфейс 410 пользователя дает пользователю возможность управлять устройством 110 ультразвуковой визуализации или осуществлять связь с ним иным образом. Можно предусмотреть различные типы входного воздействия пользователя, например, посредством элементов 412 пользовательского ввода, которые могут быть кнопками или аналогичными элементами пользовательского ввода. В дополнительном или альтернативном варианте, дисплей 112 может быть дисплеем с сенсорным экраном, и посредством этого дисплея 112 возможен прием пользовательского ввода (входного воздействия). С помощью устройства 110 ультразвуковой визуализации пользователь может выбрать (например, посредством элементов 412 ввода и/или дисплея 112) или иным образом ввести желательную проекцию органа, который нужно изобразить у пациента. Например, пользователь может выбрать одну проекцию (например, субкостальную проекцию сердца) среди множества клинически желательных проекций, хранимых в устройстве 110 ультразвуковой визуализации и предоставляемых пользователю. Устройство 110 ультразвуковой визуализации может сообщать выбранную проекцию в модуль 120 распознавания ультразвуковых изображений, и поэтому модулю 120 распознавания ультразвуковых изображений можно придать конфигурацию, обеспечивающую определение того, представляют ли принимаемые ультразвуковые изображения выбранную проекцию. То есть, модуль 120 распознавания ультразвуковых изображений может получать доступ к надлежащим знаниям об ультразвуковых изображениях (например, знаниям, правилам или связям, ассоциируемым с субкостальной проекцией сердца) в базе 122 данных знаний об изображениях, так что можно будет сравнивать принимаемые ультразвуковые изображения с выбранной проекцией или обрабатывать ее посредством знаний, соответствующих ей. В альтернативном варианте, пользователь может выбрать режим работы, в котором система инструктирует пользователя посредством захвата одной или нескольких из ряда стандартных проекций органа, такого, как сердце, о котором шла речь выше. В таком режиме, система должна сначала выбрать желательную проекцию органа, подлежащего изображению, а потом выдать пользователю подтверждение, когда желательное изображение захвачено, и/или отослать пользователя к желательной проекции на основе захвата исходного изображения. Затем система должна повторить этот процесс последовательно для каждой желательной стандартной проекции органа, подлежащего изображению. В альтернативном варианте, систему можно эксплуатировать так, чтобы она смогла сравнивать любые захватываемые изображения с каждым из изображений, подлежащих захвату, и осуществлять подтверждение при захвате одной или нескольких желательных стандартных проекций, делая это без предварительного указания того, какая проекция захватывалась первой.
Элементы 420 визуальной обратной связи могут представлять собой любой элемент, который может обеспечить визуальную индикацию для пользователя устройства 110 ультразвуковой визуализации, и могут представлять собой, например, одно или несколькими из таких средств, как лампочки, цвета, формы, пиктограммы или подобные им средства, будь то статичные или движущиеся. Элемент 430 звуковой обратной связи может представлять собой любой элемент, способный вырабатывать звуковую индикацию для пользователя устройства 110 ультразвуковой визуализации, и может быть, например, динамиком для выработки различных тонов или звуков, ассоциируемых с отсутствием соответствия или соответствием между захватываемым изображением и изображением, которое желательно захватить. Аналогичным образом, элемент 440 тактильной обратной связи может представлять собой любой элемент, способный обеспечить тактильный эффект для пользователя устройства 110 ультразвуковой визуализации, и может быть, например, вибрационным устройством.
Сигналы 103 обратной связи, обеспечиваемые посредством модуля 120 распознавания ультразвуковых изображений, могут указывать на любые из некоторого многообразия определений, которые формулируются посредством модуля 120 распознавания ультразвуковых изображений касательно ультразвуковых изображений, принимаемых из устройства 110 ультразвуковой визуализации.
Например, модуль 120 распознавания ультразвуковых изображений может выдавать сигнал 103 обратной связи, указывающий, что текущее или принимаемое самым последним ультразвуковое изображение представляет клинически желательную проекцию органа (например, выбранную клинически желательную проекцию). В дополнительном примере, модуль 120 распознавания ультразвуковых изображений может определять, происходит ли последовательное приближение принимаемых ультразвуковых изображений к клинически желательной проекции органа или удаление их от нее, и выдает сигнал 103 обратной связи, который указывает, происходит ли последовательное приближение принимаемых ультразвуковых изображений к клинически желательной проекции органа или удаление их от нее. Этот сигнал обратной связи мог бы включать в себя визуальную или звуковую команду, предписывающую пользователю определенным образом переместить или наклонить на некоторый угол зонд или пиктограмму, такую, как прямолинейная или криволинейная стрелка (прямолинейные или криволинейные стрелки), указывающая (указывающие) направление и/или угол перемещения, требующегося для зонда, чтобы лучше достичь желательного изображения органа.
Устройство 110 ультразвуковой визуализации принимает сигнал 103 обратной связи и может в ответ активировать один или несколько элементов обратной связи (т.е., элементы 420 визуальной обратной связи, элемент 430 звуковой обратной связи и/или элемент 440 тактильной обратной связи), чтобы обеспечить эффект обратной связи пользователю устройства 110 ультразвуковой визуализации. Например, сигнал 103 обратной связи может указывать, что текущее или принимаемое самым последним ультразвуковое изображение представляет клинически желательную проекцию органа. В таком случае, эффект обратной связи, обеспечиваемый устройством 110 ультразвуковой визуализации, может включать в себя мигающую зеленую лампочку 420a элемента 420 визуальной обратной связи, звуковой тон или зуммер из элемента 430 звуковой обратной связи и/или вибрационный импульс, выдаваемый элементом 440 тактильной обратной связи. Мигающая зеленая лампочка 420a, звуковой тон и/или вибрационный импульс указывает пользователю, что желательная проекция получена, и поэтому пользователь может зафиксировать ультразвуковое изображение желательной проекции (например, с помощью одного или нескольких элементов 412 пользовательского ввода) и сохранить это изображение в базе 115 данных ультразвуковых изображений.
В дополнительном или альтернативном варианте, при определении того, что в принимаемом ультразвуковом изображении представлена клинически желательная проекция органа, модуль 120 распознавания ультразвуковых изображений может вызвать (например, посредством сигнала 103 обратной связи) автоматическую фиксацию ультразвукового изображения устройством 110 ультразвуковой визуализации и сохранение этого изображения в базе 115 данных ультразвуковых изображений. Чтобы указать, захватил ли уже пользователь желательное изображение, или остается ли желательное изображение подлежащим захвату для конкретного изображаемого пациента, можно также отображать таблицу с надлежащими указаниями после появления изображения каждого желательного типа.
В вариантах осуществления, где сигнал 103 обратной связи указывает, что принимаемые ультразвуковые изображения последовательно приближаются к клинически желательной проекции органа или удаляются от нее, устройство 110 ультразвуковой визуализации может сообщать это пользователю, например, обеспечивая изменяющийся эффект обратной связи, такой, как звуковой тон, имеющий частоту, увеличивающуюся (или уменьшающуюся) по мере того, как принимаемые ультразвуковые изображения приближаются к клинически желательной проекции (или удаляются от нее), ряд вибрационных импульсов, имеющих интенсивность, увеличивающуюся (или уменьшающуюся) по мере того, как принимаемые ультразвуковые изображения приближаются к клинически желательной проекции (или удаляются от нее), и/или подсветка отличающимся цветом или позиционирование лампочек, отличающееся по мере того, как принимаемые ультразвуковые изображения приближаются к клинически желательной проекции или удаляются от нее (например, подсветка внешними лампочками 420c красного цвета, затем - промежуточными лампочками 420b желтого цвета, а потом - центральной лампочкой 420a зеленого цвета, по мере того, как принимаемые ультразвуковые изображения приближаются к клинически желательной проекции).
Зонд 118, который оперативно подключен к устройству 110 ультразвуковой визуализации, может включать в себя один или несколько датчиков 450 перемещения, которые могут быть любыми датчиками перемещения, включая, например, акселерометры, гироскопы, или подобные им средства. Соответственно, устройство 110 ультразвуковой визуализации может определять некоторое положение и/или перемещение зонда 118. В частности, устройство 110 ультразвуковой визуализации может определять некоторое положение и/или перемещение зонда 118 относительно одной или нескольких известных точек на пациенте. Например, пользователь может позиционировать зонд 118 в некоторой известной ориентации (например, по существу, перпендикулярно коже пациента) в некоторой известной точке на пациенте (например, некоторой конкретной точке на груди пациента), а устройство 110 ультразвуковой визуализации может захватывать (например, посредством элементов 412 пользовательского ввода) это положение как точку начала отсчета или инициализации. Таким образом, устройство 110 ультразвуковой визуализации может определять свое положение по отношению к известной точке начала отсчета с помощью любых известных алгоритмов позиционирования, включая, например, методы инерциальной навигации. Аналогичным образом, модуль 120 распознавания ультразвуковых изображений может определить, например, что принимаемые ультразвуковые изображения удаляются от клинически желательной проекции (как описано здесь), и может рекомендовать (например, посредством сигнала 103 обратной связи) осуществление перемещения зонда 118 относительно известной точки на пациенте, чтобы получить клинически желательную проекцию. Например, модуль 120 распознавания ультразвуковых изображений может определить, например, что принимаемые ультразвуковые изображения, представляющие последовательные проекции сердца, ассоциируемые с поворотом на 45°, 40°, а потом - на 35° против часовой стрелки по отношению к 2-хкамерной апикальной проекции. Клинически желательной проекцией может быть, например, 3-хкамерная апикальная проекция, которую можно получить, поворачивая зонд 118 примерно на 60° по отношению к 2-хкамерной апикальной проекции. Соответственно, модуль 120 распознавания ультразвуковых изображений может определить, что принимаемые ультразвуковые изображения удаляются от клинически желательной проекции, и может дополнительно рекомендовать пользователю, например, повернуть зонд 118 примерно на 25° (поскольку самая последняя проекция может представлять поворот на 35° против часовой стрелки по отношению к 2-хкамерной апикальной проекции, дополнительный поворот на 25° против часовой стрелки должен приводить к достижению желательной 3-хкамерной апикальной проекции) в направлении против часовой стрелки, чтобы получить 3-хкамерную апикальной проекцию.
Хотя модуль 120 распознавания ультразвуковых изображений описан здесь как являющийся отдельным от устройства 110 ультразвуковой визуализации и доступный через сеть 102 связи, будет нетрудно понять, что модуль 120 распознавания ультразвуковых изображений может быть заключен внутри устройства 110 ультразвуковой визуализации. То есть, модуль 120 распознавания ультразвуковых изображений (либо сам модуль 120 распознавания изображений, либо локальная копия удаленно расположенного модуля 120 распознавания изображений) может содержаться внутри устройства 110 ультразвуковой визуализации и может храниться, например, в запоминающем устройстве 114, а особенности и/или функциональные возможности модуля 120 распознавания ультразвуковых изображений могут быть исполнены или иным образом воплощены процессором 116.
На фиг.5 представлена блок-схема последовательности операций, иллюстрирующая способ 500 распознавания ультразвуковых изображений в соответствии с одним или несколькими вариантами осуществления. В блоке 502, способ 500 включает в себя проводимое посредством устройства 110 ультразвуковой визуализации получение ультразвуковых изображений пациента. Получаемые ультразвуковые изображения могут включать в себя, например, проекцию органа пациента.
В блоке 504, способ 500 включает в себя передачу получаемых ультразвуковых изображений в модуль 120 распознавания ультразвуковых изображений. Получаемые ультразвуковые изображения могут быть переданы через сеть 102 связи, или - в альтернативном варианте - модуль 120 распознавания ультразвуковых изображений может содержаться внутри устройства 110 ультразвуковой визуализации, а получаемые ультразвуковые изображения можно передавать через жесткое (постоянное) соединение.
В блоке 506, способ 500 включает в себя проводимое посредством модуля 120 распознавания ультразвуковых изображений определение того, представляют ли получаемые ультразвуковые изображения клинически желательную проекцию органа. В модуле 120 распознавания ультразвуковых изображений возможно применение любых методологий искусственного интеллекта, чтобы облегчить определение, как показано, например, на фиг.2 и 3 и описано в связи с ними.
В блоке 508, способ 500 может дополнительно включать в себя передачу сигнала 103 обратной связи в устройство 110 ультразвуковой визуализации в ответ на определение того, представляют ли принимаемые ультразвуковые изображения клинически желательную проекцию органа. Сигнал 103 обратной связи может передавать многообразие потенциальных сообщений устройству 110 ультразвуковой визуализации. Например, сигнал 103 обратной связи может указывать, что получаемое ультразвуковое изображение представляет клинически желательную проекцию, не представляет клинически желательным проекцию, и/или что изображения последовательно приближаются к клинически желательной проекции или удаляются от нее.
В блоке 510, способ 100 может дополнительно включать в себя сохранение получаемого ультразвукового изображения в ответ на проводимое посредством модуля 120 распознавания ультразвуковых изображений определение того, что получаемое ультразвуковое изображение представляет клинически желательную проекцию органа. В таком случае, получаемое ультразвуковое изображение может быть автоматически сохранено, например, в базе 115 данных ультразвуковых изображений. В дополнительном или альтернативном варианте, пользователю устройства 110 ультразвуковой визуализации может быть предложено сохранить получаемое ультразвуковое изображение, например, путем выдачи входного воздействия в устройство 110 ультразвуковой визуализации через интерфейс 410 пользователя.
На фиг.6 изображена блок-схема ультразвуковой системы 600 получения информации в виде данных в соответствии с вариантами осуществления данного изобретения. Как показано на фиг.6, ультразвуковая система 600 получения информации в виде данных включает в себя некоторое количество устройств 610 ультразвуковой визуализации, сеть 602 связи, созданную на основе облака сеть 620 с искусственным интеллектом, обучаемую распознаванию ультразвуковых изображений (именуемую далее «обучаемой сетью 120 с ИИ) и базу 622 данных знаний об ультразвуковых изображениях. Ультразвуковая система 600 получения информации в виде данных может дополнительно включать в себя одно или несколько компьютерных устройств 630 пользователя.
Обучаемая сеть 620 с ИИ представляет собой созданную на основе облака или распределенную вычислительную сеть с искусственным интеллектом, которую обучают распознать ультразвуковые изображения. В частности, обучаемую сеть 620 с ИИ можно обучить определению того, представляют ли принимаемые ультразвуковые изображения клинически желательную проекцию органа или другой аспект, область или особенность пациента, либо указывают ли клинически желательным проекции на нормальное функционирование или некоторую конкретную патологию. Обучаемую сеть 620 с ИИ можно воплотить посредством любой вычислительно интеллектуальной системы, предусматривающей применение искусственного интеллекта, выборки из числа обучающих входных воздействий, предназначенных для обучения или генерирования иным образом знаний (например, таких, как хранимые в базе 622 данных знаний об изображениях), используемых, чтобы определить, представляют ли принимаемые ультразвуковые изображения клинически желательную проекцию, либо указывают ли клинически желательным проекции на нормальное функционирование или конкретную патологию.
Путем применения одного или нескольких вычислительно интеллектуальных методов, обучаемую сеть 620 с ИИ можно обучить адаптации к некоторой неизвестной и/или изменяющейся окружающей среде для достижения лучших рабочих характеристик.
За счет процесса обучения с помощью искусственного интеллекта, обучаемая сеть 620 с ИИ изучает знания, которые хранятся в базе 622 данных знаний об изображениях. Знания, хранимые в базу 622 данных знаний об изображениях, могут включать в себя некоторое многообразие информации, облегчающее анализ ультразвуковых изображений по отношению к принимаемым ультразвуковым изображениям посредством обучаемой сети 620 с ИИ и/или посредством модуля 621 распознавания ультразвуковых изображений, находящегося внутри устройства 610 ультразвуковой визуализации, как будет подробно описано здесь в дальнейшем. В частности, например, база 622 данных знаний об изображениях может содержать информацию, относящуюся к различным проекциям изображений различных органов, а также к нормальному и патологическому состоянию различных органов. Например, база 622 данных знаний об изображениях может включать в себя информацию, ассоциируемую с клинически стандартными или желательными проекциями сердца. Клинически стандартные проекции сердца могут включать в себя, например, супрастернальную, субкостальную, парастернальную по короткой и длинной оси, 2-хкамерную апикальную, 3-хкамерную апикальную, 4-хкамерную апикальную и 5-тикамерную апикальную проекции. В дополнение к этому, информация, ассоциируемая с клинически стандартными проекциями, может быть информацией, ассоциируемой с трехмерной проекцией, двумерным поперечным сечением и/или набором двумерных поперечных сечений. Аналогичным образом, база 622 данных знаний об изображениях может включать в себя информацию, ассоциируемую с нормальным функционированием органов, таких, как сердце, и различными патологическими состояниями органа, включая, себя например, сократимость сердечной мышцы (миокарда) и функционирование клапана. Базу 622 данных знаний об изображениях можно хранить на любом компьютерно-читаемом носителе информации, который доступен обучаемой сети 620 с ИИ.
Обучаемая сеть 620 с ИИ может включать в себя один или несколько процессоров компьютера, конфигурация которых обеспечивает выполнение различных функций и операций, описываемых здесь, либо эти процессоры иным образом могут исполнять предписываемые ей функции и операции. Например, обучаемую сеть 620 с ИИ можно сделать «исполняемой» одним или несколькими процессорами общего назначения или процессорами данных, которые программа, хранимая в компьютере, избирательно активирует или переконфигурирует, или можно сделать специально разработанной вычислительной платформой для реализации особенностей и выполнения операций, описываемых здесь. В частности, обучаемая сеть 620 с ИИ может быть созданной на основе облака или распределенной вычислительной сетью с искусственным интеллектом, обладающей высоким уровнем вычислительных возможностей, так что она сможет принимать и обрабатывать очень большое количество (например, десятки тысяч или более) обучающих изображений для генерирования знаний об ультразвуковых изображениях. В одном или нескольких вариантах осуществления, обучаемая сеть 620 с ИИ может быть заключена внутри устройства 610 ультразвуковой визуализации и/или исполнена в нем.
Устройства 610 ультразвуковой визуализации могут быть любыми ультразвуковыми устройствами, эксплуатируемыми для получения ультразвуковых изображений пациента, и могут быть, например, карманными устройствами ультразвуковой визуализации. Устройства 610 ультразвуковой визуализации, показанные на фиг.6 могут быть такими же или, по существу, такими же, как устройства 110 ультразвуковой визуализации, показанные на фиг.1. В частности, устройства 610 ультразвуковой визуализации могут включать в себя такие же особенности, как оговоренные применительно к устройствам 110 ультразвуковой визуализации (и показанные, например, на фиг.1-4), и могут также включать в себя дополнительные особенности, как обсуждается ниже применительно к фиг.7.
Обращаясь к фиг.7, отмечаем, что устройство 610 ультразвуковой визуализации может включать в себя дисплей 112, запоминающее устройство 114, один или несколько процессоров 116 и модуль 621 распознавания ультразвуковых изображений. Модуль 621 распознавания ультразвуковых изображений, входящий в состав устройства 610 ультразвуковой визуализации, может быть, по существу, таким же, как модуль 120 распознавания ультразвуковых изображений, показанный на фиг.1 и описанный применительно к тому чертежу. Одно различие заключается в том, что модуль 621 распознавания ультразвуковых изображений (а также локальная база 612 данных знаний об ультразвуковых изображениях) находится внутри устройство 610 ультразвуковой визуализации согласно фиг.8, а модуль 120 распознавания ультразвуковых изображений является удаленным по отношению к устройству 110 ультразвуковой визуализации согласно фиг.1.
Устройство 610 ультразвуковой визуализации может дополнительно включать в себя базу 615 данных получаемых ультразвуковых изображений и/или локальную базу 612 данных знаний об ультразвуковых изображениях. Устройство 610 ультразвуковой визуализации оперативно подключено to ультразвуковому зонду 118.
Запоминающее устройство 114, процессор 116, ультразвуковой зонд 118 и дисплей 112 описаны выше применительно к устройству 110 ультразвуковой визуализации согласно фиг.1.
Модуль 621 распознавания ультразвуковых изображений может включать в себя, например, участок заранее обученной и созданной на основе облака обучаемой сети 620 с ИИ или всю эту сеть, включающую в себя знания об изображениях, получаемые и хранимые в базе 622 данных знаний об изображениях. То есть, устройства 610 ультразвуковой визуализации можно загружать через сеть 602 связи, обучаемую сеть 620 с ИИ и/или посредством знаний об ультразвуковых изображениях, хранимых в базе 622 данных знаний об ультразвуковых изображениях (которые можно хранить, например, в локальной базе 612 данных знаний об ультразвуковых изображениях). Соответственно, обучаемую сеть 620 с ИИ, обученную знаниям об изображениях, можно применять посредством модуля 621 распознавания ультразвуковых изображений для обработки и формулирования определений, касающихся ультразвуковых изображений, получаемых устройством 610 ультразвуковой визуализации. Сеть 602 связи может предусматривать использование одного или нескольких протоколов для передачи сообщений через одну или несколько физических сетей, включая локальные вычислительные сети, беспроводные сети связи, выделенные линии, внутрикорпоративные сети, Internet, и т.п.
Таким образом, ультразвуковые изображения, получаемые устройством 610 ультразвуковой визуализации, можно выдавать в модуль 621 распознавания ультразвуковых изображений и обрабатывать с его помощью. Модуль 621 распознавания ультразвуковых изображений принимает ультразвуковые изображения, получаемые устройством 610 ультразвуковой визуализации, и определяет, представляет ли одно или несколько принимаемых ультразвуковых изображений клинически желательную проекцию органа или другого аспекта, области или особенности пациента, либо указывают ли клинически желательные проекции на нормальное функционирование или некоторую конкретную патологию. Модуль 621 распознавания ультразвуковых изображений можно воплотить посредством любой вычислительно интеллектуальной системы, в которой применяется искусственный интеллект, выборка из изученных знаний, таких, как содержащиеся в локальной базе 612 данных знаний об ультразвуковых изображениях, чтобы определить, представляют ли принимаемые ультразвуковые изображения клинически желательную проекцию, либо указывают ли клинически желательные проекции на нормальное функционирование или некоторую конкретную патологию.
База 622 данных знаний об ультразвуковых изображениях может быть аналогичной базе 122 данных знаний об ультразвуковых изображениях, показанной на фиг.1, или точно такой же. Аналогия обучаемой сети 620 с ИИ в смысле модуля 120 распознавания ультразвуковых изображений, показанного на фиг.1, заключается в том что обучаемая сеть 620 с ИИ изучает и расширяет знания об ультразвуковых изображениях (которые хранятся в базе 622 данных знаний об ультразвуковых изображениях) для формулирования определений относительно ультразвуковых изображений, получаемых устройством 610 ультразвуковой визуализации. Вместе с тем, одно различие заключается в том, что обучаемую сеть 620 с ИИ обучают, в частности, посредством действительных ультразвуковых изображений, получаемых многочисленными устройствами 610 ультразвуковой визуализации, которые предусмотрены в обучаемой сети 620 с ИИ для дальнейшего изучения и расширения дополнительных или уточненных знаний об ультразвуковых изображениях.
На фиг.8 представлена блок-схема, иллюстрирующая обучение созданной на основе облака обучаемой сети 620 с ИИ в соответствии с одним или несколькими вариантами осуществления. Обучаемую сеть 620 с ИИ можно сначала обучать, пользуясь обучающими изображениями 810. Обучающие изображения 810 могут включать в себя любую ультразвуковую информацию в виде изображений и могут быть таким же, как обучающие изображения 210, показанные на фиг.2 и описанные применительно к этому чертежу, или аналогичными им. Например, обучающие изображения 810 могут включать в себя некоторое многообразие информации ультразвуковых изображений, ассоциируемой с известными проекции органа (такими, как клинически желательные изображения, например, супрастернальной проекции сердца). Кроме того, обучающие изображения 810 могут быть ультразвуковыми изображениями, которые заранее определены (например, врачом) как адекватно демонстрирующие конкретную клинически желательную проекцию. В дополнение к этому, обучающие изображения 810 могут включать в себя широкое разнообразие изображений с различными характеристиками, представляющими нормальное функционирование и/или определенные патологии.
Помимо этого, обучающие изображения 810 могут включать в себя информацию в виде изображений, ассоциируемую с проекциями, не являющимися клинически желательными, как говорилось выше по отношению к обучающим изображениям 210, обеспечиваемым для обучение модуля 120 распознавания ультразвуковых изображений, показанного на фиг.2. Соответственно, обучаемая сеть 620 с ИИ может принимать, например, проекцию сердца, которая не представляет никакую конкретную клинически желательную проекцию, но может, тем не менее, распознавать изображение как являющееся проекцией сердца, и может также распознавать изображение как являющееся изображением, например, где-то между 2-хкамерной апикальной проекцией и 3-хкамерной апикальной проекцией. Обучаемую сеть 620 с ИИ можно обучать с помощью обучающих изображений 810, демонстрирующих некоторое многообразие известных, но не являющихся клинически желательными, проекций сердца (таких, как проекции где-то между 2-хкамерной апикальной и 3-хкамерной апикальной проекциями), и поэтому может расширять знания, облегчающие распознавание таких проекций (например, обучаемая сеть 620 с ИИ может распознать проекцию как представляющую поворот зонда 118 на 35° против часовой стрелки по отношению к 2-хкамерной апикальной проекции). В соответствии с одним или несколькими вариантами осуществления, для пользователя предусматривается обратная связь, касающаяся распознавания (или отсутствия его) и идентификации либо интерпретации (или отсутствия ее) изображений, захватываемых, как описано, например, применительно к фиг.1 (сигнал 103 обратной связи).
В обучаемой сеть 620 с ИИ может быть предусмотрено другое обучающее входное воздействие 820 для обучения. Это другое обучающее входное воздействие 820 может включать в себя, например, входное воздействие, вводимое вручную, для коррекции модели распознавания изображений, расширяемой в обучаемой сети 620 с ИИ посредством процесса обучения, или иного управления этой моделью.
Используя обучающие изображения 810, обучаемая сеть 620 с ИИ может воплощать итеративный процесс обучения. Обучение может происходить на основе широкого разнообразия правил обучения или алгоритмов обучения. Например, правила обучения могут включать в себя одни или несколько из следующих: обратное распространение ошибки обучения, обучение с обратной связью в реальном масштабе времени, поструктурное обучение, контролируемое обучение, интерполяцию, взвешенную сумму, обучение с закреплением пройденного материала, обучение методом временных различий, неконтролируемое обучение и/или обучение с регистрацией.
Как сказано выше применительно к фиг.3, алгоритм обучения с обратным распространением ошибки обучения представляет собой обычный способ обучения искусственных нейронных сетей (и может быть применен, например, с искусственной нейронной сетью 300, показанной на фиг.3, которую можно использовать или воплощать посредством обучаемой сети 620 с ИИ).
В результате обучения, обучаемую сеть 620 с ИИ можно обучить изменению своего поведения в ответ на обучающие изображения 810 и получению или генерированию знаний 830 об ультразвуковых изображениях. Знания 830 об ультразвуковых изображениях могут представлять собой любую информацию, по которой сеть с искусственным интеллектом (например, обучаемая сеть 620 с ИИ и/или модуль 621 распознавания ультразвуковых изображений) сможет определять являющийся надлежащим ответ на новые данные или ситуации. В частности, знания 830 об ультразвуковых изображениях представляют зависимости между ультразвуковыми изображениями и одной или несколькими проекциями органа и нормальным состоянием органа в сравнении с его патологическим состоянием (например, это может быть одна или несколько функций, которые описывают одну или несколько проекций органа на основе параметров ультразвуковых изображений, коэффициентов, весовой информации, параметров, ассоциируемых с возможной нейронной сетью, показанной на фиг.3, или любой такой переменной). Знания 830 об ультразвуковых изображениях можно хранить в базе 622 данных знаний об ультразвуковых изображениях.
Сразу же после того, как нейронная сеть 620 с ИИ оказалась достаточно обученной на основе исходных обучающих изображений 810, устройства 610 ультразвуковой визуализации могут осуществлять загрузку (например, как обозначено позицией 603) в обученную обучаемую сеть 620 с ИИ и/или можно загружать знания об изображениях, расширенные обучаемой сетью 620 с ИИ и хранимые в базе 622 данных знаний об ультразвуковых изображениях, через сеть 602 связи. То есть, модуль 621 распознавания ультразвуковых изображений в устройствах 610 ультразвуковой визуализации может включать в себя один или несколько участков уже обученной обучаемой сети 620 с ИИ или может быть ее локальной копией, а локальная база 612 данных знаний об ультразвуковых изображениях внутри устройства 610 ультразвуковой визуализации может быть снабжена некоторыми из знаний об ультразвуковых изображениях, хранимых в базе 622 данных знаний об ультразвуковых изображениях, или всеми такими знаниями.
Таким образом, устройства 610 ультразвуковой визуализации предусмотрены для получения неизвестных ультразвуковых изображений во время нормальной эксплуатации и для определения (например, посредством модуля 621 распознавания ультразвуковых изображений) того, представляют ли получаемые ультразвуковые изображения клинически желательную проекцию пациента, либо указывают ли клинически желательные проекции на нормальное функционирование или конкретную патологию.
Изображения, получаемые посредством устройств 610 ультразвуковой визуализации во время нормальной эксплуатации (например, получаемые диагностические изображения 817 пациента) можно хранить в базе 615 данных получаемых ультразвуковых изображений, а также можно выдавать в обучаемую сеть 620 с ИИ (что показано, например на фиг. 6 позицией 601) как дополнительные обучающие входные воздействия, тем самым продолжая обучение обучаемой сети 620 с ИИ. Такие получаемые ультразвуковые изображения 817 могут быть изображениями, получаемыми непосредственно устройствами 610 ультразвуковой визуализации, и/или могут быть изображениями, которые утверждены, модифицированы и/или иным образом клинически определены для использования в качестве обучающих данных для дальнейшего обучение обучаемой сети 620 с ИИ. Например, получаемые ультразвуковые изображения 817 могут включать в себя изображения, получаемые устройством 610 ультразвуковой визуализации, которые некорректно определены локальным модулем 621 распознавания ультразвуковых изображений. Например, модуль 621 распознавания ультразвуковых изображений может определить, что конкретное изображение не представляет клинически желательную проекцию (например, супрастернальную проекцию сердца); вместе с тем, то же изображение может на самом деле представлять клинически желательную проекцию. Например, врач или другой такой специалист может при независимом пересмотре ультразвукового изображения определить, что изображение на самом деле демонстрирует клинически достаточную супрастернальную проекцию сердца, тогда как модуль 621 распознавания ультразвуковых изображений не сформулировал такое же определение, тем самым отражая факт, что модуль 621 распознавания ультразвуковых изображений можно дополнительно оптимизировать с целью корректного определения или распознавания изображения. В таком случае, получаемое ультразвуковое изображение можно модифицировать, пометить или иным образом ассоциировать с обучающими данными, указывая что получаемое изображение представляет клинически желательную проекцию (например, супрастернальную проекцию сердца), и его поэтому можно выдавать как получаемое ультразвуковое изображение 817 для дальнейшего обучения обучаемой сети 620 с ИИ, которое, в свою очередь, используют для обновления модуля 621 распознавания ультразвуковых изображений.
Ультразвуковые изображения, получаемые посредством устройств 610 ультразвуковой визуализации, можно хранить в базе 615 данных получаемых ультразвуковых изображений и/или можно модифицировать для включения в них обучающей информации (например, указывающей любые известные характеристики, касающиеся изображения, такие, как указывающие, что изображение представляет или не представляет конкретную клинически желательную проекцию, нормальное функционирование или известную патологию), а затем сохранять в базе 615 данных получаемых ультразвуковых изображений. Соответственно, получаемые ультразвуковые изображения 817, имеющие обучающую информацию, указывающую одну или несколько известных характеристик, касающихся получаемых ультразвуковых изображений 817, можно выдавать в обучаемую сеть 620 с ИИ для дальнейшего обучения и для дальнейшего расширения и/или уточнения знаний 830 об ультразвуковых изображениях.
Получаемые ультразвуковые изображения 817, используемые для дальнейшего обучения обучаемой сети 620 с ИИ, можно принимать непосредственно из устройств 610 ультразвуковой визуализации (например, путем выгрузки изображений, хранимых в базе 615 данных получаемых изображений, через сеть 602 связи в обучаемую сеть 620 с ИИ) и/или из одного или нескольких компьютерных устройств 630 пользователя. Например, врач может загружать ультразвуковые изображения из устройств 610 ультразвуковой визуализации в компьютерное устройство 630 пользователя, а также может модифицировать, помечать или иным образом добавлять обучающие данные в ультразвуковые изображения, указывающие одну или несколько известных характеристик, ассоциируемых с ультразвуковыми изображениями. Таким образом, компьютерное устройство 630 пользователя можно использовать для передачи получаемых ультразвуковых изображений 817 (которые могут включать в себя, например, обучающие данные, указывающие одну или несколько известных характеристик) в обучаемую сеть 620 с ИИ для дальнейшего обучения. Компьютерное устройство 630 пользователя можно также - или в альтернативном варианте - использовать для приема обновленных знаний из обучаемой сети 620 с ИИ, которые она может сообщать любому ассоциируемому с ней устройству 610 ультразвуковой визуализации.
Таким образом, получаемые ультразвуковые изображения 817 представляют собой обучающие изображения, используемые для дальнейшего обучения обучаемой сети 620 с ИИ. То есть, исходный набор обучающих изображений 810 используют для начального обучения обучаемой сети 620 с ИИ, а получаемые ультразвуковые изображения 817 выдаются для дальнейшего обучения обучаемой сети 620 с ИИ после развертывания одного или нескольких устройств 610 ультразвуковой визуализации и получения ими ультразвуковых изображений, которые могут обеспечивать некоторое обучающее значение. Обучающие изображения 810, а также получаемые ультразвуковые изображения 817, включают в себя информацию одного и того же типа, т.е., ультразвуковую информацию в виде изображений, и ассоциируемые с ней обучающие метки.
Обучающие изображения 810 и/или получаемые ультразвуковые изображения 817 для обучения обучаемой сети 620 с ИИ могут включать в себя некоторую последовательность изображений (например, видеоклип, имеющий последовательность последовательно получаемых кадров изображения). Например, клип может включать в себя последовательность изображений, указывающую динамическое явление такое, как движение/сокращения сердца. Такой клип можно выдавать в обучаемую сеть 620 с ИИ как исходные обучающие изображения 810 и/или как получаемые ультразвуковые изображения 817 для дальнейшего обучения обучаемой сети 620 с ИИ.
На основе обучающих изображений 810, обучаемую сеть 620 с ИИ можно обучать модификации своего поведения, и она сможет применять знания, содержащиеся в базе 622 данных знаний об изображениях, чтобы изменить манеру, в которой она формулирует определения по отношению к новым входным воздействиям, например, таким, как получаемая ультразвуковая информация 817 в виде изображений принимаемых из устройства 610 ультразвуковой визуализации. Получаемые ультразвуковые изображения 817 можно выдавать в обучаемую сеть 620 с ИИ через сеть 602 связи, и поэтому их можно использовать как дополнительное обучающее входное воздействие для дальнейшего обучения обучаемой сети 620 с ИИ и для генерирования дополнительно расширенных знаний 830 об изображениях, которые можно хранить в базе 622 данных знаний об изображениях.
Искусственную нейронную сеть (например, искусственную нейронную сеть 300, показанную на фиг.3) можно воплотить посредством обучаемой сети 620 с ИИ и/или модуля 621 распознавания ультразвуковых изображений в соответствии с одним или несколькими вариантами осуществления.
Как говорилось выше, искусственная нейронная сеть 300, показанная на фиг.3, включает в себя три слоя: входной слой 310, включающий в себя входные нейроны i1-i3, скрытый слой 320, включающий в себя нейроны h1-h4 скрытого слоя, и выходной слой 330, включающий в себя выходные нейроны f1 и f2. Хотя нейронная сеть 300 на фиг.3 показана имеющей три слоя, будет нетрудно понять, что в нейронную сеть 300 можно включить дополнительные слои, когда желательно достичь оптимального обучения и оптимальных рабочих характеристик обучаемой сети 620 с ИИ и/или модуля 621 распознавания ультразвуковых изображений. Аналогичным образом, нейроны в каждом слое показаны для примеров, и будет нетрудно понять, что каждый слой может включать в себя больше - и даже значительно больше - нейронов, чем показано на фиг.3.
Нейронную сеть 300 можно обучать (например, в одном варианте осуществления обучаемая сеть 620 с ИИ представляет собой нейронную сеть 300) путем подачи обучающих изображений 810 во входной слой 310. Как описано применительно к фиг.8, обучающие изображения 810 (а также получаемые ультразвуковые изображения 817, выдаваемые как обучающее входное воздействие в обучаемую сеть 620 с ИИ) могут включать в себя ультразвуковую информацию в виде изображений, обладающую широким разнообразием известных характеристик, включая, например, различные проекции органов, нормальное функционирование, различные патологий, различные качества или характеристики изображений, различные углы визуализации, и т.п. Посредством обучения, нейронная сеть 300 может генерировать и/или модифицировать скрытый слой 320, представляющий взвешенные соединения, которые отображают обучающие изображения 810 и/или получаемые ультразвуковые изображения 817, подаваемые во входном слое 310, для получения информации о выходных воздействиях в выходном слое 330 (например, классификации некоторого изображения как субкостальной проекции сердца, супрастернальной проекции, и т.д.). Зависимости между нейронами входного слоя 310, скрытого слоя 320 и выходного слоя 330, формируемые посредством процесса обучения и могущие включать в себя зависимости соединений от весовых коэффициентов, в общем случае именуются здесь «знаниями об ультразвуковых изображениях», и могут храниться, например, в базе 622 данных знаний об ультразвуковых изображениях.
Сразу же после того, как нейронная сеть 300 оказалась достаточно обученной, нейронную сеть 300 можно подключить к устройствам 610 ультразвуковой визуализации, и воплотить, например, посредством модуля 621 распознавания ультразвуковых изображений. А если так, то нейронная сеть 300 может принимать ультразвуковые изображения, не являющиеся обучающими, во входном слое 310 (т.е., ультразвуковые изображения пациента, при осуществлении чего используют устройство 610 ультразвуковой визуализации). Пользуясь знаниями об ультразвуковых изображениях, хранимыми в базе 622 данных знаний об ультразвуковых изображениях (которые можно выдавать в локальную базу 612 данных знаний об ультразвуковых изображениях и хранить в ней и которые могут включать в себя, например, взвешенную информацию о соединениях между нейронами нейронной сети 300), нейронная сеть 300 может давать определения по поводу принимаемой ультразвуковой информации в виде изображений в выходном слое 330. Например, нейронная сеть 300 может определить, представляют ли принимаемые ультразвуковые изображения одну или несколько клинически желательных проекций органа.
Таким образом, созданную на основе облака обучаемую сеть 620 с ИИ сначала обучают, чтобы расширить знания о сети и/или изображениях, достаточные для воплощения в модуле 621 распознавания ультразвуковых изображений в устройствах 610 ультразвуковой визуализации. Дальнейшее обучение созданной на основе облака обучаемой сети 620 с ИИ затем продолжается на основе получаемых ультразвуковых изображений 817, которые получаются посредством ультразвуковых устройств 610 и выдаются (что показано на фиг.6, например, позицией 601) в обучаемую сеть 620 с ИИ через сеть 602 связи. В результате продолжающегося обучения обучаемой сети 620 с ИИ, обучаемая сеть 620 с ИИ продолжает расширять, уточнять или иным образом генерировать дополнительные знания об ультразвуковых изображениях, которые хранятся в базе 622 данных знаний об ультразвуковых изображениях. Таким образом устройства 610 ультразвуковой визуализации могут периодически принимать обновленные знания об ультразвуковых изображениях, хранимые в базе 622 данных знаний об ультразвуковых изображениях, либо получаемые посредством обновлений (показанных на фиг.6, например, позицией 603), которые автоматически загружаются по заранее определенному графику, или в конкретный момент времени, желательный для пользователя или закрашиваемый им, или автоматически, когда база данных приняла определяемое пороговое количество дополнительных изображений, в результате чего обучение сети продолжается с момента обновления визуализирующего устройства (визуализирующих устройств) в прошлом).
Нейронная сеть 300 согласно фиг.3 приводится лишь как один пример среди различных возможных воплощений обучаемой сети 620 с ИИ и/или модуля 621 распознавания ультразвуковых изображений, где применяется искусственный интеллект для формулирования определений по отношению к принимаемой ультразвуковой информации в виде изображений. Например, обучаемая сеть 620 с ИИ и/или модуль 621 распознавания ультразвуковых изображений может воплощать любой вариант из нейронной сети, глубокого обучения, сверточной нейронной сети и методов обучения посредством байесовской программы с целью формулирования определений применительно к ультразвуковым изображениям пациента.
Помимо этого, обучаемую сеть 620 с ИИ можно обучать, используя некоторое многообразие обучающих изображений 810 и/или получаемых ультразвуковых изображений 817 (а также можно обучать, используя некоторое многообразие последовательностей обучающих изображений 810 и/или получаемых ультразвуковых изображений 817) для создания многообразия определений, относящегося к принимаемой ультразвуковой информацию в виде изображений. Например, обучаемую сеть 620 с ИИ можно обучать или иным образом конфигурировать, обеспечивая определение того, представляет ли принимаемое ультразвуковое изображение одну или несколько клинически стандартных или желательных проекций, либо указывают ли клинически желательные проекции на нормальное функционирование или конкретную патологию. Кроме того, обучаемую сеть 620 с ИИ можно обучать с целью определения того, представляет ли принимаемое ультразвуковое изображение проекцию, не являющуюся клинически желательной (и сеть сможет распознать такую проекцию, не являющуюся клинически желательной, как конкретную проекцию или угол конкретного органа или другой ткани у пациента), и сможет дополнительно определить на основе последовательности принимаемых ультразвуковых изображений, приближаются ли изображения к клинически желательной проекции органа или отдаляются от нее.
За счет загрузки обучаемой сети 620 с ИИ и/или знаний об ультразвуковых изображениях, расширяемых обучаемой сетью 620 с ИИ и хранимых в базе 622 данных знаний об ультразвуковых изображениях, модуль 621 распознавания ультразвуковых изображений и локальная база 612 данных знаний об ультразвуковых изображениях в устройствах 610 ультразвуковой визуализации могут включать в себя все особенности и функциональные возможности, описываемые здесь по отношению к обученной обучаемой сети 620 с ИИ и базе 622 данных знаний об ультразвуковых изображениях.
Например, как говорилось выше, обучаемую сеть 620 с ИИ можно обучать с помощью обучающих изображений 810 и/или получаемых ультразвуковых изображений 817, демонстрирующих некоторое многообразие известных, но не являющихся клинически желательными, проекций органа или другой структуры у пациента, и поэтому модуль 621 распознавания ультразвуковых изображений в ультразвуковых устройствах 610 может распознать такие проекции. Кроме того, обучаемую сеть 620 с ИИ можно обучать с помощью одной или нескольких последовательностей распознанных, но не являющихся клинически стандартными или желательными, проекций, и обучаемую сеть 620 с ИИ можно обучать распознаванию некоторой последовательности или прогрессии таких проекций, не являющихся клинически желательными, приближаясь к и/или отдаляясь от клинически желательной проекции (например, обучающие изображения 810 могут включать в себя последовательность ультразвуковых изображений, представляющую поворот зонда 118 от 2-хкамерной апикальной проекции к 3-хкамерной апикальной проекции и/или от нее). Таким образом, обучаемую сеть 620 с ИИ можно обучить распознаванию ситуации, в которой принимаемые ультразвуковые изображения, не представляя конкретную клинически желательную проекцию, могут оказываться все ближе и ближе к (все дальше и дальше от) клинически желательной проекции (и можно таким образом воплотить модуль 621 распознавания ультразвуковых изображений в устройствах 610 ультразвуковой визуализации).
Помимо этого, обучаемую сеть 620 с ИИ можно обучить так, что при воплощении в качестве модуля 621 распознавания ультразвуковых изображений в устройствах 610 ультразвуковой визуализации, модуль 621 распознавания ультразвуковых изображений может определить, представляют ли принимаемые ультразвуковые изображения любое из множества клинически желательных проекций органа. Такие клинически желательным проекции органа могут включать в себя, например, супрастернальную, субкостальную, парастернальную по короткой и длинной оси, 2-хкамерную апикальную, 3-хкамерную апикальную, 4-хкамерную апикальную и 5-тикамерную апикальную проекции сердца.
Хотя на фиг.6 изображена ультразвуковая система 600 получения информации в виде данных, включающая в себя созданную на основе облака сеть 620 с ИИ, обучаемую распознаванию ультразвуковых изображений, в одном или нескольких альтернативных вариантах осуществления сеть 620 с ИИ, обучаемая распознаванию ультразвуковых изображений, может быть заключена в пределах одного или нескольких ультразвуковых устройств 610. Соответственно, обучаемую сеть 620 с ИИ внутри устройства 610 ультразвуковой визуализации можно обучать так, как описано выше (и показано, например, на фиг.8), т.е., на основе исходных обучающих изображений 810, а в дальнейшем можно обучать на основе получаемых ультразвуковых изображений 817, которые получаются устройством 610 ультразвуковой визуализации и дополнительно помечены и/или модифицированы каким-либо образом для выдачи обучающей информации. Например, ультразвуковое изображение, получаемое устройством 610 ультразвуковой визуализации, может быть определено посредством модуля 621 распознавания ультразвуковых изображений и/или обучаемой сети 620 с ИИ как не представляющее некоторую желательную клиническую проекцию конкретного органа, такого, как сердце. Специалист по ультразвуку, эксплуатирующий устройство 610 ультразвуковой визуализации может знать, например, что получаемое изображение на самом деле не представляет собой клинически желательную проекцию; вместе с тем, сердце пациента имеет атипичную анатомию, и поэтому модуль 621 распознавания ультразвуковых изображений и/или обучаемая сеть 620 с ИИ может некорректно распознать изображение как являющееся клинически желательной проекцией. В таком случае, специалист по ультразвуку может пометить получаемое изображение как являющееся клинически желательной проекцией (например, нажимая соответствующую кнопку на устройстве 610 ультразвуковой визуализации и сохраняя получаемое изображение в базе 615 данных получаемых ультразвуковых изображений для пометки его врачом или другим обученным специалистом, который пользуется устройством 610 ультразвуковой визуализации и/или компьютерным устройством 630 пользователя или подобным им устройством). Сразу же после его пометки как представляющего клинически желательную проекцию, изображение выдают как обучающее входное воздействие (например, получаемое ультразвуковое изображение 817) для дальнейшего обучения обучаемой сети 620 с ИИ и/или модуля 621 распознавания ультразвуковых изображений, находящейся и/или находящегося внутри устройства 610 ультразвуковой визуализации. Таким образом, устройство 610 ультразвуковой визуализации может обладать способностью к самообучению своего внутреннего модуля 621 распознавания ультразвуковых изображений на основе изображений, получаемых посредством устройства 610 ультразвуковой визуализации.
Кроме того, возможны другие обстоятельства, в которых каждая из многочисленных организаций (например, больниц или клиник) или групп пользователей устройств 610 ультразвуковой визуализации (например, торговых ассоциаций или неформальных групп) может иметь свою собственную обучаемая сеть с ИИ (например, центральную обучаемую сеть 620 с ИИ, или отдельную, принадлежащую организации или группе, сеть с ИИ для обеспечения обновленных знаний об изображениях, создаваемую на основе ультразвуковых изображений, получаемых посредством устройств 610 ультразвуковой визуализации в рамках организации или группы) и/или базу данных знаний для своей организации или группы, при этом обновления генерируются из ультразвуковых изображений, получаемых посредством устройств 610 ультразвуковой визуализации в организации или группе.
На фиг.9 представлена блок-схема последовательности операций, иллюстрирующая способ 900 в соответствии с одним или несколькими вариантами осуществления. В блоке 902, способ 900 включает в себя проводимый посредством сети, обучаемой распознаванию ультразвуковых изображений (например, обучаемой сети 620 с ИИ), прием ультразвуковых обучающих изображений 810.
В блоке 904, способ 900 включает в себя проводимое посредством сети, обучаемой распознаванию ультразвуковых изображений, генерирование знаний 830 об ультразвуковых изображениях на основе принимаемых ультразвуковых обучающих изображений 810. Знания 830 об ультразвуковых изображениях можно хранить, например, в базе 622 данных знаний об ультразвуковых изображениях.
В блоке 906, способ 900 включает в себя передачу знаний 830 об ультразвуковых изображениях в устройство 610 ультразвуковой визуализации. Устройства 610 ультразвуковой визуализации могут периодически опрашивать обучаемую сеть 620 с ИИ для обновленных знаний, а передачу знаний 830 об ультразвуковых изображениях можно осуществлять в ответ на этот опрос. В дополнительном или альтернативном варианте, обучаемая сеть 620 с ИИ может периодически выталкивать обновленные знания 830 об ультразвуковых изображениях в устройства 610 ультразвуковой визуализации. В одном или нескольких вариантах осуществления, одно или несколько устройств 610 ультразвуковой визуализации и/или компьютерных устройств 630 пользователя могут принимать обновленные знания 830 об ультразвуковых изображениях, а затем распределять обновленные знания 830 об ультразвуковых изображениях в одно или несколько других устройств 610 ультразвуковой визуализации (например, через одноранговую или иную локальную сеть). Например, одно или несколько компьютерных устройств 630 пользователя могут находиться в условиях клиники, таких, как в больнице, и могут принимать и выдавать обновленные знания 830 об ультразвуковых изображениях во многочисленные устройства 610 ультразвуковой визуализации, находящиеся в тех же условиях.
Знания 830 об ультразвуковых изображениях могут быть переданы в устройство 610 ультразвуковой визуализации, например, непосредственно из базы 622 данных знаний об ультразвуковых изображениях или из обучаемой сети 620 с ИИ. В альтернативном варианте, знания 830 об ультразвуковых изображениях могут быть выдана в компьютерное устройство 630 пользователя, которое затем передает знания 830 об ультразвуковых изображениях в одно или несколько устройств 610 ультразвуковой визуализации. Переданные знания об ультразвуковых изображениях можно хранить в локальной базе 612 данных знаний об ультразвуковых изображениях, которая может содержаться внутри устройства 610 ультразвуковой визуализации.
В блоке 908, способ 900 дополнительно включает в себя проводимое устройством 610 ультразвуковой визуализации получение ультразвуковых изображений пациента. В блоке 910, способ 900 включает в себя проводимое устройством 610 ультразвуковой визуализации определение того, представляют ли получаемые ультразвуковые изображения клинически желательную проекцию органа (при этом используют, например, модуль 621 распознавания ультразвуковых изображений). Это определение можно проводить, например, на основе знаний 830 об ультразвуковых изображениях.
В блоке 912, способ 900 включает в себя передачу получаемых ультразвуковых изображений пациента в сеть, обучаемую распознаванию ультразвуковых изображений, для дальнейшего обучения. Те получаемые ультразвуковые изображения пациента, которые передаются, могут включать в себя обучающие данные, указывающие одну или несколько известных характеристик, ассоциируемых с получаемыми ультразвуковыми изображениями.
Различные варианты осуществления, описанные выше, можно объединять, чтобы обеспечить дополнительные варианты осуществления. Внесение этих и других изменений в варианты осуществления возможно в свете вышеизложенного подробного описания. В общем случае, термины в нижеследующей формуле изобретения не надо интерпретировать как ограничивающие формулу изобретения конкретными вариантами осуществления, раскрытыми в описании и формуле изобретения, а следует интерпретировать как включающие в себя все возможные варианты осуществления наряду с полным объемом эквивалентов, права на которые такая формула изобретения оговаривает. Соответственно, формула изобретения не ограничивается приведенным раскрытием.
| название | год | авторы | номер документа |
|---|---|---|---|
| УСТРОЙСТВО И СПОСОБ ДЛЯ ОПРЕДЕЛЕНИЯ ПАТОЛОГИИ ОРГАНОВ ГРУДНОЙ КЛЕТКИ НА ОСНОВЕ РЕНТГЕНОВСКИХ ИЗОБРАЖЕНИЙ | 2021 |
|
RU2782518C1 |
| УСТРОЙСТВО И СПОСОБ ДЛЯ АНАЛИЗА МЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ | 2022 |
|
RU2806982C1 |
| УСТРОЙСТВО И СПОСОБ ДЛЯ ОПРЕДЕЛЕНИЯ ГРАНИЦ ПАТОЛОГИИ НА МЕДИЦИНСКОМ ИЗОБРАЖЕНИИ | 2022 |
|
RU2813938C1 |
| СИСТЕМА И СПОСОБ ДЛЯ ОБУЧАЮЩИХСЯ МОДЕЛЕЙ ПЛАНОВ РАДИОТЕРАПЕВТИЧЕСКОГО ЛЕЧЕНИЯ С ПРОГНОЗИРОВАНИЕМ РАСПРЕДЕЛЕНИЙ ДОЗЫ РАДИОТЕРАПИИ | 2017 |
|
RU2719028C1 |
| СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ, УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ И НОСИТЕЛЬ ДАННЫХ | 2018 |
|
RU2709437C1 |
| АВТОМАТИЧЕСКОЕ ПОСЛЕДОВАТЕЛЬНОЕ ПЛАНИРОВАНИЕ МР-СКАНИРОВАНИЯ | 2009 |
|
RU2533626C2 |
| МАШИННОЕ ОБУЧЕНИЕ НА НЕОБРАБОТАННЫХ ДАННЫХ МЕДИЦИНСКОЙ ВИЗУАЛИЗАЦИИ ДЛЯ ПОДДЕРЖКИ ПРИНЯТИЯ КЛИНИЧЕСКИХ РЕШЕНИЙ | 2018 |
|
RU2779064C2 |
| ОБРАБОТКА И АНАЛИЗ ДАННЫХ НА ИЗОБРАЖЕНИЯХ КОМПЬЮТЕРНОЙ ТОМОГРАФИИ | 2017 |
|
RU2667879C1 |
| Система и способ диагностики патологий придаточных пазух носа по рентгеновским изображениям | 2023 |
|
RU2825958C1 |
| СПОСОБ ВЫЯВЛЕНИЯ ОНКОЗАБОЛЕВАНИЙ В ОРГАНАХ МАЛОГО ТАЗА И СИСТЕМА ДЛЯ РЕАЛИЗАЦИИ СПОСОБА | 2023 |
|
RU2814790C1 |
Группа изобретений относится к медицине. Предложены системы и способы распознавания ультразвуковых изображений, а также созданные с искусственным интеллектом обучаемые сети для таких систем и способов. Ультразвуковая система получения информации в виде данных включает в себя сеть, обучаемую распознаванию ультразвуковых изображений, выполненную с возможностью приема ультразвуковых обучающих изображений и расширения знаний об ультразвуковых изображениях. Устройство ультразвуковой визуализации получает ультразвуковые изображения пациента, и это устройство включает в себя модуль распознавания ультразвуковых изображений. Модуль распознавания ультразвуковых изображений выполнен с возможностью приема знаний об ультразвуковых изображениях, приема получаемых ультразвуковых изображений из устройства ультразвуковой визуализации и проводимого на основе знаний об ультразвуковых изображениях определения того, представляют ли принятые ультразвуковые изображения клинически желательную проекцию некоторого органа, либо указывает ли клинически желательная проекция на нормальное функционирование или некоторую конкретную патологию. Принятые ультразвуковые изображения передаются в сеть, обучаемую распознаванию ультразвуковых изображений, для дальнейшего ее обучения и расширения ею обновленных знаний об ультразвуковых изображениях. Применение данной группы изобретений позволит облегчить распознавание ультразвуковых изображений. 4 н. и 33 з.п. ф-лы, 9 ил.
1. Система распознавания ультразвуковых изображений, содержащая:
устройство ультразвуковой визуализации, включающее в себя ручной зонд, выполненный с возможностью получения ультразвуковых изображений пациента при движении ручного зонда; и
модуль распознавания ультразвуковых изображений, выполненный с возможностью:
приема получаемых ультразвуковых изображений из устройства ультразвуковой визуализации;
автоматического определения, посредством непрерывного воплощения обученной нейронной сети при движении ручного зонда во время исследования пациента, того, представляют ли принятые ультразвуковые изображения клинически желательную проекцию органа; и
автоматического определения конкретного движения пользователя ручного зонда для получения клинически желательной проекции органа.
2. Система распознавания ультразвуковых изображений по п.1, в которой обученная нейронная сеть включает в себя по меньшей мере одно из нейронной сети глубокого обучения или свёрточной нейронной сети.
3. Система распознавания ультразвуковых изображений по п.1, в которой клинически желательная проекция органа включает в себя по меньшей мере одну из супрастернальной (надгрудинной), субкостальной (подреберной), парастернальной (окологрудинной) по короткой оси, парастернальной по длинной оси, 2-камерной апикальной (верхушечной), 3-камерной апикальной, 4-камерной апикальной и 5-камерной апикальной проекций сердца.
4. Система распознавания ультразвуковых изображений по п.1, в которой устройство ультразвуковой визуализации включает в себя интерфейс пользователя, приводимый в действие для приема выбора одной из клинически желательных проекций органа, причем модуль распознавания ультразвуковых изображений выполнен с возможностью определения того, представляют ли принятые ультразвуковые изображения выбранную клинически желательную проекцию органа.
5. Система распознавания ультразвуковых изображений по п.1, в которой модуль распознавания ультразвуковых изображений приводится в действие для автоматического определения того, представляют ли принятые ультразвуковые изображения по меньшей мере одну из клинически желательных проекций органа.
6. Система распознавания ультразвуковых изображений по п.1, в которой модуль распознавания ультразвуковых изображений дополнительно выполнен с возможностью выдачи сигнала обратной связи в устройство ультразвуковой визуализации в ответ на определение того, представляют ли принятые ультразвуковые изображения клинически желательную проекцию органа.
7. Система распознавания ультразвуковых изображений по п.6, в которой сигнал обратной связи указывает, представляет ли принятое самым последним ультразвуковое изображение клинически желательную проекцию органа.
8. Система распознавания ультразвуковых изображений по п.6, в которой модуль распознавания ультразвуковых изображений автоматически определяет, приближаются ли ультразвуковые изображения последовательно к клинически желательной проекции органа или отдаляются от нее, причем сигнал обратной связи указывает, приближаются ли ультразвуковые изображения последовательно к клинически желательной проекции органа или отдаляются от нее.
9. Система распознавания ультразвуковых изображений по п.6, в которой устройство ультразвуковой визуализации включает в себя элемент обратной связи, причем устройство ультразвуковой визуализации выполнено с возможностью активации элемента обратной связи на основе сигнала обратной связи, обеспечивая эффект обратной связи пользователю устройства ультразвуковой визуализации.
10. Система распознавания ультразвуковых изображений по п.9, в которой элемент обратной связи содержит по меньшей мере один из элементов визуальной, звуковой или тактильной обратной связи.
11. Система распознавания ультразвуковых изображений по п.1, дополнительно содержащая энергонезависимый компьютерно-читаемый носитель информации, причем устройство ультразвуковой визуализации выполнено с возможностью выдачи получаемого ультразвукового изображения на носитель информации в ответ на формулируемое модулем распознавания ультразвуковых изображений определение того, что получаемое ультразвуковое изображение представляет клинически желательную проекцию органа.
12. Система распознавания ультразвуковых изображений по п.1, в которой модуль распознавания ультразвуковых изображений дополнительно выполнен с возможностью определения рекомендуемого перемещения устройства ультразвуковой визуализации для получения клинически желательной проекции органа.
13. Система распознавания ультразвуковых изображений по п.1, в которой модуль распознавания ультразвуковых изображений приводится в действие внутри устройства ультразвуковой визуализации.
14. Способ распознавания ультразвуковых изображений, содержащий этапы, на которых:
получают, посредством ручного зонда устройства ультразвуковой визуализации, ультразвуковые изображения пациента при движении ручного зонда;
передают полученные ультразвуковые изображения пациента в модуль распознавания ультразвуковых изображений;
автоматически определяют, посредством модуля распознавания ультразвуковых изображений, при помощи непрерывного воплощения обученной нейронной сети при движении ручного зонда во время исследования пациента, то, представляют ли полученные ультразвуковые изображения клинически желательную проекцию органа; и
автоматически определяют конкретное движение пользователя ручного зонда для получения клинически желательной проекции органа.
15. Способ по п.14, в котором автоматическое определение того, представляют ли полученные ультразвуковые изображения клинически желательную проекцию органа, заключается в том, что:
воплощение обученной нейронной сети включает в себя воплощение по меньшей мере одного из нейронной сети глубокого обучения или свёрточной нейронной сети.
16. Способ по п.14, в котором автоматическое определение того, представляют ли принятые ультразвуковые изображения клинически желательную проекцию органа, заключается в том, что:
определяют, представляют ли принятые ультразвуковые изображения по меньшей мере одну из супрастернальной (надгрудинной), субкостальной (подреберной), парастернальной (окологрудинной) по короткой оси, парастернальной по длинной оси, 2-камерной апикальной (верхушечной), 3-камерной апикальной, 4-камерной апикальной и 5-камерной апикальной проекций сердца.
17. Способ по п.14, дополнительно предусматривающий:
прием выбора одной из клинически желательных проекций органа, причем модуль распознавания ультразвуковых изображений выполнен с возможностью определения того, представляют ли принятые ультразвуковые изображения выбранную клинически желательную проекцию органа.
18. Способ по п.14, дополнительно предусматривающий:
передачу сигнала обратной связи в устройство ультразвуковой визуализации в ответ на определение того, представляют ли принятые ультразвуковые изображения клинически желательную проекцию органа.
19. Способ по п.18, дополнительно предусматривающий:
автоматическое определение, посредством модуля распознавания ультразвуковых изображений, того, приближаются ли принятые ультразвуковые изображения последовательно к клинически желательной проекции органа или отдаляются от нее, причем сигнал обратной связи указывает, приближаются ли принимаемые ультразвуковые изображения последовательно к клинически желательной проекции органа или отдаляются от нее.
20. Способ по п.18, дополнительно предусматривающий:
активацию элемента обратной связи в устройстве ультразвуковой визуализации, проводимую на основе сигнала обратной связи, обеспечивая эффект обратной связи пользователю устройства ультразвуковой визуализации.
21. Способ по п.14, дополнительно предусматривающий:
сохранение полученного ультразвукового изображения на энергонезависимом компьютерно-читаемом носителе информации в ответ на проводимое посредством модуля распознавания ультразвуковых изображений определение того, представляет ли полученное ультразвуковое изображение клинически желательную проекцию органа.
22. Способ по п.14, дополнительно предусматривающий:
определение, посредством модуля распознавания ультразвуковых изображений, рекомендуемого перемещения устройства ультразвуковой визуализации относительно одной или более известных точек на пациенте для получения клинически желательной проекции органа; и
передачу сигнала в устройство ультразвуковой визуализации, указывающего рекомендуемое перемещение.
23. Система получения информации в виде данных для ультразвуковых изображений, содержащая:
сеть, обучаемую распознаванию ультразвуковых изображений, хранимую по меньшей мере частично на компьютерном устройстве, имеющем один или более процессоров, причем сеть, обучаемая распознаванию ультразвуковых изображений, включает в себя нейронную сеть, выполненную с возможностью приема ультразвуковых обучающих изображений и расширения знаний об ультразвуковых изображениях на основе принятых ультразвуковых обучающих изображений;
устройство ультразвуковой визуализации, включающее в себя ручной зонд, выполненный с возможностью получения ультразвуковых изображений пациента при движении ручного зонда; и
модуль распознавания ультразвуковых изображений, находящийся внутри устройства ультразвуковой визуализации, причем модуль распознавания ультразвуковых изображений выполнен с возможностью:
приема знаний об ультразвуковых изображениях;
приема полученных ультразвуковых изображений из устройства ультразвуковой визуализации;
определения, на основе знаний об ультразвуковых изображениях, непрерывно при движении ручного зонда во время исследования пациента, того, представляют ли принятые ультразвуковые изображения клинически желательную проекцию органа; и
определения конкретного движения пользователя ручного зонда для получения клинически желательной проекции органа.
24. Система получения информации в виде данных для ультразвуковых изображений по п.23, в которой нейронная сеть, обучаемая распознаванию ультразвуковых изображений, содержит по меньшей мере одно из нейронной сети глубокого обучения или свёрточной нейронной сети.
25. Система получения информации в виде данных для ультразвуковых изображений по п.23, в которой клинически желательная проекция органа включает в себя по меньшей мере одну из супрастернальной (надгрудинной), субкостальной (подреберной), парастернальной (окологрудинной) по короткой оси, парастернальной по длинной оси, 2-камерной апикальной (верхушечной), 3-камерной апикальной, 4-камерной апикальной и 5-камерной апикальной проекций сердца.
26. Система получения информации в виде данных для ультразвуковых изображений по п.23, в которой модуль распознавания ультразвуковых изображений приводится в действие для определения того, представляют ли принятые ультразвуковые изображения по меньшей мере одну из клинически желательных проекций органа.
27. Система получения информации в виде данных для ультразвуковых изображений по п.23, в которой устройство ультразвуковой визуализации дополнительно выполнено с возможностью выдачи полученных ультразвуковых изображений в сеть, обучаемую распознаванию ультразвуковых изображений, для дальнейшего обучения сети, обучаемой распознаванию ультразвуковых изображений, и расширения обновленных знаний об ультразвуковых изображениях.
28. Система получения информации в виде данных для ультразвуковых изображений по п.23, в которой сеть, обучаемая распознаванию ультразвуковых изображений, выполнена с возможностью приема ультразвуковых обучающих изображений, причем ультразвуковые обучающие изображения включают в себя исходные обучающие изображения и ультразвуковые изображения, полученные устройством ультразвуковой визуализации.
29. Система получения информации в виде данных для ультразвуковых изображений по п.23, в которой модуль распознавания ультразвуковых изображений выполнен с возможностью определения того, приближаются ли принятые ультразвуковые изображения последовательно к клинически желательной проекции органа или отдаляются от нее.
30. Система получения информации в виде данных для ультразвуковых изображений по п.23, дополнительно содержащая:
базу данных знаний об ультразвуковых изображениях, которая подключена с возможностью связи к сети, обучаемой распознаванию ультразвуковых изображений, и выполнена с возможностью сохранения знаний об ультразвуковых изображениях; и
локальную базу данных знаний об ультразвуковых изображениях, которая подключена с возможностью связи к устройству ультразвуковой визуализации и выполнена с возможностью сохранения знаний об ультразвуковых изображениях.
31. Система получения информации в виде данных для ультразвуковых изображений по п.23, в которой модуль распознавания ультразвуковых изображений дополнительно выполнен с возможностью:
определения, на основе знаний об ультразвуковых изображениях, того, указывают ли принятые ультразвуковые изображения на нормальное функционирование или некоторую конкретную патологию.
32. Способ формирования и передачи знаний об ультразвуковом изображении, содержащий этапы, на которых:
принимают, посредством сети, обучаемой распознаванию ультразвуковых изображений, включающей в себя нейронную сеть, ультразвуковые обучающие изображения;
генерируют, посредством сети, обучаемой распознаванию ультразвуковых изображений, знания об ультразвуковых изображениях на основе принятых ультразвуковых обучающих изображений;
передают знания об ультразвуковых изображениях в устройство ультразвуковой визуализации, включающее в себя ручной зонд, причем устройство ультразвуковой визуализации является отдельным от сети, обучаемой распознаванию ультразвуковых изображений, и расположено отдаленно от нее;
получают, посредством устройства ультразвуковой визуализации, ультразвуковые изображения пациента, при движении ручного зонда;
автоматически определяют, на основе знаний об ультразвуковых изображениях, непрерывно при движении ручного зонда во время исследования пациента, то, представляют ли полученные ультразвуковые изображения клинически желательную проекцию структуры; и
автоматически определяют конкретное движение пользователя ручного зонда для получения клинически желательной проекции структуры.
33. Способ по п.32, дополнительно предусматривающий:
передачу полученных ультразвуковых изображений пациента в сеть, обучаемую распознаванию ультразвуковых изображений, для дальнейшего обучения сети, обучаемой распознаванию ультразвуковых изображений, и генерирования обновленных знаний об ультразвуковых изображениях.
34. Способ по п.32, в котором обученная нейронная сеть включает в себя по меньшей мере одно из нейронной сети глубокого обучения или свёрточной нейронной сети.
35. Способ по п.32, в котором определение того, представляют ли принятые ультразвуковые изображения клинически желательную проекцию органа, заключается в том, что:
определяют, представляют ли полученные ультразвуковые изображения по меньшей мере одну из супрастернальной (надгрудинной), субкостальной (подреберной), парастернальной (окологрудинной) по короткой оси, парастернальной по длинной оси, 2-камерной апикальной (верхушечной), 3-камерной апикальной, 4-камерной апикальной и 5-камерной апикальной проекций сердца.
36. Способ по п.33, в котором переданные полученные ультразвуковые изображения пациента включают в себя обучающие изображения, указывающие одну или более известных характеристик, ассоциируемых с полученными ультразвуковыми изображениями.
37. Способ по п.32, дополнительно предусматривающий:
определение, на основе знаний об ультразвуковых изображениях, того, указывают ли полученные ультразвуковые изображения на нормальное функционирование или некоторую конкретную патологию.
| US 20070055153 A1, 08.03.2007 | |||
| US 7092742 B2, 15.08.2006 | |||
| RU 2012138466 A, 20.03.2014 | |||
| RU 2013124044 A, 10.12.2014. |
