УСТРОЙСТВО И СПОСОБ ДЛЯ АНАЛИЗА МЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ Российский патент 2023 года по МПК A61B5/00 G16H50/20 G06F30/27 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области обработки изображений, и, более конкретно, к устройству и способу для определения патологии на основе анализа медицинских изображений.

Уровень техники

В традиционных способах диагностики патологий органов грудной клетки, которые использовались в медицине на протяжении десятилетий, оператор рентген-установки или врач визуально исследовал рентгеновское изображение, полученное установкой, и делал вывод о наличии или отсутствии той или иной патологии у обследуемого пациента.

Однако высокая распространенность раковых, сердечных, легочных заболеваний, а также вспышка covid-19, которая привела к существенному увеличению смертности от этих заболеваний, влекут за собой огромные социальные издержки. В медицинских учреждениях, осуществляющих диагностические и терапевтические мероприятия, наблюдается перегруженность и дефицит квалифицированных медицинских специалистов в области радиологических исследований, на оценку и трактовку результатов радиологических исследований оказывает влияние человеческий фактор, отсутствуют необходимые ресурсы для проведения повторных прочтений исследований. Практика осуществления диагностических мероприятий сопряжена с риском пропуска патологий при первичном анализе радиологических исследований.

Данные факторы требуют проведения фундаментальных исследований в этой области с целью разработки новых и более эффективных терапевтических и диагностических инструментов, в том числе для того, чтобы повысить качество врачебных решений и по возможности ускорить процесс принятия врачебных решений.

Все это способствует внедрению в медицину современных цифровых методик обработки данных. Цифровизация здравоохранения сопровождается стремительно растущими объемами оцифрованной медицинской информации о пациентах, клинических баз данных и наборов медицинских данных, которые можно было бы использовать для поддержки принятия врачебных решений. В последние годы для работы над такими задачами все чаще применяются технологии искусственного интеллекта (ИИ).

Например, в известных способах современной ИИ-диагностики, таких как WO 2021/031279 A1 или WO 2021/091661 A1, нейронная сеть, которая была предварительно обучена на размеченном наборе изображений, получает оцифрованное рентгеновское изображение грудной клетки пациента, анализирует его и осуществляет предсказание того, имеется ли у данного пациента патология, помогая тем самым врачу принять оптимальное взвешенное решение.

Производятся попытки применять самые разные архитектуры нейросетей, разные методы обучения и разные методы предварительной обработки изображений, однако точность известных методов такова, что существенная часть медицинского сообщества высказывает мнение, что на текущем уровне развития подобные системы не помогают врачу, а наоборот, мешают, поскольку они могут снижать концентрацию внимания специалиста, полагающегося отчасти на ИИ, и возможны ошибки в принятии решений, что может влиять на качество оказания медицинских услуг. А в силу того, что ответственность за решение лежит именно на человеке, по-прежнему велик человеческий фактор и высоки трудозатраты и требования к квалификации.

В связи с этим в научных и технических публикациях в последнее время стало формироваться мнение, что необходимо использовать какие-либо дополнительные данные о пациенте в придачу к изображениям. Однако на данный момент не существовало конкретных способов и устройств, которые позволяли бы осуществлять такую обработку с высокой точностью с минимальными требованиями как к самим дополнительным данным, так и к устройствам, обрабатывающим такие данные.

Сущность изобретения

С целью устранения по меньшей мере некоторых из вышеупомянутых недостатков предшествующего уровня техники, настоящее изобретение направлено на повышение точности устройств и способов для определения патологии на основе анализа медицинских изображений.

Согласно первому аспекту настоящего изобретения, предложено устройство для определения патологии на основе анализа медицинских изображений, содержащее:

блок приема данных, выполненный с возможностью принимать подлежащие обработке данные, содержащие медицинское изображение, от устройства, запрашивающего обработку данных, посредством осуществления связи с ним;

блок подготовки изображений, выполненный с возможностью подготавливать с использованием по меньшей мере одного процессора медицинское изображение, содержащееся в подлежащих обработке данных, посредством выполнения над ним одного или более предварительных преобразований для использования нейронной сетью, работающей на основе по меньшей мере одного процессора;

блок предсказания патологии, выполненный с возможностью с использованием упомянутой нейронной сети анализировать подготовленное изображение и определять наличие или отсутствие патологии на изображении;

блок формирования отчета, выполненный с возможностью формировать с использованием по меньшей мере одного процессора отчет об исследовании, проведенном в данном устройстве, причем отчет об исследовании содержит по меньшей мере один файл, содержащий указание на результат обработки, выполненной в блоке предсказания патологии; и

блок передачи данных, выполненный с возможностью передавать отчет об исследовании в устройство, запрашивавшее обработку данных, посредством осуществления связи с ним,

причем упомянутая нейронная сеть является предварительно обученной с использованием по меньшей мере одного набора данных, содержащего размеченные медицинские изображения, чтобы предсказывать наличие или отсутствие патологии, а также пол и возраст пациента,

причем размеченные медицинские изображения, содержащиеся в упомянутом по меньшей мере одном наборе данных, использованном для обучения нейронной сети, содержат:

изображения, имеющие первую метку, связанную с явным указанием на мужской пол пациента,

изображения, имеющие вторую метку, связанную с явным указанием на женский пол пациента, и

изображения, имеющие третью метку, связанную с неявным указанием пола пациента, причем третья метка присваивается изображениям, которые изначально не имели метки с указанием пола пациента, и изображениям, которые изначально имели метку, в которой в качестве пола пациента были указаны данные, отличающиеся от явного указания на мужской или женский,

причем упомянутая нейронная сеть предварительно обучена предсказывать предполагаемый пол пациента в виде указания на первую метку или вторую метку, если нейронной сети удалось в явном виде определить, соответственно, мужской пол или женский пол пациента, или в виде указания на третью метку, если нейронной сети не удалось в явном виде определить пол пациента,

причем упомянутая нейронная сеть выполнена с возможностью в процессе работы анализировать только подготовленное изображение без дополнительных входных данных в виде данных о поле и возрасте пациента, изображенного на данном изображении.

В одном из вариантов осуществления упомянутый результат обработки предназначен для поддержки принятия врачебного решения о состоянии зафиксированного на упомянутом изображении по меньшей мере одного органа и/или полости обследуемого пациента и/или о лечении обследуемого пациента.

В одном из вариантов осуществления упомянутая нейронная сеть содержит:

- предварительный участок, содержащий первую нейронную сеть, в которой каждый слой последовательно соединен с каждым последующим слоем, причем предварительный участок выполнен с возможностью приема упомянутого подготовленного изображения и вывода промежуточных данных;

- первую подсеть, содержащую вторую нейронную сеть и выполненную с возможностью приема упомянутых промежуточных данных от предварительного участка и предсказания вероятности наличия патологии на анализируемом изображении;

- вторую подсеть, содержащую третью нейронную сеть и выполненную с возможностью приема упомянутых промежуточных данных от предварительного участка и предсказания предполагаемого пола пациента;

- третью подсеть, содержащую четвертую нейронную сеть и выполненную с возможностью приема упомянутых промежуточных данных от предварительного участка и предсказания предполагаемого возраста пациента.

В одном из вариантов осуществления предварительный участок выполнен на основе архитектуры DenseNet.

В одном из вариантов осуществления упомянутая нейронная сеть предварительно обучена предсказывать предполагаемый возраст пациента в качестве указания на один из предварительно заданных диапазонов возраста.

В одном из вариантов осуществления размер каждого диапазона возраста составляет от 7 до 15 лет.

В одном из вариантов осуществления количество предварительно заданных диапазонов возраста равно 10, размер каждого диапазона составляет 10 лет.

В одном из вариантов осуществления упомянутая нейронная сеть предварительно обучена предсказывать наличие или отсутствие по меньшей мере одного признака из предварительно заданного множества возможных патологий, характерных для зафиксированного на упомянутом изображении по меньшей мере одного органа и/или полости или для данного типа диагностического исследования.

В одном из вариантов осуществления предварительно заданное множество возможных патологий для рентгенограммы органов грудной клетки содержит по меньшей мере одну из следующих патологий: плевральный выпот, пневмоторакс, ателектаз, очаг затемнения, инфильтрация/консолидация, диссеминация, полость с распадом, полость с уровнем жидкости, кальцинат/кальцинированная тень в легких, нарушение целостности кортикального слоя.

В одном из вариантов осуществления, если определено, что на изображении имеется патология, блок формирования отчета дополнительно выполнен с возможностью:

выявления возможных областей, на которых найдены признаки патологий, с использованием методов компьютерного зрения, анализирующих исходное изображение и активации внутри нейронной сети блока предсказания патологии, которые были получены при прогоне через нее этого изображения;

формирования изображения с визуализацией патологии в виде копии исходного изображения, на которое наложено указание найденных областей с признаками патологий; и

формирования отчета об исследовании, содержащего изображение с визуализацией патологии.

В одном из вариантов осуществления для выявления возможных областей с признаками патологий используется комбинация методов Grad-CAM (взвешенная комбинация карт активации классов на основе градиентов) и Saliency maps (карты значимости), и

для указания найденных областей с признаками патологий используется тепловая карта или очертание границ областей.

В одном из вариантов осуществления отчет об исследовании содержит текстовый протокол исследования, содержащий в текстовом виде по меньшей мере одно из следующего:

- идентификатор исходного изображения;

- указание вероятности наличия патологии;

- время получения изображения;

- время получения результата обработки от блока предсказания патологии;

- время формирования отчета;

- информацию об ошибках работы устройства, возникших в ходе анализа.

Согласно второму аспекту настоящего изобретения, предложен способ определения патологии на основе анализа медицинских изображений, содержащий этапы, на которых:

принимают с использованием устройства связи подлежащие обработке данные, содержащие медицинское изображение обследуемого пациента;

подготавливают с использованием по меньшей мере одного процессора медицинское изображение, содержащееся в подлежащих обработке данных, посредством выполнения над ним одного или более предварительных преобразований для использования нейронной сетью, работающей на основе по меньшей мере одного процессора;

с использованием упомянутой нейронной сети анализируют подготовленное изображение и определяют наличие или отсутствие патологии на изображении;

причем упомянутая нейронная сеть является предварительно обученной с использованием по меньшей мере одного набора данных, содержащего размеченные медицинские изображения, чтобы предсказывать наличие или отсутствие патологии, а также пол и возраст пациента,

причем размеченные медицинские изображения, содержащиеся в упомянутом по меньшей мере одном наборе данных, использованном для обучения нейронной сети, содержат:

изображения, имеющие первую метку, связанную с явным указанием на мужской пол пациента,

изображения, имеющие вторую метку, связанную с явным указанием на женский пол пациента, и

изображения, имеющие третью метку, связанную с неявным указанием пола пациента, причем третья метка присваивается изображениям, которые изначально не имели метки с указанием пола пациента, и изображениям, которые изначально имели метку, в которой в качестве пола пациента были указаны данные, отличающиеся от явного указания на мужской или женский,

причем упомянутая нейронная сеть предварительно обучена предсказывать предполагаемый пол пациента в виде указания на первую метку или вторую метку, если нейронной сети удалось в явном виде определить, соответственно, мужской пол или женский пол пациента, или в виде указания на третью метку, если нейронной сети не удалось в явном виде определить пол пациента,

причем в процессе работы упомянутой нейронной сети анализируют только подготовленное изображение без дополнительных входных данных в виде данных о поле и возрасте пациента, изображенного на данном изображении,

формируют с использованием по меньшей мере одного процессора отчет, который содержит по меньшей мере один файл, содержащий указание на наличие или отсутствие патологии;

передают с использованием устройства связи отчет на устройство врача,

принимают с использованием устройства связи отчет на устройстве врача,

с использованием устройства врача и с использованием отчета принимают врачебное решение о состоянии зафиксированного на упомянутом изображении по меньшей мере одного органа и/или полости обследуемого пациента и/или о лечении обследуемого пациента.

Технический результат

Настоящее изобретение позволяет повысить эффективность устройств и способов для определения патологии на основе анализа медицинских изображений. При этом обеспечивается:

- повышение точности определения патологий;

- отсутствие необходимости обработки и передачи дополнительных данных о пациенте в процессе непосредственной работы системы;

- ускорение обработки данных по сравнению с системами, которые помимо передачи самого медицинского изображения требуют обработки и передачи дополнительных данных о пациенте в процессе непосредственной работы;

- снижение нагрузки на сети передачи данных и на систему поддержки принятия врачебных решений в целом и её компоненты;

- обеспечение повышенной конфиденциальности исследования, так как по сети передается только деперсонализированное изображение;

- упрощение определения патологий по сравнению с устройствами, которые требуют обработки и передачи множества видов дополнительных данных о пациенте;

- снижение требований к квалификации медицинского персонала;

- уменьшение влияния человеческого фактора (внимательность, утомляемость, ответственность);

- снижение требований к производительности устройств и соответствующее снижение затрат и энергопотребления, возможность уменьшения размеров устройств;

- снижение требований к устройствам, обрабатывающим дополнительные данные.

Следует понимать, что не каждый из вариантов осуществления может обеспечивать одновременно все указанные преимущества по сравнению со всеми известными решениями из уровня техники. Соответственно, некоторые варианты осуществления могут обладать лишь некоторыми из указанных преимуществ или иными преимуществами относительно некоторых известных решений.

Эти и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания со ссылкой на сопроводительные чертежи.

Краткое описание чертежей

На Фиг. 1 показано схематическое изображение системы поддержки принятия врачебных решений согласно настоящему изобретению.

На Фиг. 2 показан пример изображения, подлежащего обработке в устройстве определения патологии.

На Фиг. 3 и 4 показаны примеры изображений, которые не должны пройти валидацию.

На Фиг. 5 показана блок-схема устройства для определения патологии согласно настоящему изобретению.

На Фиг. 6A, 6B приведен пример кадрирования изображения.

На Фиг. 7 и 8 показаны примеры изображений для пациентов в разном возрасте.

На Фиг. 9 показана блок-схема нейронной сети, определяющей патологию с учетом пола и возраста пациента.

На Фиг. 10 приведен пример изображения, на которое области интереса нанесены в виде тепловой карты.

На Фиг. 11 приведен пример изображения, на которое нанесены контуры областей интереса.

На Фиг. 12 показана схема последовательности операций способа определения патологии согласно настоящему изобретению.

Следует понимать, что фигуры могут быть представлены схематично и не в масштабе и предназначены, главным образом, для улучшения понимания настоящего изобретения.

Подробное описание

Общий обзор системы

Далее со ссылкой на Фиг. 1 будет в целом описана система 100 поддержки принятия врачебных решений.

В медицинской организации (МО) 110 содержится устройство 120 для получения медицинских изображений. В качестве медицинских изображений могут использоваться, например, рентгеновские изображения, изображения МРТ (магнитно-резонансной томографии), изображения КТ (компьютерной томографии) и иные изображения, полученные методами радиологической (то есть с помощью излучения) или нерадиологической (например, с помощью камеры) диагностики. Медицинское изображение может также называться диагностическим изображением. Соответственно, устройство 120 может представлять собой устройство для получения рентгеновских изображений (также может взаимозаменяемо называться рентгенографическим диагностическим аппаратом, рентген-аппаратом, рентген-установкой, рентгеном и т.д.), устройство для получения флюорографических изображений, устройство для получения МРТ-изображений, устройство для получения КТ-изображений и т.п. Далее в данном документе исключительно для удобства описания в качестве устройства 120 для получения медицинских изображений может упоминаться рентген-аппарат, однако следует принимать во внимание вышеуказанные сведения и об иных возможных вариантах осуществления настоящего изобретения.

Медицинский специалист с помощью устройства 120 для получения медицинских изображений производит диагностическое исследование органов обследуемого пациента. Далее в данном документе исключительно для удобства описания в качестве примера диагностического исследования может упоминаться рентгенологическое исследование органов грудной клетки, однако следует понимать, что в иных вариантах осуществления настоящего изобретения возможно проведение МРТ-исследования, КТ-исследования и т.п., а органами, подлежащими исследованию, могут быть любые органы и полости, которые можно исследовать с помощью устройства для получения медицинских изображений.

В качестве медицинской организации 110 согласно настоящему изобретению может выступать клиника, поликлиника, врачебный кабинет, больница, госпиталь, стационар, санаторий, пункт оказания медицинской помощи, аптека, мобильная установка, передвижной флюорографический кабинет или любая иная организация, помещение или установка, оборудованная устройством 120 для получения медицинских изображений.

Результат исследования формируется в виде медицинского изображения, например, в формате DICOM (стандарт цифровых изображений и связи в медицине), NIfTI (Инициатива по технологии нейроизображения в области информатики), Analyze, Minc1, Minc2 или ином пригодном открытом или проприетарном формате. Медицинский специалист при необходимости перед сохранением может применить к изображению фильтры, которые, на его взгляд, могут улучшить восприятие изображения. Кроме того, на изображение могут накладываться в одном из вариантов осуществления какие-либо предустановленные фильтры, характерные для конкретного устройства или для конкретного производителя.

Сформированное изображение сохраняется в локальном хранилище 131 данных, таком как хранилище на основе или в составе PACS (системы архивации и передачи DICOM-изображений), RIS (радиологической информационной системы), МИС (медицинской информационной системы) 130 или иной системы или устройства, пригодного для хранения медицинских данных. При необходимости к сохраняемому изображению может добавляться дополнительная целевая информация, такая как сведения о пациенте, об исследовании, о медицинской организации, о медицинском специалисте и т.д.

МИС 130 (в том числе PACS или RIS) может быть развернута на компьютере или сервере общего назначения, на специализированном оборудовании или на иных аппаратных средствах хранения, обработки и передачи данных, пригодных для воплощения настоящего изобретения и известных специалисту в данной области техники. В иллюстративном неограничивающем примере МИС 130 может представлять собой компьютер, имеющий 4-ядерный процессор, 8 ГБ RAM, дисковое пространство 60 ГБ под операционную систему CentOS 7, дисковое пространство 2 ТБ под данные, дисковое пространство 1 ТБ под базу данных и 2 сетевых адаптера.

Хранилище 131 изображено на Фиг. 1 в составе МИС 130 лишь в качестве примера, и следует понимать, что возможны и иные реализации, в которых хранилище 131 является отдельным от МИС 130, находится в составе устройства 120 для получения медицинских изображений или находится в составе другой внутренней системы хранения медицинской организации. Возможны также реализации, в которых медицинская организация вообще не использует специальные системы хранения и передачи медицинских данных, а использует для этих целей иные доступные средства хранения и передачи, такие как персональный компьютер или ноутбук.

Затем с помощью устройства 132 передачи данных, такого как PACS, RIS, МИС 130 или иная пригодная открытая или проприетарная система, формируются подлежащие обработке данные. Как и в случае с хранилищем 131, несмотря на то, что устройство 132 передачи данных изображено на Фиг. 1 в составе МИС 130, оно также может быть отдельным от МИС 130 или находиться в составе другой внутренней системы хранения медицинской организации.

В одном из вариантов осуществления при формировании подлежащих обработке данных в устройстве 132 передачи данных может производиться деперсонализация (анонимизация, де-идентификация, обезличивание) медицинского изображения органов обследуемого пациента. Для этого производится замена сведений о пациенте, которые так или иначе можно считать персональными, на обезличенные данные, по которым третья сторона не сможет восстановить первоначальные данные, не имея к ним надлежащего доступа. Например, в случае применения системы PACS анонимизируются поля “PatientName” (имя пациента), “OtherPatientNames” (другие имена пациента), “PatientID” (идентификатор пациента) и при необходимости другие поля, содержащие персональные данные или отнесенные к таковым.

В одном из опциональных вариантов осуществления может быть необходимо, чтобы изображение имело некоторый уникальный идентификатор (ID) изображения, не содержащий персональные данные, с тем чтобы впоследствии, получив обратно данные с таким идентификатором, МИС 130 или иная система или устройство, имеющее надлежащий доступ к персональным данным, при необходимости могла бы вновь сопоставить полученные данные с соответствующим пациентом. В иллюстративном неограничивающем примере на Фиг. 2 идентификатор имеет значение «56HJ». Конкретные методы генерации уникальных идентификаторов известны специалистам в данной области техники и не являются предметом настоящего изобретения. При этом в качестве уникального идентификатора может выступать как одно отдельное поле, так и набор из нескольких полей.

Возможные значения деперсонализированных данных и/или формат уникальных идентификаторов могут быть предварительно заданными и известными всем устройствам в системе, только доверенным устройствам или только устройству 160 для определения патологии, с тем чтобы они могли определять, являются ли передаваемые данные деперсонализированными. Например, в вышеуказанном примере на Фиг. 2 идентификатор имеет формат XXYY, где X – это арабская цифра, а Y – это буква латинского алфавита.

Процесс деперсонализации может происходить как полностью автоматически, так и при необходимости часть процесса деперсонализации или весь процесс деперсонализации может выполняться с участием человека, который может удалять или редактировать данные через соответствующий интерфейс устройства 132 передачи данных или медицинской информационной системы 130.

Деперсонализированные подлежащие обработке данные, пример которых показан на Фиг. 2, передаются из медицинской организации 110 напрямую или через центральную медицинскую информационную систему 150 на устройство 160 для определения патологии. При этом в одном из вариантов осуществления деперсонализация может выполняться в центральной медицинской информационной системе 150, и в таком случае из медицинской организации 110 могут сначала передаваться неанонимизированные данные в центральную медицинскую информационную систему 150, а затем из неё на устройство 160 для определения патологии могут передаваться деперсонализированные подлежащие обработке данные. Процесс деперсонализации может происходить как полностью автоматически, так и при необходимости часть процесса деперсонализации или весь процесс деперсонализации может выполняться с участием человека, который может удалять или редактировать данные через соответствующий интерфейс центральной медицинской информационной системы 150.

Устройство 160 для определения патологии, проанализировав на основе методов искусственного интеллекта (ИИ) медицинское изображение, содержащееся в поступивших данных, формирует предсказание, имеется ли на данном изображении патология. Если таковая имеется, то устройство 160 для определения патологии указывает области на изображении, содержащие патологии. Если патологии нет, то изображение не изменяется.

Опционально устройство 160 для определения патологии может формировать отчет (или протокол) о результате работы, содержащий описание результата в виде текстовой информации.

Сформированные данные (одно или более изображений и/или отчет) отправляются обратно (напрямую или опосредованно) от устройства 160 для определения патологии в медицинскую организацию 110, запрашивавшую обработку данных.

Полученные от устройства 160 для определения патологии результаты работы предоставляются ответственному лицу, например, врачу-рентгентологу, лечащему врачу или иному медицинскому специалисту или лицу, имеющему доступ к таким сведениям и ответственному за их прием и обработку в медицинской организации 110, с помощью средства 140 просмотра, и с их использованием он принимает решение о состоянии обследованных органов, зафиксированных на изображении, а именно о наличии или отсутствии той или иной патологии. При необходимости медицинский специалист с учетом полученных результатов работы устройства 160 для определения патологии может принимать решение о лечении пациента. Средство 140 просмотра на Фиг. 1 упрощенно указано как дисплей 140, однако в предпочтительном варианте оно представляет собой АРМ (автоматизированное рабочее место) врача. В иллюстративном неограничивающем примере АРМ врача может представлять собой компьютер на базе процессора Intel Core i3 или его аналога, имеющий 8 ГБ RAM, свободное дисковое пространство 40 ГБ, устройство чтения компакт-дисков DVD-R/RW, скорость сетевого соединения 5 Мбит/с, монитор с разрешением экрана 1920x1080, а просмотр может выполняться с использованием программ просмотра DICOM изображений или через web-браузер.

Тем самым, система 100 способствует повышению точности принятия врачебного решения.

Также возможен вариант осуществления, в котором сформированные устройством 160 для определения патологии данные отправляются не напрямую в медицинскую организацию 110, запрашивавшую обработку данных, а сначала (напрямую или через центральную медицинскую информационную систему 150) в специализированную экспертную организацию 170, производящую медицинские заключения с использованием результатов работы устройства 160 для определения патологии, или к внешнему врачу-рентгенологу 180, выполняющему функцию эксперта или консультанта. В таком случае медицинская организация 110 в ответ на отправленное медицинское изображение может получать от экспертной организации 170 или от внешнего врача-рентгенолога 180 (опять-таки, напрямую или через центральную медицинскую информационную систему 150) сразу готовое заключение или же предварительное заключение, которое может использоваться для принятия врачебного решения. Это позволяет снизить требования к квалификации и к рабочей нагрузке персонала медицинской организации 110 вплоть до возможности вообще не иметь в штате врача-рентгенолога, что обеспечивает существенное расширение географии возможного использования системы и позволяет получать высококвалифицированные медицинские услуги в тех местоположениях, где раньше они не были доступны из-за отсутствия персонала с надлежащей квалификацией, и с другой стороны, позволяет врачам-рентгентологам подключаться к системе из различных удаленных местоположений без привязки к конкретной медицинской организации.

Следует понимать, что в данном документе блоки 170 и 180 упрощенно упоминаются как «экспертная организация 170» и «внешний врач-рентгенолог 180», однако технически с точки зрения системы эти блоки представляют собой оборудование/устройства для приема, просмотра, редактирования и передачи данных, которыми управляет/владеет/пользуется экспертная организация 170 и внешний врач-рентгенолог 180.

Согласно настоящему изобретению, термин “внешний” применительно к врачу-рентгенологу означает, что этот врач не состоит в штате медицинской организации 110, проводившей рентгенологическое исследование и запросившей обработку полученного снимка, и/или не находится физически в этой организации и/или не имеет доступа к МИС 130 этой организации. Кроме того, следует понимать, что термин “рентгенолог” (radiologist) в контексте настоящего изобретения приводится в расширительном толковании, то есть подразумевается, что это медицинский специалист, который обладает подтвержденной квалификацией (знаниями, умениями, навыками и опытом) по анализу (интерпретации) медицинских (диагностических) изображений, то есть по одному или более из следующего: анализ результатов рентгенологического исследования, анализ результатов КТ, анализ результатов МРТ и т.п.

Экспертная организация 170 может представлять собой медицинскую или иную организацию, наделенную функциями по анализу медицинских изображений и составлению заключений и обладающую одним или более специалистами соответствующего профиля и надлежащей квалификации по анализу (интерпретации) медицинских (диагностических) изображений, то есть по одному или более из следующего: анализ результатов рентгенологического исследования, анализ результатов КТ, анализ результатов МРТ и т.п.

Специалисты экспертной организации 170 и внешние врачи-рентгенологи 180 могут осуществлять доступ к данным со специализированного рабочего места (АРМ врача) или с использованием иного подходящего устройства, такого как компьютер, ноутбук, смартфон, планшет, VR-шлем (шлем виртуальной реальности), VR-очки и т.д.

На Фиг. 1 для простоты изображена одна медицинская организация 110, одно устройство 160 для определения патологии, одна экспертная организация 170 и один внешний врач-рентгенолог 180, однако следует понимать, что возможны и другие варианты осуществления. Например, в одном из вариантов осуществления система 100 поддержки принятия врачебных решений может содержать множество медицинских организаций 110, обслуживаемых одним устройством 160 для определения патологии. В общем случае одна или более медицинских организаций 110 могут обслуживаться одним или более разными устройствами 160 для определения патологии.

При этом медицинская организация 110 может отправлять одно и то же изображение в разные устройства 160 для определения патологии, если они имеют разные принципы работы и/или обучены на разных наборах данных, и тогда медицинская организация 110 может иметь несколько результатов обработки (отчетов, протоколов, предварительных заключений), что является некоторым аналогом консилиума и может повысить точность принятия врачебного решения.

Кроме того, медицинская организация 110 может отправлять разные изображения в разные устройства 160 для определения патологии. В частности, это может быть удобно, если они специализируются на разных типах исследований. Например, одно устройство 160 для определения патологии предназначено для выявления патологий органов грудной полости, а другое - для выявления патологий позвоночника. Это обеспечивает расширение функционала системы поддержки принятия врачебных решений и возможность медицинской организации получать полный спектр услуг по обработке и анализу диагностических исследований в рамках единой системы поддержки принятия врачебных решений без необходимости интеграции со множеством разных систем с целью получения услуг по разным направлениям исследований. Кроме того, разработчики и поставщики устройств 160 для определения патологии могут не стремиться охватить все возможные типы исследований в попытке удовлетворить все требования системы 100 поддержки принятия врачебных решений, а сконцентрироваться именно на тех типах исследований, в которых они имеют наибольшие компетенции, что с точки зрения системы обеспечивает повышение точности и качества оказания услуг по каждому из отдельных типов исследований.

Аналогичным образом, разные экспертные организации 170 и разные внешние врачи-рентгенологи 180 могут специализироваться именно на тех типах исследований, в которых они имеют наибольшие компетенции, что с точки зрения системы обеспечивает повышение точности и качества оказания услуг по каждому из отдельных типов исследований.

Центральная медицинская информационная система 150, указанная на Фиг. 1, экспертная организация 170 или внешний врач-рентгенолог 180 не являются обязательными элементами предложенной системы 100 поддержки принятия врачебных решений. Соответственно, в одном из вариантов осуществления медицинская организация 110 может осуществлять непосредственный обмен данными с устройством 160 для определения патологии. Это обеспечивает упрощение реализации системы 100 поддержки принятия врачебных решений. Такая реализация может быть удобна, например, для случаев, когда число медицинских организаций 110, обслуживаемых устройством 160 для определения патологии, относительно невелико, а экспертные организации 170 или внешние врачи-рентгенологи 180 вообще не привлекаются или их число также относительно невелико.

В другом варианте осуществления, когда в систему 100 поддержки принятия врачебных решений входит множество медицинских организаций 110 и/или множество устройств 160 для определения патологии, а также экспертные организации 170 или внешние врачи-рентгенологи 180, целесообразно применять центральную медицинскую информационную систему 150. Необходимо отметить, что термин “центральная” в данном случае указывает в первую очередь не на то, что это некий один-единственный центральный сервер, который замыкает на себе все возможные связи, а на то, что центральная медицинская информационная система 150 занимает место посередине, в центре между остальными участниками системы 100 поддержки принятия врачебных решений, выполняя роль промежуточной системы сбора, хранения и перераспределения данных. При этом в зависимости от требований конкретного применения центральная медицинская информационная система 150 может быть как сосредоточенной (централизованной), так и распределенной, в том числе реализованной в облаке.

Центральная медицинская информационная система 150 может содержать множество устройств хранения и обработки данных. В одном из вариантов осуществления владельцем всей центральной медицинской информационной системы 150 в целом может быть государственная структура, муниципальная структура, уполномоченный орган или оператор или иная государственная или негосударственная коммерческая или некоммерческая структура или организация. В другом варианте осуществления отдельные устройства в рамках центральной медицинской информационной системы 150 могут принадлежать разным владельцам - например, в разных городах разные организации (местные операторы) могут предоставлять свое серверное оборудование для использования в качестве устройств хранения и обработки данных, а общий оператор может осуществлять функции надзора и регулирования. При необходимости участникам центральной медицинской информационной системы 150 может требоваться получение лицензии на право работы в рамках этой системы и/или на право доступа к персональным данным и их хранения и обработки.

Выше описывалось, что результат работы устройства 160 для определения патологии может пересылаться в экспертную организацию 170 или к внешнему врачу-рентгенологу 180, однако возможен также и другой вариант осуществления, в котором такой результат лишь отправляется в центральную медицинскую информационную систему 150, сохраняется в ней и помечается как предварительный результат, требующий заключения профильного медицинского специалиста. В дальнейшем по собственной инициативе (например, по мере возможности, при наличии свободного времени, при необходимости получения опыта и практики и т.д.) или по запросу экспертные организации 170 или внешние врачи-рентгенологи 180, имеющие соответствующие права доступа, осуществляют доступ к центральной медицинской информационной системе 150, загружают предварительные результаты, требующие заключения, на свои устройства, выполняют анализ, составляют заключение и отправляют заключение в центральную медицинскую информационную систему 150, или же, не загружая, просматривают такие предварительные результаты через свои устройства прямо в пользовательском интерфейсе центральной медицинской информационной системы 150 и составляют заключения непосредственно в этом интерфейсе. Под загрузкой результатов здесь подразумевается сохранение соответствующих файлов в постоянной памяти устройства на стороне экспертной организации 170 или внешнего врача-рентгенолога 180 для дальнейшего открытия этих файлов из постоянной памяти.

Термин “запрос” согласно настоящему изобретению охватывает как задачу, которую допускается выполнять по собственной инициативе любому врачу или экспертной организации, имеющим соответствующий уровень доступа, так и задачу, которую должна выполнить конкретная экспертная организация 170 или конкретный внешний врач-рентгенолог 180.

Далее в настоящем документе в некоторых случаях для простоты описания экспертная организация или внешний врач-рентгенолог могут быть заменены одним термином “эксперт”. Соответственно, оборудование/устройства для приема, просмотра, редактирования, обработки и передачи данных, которыми управляет/владеет/пользуется экспертная организация 170 или внешний врач-рентгенолог 180, может называться оборудованием/устройством эксперта.

Запрос на составление заключения может исходить, например, от медицинской организации 110, изначально запросившей обработку изображения, от самой центральной медицинской информационной системы 150 или от устройства 160 для определения патологии. В одном из вариантов осуществления запрашивать обработку данных и/или составление заключения может не та медицинская организация, в которой выполнялось диагностическое исследование, а некоторая иная организация или лицо. Это может быть применимо, например, для случая, когда пользователем или владельцем устройства 120 для получения медицинских изображений является одна медицинская организация, а заключения по получаемым этим устройством изображениям составляет экспертная организация 170 или внешний врач-рентгенолог 180 и отправляет напрямую заказчику. Это позволяет снизить требования к квалификации медицинских специалистов, пользующихся устройствами 120 для получения медицинских изображений, и увеличить географию применения таких устройств, что обеспечивает повышение доступности качественных медицинских услуг.

Запросы на составление заключения могут храниться в центральной медицинской информационной системе 150, например, в порядке очереди, такой как FIFO (первым пришел - первым обслужен), очередь с приоритетом или очередь с иным принципом обработки.

Когда экспертная организация 170 или внешний врач-рентгенолог 180 принимает в работу один или более запросов, соответствующие запросы могут извлекаться (удаляться) из очереди во избежание дублирования и выполнения одной и той же работы разными экспертами. В другом варианте осуществления один или более предварительных результатов могут изначально быть предназначенными для анализа предварительно заданным числом из двух или более экспертов, и тогда соответствующий запрос в очереди может содержать счетчик, отражающий, сколько экспертов приняли в работу данный запрос. Когда счетчик достигает требуемого предварительно заданного числа, соответствующий запрос удаляется из очереди.

Соответственно, по мере добавления запросов в очередь, по мере удаления запросов из очереди, по мере принятия запросов в работу конкретным экспертом, с определенной периодичностью, в комбинации вышеуказанного или каким-либо иным подходящим образом может выполняться пересчет вышеупомянутых параметров загрузки для отдельного эксперта или для всех экспертов.

Подобно тому, как запросы на составление заключения применительно к предварительным результатам от устройств 160 для определения патологии формируются, организуются в очередь и обрабатываются центральной медицинской информационной системой 150, экспертными организациями 170 и внешними врачами-рентгенологами 180, могут формироваться и организовываться в очередь запросы к устройствам 160 для определения патологии на обработку изображений, поступающих от медицинских организаций 110. Устройства 160 для определения патологии могут выполнять обработку изображений по конкретному запросу или же опрашивать центральную медицинскую информационную систему 150 на предмет наличия необработанных запросов на обработку изображений, которые способно обработать данное устройство. Кроме того, в зависимости от загрузки устройств 160 для определения патологии и от их требований центральная медицинская информационная система 150 может регулировать число и время отправки запросов на обработку изображений. Также запросам на обработку изображений могут присваиваться различные приоритеты.

Изображения, ожидающие обработки, могут группироваться в пакеты (серии) для пересылки на устройство 160 для определения патологии. Соответственно, устройство 160 для определения патологии может выполнять пакетную обработку принятых изображений. Группировка в пакеты может выполняться как в медицинской организации 110, так и в центральной медицинской информационной системе 150. Центральная медицинская информационная система 150 может изменять размер и наполнение пакетов, полученных от медицинских организаций 110 - например, сортировать снимки по их разрешению в пикселях, по приоритету или иным параметрам и формировать новые пакеты, причем при необходимости в один и тот же пакет могут быть добавлены снимки от разных медицинских организаций 110.

В одном из вариантов осуществления центральная медицинская информационная система 150 может выполнять первичную валидацию или предобработку изображений. Также первичная валидация или предобработка возможна на стороне медицинской организации 110.

В частности, из подлежащих обработке данных может выполняться попытка извлечь изображение. Если попытка терпит неудачу, то делается вывод, что файл изображения поврежден или не может быть прочитан. Причиной этому могут быть такие факторы, как отсутствие изображения в данных, невозможность считывания метаданных, присутствие каких-либо аномальных и не учтенных значений тегов и т.д. В таком случае данные не передаются на обработку, и по ним создается соответствующее указание.

Может выполняться проверка, соответствуют ли данные, приложенные к запросу на обработку изображения, самому запросу. Например, если в запросе указано, что требуется обработать рентгеновский снимок органов грудной клетки в прямой проекции, может выполняться проверка, содержат ли приложенные данные рентгеновский снимок органов грудной клетки в прямой проекции. Различные варианты реализации такой проверки известны специалистам в данной области техники и могут включать в себя, например, предварительно обученную нейронную сеть (нейросеть), производящую соответствующую классификацию, или иные методы компьютерного зрения. Если проверка терпит неудачу, то такие данные не передаются на обработку, и по ним создается соответствующее указание. Примеры подобных ошибок, когда исследование заявлено как рентгенограмма органов грудной клетки в прямой проекции, а на самом деле таковым не является и не может быть обработано, приводятся на Фиг. 3 и 4.

Кроме того, может выполняться проверка, является ли изображение позитивом или негативом. Различные варианты реализации такой проверки известны специалистам в данной области техники и могут включать в себя, например, предварительно обученную нейронную сеть (нейросеть), производящую соответствующую классификацию, или иные методы компьютерного зрения. Если в результате проверки выявляется, что изображение не соответствует входным требованиям устройства 160 для определения патологии, может выполняться надлежащее преобразование изображения в негатив или позитив.

Если медицинским специалистом, проводившим исследование, в параметрах изображения предварительно задана область интереса (VOI), то может выполняться соответствующая обрезка изображения (VOI LUT) для получения изображения, содержащего только область интереса. Например, если медицинский специалист, проводивший рентгенологическое исследование органов грудной клетки, указал область интереса, то согласно параметрам, вшитым в изображение, применяется обрезка, в результате которой на изображении остается только область легких.

Также может производиться проверка, имеет ли изображение размер (разрешение в пикселях), равный или превышающий предварительно заданный минимальный размер, поддерживаемый по меньшей мере одним из устройств 160 для определения патологии, способных обрабатывать такой тип исследований. Например, полученное исходное рентгеновское изображение органов грудной клетки, требующее обработки, имеет размер 800х800 пикселей, а система 100 поддержки принятия врачебных решений содержит три устройства 160 для определения патологии, способных обрабатывать такой тип исследований, из них два устройства поддерживают минимальный размер входного изображения, равный 1024х1024 пикселя, и третье устройство поддерживает минимальный размер 512х512 пикселей. Соответственно, запрос на обработку полученного изображения будет отправлен только третьему устройству 160 для определения патологии. Если же исходное изображение имеет размер меньше минимально поддерживаемого хотя бы одним из устройств 160 для определения патологии, то такое изображение не передается на обработку, и по нему создается соответствующее указание. Это позволяет повысить точность обработки изображений и снизить вероятность ошибок и необходимость повторного анализа некоторых изображений разными устройствами 160 для определения патологии, и тем самым повысить качество оказания медицинских услуг.

Если устройство 160 для определения патологии, которое принимает в работу запрос на обработку изображений, требует определенных параметров входного изображения, то центральная медицинская информационная система 150 или сама медицинская организация 110 (например, когда система 100 поддержки принятия врачебных решений не содержит систему 150 или если система 100 содержит только одно устройство 160 для определения патологии, способное обработать такой тип исследований) может выполнить предобработку изображений. В частности, в одном из вариантов осуществления может выполняться преобразование яркости и цветности исходного изображения. Например, глубина цвета исходного изображения может составлять 12-16 бит, а в результате преобразования может быть получено изображение с глубиной цвета 8 бит. В другом варианте осуществления может выполняться сжатие изображения до требуемого размера. Применимы различные методы сжатия, известные специалистам в данной области техники, поэтому подробное описание процесса сжатия здесь не приводится.

Вышеуказанные функции первичной валидации и предобработки позволяют повысить гибкость и адаптируемость системы поддержки принятия врачебных решений к различным техническим возможностям участников системы, что обеспечивает высокую степень масштабируемости и возможность участия в системе как можно большего числа участников, что повышает доступность высококачественных медицинских услуг.

Помимо того, в центральной медицинской информационной системе 150 может производиться проверка, являются ли подлежащие обработке данные деперсонализированными. Для этого проверяется, содержат ли поля, которые относятся к персональным данным, какие-либо значения, и если содержат, то являются ли эти значения деперсонализированными. Например, если поле “PatientName” пустое или содержит предварительно заданное значение “0” или “Аноним”, как указано на Фиг. 2 и Фиг. 4, то считается, что это поле деперсонализировано, а поле со значением «Венера Милосская», указанное на Фиг. 3, не является деперсонализированным. Данные, не прошедшие проверку, могут деперсонализироваться центральной медицинской информационной системой 150 перед формированием запроса на обработку данных или запроса на составление заключения.

В случае использования уникальных идентификаторов может также производиться проверка, имеет ли уникальный идентификатор изображения предварительно заданный формат. Например, если идентификатор изображения должен строго иметь формат XXYY, то идентификатор изображения с Фиг. 2, имеющий значение «56HJ», пройдет проверку, а идентификаторы изображения с Фиг. 3 и 4 со значениями «0» и «C3PO» не пройдут проверку. Идентификаторы, формат которых не удовлетворяет требованиям, могут быть преобразованы центральной медицинской информационной системой 150 перед формированием запроса на обработку данных или запроса на составление заключения, либо соответствующие данные не передаются на обработку и по ним создается указание о невозможности обработки.

Следует отметить, что устройство 160 для определения патологии или устройства экспертов, составляющих заключения, могут поддерживать несколько разных допустимых значений деперсонализированных данных и форматов уникальных идентификаторов, и в таком случае в центральной медицинской информационной системе 150 может производиться проверка, соответствуют ли значения полей в принятых данных и формат идентификатора принятого изображения хотя бы одному из соответствующих поддерживаемых значений и форматов данного устройства 160 для определения патологии или устройства эксперта, готового и способного принять запрос в работу. Если значение не соответствует предварительно заданному допустимому значению или идентификатор изображения имеет неверный формат, то в центральной медицинской информационной системе 150 может выполняться приведение данных к тем требованиям деперсонализации, которые поддерживаются данным устройством 160 для определения патологии или устройством эксперта.

Вышеуказанные функции деперсонализации позволяют повысить гибкость и адаптируемость системы поддержки принятия врачебных решений к различным техническим возможностям участников системы и существенно снизить требования к участникам системы, связанные с обработкой персональных данных, что обеспечивает высокую степень масштабируемости и возможность участия в системе как можно большего числа участников, что повышает доступность высококачественных медицинских услуг.

В одном из вариантов осуществления настоящего изобретения центральная медицинская информационная система 150 может хранить не только те медицинские изображения, по которым требуется анализ и составление заключения, но и обучающие наборы данных, содержащие должным образом размеченные медицинские изображения, которые предназначены, в числе прочего, для обучения одного или более устройств 160 для определения патологии, а именно для обучения встроенных в них нейронных сетей и/или алгоритмов компьютерного зрения. Таким образом, существует единый архив обучающих наборов данных, к которому может обращаться каждое из множества устройств 160 для определения патологии, входящих в систему 100 поддержки принятия врачебных решений, при этом самим устройствам 160 для определения патологии нет необходимости отдельно хранить, поддерживать, обновлять и пополнять свои обучающие наборы данных, а также искать иные сторонние источники обучающих данных. Тем самым, снижаются требования к участникам системы, что обеспечивает высокую степень масштабируемости и возможность участия в системе как можно большего числа участников, что повышает доступность высококачественных медицинских услуг.

Еще в одном из вариантов осуществления настоящего изобретения центральная медицинская информационная система 150 может хранить обучающие наборы данных, в которых разметка медицинских изображений содержит персональные данные пациента, такие как имя, пол, возраст и т.д. Каждый человек, устройство или система, осуществляющие доступ к системе, имеют назначенный им уровень доступа, и в зависимости от уровня доступа конкретного пользователя центральная медицинская информационная система 150 регулирует количество данных, которые может просматривать этот пользователь. Например, пользователь, имеющий низкий уровень доступа, может просматривать сами снимки, а из их описания (разметки) имеет доступ только к описанию патологии, если таковая имеется. Научный сотрудник, например, для проведения исследования может получить доступ к полу, возрасту и информации о сопутствующих заболеваниях пациентов, если таковая имеется, но ему не требуется знать имя пациента, поэтому центральная медицинская информационная система 150 не показывает ему имена пациентов. В то же время, лечащий врач или эксперт, готовящий заключение, получив высокий уровень доступа, может производить в архиве поиск предыдущих снимков конкретного пациента, вводя, например, его имя или номер медицинского полиса, и центральная медицинская информационная система 150 предоставляет в ответ на такой поиск все имеющиеся в архиве снимки данного пациента. Также возможна реализация, в которой центральная медицинская информационная система 150 предоставляет все имеющиеся в архиве снимки данного пациента без использования персональных данных, а просто в ответ на запрос предоставления предыдущих снимков пациента, изображенного на конкретном анализируемом или просматриваемом пользователем снимке. Тем самым, повышается качество и доступность образования, качество оказания медицинских услуг и доступность высококачественных медицинских услуг.

Более того, одно или более устройств 160 для определения патологии могут также получать доступ ко всем или к части персональных данных, содержащихся в разметке. Если такие данные необходимы устройству 160 для определения патологии только в целях обучения его нейронных сетей и/или алгоритмов компьютерного зрения, то они используются только в процессе обучения и не сохраняются. За счет этого значительно повышается точность обучения и предсказания патологии, что приводит к повышению качества оказания медицинских услуг, при этом снижаются требования к участникам системы (например, в части обработки и хранения персональных данных), что обеспечивает высокую степень масштабируемости и возможность участия в системе как можно большего числа участников, что повышает доступность высококачественных медицинских услуг.

Структура устройства для определения патологии

Далее со ссылкой на Фиг. 5 будет подробно описано устройство 200 для определения патологии на основе анализа медицинских изображений согласно настоящему изобретению. Следует отметить, что устройство 200 для определения патологии полностью соответствует устройству 160 для определения патологии, изображенному на Фиг. 1, и имеет такие же функции и возможности, если это применимо и не противоречит описанию данного раздела. Далее для удобства описания в качестве обследуемых органов могут упоминаться органы грудной клетки, а в качестве медицинского изображения может упоминаться рентгеновское изображение, однако следует принимать во внимание, что принципы настоящего изобретения применимы и к другим видам исследований, как это указывалось выше в данном документе.

Устройство 200 для определения патологии содержит блок 210 приема данных, блок 220 хранения данных, блок 230 валидации данных, блок 240 подготовки изображений, блок 250 предсказания патологии, блок 260 формирования отчета, блок 270 передачи данных и блок 280 обучения. В зависимости от конкретного применения некоторые из этих блоков могут отсутствовать, как будет более подробно пояснено позднее в данном документе.

Блок 210 приема данных принимает подлежащие обработке данные, содержащие медицинское изображение, такое как рентгеновское изображение грудной клетки обследуемого пациента. Блок 210 приема может представлять собой отдельную микросхему, сетевую плату или иное подходящее средство, способное осуществлять связь с внешними устройствами проводным и/или беспроводным образом, например, по протоколу локальной сети (LAN), Интернет и т.д. с помощью технологий Ethernet, оптоволокна, WiFi, 4G и т.д.

Блок 220 хранения данных хранит данные, принятые блоком 210 приема данных, с тем чтобы другие блоки устройства 200 могли ими воспользоваться в подходящий момент времени. Принятые данные могут сохраняться только на время их обработки и стираться, когда их обработка завершена. Для данных целей в одном из вариантов осуществления используется кратковременное запоминающее устройство, такое как RAM и т.п. В другом варианте осуществления принятые данные при необходимости могут сохраняться на более длительный промежуток времени, превышающий непосредственное время их обработки, и тогда может использоваться долговременное запоминающее устройство, такое как жесткий диск и т.п.

Дополнительно блок 220 хранения данных может хранить кратковременно или долговременно данные и/или файлы, получаемые в результате или в процессе работы других блоков устройства.

Блок 230 валидации данных получает подлежащие обработке данные непосредственно от блока 210 приема данных или извлекает их из блока 220 хранения данных. Затем блок 230 валидации данных проверяет, являются ли принятые данные пригодными для обработки.

Как указывалось выше в разделе описания системы 100 поддержки принятия врачебных решений, часть операций валидации могут выполняться на стороне самой медицинской организации или на стороне центральной медицинской информационной системы 150. В таком случае, если устройству 200 для определения патологии известно, какие именно операции валидации уже произведены в отношении подлежащих обработке данных, блок 230 валидации данных может не выполнять эти операции, что позволяет упростить и ускорить обработку и тем самым повысить производительность. Тем не менее, в другом варианте осуществления устройству 200 для определения патологии может быть неизвестно, какие именно операции валидации уже произведены, или оно может повторно выполнять их в целях дополнительной перепроверки. Это может обеспечить повышение качества обработки.

Переходя конкретно к операциям валидации, из подлежащих обработке данных выполняется попытка извлечь изображение. Если попытка терпит неудачу, то делается вывод, что файл изображения поврежден или не может быть прочитан. Причиной этому могут быть такие факторы, как отсутствие изображения в данных, невозможность считывания метаданных, присутствие каких-либо аномальных и не учтенных значений тегов и т.д. В таком случае данные не передаются на обработку, и по ним создается соответствующее указание. Выполнение данной операции в блоке 230 валидации данных является предпочтительным, так как даже если она уже выполнялась ранее другими устройствами, данные могут быть повреждены в процессе их отправки на устройство 200 для определения патологии или могут иметь формат, по той или иной причине недоступный в данный момент устройству 200.

Также может выполняться проверка, соответствуют ли данные, подлежащие обработке, тому типу обработки, который выполняется в данном устройстве 200 для определения патологии. Например, если устройство 200 для определения патологии предназначено для обработки рентгеновских снимков органов грудной клетки в прямой проекции, может выполняться проверка, содержат ли приложенные данные рентгеновский снимок органов грудной клетки в прямой проекции. Различные варианты реализации такой проверки известны специалистам в данной области техники и могут включать в себя, например, предварительно обученную нейронную сеть (нейросеть), производящую соответствующую классификацию, или иные методы компьютерного зрения. Если проверка терпит неудачу, то такие данные не передаются на обработку, и по ним создается соответствующее указание. Примеры подобных ошибок, когда исследование заявлено как рентгенограмма органов грудной клетки в прямой проекции, а на самом деле таковым не является и не может быть обработано, приводятся на Фиг. 3 и 4.

Кроме того, может производиться проверка, являются ли данные деперсонализированными. Для этого проверяется, содержат ли поля, которые относятся к персональным данным, какие-либо значения, и если содержат, то являются ли эти значения деперсонализированными. Например, если поле “PatientName” пустое или содержит предварительно заданное значение “0” или “Аноним”, как указано на Фиг. 2 и Фиг. 4, то считается, что это поле деперсонализировано, а поле со значением «Венера Милосская», указанное на Фиг. 3, не является деперсонализированным. Если данные не являются деперсонализированными, то соответствующее изображение не передается на обработку, и по нему создается указание о невозможности обработки.

В случае использования уникальных идентификаторов может также производиться проверка, имеет ли уникальный идентификатор изображения предварительно заданный формат. Например, если идентификатор изображения должен строго иметь формат XXYY, то идентификатор изображения с Фиг. 2, имеющий значение «56HJ», пройдет проверку, а идентификаторы изображения с Фиг. 3 и 4 со значениями «0» и «C3PO» не пройдут проверку. Изображения, у которых формат идентификатора не удовлетворяет требованиям, не передаются на обработку, и по ним создается указание о невозможности обработки.

Следует отметить, что устройство 200 для определения патологии может поддерживать несколько разных допустимых значений деперсонализированных данных и форматов уникальных идентификаторов, и в таком случае блок 230 валидации данных может проверять, соответствуют ли значения полей в принятых данных и формат идентификатора принятого изображения хотя бы одному из соответствующих поддерживаемых значений и форматов. Если значение не соответствует предварительно заданному допустимому значению или идентификатор изображения имеет неверный формат, то делается предположение, что принятые данные не являются деперсонализированными. В таком случае они не передаются на обработку, и по ним создается соответствующее указание.

Также может производиться проверка, имеет ли считанное изображение размер (разрешение в пикселях), равный или превышающий предварительно заданный минимальный размер, поддерживаемый устройством 200 – например, 1024х1024 пикселя или 800х800 пикселей, в зависимости от требований конкретного применения. Если исходное изображение имеет размер меньше минимального, то устройство 200 может не обеспечить достаточную точность, поэтому такое изображение не передается на обработку, и по нему создается соответствующее указание.

Кроме того, может выполняться проверка, является ли изображение позитивом или негативом. Различные варианты реализации такой проверки известны специалистам в данной области техники и могут включать в себя, например, предварительно обученную нейронную сеть (нейросеть), производящую соответствующую классификацию, или иные методы компьютерного зрения. Если в результате проверки выявляется, что изображение не соответствует входным требованиям устройства 200 для определения патологии, то в дальнейшем блок 240 подготовки изображений может выполнять надлежащее преобразование изображения в негатив или позитив.

Валидация позволяет отсеять данные, по которым не может быть проведен анализ или же точность обработки будет иметь заведомо низкую точность. Соответственно, снижается нагрузка на самую ресурсоемкую часть анализа и повышается точность предсказания. Кроме того, отсев изображений, которые не являются деперсонализированными, обеспечивает отсутствие обработки персональных данных на стороне устройства 200, что снижает требования к его реализации и сертификации.

Блок 240 подготовки изображений принимает из блока 220 хранения данных и/или из блока 230 валидации данных прошедшее валидацию медицинское изображение и выполняет над ним предварительные преобразования, с тем чтобы подготовить его для непосредственного использования в блоке 250 предсказания патологии.

В частности, выполняемая в блоке 240 подготовка изображений может заключаться в следующем.

Подлежащее обработке медицинское изображение считывается и при необходимости преобразуется в градации серого с предварительно заданной глубиной цвета. Параметры яркости и цветности исходного изображения зависят от параметров, выставленных врачом-рентгенологом при работе с устройством для получения медицинских изображений, и содержатся в метаданных изображения. Например, глубина цвета исходного изображения может составлять 12-16 бит. При этом, например, в результате считывания и преобразования в изображение с глубиной цвета 8 бит может быть получена матрица целочисленных значений пикселей от 0 до 255. Также, как указывалось выше, может выполняться надлежащее преобразование изображения в негатив или позитив.

Исходный размер медицинских изображений может быть относительно большим – например, у рентгеновских снимков он составляет в среднем 2500х2500 пикселей, то есть 2500 пикселей по высоте (по вертикали) и 2500 пикселей по длине (по горизонтали). Изображения в таком размере в общем случае поддаются обработке с применением методов машинного обучения, однако такие модели затрачивают очень много ресурсов.

Кроме того, диапазон размеров входных медицинских изображений может быть достаточно велик, что может вызвать неудобство, если пытаться производить обработку каждого отдельного изображения непосредственно в исходном размере. В частности, становится затруднительно подобрать набор методов обработки, одинаково эффективный для разных размеров.

В связи с этим перед обработкой больших медицинских изображений предпочтительно производить уменьшение их размера. Это позволяет без значимой потери качества значительно сократить затрачиваемые ресурсы: время, вычислительную мощность, энергопотребление. Применимы различные методы уменьшения размера - например, сжатие, кадрирование (обрезка) и т.д. Методы сжатия известны специалистам в данной области техники, поэтому подробное описание процесса сжатия здесь не приводится. Что касается обрезки изображения, она будет описана далее.

Например, в одном из вариантов осуществления, если медицинским специалистом, проводившим исследование, в параметрах изображения предварительно задана область интереса (VOI), то может выполняться соответствующая обрезка изображения (VOI LUT) для получения изображения, содержащего только область интереса. Например, если медицинский специалист, проводивший рентгенологическое исследование органов грудной клетки, указал область интереса, то согласно параметрам, «вшитым» в изображение, применяется обрезка, в результате которой на изображении остается только область легких.

В другом варианте осуществления в дополнение к вышеупомянутой обрезке VOI LUT или вместо нее выполняется поиск области интереса на изображении и кадрирование изображения путем отсечения частей изображения, не входящих в найденную область интереса. Для целей кадрирования могут быть использованы алгоритмы компьютерного зрения, обученные искать на изображении область интереса, которая включает в себя только область, ограниченную органами или полостями, подлежащими анализу.

Для этого сначала размер входного изображения приводится к единому первому размеру. Первый размер изображения является предварительно заданным – например, 800x800 пикселей. Выбранное значение зависит от требований конкретного применения и производительности используемого оборудования.

В частности, на стадии проектирования может производиться оценка того, какой наименьший размер медицинского изображения может поступать в устройство 200 от медицинской организации 110 и/или от центральной медицинской информационной системы 150, и в соответствии с этим задаваться вышеупомянутый первый размер, который меньше или равен наименьшему возможному размеру входного медицинского изображения.

Тем не менее, на практике возможны также ситуации, когда наименьший возможный размер входного медицинского изображения слишком мал или принцип “меньше меньшего” по тем или иным причинам не подходит для отдельно взятого конкретного применения. Тогда первый размер, к которому приводятся все входные медицинские изображения, может быть задан по иному принципу, и в таком сценарии часть входных изображений будут сжиматься, часть растягиваться, а часть оставаться без изменения.

Затем выполняется кадрирование (crop, кроп) изображения таким образом, чтобы оно охватывало только легкие. В частности, изображение анализируется по отдельности разными методами распознавания образов – например, методом Виолы-Джонса с применением каскадного классификатора на основе признаков Хаара (Haar Cascades), методом гистограммы направленных градиентов (Histogram of Oriented Gradients, HOG) и методом на основе локальных бинарных шаблонов (Local Binary Patterns, LBP), в результате чего формируется несколько прямоугольников, каждый из которых указывает область, которая охватывает только правое и левое легкое. Соотношение сторон прямоугольников зависит от размера и формы легких. Анализ может выполняться параллельно, последовательно или иным подходящим образом. Используемые алгоритмы распознавания образов должны быть предварительно обученными для распознавания легких на изображении, имеющем первый размер.

Упомянутые выше метод Виолы-Джонса, метод гистограммы направленных градиентов и метод на основе локальных бинарных шаблонов являются несколько более быстрыми по сравнению с традиционными сверточными нейронными сетями и требуют несколько меньшей обучающей выборки.

Метод Виолы-Джонса имеет очень высокую точность, когда распознаваемый объект на изображении имеет угол поворота не более 30-35 градусов. Соответственно, он хорошо применим для анализа рентгеновских снимков, так как положение пациента типизировано для получения изображения, например, в прямой проекции или в боковой проекции.

Метод гистограммы направленных градиентов слабо чувствителен к смещению, изменению масштаба и яркости изображения и несколько чувствителен к перемене ориентации объекта. Тем не менее, по указанным выше причинам он также хорошо применим для анализа рентгеновских снимков.

Методы на основе локальных бинарных шаблонов в целом имеют высокую скорость и точность распознавания, а также слабо чувствительны к яркости изображения и к перемене ориентации объекта.

Затем строится один общий прямоугольник (см. пример на Фиг. 6A), который включает в себя все ранее полученные прямоугольники (1, 2 и 3 для правого и левого легкого). Входное (приведенное к первому размеру) изображение кадрируется до данного общего прямоугольника, остальные области изображения отбрасываются, поэтому кадрированное изображение содержит только область легких (см. пример на Фиг. 6B). В одном из вариантов осуществления каждая сторона общего прямоугольника содержит в себе по меньшей мере одну из сторон прямоугольников, полученных в результате анализа изображения, при этом ни одна из сторон этих прямоугольников не выступает за пределы общего прямоугольника.

Результаты разных методов распознавания образов в общем случае не являются идентичными (в примере на Фиг. 6A прямоугольники 1, 2 и 3 отличаются), поэтому такое объединение результатов позволяет охватить легкие полностью без ошибочного отсечения их частей, но в то же время и сфокусироваться именно на области легких, отбросив области, не представляющие интерес для данного исследования.

Кроме того, существует вероятность, что один или два из используемых методов распознавания образов не смогут найти легкое на изображении. Вместе с тем, вероятность того, что все три метода не найдут легкое, крайне мала. Следовательно, использование сразу нескольких методов распознавания образов является оправданным, так как обеспечивается защита от потери данных и повышение точности предсказания.

Возможны также и другие варианты осуществления, когда вокруг полученных в результате анализа прямоугольников, как это показано на Фиг. 6A, дополнительно захватывается небольшая пограничная зона (отступ) в один или более пикселей, если выбранные конкретные методы анализа недостаточно точны и могут привести к потере областей интереса. Размеры отступов вверх, вниз, вправо и влево могут отличаться. Оптимальные размеры отступов могут подбираться в зависимости от результатов, демонстрируемых обученными алгоритмами, и требований к точности. В конкретном неограничивающем примере, если размер обрабатываемого изображения составляет 512х512 пикселей и применяются все три вышеупомянутых метода распознавания образов, отступ может составлять 15 пикселей (или менее, если отступ выходит за границу изображения). Это позволяет избежать потери данных и повысить точность предсказания.

Соотношение сторон изображения, полученного в результате кадрирования (то есть общего прямоугольника) (Фиг. 6B), зависит от размера и формы органов или полостей, подлежащих анализу. Для дальнейшей обработки требуется привести его к единому формату. Для этого размер изображения изменяется до второго размера. Второй размер изображения является предварительно заданным – например, в виде квадрата 224x224, 320x320 или 512x512 пикселей. Выбранное значение зависит от требований конкретной применяемой далее нейросети. Что касается указанного выше первого размера изображения (800x800 пикселей), он позволяет существенно уменьшить размер исходного изображения для ускорения обработки, но при этом получить в результате кадрирования по-прежнему относительно большое изображение, которое не пришлось бы в большинстве случаев растягивать для приведения ко второму размеру, что потенциально могло бы уменьшить точность обработки.

При необходимости изображение может подвергаться нормализации. В частности, значения пикселей из исходного диапазона (например, [0…255]) приводятся к диапазону, требуемому применяемой далее нейросетью (например, [0…1]). Различные методы нормализации известны специалистам в данной области техники и не раскрываются здесь подробно. В иллюстративном неограничивающем примере может применяться простая нормализация (Х-Хmin)/(Xmax-Xmin), где Х – это значение текущего пикселя, а Хmin и Xmax – это минимальное и максимальное значения пикселей в нормализуемом изображении.

Следует понимать, что возможны варианты осуществления, в которых нормализация изображения может быть выполнена и на более ранней стадии – например, еще до первого сжатия изображения. Тем не менее, предпочтительно выполнять ее после приведения кадрированного изображения ко второму размеру, так как это позволяет повысить точность на каждом из предыдущих этапов подготовки (предварительной обработки) изображения, а также несколько снизить объем вычислений, производимых непосредственно при нормализации.

Тем самым, создается изображение, подготовленное к дальнейшей обработке.

Блок 250 предсказания патологии принимает из блока 220 хранения данных и/или из блока 240 подготовки изображений подготовленное медицинское изображение, ограниченное областью интереса, и анализирует его. В частности, блок 250 предсказания патологии с использованием предварительно обученной нейронной сети определяет наличие или отсутствие патологии и при ее наличии определяет наиболее вероятные границы, в пределах которых она расположена.

Существует ряд патологических состояний органов и полостей, которые могут быть идентифицированы по медицинскому изображению врачом. Создание устройства, которое на основе ИИ анализировало бы снимки и выдавало точное указание для каждой из множества возможных патологий, является затруднительным и представляется нецелесообразным, поскольку многие патологии имеют схожие между собой признаки, и одного лишь деперсонализированного снимка для более детального предсказания часто бывает недостаточно, даже если нейронные сети обучены на больших качественно размеченных наборах данных.

Соответственно, в данном изобретении предлагается не анализировать дифференцированную вероятность конкретной патологии, а вместо этого определять вероятность наличия хотя бы одного рентгенологического признака из предварительно заданного множества возможных патологий. Для каждого органа и/или полости или для каждого типа диагностического исследования предварительно задается множество возможных патологий, выявлению которых способно обучиться и которые способно выявить в процессе работы устройство для определения патологии.

Например, применительно к такому типу исследования, как рентгенограмма органов грудной клетки в прямой проекции, предварительно заданное множество возможных патологий, признаки которых могут выявляться устройством для определения патологии, может быть следующим:

- Плевральный выпот;

- Пневмоторакс;

- Ателектаз;

- Очаг затемнения;

- Инфильтрация/консолидация;

- Диссеминация;

- Полость с распадом;

- Полость с уровнем жидкости;

- Кальцинат/кальцинированная тень в легких;

- Нарушение целостности кортикального слоя.

Следует отметить, что термин «пневмония» объединяет большую группу болезней, каждая из которых имеет свою этиологию, патогенез, клиническую картину, рентгенологические признаки, характерные данные лабораторных исследований и особенности терапии. Учитывая, что многие из перечисленных выше рентгенологических признаков могут наблюдаться при пневмонии, настоящее изобретение позволяет выявлять в числе прочего признаки пневмонии.

Применительно к другим органам и типам исследований предварительно заданное множество возможных патологий может отличаться.

Врач, получивший результат вышеуказанного определения, имеющий определенный опыт, а также при необходимости располагающий дополнительной информацией о пациенте, такой как анамнез, история болезни, жалобы, физическое состояние, результаты анализов и т.д., может иметь более полную картину и сделать более точное заключение. Соответственно, следует отметить, что результат работы предложенного устройства не является клинически значимым медицинским заключением, а применяется для поддержки принятия врачебных решений, при этом клиническое заключение должно приниматься врачом-рентгенологом.

Принимая во внимание вышесказанное, авторы настоящего изобретения провели ряд исследований и экспериментов по определению наличия патологии органов на медицинском изображении с использованием машинного обучения на примере органов грудной клетки, в ходе которых выявили, что наилучшие результаты показывает описанный далее подход.

В частности, выполняемая в блоке 250 обработка изображений может заключаться в следующем.

Нейронная сеть интерпретирует полученное изображение с целью выявления признаков патологий, при этом в качестве результата работы выдается вероятность наличия хотя бы одного рентгенологического признака из предварительно заданного множества возможных патологий, свойственных соответствующим органам или полостям. Например, для органов грудной клетки определяется вероятность наличия хотя бы одного рентгенологического признака из вышеуказанного перечня.

Особенностью настоящего изобретения является то, что нейронная сеть предварительно обучена учитывать дополнительные данные о пациенте, такие как пол и возраст.

В процессе исследований ошибок нейронных сетей, которые обучены только на данных о патологиях и анализируют только изображение, авторы обнаружили, что часть ошибок связаны с половыми особенностями пациентов. Например, нейросеть иногда может ошибаться в случаях, когда размер молочных желез у женщины отличается от среднестатистических размеров. Также наличие грудных имплантов у женщин нередко вызывает затруднения у нейросети и может неверно распознаваться как патология. Возможны ситуации, когда на изображении проявлены соски молочной железы, что тоже может приводить к трудностям обработки.

Кроме того, авторы заметили, что традиционные нейросети не учитывают естественные половозрастные изменения анатомии, происходящие в костных структурах и внутренних органах человека. Например, с возрастом у людей могут возникать такие изменения, как фиброз (особенно прикорневой), расширение сердца (часто), удлинение и склероз аорты (часто), уплотнения хрящевой ткани в ребрах, остеопороз в костях, снижение плотности костной структуры (что приводит к увеличению прозрачности костей на снимках), деформирующий остеоартроз в суставах, снижение высоты тел позвонков, развитие субхондрального склероза, наличие листезов, грыжи шилолистный и поммера и т.д. Соответственно, чем старше человек, тем подобных изменений может становиться больше. При этом известно, что в целом могут существовать различия в характере возрастных изменений в организме между мужчинами и женщинами, связанные с образом жизни. Также известны исследования, показывающие, что изменения у мужчин и женщин как минимум в некоторых возрастных интервалах протекают с различной интенсивностью.

Многие из этих изменений проявляются на медицинских изображениях, и та или иная степень изменений может считаться допустимой для определенного возраста, однако традиционные нейросети не принимают это во внимание и могут выводить ошибочное предсказание о том, что пациент болен. Поскольку предложенное устройство, как упоминалось выше, не предоставляет дифференцированную вероятность конкретной патологии, а лишь предсказывает вероятность присутствия признаков хотя бы одного патологического изменения, то ошибочное указание о наличии патологии на снимке может приводить к усложнению работы медицинского специалиста с таким снимком.

Например, на Фиг. 7 приведен образец рентгеновского изображения для пациента в возрасте менее 65 лет, легкие и позвоночник которого имеют состояние, соответствующее данному возрасту.

На Фиг. 8 приведен образец рентгеновского изображения для пациента в возрасте 72 лет. Со стороны сердечно-сосудистой системы на данном снимке имеет место расширение сердца, расширение верхней полой вены, застойные сосуды преимущественно в нижних отделах, усиленный легочной рисунок; со стороны костной системы - артроз 1 реберно-ключичного сустава с обеих сторон, спондилезные разрастания позвонков в латеральные стороны. Все эти признаки видны на снимке, и несмотря на то, что они в целом приемлемы для человека в таком возрасте, нейросеть, которая не учитывает возраст пациента, может ошибочно посчитать, что он болен, а медицинскому специалисту, получившему такое предварительное заключение, придется потратить дополнительное время на изучение снимка, который на самом деле не требует такого внимания.

В уровне техники не предложены конкретные способы решения этих проблем, поэтому авторами предложена собственная методика того, как учесть данные о поле и возрасте пациента, чтобы повысить точность предсказания патологий.

Согласно настоящему изобретению, нейронная сеть 300, упрощенный пример архитектуры которой приведен на Фиг. 9, такова, что на протяжении предварительно заданного количества слоев (предварительный участок 310) она анализирует изображение традиционным образом, после чего промежуточно полученные данные поступают на три подсети, каждая из которых предназначена для предсказания разных выходных данных.

В частности, предлагается использовать сверточную нейронную сеть, в которой каждый слой последовательно соединен с каждым последующим слоем. В качестве примера используется архитектура DenseNet-121 (плотно соединенная сверточная сеть), так как именно она показала наилучшие результаты для целей настоящего изобретения. Например, как показано на Фиг. 9, предварительный участок 310 содержит блок 320 свертки (convolution), блок 330 пулинга (pooling), 4 плотных блока (dense block) 341-344, 3 блока перехода (transition) 351-353. Более подробная архитектура DenseNet известна специалистам в данной области техники и не раскрывается в данном документе. Также следует понимать, что в других вариантах осуществления может быть использована сеть DenseNet с другим индексом, такая как DenseNet-161, -169, -201, -264 и т.д., если ее показатели производительности и точности будут удовлетворять требованиям конкретного применения. Предварительный участок 310 завершается последним плотным блоком, без использования известного из традиционной DenseNet последующего пулинга с однократным линейным преобразованием.

После последнего плотного блока (четвертого плотного блока 344 в примере на Фиг. 9) происходит разделение, и данные, полученные в результате анализа на предварительном участке 310, далее анализируются по отдельности каждой из трех подсетей 360, 370, 380. Формат данных на выходе каждой подсети может быть различным в зависимости от конкретной реализации.

Первая подсеть 360 предсказывает вероятность наличия патологии на анализируемом снимке. Данная подсеть реализуется в виде классификатора. В конкретном примере классификатор с помощью линейной функции из набора входных признаков получает промежуточный набор выходных признаков, выполняет сигмоидную функцию активации и затем вновь с помощью линейной функции получает итоговый набор выходных признаков, соответствующий наличию или отсутствию патологии. В частности, в примере на Фиг. 9 первая подсеть 360 может иметь структуру 1024-18-2, где 1024 - это набор входных признаков, 18 - промежуточный набор выходных признаков, 2 - это итоговый набор выходных признаков (здоров или болен).

Соответственно, в одном из вариантов осуществления на выходе первой подсети 360 может выводиться лишь двоичное число, указывающее, имеется ли патология на данном снимке. «0» может указывать на отсутствие патологии (то есть на то, что пациент здоров), а «1» может указывать на наличие патологии. Возможно также и обратное указание, где «1» - здоров, «0» - вероятно, болен. В другом варианте осуществления на выходе первой подсети 360 может выводиться число в некотором диапазоне, например, от 0 до 1 или от 0 до 100, указывающее вероятность наличия патологии (структура первой подсети 360 в таком случае будет отличаться от указанной выше структуры 1024-18-2). Также возможен текстовый формат указания.

Вторая подсеть 370 предсказывает предполагаемый пол пациента. Данная подсеть с помощью предварительно заданной функции из набора входных признаков получает набор выходных признаков, соответствующий предполагаемому полу пациента. В частности, в примере на Фиг. 9 вторая подсеть 370 может иметь структуру 1024-3, где 1024 - это набор входных признаков, 3 - это набор выходных признаков (мужской, женский или другое).

Наличие третьей градации (другое) в данном случае связано с тем, что в имеющихся в наличии обучающих наборах данных часть снимков не имела разметки по полу, и доля этих снимков была такова, что было бы нецелесообразно отбрасывать их и не использовать для обучения. Таким образом, в качестве разметки по полу для таких снимков приходилось указывать “другое” и ввести такую градацию на выходе второй подсети 370, так что часть снимков она в конечном счете тоже стала причислять к этой градации. Тем не менее, это обеспечило возможность использования не полностью размеченных наборов данных, что существенно увеличило возможности обучения, и точность определения патологии возросла.

Более того, в современных условиях, когда медицина предоставляет множество возможностей по изменению своего тела, а общество все чаще признает небинарную гендерную идентичность и третий пол, может возникнуть проблема как с физической идентификацией нейросетью пола по бинарному типу у пациентов, изменивших свое тело, так и с разметкой изображений в отношении пациентов, самостоятельно указывающих в графе “пол” небинарное значение, отличающееся от “мужчина” или “женщина”. Наличие третьей градации пола (другое) в настоящем изобретении позволяет учитывать все такие случаи. Соответственно, настоящее изобретение позволяет повысить точность предсказания за счет того, что обеспечивает как возможность использования снимков таких пациентов для обучения нейросети, что увеличивает объем доступных обучающих наборов данных, так и возможность анализа снимков таких пациентов.

Соответственно, в одном из вариантов осуществления, если для обучения применяются только полностью размеченные данные, содержащие только 2 пола (мужской и женский), то на выходе второй подсети 370 может выводиться двоичное число, указывающее предполагаемый пол пациента, где «0» - мужской, а «1» - женский, или наоборот, «1» - мужской, а «0» - женский. В другом варианте осуществления на выходе первой подсети может выводиться текст, где «м», «муж», «мужской», «m», «male» и т.д. – мужской пол, а «ж», «жен», «женский», «f», «female» и т.д. – женский пол, «д», «др», «другое», «o», «other» и т.д. – другое. Если же для обучения применяются не только полностью размеченные данные и/или данные содержат разметку с отнесением пола к категории «другое», то на выходе второй подсети 370 также может выводиться дополнительное число или текст, указывающее на то, что нейросеть не смогла в явном виде отнести пол пациента к мужскому или женскому, поэтому он отнесен к категории «другое».

Третья подсеть 380 предсказывает предполагаемый возраст пациента. Данная подсеть с помощью предварительно заданной функции из набора входных признаков получает набор выходных признаков, соответствующий предполагаемому возрасту пациента. В частности, в примере на Фиг. 9 третья подсеть 380 может иметь структуру 1024-10, где 1024 - это набор входных признаков, 10 - это набор выходных признаков (0-10 лет, 10-20 лет, …, 90 и более лет).

Соответственно, в одном из вариантов осуществления, на выходе третьей подсети 380 может выводиться число, указывающее предполагаемый возраст пациента конкретно в годах – например, 25 лет, 68 лет. В другом варианте осуществления на выходе третьей подсети 380 может выводиться указание на диапазон возрастов, к которому наиболее вероятно относится пациент. Например, если разделить возраста на 10 равных диапазонов по 10 лет, то на выходе третьей подсети 380 указывается, к какому из 10 диапазонов наиболее вероятно относится пациент, с помощью номера диапазона – например, «4», то есть от 40 до 50 лет, или с помощью прямого указания – например, «от 80 до 90 лет». Кроме того, по аналогии со второй подсетью 370, если для обучения применяются не только полностью размеченные данные, то на выходе третьей подсети 380 может выводиться дополнительное число или текст, указывающее на то, что возраст пациента не определен. Это обеспечивает возможность использования не полностью размеченных наборов данных, что увеличивает возможности обучения и точность определения патологии.

Предсказания пола и возраста используются только на стадии обучения, как будет описано далее, а предсказание патологии используется как на стадии обучения, так и во время основной работы устройства. Соответственно, при наличии технической возможности во время основной работы устройства вторая подсеть 370 и третья подсеть 380 могут быть отключены, что может обеспечить снижение энергопотребления и вычислительных ресурсов.

Что касается обучающих данных, то важно отметить, что одной из проблем, возникающих при обучении нейронной сети, является разрозненность обучающих наборов данных (датасетов), так как медицинские и иные организации, подготавливающие такие данные, могут иметь разный профиль. Например, одна организация может специализироваться на лечении туберкулеза, другая организация может специализироваться на педиатрии, еще одна организация может иметь широкий профиль и т.д. Кроме того, медицинские организации могут находиться в разных странах. Соответственно, данные, поставляемые каждой из этих организаций для обучения, могут иметь существенно различающиеся между собой подходы к описанию снимков, распределение встречающихся на снимках патологий и половозрастное распределение обследованных пациентов.

Настоящее изобретение позволяет эффективным образом устранить эти недостатки, так что обеспечивается возможность использовать для обучения множество различных обучающих наборов данных, что значительно повышает качество и точность выявления патологий.

В частности, в отношении различного распределения встречающихся на снимках патологий, согласно настоящему изобретению, устройство 200 обучается находить на изображении признаки любой патологии из предварительно заданного множества возможных патологий, но не предоставляет дифференцированную вероятность конкретной патологии, что устраняет необходимость наличия достаточного количества снимков с каждой конкретной патологией для каждого пола и возраста и тем самым устраняет зависимость от наполнения (контента) используемых для обучения наборов данных.

В отношении различного распределения обследованных пациентов по возрасту, авторами настоящего изобретения было выявлено, что если указывать не конкретный возраст, а разделить возраста на равные диапазоны – например, по 10 лет, по 15 лет, по 7 лет, то устройство демонстрирует высокую эффективность: высокую точность предсказания, высокую скорость работы и скорость обучения, меньший требуемый объем обучающих данных, а также меньшую зависимость от наполнения используемых для обучения наборов данных. Число диапазонов и их размер могут быть разными в зависимости от условий конкретного применения, в том числе от возрастных показателей обучающих данных. Следует понимать, что слишком большие диапазоны могут приводить к потере информации, так как может быть утеряна разница, например, между человеком в фазе активного роста и человеком среднего возраста или между человеком среднего возраста и человеком в фазе старения. С другой стороны, слишком маленькие диапазоны могут запутать нейронную сеть, так как ей придется делать различия между почти равными по возрасту людьми, при том что одни и те же возрастные изменения в одной и той же стадии могут возникать у людей не внезапно, а у всех в относительно разном возрасте. Соответственно, согласно настоящему изобретению, оптимальный размер диапазонов составляет от 7 до 15 лет.

Что касается различного подхода к описанию снимков, этот вопрос обсуждается ниже в данном документе.

Далее будет более подробно описано предварительное обучение модели. В частности, оно производится по методу обучения с учителем на основе множества медицинских изображений, которые были заранее обработаны и размечены медицинскими специалистами, обладающими достаточной квалификацией - например, врачами-рентгенологами. В частности, в результате визуального изучения изображений врач указывает, имеется ли на представленном изображении патология. Например, «0» может указывать на отсутствие патологии (то есть на то, что пациент здоров), а «1» может указывать на наличие патологии, или наоборот. Кроме того, для каждого изображения из обучающих данных указывается пол и возраст пациента. Это делает либо врач вручную, либо считывание производится автоматически из данных о пациенте, сохраненных в медицинской информационной системе 130 медицинской организации 110 или в центральной медицинской информационной системе 150, либо из метаданных изображения, если они содержат эти сведения, и т.д. Добавление меток вручную может происходить путем анализа текста описания снимка врачом, на основании которого составлялось заключение о наличии/отсутствии патологии на снимке. Также возможно автоматическое распознавание имеющихся текстов описаний к снимкам/на снимках, однако следует понимать, что точность распознавания в общем случае не равна 100%, что снижает степень доверия к такой разметке и вносит потенциальные ошибки в процесс обучения.

Процессом обучения нейронной сети 300 управляет блок 280 обучения посредством применения алгоритма обучения к обучаемой нейронной сети с использованием обучающих данных. Указания (разметка) от врача используются обучаемой нейронной сетью в качестве истинных данных (ground truth). Например, в одном варианте осуществления разметка может представлять собой 3 числа: «1» (болен), «1» (женский) и «0» (номер диапазона, указывающий, что снимок принадлежит пациенту в возрасте 0-10 лет). В другом варианте осуществления разметка может представлять собой иные значения: «здоров», «м» и «10-20» (лет). Предпочтительно, чтобы формат разметки совпадал с форматом вывода данных в вышеупомянутых трех подсетях, чтобы не было необходимости приведения данных к единому формату для сверки результата предсказания с истинными данными. Тем не менее, если используется множество разных наборов обучающих данных из разных источников, то возможны различия в разметке, и тогда приведение к единому формату может быть необходимой процедурой.

В иллюстративном варианте осуществления 70% взятых для обучения изображений могут использоваться непосредственно для обучения, а 30% для тестирования модели. В другом варианте осуществления может использоваться иное соотношение, более подходящее для целей обучения конкретной нейросети. Например, для обучения нейросети изображения могут быть разделены на обучающую, валидационную и тестовую выборки. Размер обучающей выборки может составлять 70%, размер валидационной выборки может составлять 15%, и размер тестовой выборки может составлять 15% от изображений, поданных на обучение. Конкретные соотношения зависят от количества обучающих снимков и предназначены для проверки обобщаемой модели – происходит проверка, в какой мере результаты исследования применимы к новым данным, перед использованием модели в рабочем режиме в медицинской организации.

В процессе обучения изображения подготавливаются аналогично тому, как было описано выше применительно к блоку 240, и подаются на вход нейросети, при этом используются изображения как с наличием, так и с отсутствием патологий. На каждом шаге обучения нейронная сеть рассчитывает предсказания для одного или более изображений. Эти предсказания сравниваются с указанием истинного наличия/отсутствия патологии, а также с указанием истинного пола и возраста пациента, и рассчитывается значение функции потерь (насколько сильно нейронная сеть ошиблась в выявлении наличия патологии, в определении пола и возраста пациента). Далее, с помощью метода градиентного спуска и алгоритма обратного распространения ошибки (backpropagation) все веса (весовые коэффициенты) нейронной сети изменяются в соответствии с выбранным параметром скорости обучения в направлении, обратном вычисленному градиенту, для того чтобы минимизировать ошибку на текущем(их) изображении(ях). Этот шаг повторяется многократно, и в результате процесса обучения веса нейронной сети сходятся к оптимальным. В дальнейшем эти веса используются сетью в процессе работы устройства для выявления патологий на входных изображениях, которые не подвергались разметке.

В частности, как было указано выше, во время основной работы устройства используется только предсказание патологии, то есть предварительный участок 310 нейронной сети и первая подсеть 360, которая предсказывает вероятность наличия патологии на анализируемом снимке.

В одном из вариантов осуществления выходные данные блока 250 предсказания патологии, то есть указание вероятности наличия патологии, являются конечным результатом работы устройства 200 и используются далее другими устройствами – например, сохраняются в блоке 220 хранения данных, откуда в дальнейшем могут извлекаться по запросу от других устройств, и/или отправляются в блок 270 передачи данных, который передает этот результат в другое устройство – например, в центральную медицинскую информационную систему 150 или в медицинскую организацию 110, запрашивавшую обработку данных.

В другом варианте осуществления выходные данные блока 250 предсказания патологии также передаются в блок 260 формирования отчета, который формирует отчет об исследовании, проведенном в устройстве 200. Отчет об исследовании может содержать по меньшей мере одно из следующего: а) изображение с визуализацией патологии; б) текстовый протокол исследования.

Изображение с визуализацией патологии может формироваться для тех изображений, для которых в результате анализа была выявлена вероятность наличия патологии, превышающая предварительно заданную пороговую вероятность наличия патологии, что указывает на то, что врачу-рентгенологу следует обратить внимание на такой снимок. Пороговая вероятность наличия патологии в общем случае составляет 0,5 (или 50%), но в зависимости от показателей точности конкретной обученной модели и от степени доверия к ней может варьироваться при практическом применении как в меньшую, так и в большую сторону. Например, медицинская организация может специализироваться на лечении таких заболеваний, раннее выявление которых является критически важным с точки зрения прогноза лечения, поэтому может запрашивать визуализированные изображения, если устройством выявлена вероятность наличия патологии всего 10% и более. В другом примере медицинская организация может быть прикреплена к предприятию, и основной контингент ее пациентов может иметь профессиональные хронические заболевания органов грудной клетки, и некоторые изменения на снимках у таких пациентов могут считаться допустимыми, поэтому визуализация может запрашиваться только для случаев, когда устройством выявлена вероятность наличия патологии 60% и более. Следует отметить, что возможно множество иных ситуаций, которые не перечислены в данном документе, но входят в объем данного изобретения. Возможность выбора пороговой вероятности наличия патологии позволяет адаптировать результаты работы предложенного устройства 200 к различным конкретным применениям, например, чтобы снизить нагрузку на медицинский персонал и при этом обеспечить раннее выявление патологий с необходимой точностью.

Изображение с визуализацией патологии представляет собой копию проанализированного изображения, на которое наложено указание найденных признаков патологий. Например, в случае использования формата DICOM оно может быть сформировано в виде DICOM Secondary Capture (вторичный снимок DICOM).

Возможны различные варианты визуализации. В одном из вариантов осуществления визуализация может выполняться в виде тепловой карты, на которой выполняется более интенсивное выделение тех точек и/или областей, которые представляют больший интерес с точки зрения наличия патологий, менее интенсивное выделение тех точек и/или областей, которые представляют меньший интерес, а те области, которые, предположительно, не содержат патологии, не выделяются. Принцип выделения может быть различным - так, выделение может выполняться с помощью градиента одного и того же цвета (например, оттенки красного или оранжевого), с помощью градиентного перехода от одних цветов к другим цветам (например, от желтого к красному), с помощью точного указания цвета (например, голубой – меньшая вероятность, синий – большая вероятность), с помощью размера точки (например, чем меньше вероятность, тем меньше точка) и т.д. Применимы различные методы построения тепловых карт - например, повышенные характеристики показывает комбинация из двух методов: Grad-CAM (взвешенная комбинация карт активации классов на основе градиентов) и Saliency maps (карты значимости). В частности, каждый из этих методов по отдельности анализирует входное изображение нейронной сети 300 и активации (числа) внутри нейронной сети 300, которые были получены при прогоне через нее этого изображения, после чего результаты работы методов объединяются, и строится общая тепловая карта, пример которой изображен на Фиг. 10.

Тепловые карты позволяют регулировать степень внимания, которую медицинскому специалисту следует обратить при изучении той или иной области на снимке, избавляя от необходимости детального визуального осмотра всего изображения. Таким образом, обеспечивается снижение нагрузки на медицинский персонал.

Тем не менее, возможны ситуации, когда тепловая карта является недостаточно точной, и в таком случае врачу, наоборот, приходится тратить время на изучение такой области, которая не представляет интереса. Также выяснилось, что в некоторых реализациях тепловые карты загромождают собой изображение, вследствие чего специалисту приходится тратить время на то, чтобы просматривать одновременно два изображения: как исходное изображение, так и изображение с нанесенной на него тепловой картой.

Соответственно, в другом варианте осуществления настоящего изобретения визуализация может выполняться в виде очертания границ (или контуров), охватывающих одну или более областей на изображении, на которой имеется вероятность наличия патологии, или иными словами, на которой блоком 250 предсказания патологии обнаружены признаки патологии. Для реализации такого подхода могут использоваться разные методы компьютерного зрения, анализирующие состояние нейронной сети блока 250 предсказания патологии. Например, как указывалось выше, повышенные характеристики показывает комбинация из двух методов: метода Grad-CAM (взвешенная комбинация карт активации классов на основе градиентов) и Saliency maps (карты значимости). К построенной на их основе тепловой карте применяется предварительно заданное пороговое значение теплоты, по которому и чертится контур (например, 0,25, 0,3 и т.п.). Таким образом, образуются замкнутые контуры, которые охватывают области с теплотой, равной или превышающей порог, тогда как области с теплотой, которая ниже порога, отбрасываются. Сами тепловые карты на изображение не наносятся, на нем визуализируются только контуры, как показано в примере на Фиг. 11.

Изображение с нанесенными на него очертаниями границ возможных патологий, по-прежнему, позволяет снизить нагрузку на медицинский персонал, при этом достаточно изучать только его, не обращаясь к исходному изображению. Кроме того, такой подход позволяет сгладить неточности в определении областей интереса.

В одном варианте осуществления указание найденных признаков патологий в виде тепловой карты или границ патологий может накладываться на копию изображения, которое непосредственно анализировалось нейронной сетью, то есть на изображение, которое по сравнению с исходным рентгеновским изображением, полученным в подлежащих обработке данных, подверглось сжатию, кадрированию и приведению к единому размеру. Это упрощает процесс визуализации патологии, но в таком случае полученное изображение отличается от первоначального, поэтому это может вызывать некоторое неудобство врача-рентгенолога, сопоставляющего эти два изображения.

В другом варианте осуществления указание найденных признаков патологий в виде тепловой карты или границ патологий может накладываться на исходное рентгеновское изображение, полученное в подлежащих обработке данных. Для реализации этого подхода параметры всех преобразований, выполнявшихся над исходным изображением и связанных с изменением его размера, смещением, поворотом, обрезкой и кадрированием, сохраняются блоком 240 подготовки изображений - например, в блоке 220 хранения. После отработки методов поиска признаков патологий получается визуализация патологии в виде тепловой карты или границ патологий с привязкой к размерам, форме и положению изображения, которое непосредственно анализировалось нейронной сетью. К полученной визуализации в обратном порядке применяются преобразования, обратные вышеуказанным сохраненным преобразованиям, с тем чтобы получить в результате визуализацию патологии с привязкой к размерам, форме и положению исходного рентгеновского изображения. Затем такая визуализация накладывается на копию исходного изображения. Это несколько усложняет обработку, но позволяет снизить время на анализ изображения врачом-рентгенологом и повысить точность идентификации патологий. Особенно это применимо к тепловым картам, когда сопоставление исходного изображения и изображения с визуализацией патологии во многом является насущной необходимостью для врача-рентгенолога.

При необходимости изображение с визуализацией патологии может содержать в текстовом виде указание вероятности наличия патологии, полученное в результате работы первой нейросети блока 250 предсказания патологии. Тем самым, уменьшается необходимость изучать какие-либо иные изображения или файлы, в том числе исходное изображение и/или файл с текстовым протоколом исследования.

Обращаясь теперь к текстовому протоколу исследования, можно отметить, что он может как дополнять вышеописанное изображение с визуализацией патологии, так и заменять его. Текстовый протокол исследования содержит результаты работы и описание работы устройства 200 в виде текстовой информации, например, в формате CSV. В случае использования формата DICOM протокол может быть сформирован в виде DICOM Structured Report (структурированный отчет DICOM).

В частности, текстовый протокол исследования может содержать:

1) Наименование исходного изображения (ссылку на него в виде соответствующего идентификатора – например, StudyInstanceID).

2) Рекомендацию (или иными словами, предсказание). Как указывалось выше, данная рекомендация может иметь двоичное значение (например, 0 / 1), может быть числом в некотором диапазоне, указывающем вероятность наличия патологии (например, от 0 до 1), или может иметь текстовый формат (например, «вероятно, болен» / «вероятно, здоров»).

3) Временные метки – время получения исследования, время формирования отчета.

4) Информацию об ошибках работы устройства в ходе анализа, если таковые были.

Полученный в результате работы блока 260 отчет об исследовании, содержащий изображение с визуализацией патологии и/или текстовый протокол исследования, сохраняется в блоке 220 хранения данных, откуда в дальнейшем может извлекаться по запросу от других устройств, и/или отправляется в блок 270 передачи данных, который передает этот отчет в другое устройство – например, в центральную медицинскую информационную систему 150 или в медицинскую организацию 110, запрашивавшую обработку данных.

В одном из вариантов осуществления результаты обработки, полученные устройством 200, могут при необходимости храниться в устройстве в течение предварительно заданного времени (например, семи дней) и далее удаляться. Это может выполняться, например, с целью резервного копирования, чтобы результат анализа можно было запросить и передать повторно без необходимости полноценного повторного анализа.

Таким образом, обеспечивается устройство для определения патологии, способное с повышенной точностью автоматически определять вероятность патологии. Это позволяет снизить требования к квалификации медицинского персонала и уменьшить влияние человеческого фактора (внимательность, утомляемость, ответственность). Также обеспечивается возможность использования для обучения большого числа разрозненных наборов данных. Кроме того, результат исследования обеспечивает исчерпывающий набор сведений, необходимый для принятия корректного врачебного решения с повышенной скоростью и точностью.

В иллюстративном неограничивающем примере для целей настоящего изобретения устройство 200 определения патологии может быть реализовано в виде облачного сервера, имеющего 24 вычислительных ядра, 64 ГБ RAM, дисковое пространство 300 ГБ под операционную систему CentOS 7, дисковое пространство 12 ТБ под данные, дисковое пространство 1,5 ТБ под базу данных и 2 сетевых адаптера.

Способ определения патологии

Далее со ссылкой на Фиг. 12 будет описан способ 400 определения патологии.

Следует понимать, что этапы способа 400 соответствуют вышеописанным функциям, выполняемым каждым из блоков в устройстве 200, и если какая-либо информация не раскрывается применительно к способу, но раскрывается применительно к устройству, и наоборот, то это не подразумевает, что в устройстве или способе эта функция или этап не может выполняться, а сделано лишь для того, чтобы не загромождать описание повторением подробностей. Следует также понимать, что в зависимости от конкретного применения некоторые из описанных этапов способа могут не использоваться.

Способ 400 определения патологии может содержать этап S410, на котором принимают подлежащие обработке данные, содержащие медицинское изображение обследуемого пациента, такое как рентгеновское изображение органов грудной клетки в прямой проекции.

Способ 400 определения патологии также может содержать этап S430, на котором выполняют валидацию посредством проверки, являются ли подлежащие обработке данные пригодными для обработки.

Способ 400 определения патологии также может содержать этап S440, на котором подготавливают изображение, содержащееся в подлежащих обработке данных, для использования нейронной сетью посредством выполнения над ним одного или более предварительных преобразований.

Способ 400 определения патологии содержит этап S450, на котором с использованием предварительно обученной нейронной сети анализируют подготовленное изображение и определяют наличие или отсутствие патологии органов на изображении.

Способ 400 определения патологии также может содержать этап S451, на котором при наличии патологии определяют наиболее вероятные границы, в пределах которых она расположена, с использованием предварительно обученной нейронной сети.

Способ 400 определения патологии также может содержать этап S460, на котором формируют отчет об исследовании, содержащий по меньшей мере одно из следующего: а) изображение с визуализацией патологии; б) текстовый протокол исследования.

Способ 400 определения патологии также может содержать этап S470, на котором передают результат обработки, полученный на этапах S450, S451 и S460, в устройство, запрашивавшее обработку данных.

Способ 400 определения патологии также может содержать этап S480 (не показан), на котором выполняют предварительное обучение нейронной сети с использованием предварительно размеченных обучающих изображений, причем разметка для каждого изображения содержит указание на наличие или отсутствие патологии органов в области изображения, в отношении которых требуется выполнить обучение нейронной сети, указание на пол и указание на возраст пациента, которому принадлежит это изображение.

Способ 400 определения патологии также может содержать этап S490 (не показан), на котором с использованием результата обработки, полученного на этапах S450, S451 и S460, принимают врачебное решение о наличии или отсутствии патологии органов в области изображения и при необходимости о характере патологии.

Способ 400 определения патологии также может содержать этап S491 (не показан), на котором назначают и/или проводят лечение пациента на основе результата обработки, полученного на этапах S450, S451 и S460, и/или врачебного решения, принятого на этапе S490.

Способ 400 определения патологии также может содержать этап S420 (не показан), на котором сохраняют в памяти данные, принятые блоком 210 приема данных и/или получаемые в результате или в процессе выполнения других этапов способа.

Предложенный способ определения патологии обеспечивает повышенную точность автоматического определения вероятности патологии, позволяет снизить требования к квалификации медицинского персонала и уменьшить влияние человеческого фактора (внимательность, утомляемость, ответственность). Кроме того, результат исследования обеспечивает исчерпывающий набор сведений, необходимый для принятия корректного врачебного решения с повышенной скоростью и точностью.

Применение

Устройства и способы согласно настоящему изобретению можно использовать для обработки диагностических медицинских изображений органов и/или полостей с целью выявления в них признаков патологий.

Дополнительные особенности реализации

Несмотря на то, что в данном документе может быть указано, что данные передаются/отправляются или принимаются/получаются человеком (например, медицинским специалистом, врачом, экспертом), специалист в данной области техники должен понимать, что такое указание используется исключительно в целях упрощения описания, тогда как на самом деле подразумевается, что данные передаются/отправляются или принимаются/получаются соответствующим устройством, которым пользуется и/или управляет этот человек.

Один или более описанных в настоящем документе блоков или устройств передачи (передатчиков) и один или более блоков или устройств приема (приемников) физически могут быть реализованы в одном и том же блоке или устройстве приемопередачи или в разных блоках или устройствах.

Устройством или блоком передачи в данном документе для упрощения описания может называться устройство или блок, имеющий функции не только передачи, но и приема данных, информации и/или сигналов. Аналогичным образом, устройство или блок приема может также заключать в себе функции передачи данных, информации и/или сигналов.

Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства (PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).

Некоторые блоки по отдельности или вместе могут представлять собой, например, компьютер, и включать в себя процессор, который сконфигурирован для вызова и выполнения компьютерных программ из памяти для выполнения этапов способа или функций блоков в соответствии с вариантами осуществления настоящего изобретения. Согласно вариантам осуществления, устройство может дополнительно включать в себя память. Процессор может вызывать и выполнять компьютерные программы из памяти для выполнения способа. Память может быть отдельным устройством, независимым от процессора, или может быть интегрирована в процессор. Память может хранить код, инструкции, команды и/или данные для исполнения на наборе из одного или более процессоров описанного устройства. Коды, инструкции, команды могут предписывать процессору выполнять этапы способа или функции устройства.

Функции, описанные в данном документе, могут реализовываться в аппаратном обеспечении, программном обеспечении, выполняемом посредством одного или более процессоров, микропрограммном обеспечении или в любой комбинации вышеозначенного. Аппаратные и программные средства, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях, то есть может выполняться распределенная обработка или распределенные вычисления.

При необходимости (например, в случае если велик объем данных и/или вычислений, которые необходимо выполнить в отношении этих данных), может производиться многопоточная обработка данных, которая в простом представлении может выражаться в том, что все множество подлежащих обработке данных разделяется на набор подмножеств, и каждое ядро процессора выполняет обработку в отношении назначенного для него подмножества данных.

Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Специалисту в области техники должно быть также понятно, что, когда речь идет о памяти и о хранении данных, программ, кодов, инструкций, команд и т.п., подразумевается наличие машиночитаемого (или компьютерно-читаемого, процессорно-читаемого) запоминающего носителя. Машиночитаемые носители данных включают в себя как некратковременные компьютерные носители хранения данных, так и среду связи, включающую в себя любую передающую среду, которая упрощает перемещение компьютерной программы или ее части из одного места в другое. Некратковременный машиночитаемый запоминающий носитель может представлять собой любой доступный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера, процессора или иного устройства обработки общего назначения или специального назначения.

В качестве примера, а не ограничения, машиночитаемые носители могут содержать постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память, оперативную память (RAM), статическую память с произвольным доступом (SRAM), динамическую память с произвольным доступом (DRAM), синхронную динамическую память с произвольным доступом (SDRAM), синхронную динамическую память с произвольной выборкой с двойной скоростью передачи данных (DDR SDRAM), синхронную динамическую память с произвольной выборкой с повышенной скоростью (ESDRAM), DRAM с синхронной линией связи (SLDRAM) и оперативную память с шиной прямого доступа (DR RAM), регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.

Информация и сигналы, описанные в данном документе, могут представляться с помощью любой из множества различных технологий. Например, данные, инструкции, команды, информация, сигналы, биты, символы и элементарные сигналы, которые могут приводиться в качестве примера в вышеприведенном описании, могут представляться посредством напряжений, токов, электромагнитных волн, магнитных полей или частиц, оптических полей или частиц либо любой комбинации вышеозначенного, если это применимо к настоящему изобретению.

По меньшей мере один из этапов в способе или блоков в устройстве может использовать модель искусственного интеллекта (AI) для выполнения соответствующих операций. Функция, связанная с AI, может выполняться через процессор и энергонезависимую и/или энергозависимую память.

Процессор может включать в себя один или более процессоров. В то же время, один или более процессоров могут быть процессором общего назначения, например центральным процессором (CPU), прикладным процессором (AP) и т.п., блоком обработки только графики, таким как графический процессор (GPU), визуальный процессор (VPU), и/или специализированным процессором AI, таким как нейронный процессор (NPU).

Один или более процессоров управляют обработкой входных данных в соответствии с предварительно определенным правилом работы или моделью искусственного интеллекта (AI), хранящейся в энергонезависимой памяти и/или энергозависимой памяти. Предварительно определенное правило работы или модель искусственного интеллекта могут быть получены путем обучения. При этом процессор может выполнять операцию предварительной обработки данных для преобразования в форму, подходящую для использования в качестве входных данных для модели искусственного интеллекта.

«Получены путем обучения» означает, что посредством применения алгоритма обучения к обучаемой модели искусственного интеллекта с использованием множества обучающих данных создается предварительно определенное правило работы или модель AI с желаемой характеристикой. Обучение может выполняться на самом устройстве, в котором выполняется AI согласно варианту осуществления, и/или может быть реализовано через отдельный сервер/систему.

Модель искусственного интеллекта может включать в себя множество слоев нейронной сети. Каждый из множества слоев нейронной сети включает в себя множество весовых значений (коэффициентов) и выполняет рабочую операцию для данного слоя путем вычисления с применением множества весовых значений данного слоя в отношении входных данных или результата вычисления предыдущего слоя.

Примеры нейронных сетей включают, помимо прочего, сверточную нейронную сеть (CNN), глубокую нейронную сеть (DNN), рекуррентную нейронную сеть (RNN), ограниченную машину Больцмана (RBM), глубокую сеть доверия (DBN), двунаправленную рекуррентную глубокую нейронную сеть (BRDNN), генеративно-состязательные сети (GAN) и глубокие Q-сети.

Алгоритм обучения - это метод обучения предварительно определенного целевого устройства (например, нейронной сети на базе GPU или NPU) с использованием множества обучающих данных, чтобы вызывать, разрешать или управлять целевым устройством для выполнения определения или прогнозирования. Примеры алгоритмов обучения включают, но не ограничиваются ими, обучение с учителем, обучение без учителя, обучение с частичным привлечением учителя или обучение с подкреплением.

Следует понимать, что хотя в настоящем документе для описания различных блоков, модулей, сетей, элементов, компонентов, областей, слоев и/или секций, могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти блоки, модули, сети, элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один блок, модуль, сеть, элемент, компонент, область, слой или секцию от другого блока, модуля, сети, элемента, компонента, области, слоя или секции. Так, первый блок, модуль, сеть, элемент, компонент, область, слой или секция может быть назван вторым блоком, модулем, сетью, элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.

В одном из вариантов осуществления некоторые или все элементы/блоки/модули предложенного устройства находятся в общем корпусе, могут быть размещены на одной раме/конструкции/печатной плате/кристалле и связаны друг с другом конструктивно посредством монтажных (сборочных) операций и функционально посредством линий связи. Упомянутые линии или каналы связи, если не указано иное, являются типовыми, известными специалистам линиями связи, материальная реализация которых не требует творческих усилий. Линией связи может быть провод, набор проводов, шина, дорожка, беспроводная линия связи (индуктивная, радиочастотная, инфракрасная, ультразвуковая и т.д.). Протоколы связи по линиям связи известны специалистам и не раскрываются отдельно.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.

Конструктивное исполнение элементов предложенного устройства является известным для специалистов в данной области техники и не описывается отдельно в данном документе, если не указано иное. Элементы устройства могут быть выполнены из любого подходящего материала. Эти составные части могут быть изготовлены с использованием известных способов, включая, лишь в качестве примера, механическую обработку на станках, литьё по выплавляемой модели, наращивание кристаллов. Операции сборки, соединения и иные операции в соответствии с приведенным описанием также соответствуют знаниям специалиста в данной области и, таким образом, более подробно поясняться здесь не будут.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Изобретение относится к области обработки изображений, более конкретно к устройству и способу для определения патологии на основе анализа медицинских изображений. Предложено устройство, которое содержит блок для приема подлежащих обработке данных, содержащих медицинское изображение; блок для подготовки изображения, содержащегося в подлежащих обработке данных, для использования нейронной сетью посредством выполнения над ним одного или более предварительных преобразований; блок для предсказания наличия или отсутствия патологии на изображении с использованием упомянутой нейронной сети; и блок для передачи результата обработки в устройство, запрашивавшее обработку данных, причем упомянутая нейронная сеть предварительно обучена предсказывать наличие или отсутствие патологии, а также пол и возраст пациента и выполнена с возможностью в процессе работы анализировать только подготовленное изображение без использования данных о поле и возрасте пациента, изображенного на данном изображении. Изобретение обеспечивает повышенную точность автоматического определения вероятности патологии, возможность использования не полностью размеченных наборов данных или некорректно размеченных наборов данных. 2 н. и 11 з.п. ф-лы, 13 ил.

1. Устройство для анализа медицинских изображений, содержащее:

блок приема данных, выполненный с возможностью принимать подлежащие обработке данные, содержащие медицинское изображение, от устройства, запрашивающего обработку данных, посредством осуществления связи с ним;

блок подготовки изображений, выполненный с возможностью подготавливать с использованием по меньшей мере одного процессора медицинское изображение, содержащееся в подлежащих обработке данных, посредством выполнения над ним одного или более предварительных преобразований для использования нейронной сетью, работающей на основе по меньшей мере одного процессора;

блок предсказания патологии, выполненный с возможностью с использованием упомянутой нейронной сети анализировать подготовленное изображение и определять наличие или отсутствие патологии на изображении;

блок формирования отчета, выполненный с возможностью формировать с использованием по меньшей мере одного процессора отчет об исследовании, проведенном в данном устройстве, причем отчет об исследовании содержит по меньшей мере один файл, содержащий указание на результат обработки, выполненной в блоке предсказания патологии; и

блок передачи данных, выполненный с возможностью передавать отчет об исследовании в устройство, запрашивавшее обработку данных, посредством осуществления связи с ним,

причем упомянутая нейронная сеть является предварительно обученной с использованием по меньшей мере одного набора данных, содержащего размеченные медицинские изображения, чтобы предсказывать наличие или отсутствие патологии, а также пол и возраст пациента,

причем размеченные медицинские изображения, содержащиеся в упомянутом по меньшей мере одном наборе данных, использованном для обучения нейронной сети, содержат:

изображения, имеющие первую метку, связанную с явным указанием на мужской пол пациента,

изображения, имеющие вторую метку, связанную с явным указанием на женский пол пациента, и

изображения, имеющие третью метку, связанную с неявным указанием пола пациента, причем третья метка присваивается изображениям, которые изначально не имели метки с указанием пола пациента, и изображениям, которые изначально имели метку, в которой в качестве пола пациента были указаны данные, отличающиеся от явного указания на мужской или женский,

причем упомянутая нейронная сеть предварительно обучена предсказывать предполагаемый пол пациента в виде указания на первую метку или вторую метку, если нейронной сети удалось в явном виде определить соответственно мужской пол или женский пол пациента, или в виде указания на третью метку, если нейронной сети не удалось в явном виде определить пол пациента,

причем упомянутая нейронная сеть выполнена с возможностью в процессе работы анализировать только подготовленное изображение без дополнительных входных данных в виде данных о поле и возрасте пациента, изображенного на данном изображении.

2. Устройство по п. 1, в котором упомянутый результат обработки предназначен для поддержки принятия врачебного решения о состоянии зафиксированного на упомянутом изображении по меньшей мере одного органа и/или полости обследуемого пациента и/или о лечении обследуемого пациента.

3. Устройство по п. 1, в котором упомянутая нейронная сеть содержит:

- предварительный участок, содержащий первую нейронную сеть, в которой каждый слой последовательно соединен с каждым последующим слоем, причем предварительный участок выполнен с возможностью приема упомянутого подготовленного изображения и вывода промежуточных данных;

- первую подсеть, содержащую вторую нейронную сеть и выполненную с возможностью приема упомянутых промежуточных данных от предварительного участка и предсказания вероятности наличия патологии на анализируемом изображении;

- вторую подсеть, содержащую третью нейронную сеть и выполненную с возможностью приема упомянутых промежуточных данных от предварительного участка и предсказания предполагаемого пола пациента;

- третью подсеть, содержащую четвертую нейронную сеть и выполненную с возможностью приема упомянутых промежуточных данных от предварительного участка и предсказания предполагаемого возраста пациента.

4. Устройство по п. 3, в котором предварительный участок выполнен на основе архитектуры DenseNet.

5. Устройство по п. 1, в котором упомянутая нейронная сеть предварительно обучена предсказывать предполагаемый возраст пациента в качестве указания на один из предварительно заданных диапазонов возраста.

6. Устройство по п. 5, в котором размер каждого диапазона возраста составляет от 7 до 15 лет.

7. Устройство по п. 5, в котором количество предварительно заданных диапазонов возраста равно 10, размер каждого диапазона составляет 10 лет.

8. Устройство по п. 1, в котором упомянутая нейронная сеть предварительно обучена предсказывать наличие или отсутствие по меньшей мере одного признака из предварительно заданного множества возможных патологий, характерных для зафиксированного на упомянутом изображении по меньшей мере одного органа и/или полости или для данного типа диагностического исследования.

9. Устройство по п. 8, в котором предварительно заданное множество возможных патологий для рентгенограммы органов грудной клетки содержит по меньшей мере одну из следующих патологий: плевральный выпот, пневмоторакс, ателектаз, очаг затемнения, инфильтрация/консолидация, диссеминация, полость с распадом, полость с уровнем жидкости, кальцинат/кальцинированная тень в легких, нарушение целостности кортикального слоя.

10. Устройство по п. 1, в котором, если определено, что на изображении имеется патология, блок формирования отчета дополнительно выполнен с возможностью:

выявления возможных областей, на которых найдены признаки патологий, с использованием методов компьютерного зрения, анализирующих исходное изображение и активации внутри нейронной сети блока предсказания патологии, которые были получены при прогоне через нее этого изображения;

формирования изображения с визуализацией патологии в виде копии исходного изображения, на которое наложено указание найденных областей с признаками патологий; и

формирования отчета об исследовании, содержащего изображение с визуализацией патологии.

11. Устройство по п. 10, в котором:

для выявления возможных областей с признаками патологий используется комбинация методов Grad-CAM (взвешенная комбинация карт активации классов на основе градиентов) и Saliency maps (карты значимости), и

для указания найденных областей с признаками патологий используется тепловая карта или очертание границ областей.

12. Устройство по п. 1, в котором отчет об исследовании содержит текстовый протокол исследования, содержащий в текстовом виде по меньшей мере одно из следующего:

- идентификатор исходного изображения;

- указание вероятности наличия патологии;

- время получения изображения;

- время получения результата обработки от блока предсказания патологии;

- время формирования отчета;

- информацию об ошибках работы устройства, возникших в ходе анализа.

13. Способ анализа медицинских изображений, содержащий этапы, на которых:

принимают с использованием устройства связи подлежащие обработке данные, содержащие медицинское изображение обследуемого пациента;

подготавливают с использованием по меньшей мере одного процессора медицинское изображение, содержащееся в подлежащих обработке данных, посредством выполнения над ним одного или более предварительных преобразований для использования нейронной сетью, работающей на основе по меньшей мере одного процессора;

с использованием упомянутой нейронной сети анализируют подготовленное изображение и определяют наличие или отсутствие патологии на изображении;

причем упомянутая нейронная сеть является предварительно обученной с использованием по меньшей мере одного набора данных, содержащего размеченные медицинские изображения, чтобы предсказывать наличие или отсутствие патологии, а также пол и возраст пациента,

причем размеченные медицинские изображения, содержащиеся в упомянутом по меньшей мере одном наборе данных, использованном для обучения нейронной сети, содержат:

изображения, имеющие первую метку, связанную с явным указанием на мужской пол пациента,

изображения, имеющие вторую метку, связанную с явным указанием на женский пол пациента, и

изображения, имеющие третью метку, связанную с неявным указанием пола пациента, причем третья метка присваивается изображениям, которые изначально не имели метки с указанием пола пациента, и изображениям, которые изначально имели метку, в которой в качестве пола пациента были указаны данные, отличающиеся от явного указания на мужской или женский,

причем упомянутая нейронная сеть предварительно обучена предсказывать предполагаемый пол пациента в виде указания на первую метку или вторую метку, если нейронной сети удалось в явном виде определить соответственно мужской пол или женский пол пациента, или в виде указания на третью метку, если нейронной сети не удалось в явном виде определить пол пациента,

причем в процессе работы упомянутой нейронной сети анализируют только подготовленное изображение без дополнительных входных данных в виде данных о поле и возрасте пациента, изображенного на данном изображении,

формируют с использованием по меньшей мере одного процессора отчет, который содержит по меньшей мере один файл, содержащий указание на наличие или отсутствие патологии;

передают с использованием устройства связи отчет на устройство врача,

принимают с использованием устройства связи отчет на устройстве врача,

с использованием устройства врача и с использованием отчета принимают врачебное решение о состоянии зафиксированного на упомянутом изображении по меньшей мере одного органа и/или полости обследуемого пациента и/или о лечении обследуемого пациента.