СПОСОБ И СИСТЕМА ДЛЯ ВЫЯВЛЕНИЯ ОБЪЕМНЫХ ОБРАЗОВАНИЙ ПОЧЕК НА КОМПЬЮТЕРНЫХ ТОМОГРАММАХ БРЮШНОЙ ПОЛОСТИ Российский патент 2025 года по МПК A61B6/03 G06V10/22 G16H30/20 

Область техники, к которой относится изобретение

Изобретение относится к медицине, а именно к обработке и исследованию медицинских изображений, включая КТ органов брюшной полости, и может быть использовано для поддержки принятия врачебных решений при диагностике онкологических заболеваний почек. Изобретение позволяет с высокой точностью выявлять опухолевые и неопухолевые образования почек, оценивать вероятность злокачественности новообразований по результатам анализа изображений, полученных как с введением, так и без введения контрастного вещества, производить автоматические измерения их геометрических и плотностных характеристик.

Уровень техники

Рак почки является одной из наиболее распространенных злокачественных опухолей мочевыделительной системы, занимая шестое место по частоте среди мужчин и восьмое среди женщин. Ежегодно во всем мире диагностируются сотни тысяч новых случаев рака почки и регистрируются значительные показатели смертности от данного заболевания ([World Cancer Research Fund](https://www.wcrf.org/preventing-cancer/cancer-statistics/kidney-cancer-statistics/)).

Ранняя диагностика рака почки имеет решающее значение для успешного лечения и улучшения прогноза. На ранних стадиях заболевание может протекать бессимптомно, что затрудняет его своевременное обнаружение ([РостГМУ](https://rostgmu-nsd.ru/articles/rak-pochek-simptomy-u-zhenshhin-i-muzhchin-lechenie-priznaki)). При раннем выявлении более 90% пациентов могут прожить, как минимум, пять лет ([Медицинский инсайдер](https://medicalinsider.ru/onkologiya/perspektivy-kak-novoe-issledovanie-mozhet-izmenit-buduschee-lecheniya-raka-pochki)). Однако у 25–30% пациентов при первичном обследовании уже выявляют метастазы ([Фармацевтический вестник](https://pharmvestnik.ru/content/articles/Smertnost-ot-raka-pochki-za-desyat-let-snizilas-na-21.html)), что значительно ухудшает прогноз.

Современные методы лучевой диагностики, включая компьютерную томографию (КТ) с контрастированием и без него, являются ключевыми инструментами для выявления и классификации почечных новообразований. КТ с контрастным усилением предоставляет важную информацию для дифференциальной диагностики новообразований почек. По данным мировой литературы, чувствительность и специфичность КТ, при анализе врачом рентгенологом, в выявлении опухоли почки составляет 90 % и 85 %, соответственно, в дифференциальной диагностике злокачественных и доброкачественных новообразований - 85 %, в дифференциации кистозных образований показатели метода - 86 % и 67 %. [Furrer M., et al., Comparison of the Diagnostic Performance of Contrast-enhancedUltrasound with That of Contrast-enhanced ComputedTomography and Contrast-enhanced Magnetic Resonance Imagingin the Evaluation of Renal Masses: A Systematic Review And Meta-analysis. European Association of Urology, 2019]; [C. Vogel et al., Imaging in Suspected Renal Cell Carcinoma: A Systematic Review. Clinical Genitourinary Cancer, 2018]; [Zhang Q et al., Diagnostic performance of the Bosniak classification, version 2019 for cystic renal masses: A systematic review and meta-analysis, 2022].

Искусственный интеллект (ИИ) в медицине активно развивается, трансформируя диагностику, лечение и управление данными пациентов. Современные ИИ-системы применяются для анализа медицинских изображений, предсказания заболеваний, разработки персонализированных планов лечения и автоматизации административных процессов. Например, алгоритмы глубокого обучения используют КТ, МРТ и рентгеновские изображения для выявления патологий, таких как опухоли, повреждения тканей или сердечно-сосудистые заболевания. Технологии ИИ позволяют ускорить диагностику, повысить точность интерпретации данных и снизить нагрузку на врачей, особенно на территориях с ограниченным доступом к высококвалифицированным специалистам. Одной из возможных областей прикладного применения алгоритмов ИИ является выявление опухолей почек и дифференциация злокачественных и доброкачественных новообразований, включая группу пациентов с противопоказаниями к введению йодсодержащих контрастных веществ, для которых диагностика может быть проведена с помощью анализа нативных компьютерных томограмм. К противопоказаниям относятся реакции на введение йодсодержащего контрастного вещества, тяжелые сопутствующие заболевания (острая почечная недостаточность, хроническая почечная недостаточность, сахарный диабет, миелома, тиреотоксикоз и др.), высокие значения креатинина в крови. Известно, что чувствительность и информативность КТ без внутривенного контрастирования в выявлении опухолей почек резко снижены — до 60–75%. Поэтому визуальная идентификация признаков злокачественности образования врачом в нативной фазе максимально затруднена в силу их схожести с доброкачественными [Furrer M., et al., Comparison of the Diagnostic Performance of Contrast enhanced Ultrasound with That of Contrast-enhanced ComputedTomography and Contrast-enhanced Magnetic Resonance Imagingin the Evaluation of Renal Masses: A Systematic Review And Meta-analysis. European Association of Urology, 2019.]. В этой связи актуальным является поиск решений, направленных на повышение точности дифференциальной диагностики объемного образования по результатам проведения нативной фазы КТ-исследований с применением алгоритмов ИИ, позволяющих в ходе обучения сформировать значительно большее количество признаков злокачественности.

На отечественном и международном рынке представлены несколько технических решений, использующих алгоритмы ИИ, однако их возможности имеют ограничения. Такие системы как Arterys, Aidoc, Zebra Medical Vision, Mirada Medical, Lunit, Qure.ai имеют ограниченную поддержку принятия врачебных решений по образованиям почки или не имеют их вовсе. Такие системы как IRA Labs способны анализировать только нативные фазы изображений, а такие системы, как Quibim в большей степени сконцентрированы на создании вспомогательного материала - такого как текстурные карты на основе радиомики.

Таким образом, разработка автоматизированной ИИ-системы для анализа КТ-изображений почек, способной точно и эффективно выявлять опухоли, включая дифференциацию их злокачественности, на всех фазах исследования способно существенно улучшить качество диагностики и лечения данного заболевания. При этом ключевыми этапами в процессе обработки изображений для решения перечисленных задач являются детекция, сегментация и классификация объемных образований.

Поскольку расположение, размер и форма почки, и опухоли значительно различаются у разных пациентов, сегментация почек и опухолей почек является сложной задачей. Во-первых, расположение опухолей может значительно варьироваться от пациента к пациенту: опухоль может появиться в любом месте внутри органов или быть прикреплённой к почкам. Во-вторых, форма и размер опухолей представляют большое разнообразие: у одних пациентов опухоли могут быть очень маленькими, у других же — почти полностью разрушать почку; при этом их формы могут быть правильными, искажёнными или разбросанными. В-третьих, ткань опухолей также неоднородна: большое количество различных подтипов почечно-клеточного рака в сочетании с их неоднородностью может приводить к разной интенсивности на КТ-изображениях. Наконец, одновременная сегментация почки и почечной опухоли на необработанных полномасштабных КТ-изображениях может привести к дополнительным трудностям из-за сосуществования нескольких меток и больших объёмов фона. Ещё более сложной задачей является анализ злокачественного или доброкачественного характера опухоли, особенно когда доступна только нативная фаза исследования и определение характера контрастирования невозможно; а также различение опухолей и кист при диагностическом скрининге, где требования к скорости работы ИИ-систем особенно высоки, а проблема дисбаланса классов и пикселей патологии и нормы обостряется.

В известных подходах к анализу медицинских изображений, включающих, одновременно, сегментацию, детекцию и классификацию патологий с применением алгоритмов глубокого обучения можно выделить два распространённых направления. Первое направление, где классификация или сегментация осуществляется специализированными нейронными сетями, обученными классифицировать или сегментировать не целые изображения, а заранее выделенные, другими нейронными сетями детекции или классическими алгоритмами области интереса (ROI). Это обычно обеспечивает более высокую точность в метриках классификации и сегментации в пределах выделенного региона интереса или по отношению к нему, однако итог сильно зависит от корректности извлечения региона интереса, то есть от эффективности нейронной сети детектора. Второе, более позднее направление end-to-end-сегментации, где сеть принимает на вход медицинские изображения, а на выходе формирует попиксельную или повоксельную маску сегментации классов патологии или анатомии с таким же размером маски, как и у входных данных, для каждого сегментируемого класса анатомии или патологии. Таким образом, задачи сегментации, детекции и классификации сводятся к задаче многоклассовой сегментации элементов патологии и анатомии на изображении и последующей алгоритмической интерпретации полученных масок сегментации.

Из уровня техники известны способы дифференциальной диагностики опухолей почек (злокачественных и доброкачественных), основанные на применении ансамблей свёрточных нейронных сетей (VGG-16, InceptionResNetV2, InceptionV3). Эти модели объединяются методом консенсуса, когда решения нескольких сетей комбинируются для повышения точности. Дополнительно могут быть построены карты значимости для визуализации областей, критичных для классификации. Однако в представленные работах КТ-исследование анализируют по срезам в одной проекции, не обеспечивая полноценного трёхмерного анализа КТ почек, а точность сегментации на основе областей интереса зачастую невысока, что затрудняет последующий автоматический анализ найденных образований. [https://insightsimaging.springeropen.com/articles/10.1186/s13244-023-01601-8], [https://pmc.ncbi.nlm.nih.gov/articles/PMC10266909/].

Из уровня техники известен способ и система, предназначенные для обнаружения и классификации опухолей по компьютерным томограммам почек, основанные на использовании ансамблей 3D-CNN с последовательным анализом, включающим выделение регионов интереса и последующую классификацию опухолей отдельно обученными нейронными сетями [https://www.mdpi.com/2306-5354/10/1/116?utm_source=chatgpt.com].

Однако известные способ и система предполагают сегментацию единичного образования, наличие которого априорно предполагается на анализируемой томограмме с последующим анализом области интереса, полученной простым вырезанием участка изображения. Таким образом, сегментация множественных образований на одном изображении, а также корректная обработка изображений без патологических образований, в рамках задачи автоматической диагностики не может быть обеспечена описанной системой. Кроме того, известная система характеризуется меньшей производительностью, по сравнению с заявленной, из-за использования трехмерных нейронных сетей.

Из уровня техники известны способы сегментации патологий по изображениям с применением двухэтапных моделей сегментации, основанных на использовании сетей 3D сегментации, где на первом этапе выполняют грубую сегментацию с пониженным разрешением, на втором этапе уточняют границы по результатам первого этапа. Для повышения точности сегментации в описанных методиках увеличивают количество обрабатываемых данных, используя случайные повороты, изменение контрастности и масштабирование исходного изображения с последующим усреднением результатов сегментации для исходного изображения и его вариаций, указанных выше. Однако данные подходы требуют многократного анализа одного и того же изображения несколькими сетями 3D сегментации и, следовательно, требовательны к вычислительным ресурсам. Кроме того, в известном решении данные алгоритмы обучены осуществлять сегментацию патологий на трехмерном изображении, для которого априорно известно наличие патологии, то есть неспособны выполнять функцию детектора наличия или отсутствия патологий и корректно применяться для медицинской диагностики. Кроме того, данные алгоритмы не обучены для сегментации опухолевых и неопухолевых образований. [https://arxiv.org/abs/2312.05528].

Из уровня техники известны способы выявления отельных патологий по результатам обработки изображений, основанных на применении нейронных сетей, в которых для сегментации изображений используют метод инференса на основе перекрывающихся 3D-патчей с последующими агрегацией результатов различных преобразований и постпроцессингом, включающим анализ связанности участков получившейся маски сегментации, а также применение выпуклых поверхностей для заполнения пустот неточной сегментации. [https://arxiv.org/pdf/2004.08108], [https://www.sciencedirect.com/science/article/pii/S2352914820301969].

Однако применение данного способа для выявления объемных образований почек по КТ-изображениям характеризуется значительными затратами вычислительных ресурсов на их обработку и большим временем обработки в связи с использованием сетей 3D сегментации. Кроме того, в данном способе ограничивающие поверхности используются только для заполнения пустот воксельной маски сегментации, в то время как в заявленном решении они служат основной метода постпроцессинга 3D-масок сегментации, обеспечивающего высокие метрики качества для сегментации, детекции и классификации множественных патологических образований. Кроме того, известный подход адаптирован сегментировать опухоли на компьютерных томограммах, когда наличие или отсутствие опухоли априорно известно, соответственно он не обеспечивает эффективность решения задачи детекции. Кроме того, известный способ не обеспечивает возможности детекции более одного образования, в способе не описана возможность построения индивидуальных ограничивающих поверхностей для нескольких патологических образований на одной почке. Кроме того, известный способ не осуществляет классификацию образований по трем классам патологии: злокачественное новообразование, доброкачественное образование и неопухолевые образования.

Из уровня техники известны способы выявления патологий по результатам обработки медицинских изображений, основанных на применении ИИ, в которых используют метод детекции, основанный на контурном анализе масок сегментации. [Патент РФ – RU2825958], [Патент РФ - RU2825519].

Однако в известных решениях детектируемые объекты (патологически изменённые пазухи носа) формируются путём построения набора ограничивающих контуров с использованием известных алгоритмов нахождения контура в двумерном пространстве на бинаризированной маске и расчёта среднего значения маски вероятности внутри каждого найденного контура, с последующей фильтрацией контуров, по найденным средним вероятностям. Однако недостатком этого подхода является невозможность реализации его 3-х мерных аналогов для воксельных изображений, которая решается в заявленном изобретении путем перехода от бинаризированной маски сегментации к облаку точек, которое обрабатывается с использованием методов кластеризации перед использованием методов поиска ограничивающих поверхностей, что по сравнению с известным решением обеспечивает повышение точности классификации, детекции и сегментации объектов на трехмерных изображениях.

Наиболее близким к заявленному изобретению является способ и устройство предоставления информации, необходимой для диагностики рака почки [KR102671699B1]. Известное решение включает на этапе обучения предварительную обработку изображений: внесение случайного шума; формирование патчей изображений фиксированного размера путем выделения зон фиксированного размера из изначального трехмерного изображения, геометрические преобразования полученных патчей для увеличения числа обучающих данных. Известное решение использует EG-CNN (Edge-Gated Convolutional Neural Network) для анализа 3D-изображений почек, полученных с помощью компьютерной томограммы. Устройство имеет встроенный пользовательский модуль корректировки результатов, в котором пользователь может вручную корректировать результаты модели (например, уточнять области опухолей).

Однако известное решение [KR102671699B1] имеет целый ряд ограничений. Отсутствие описанных эффективных методов постпроцессинга позволяет использовать только архитектуру EG-CNN, специализированную на выделение краев объектов. Известное решение использует сеть 3D сегментации, требующую больших вычислительных мощностей в связи с тем, что сегментация производится непосредственно для воксельного 3D-изображения, а не для набора двумерных срезов. Кроме того, использование технологии отдельных патчей трехмерного сегмента изображения не позволяет нейронной сети учитывать глобальный визуальный контекст. В изобретении не описаны методики специфического анализа для нативной и контрастной фазы исследования, что снижает точность сегментации найденных образований. В изобретении отсутствует возможность автоматического измерения размеров, а также плотности каждого найденного образования. Изобретение не имеет возможности автоматической генерации компактного текстового описания найденных патологических образований с указанием размера каждого образования, его плотности, вероятности того, что найденное образование является злокачественным, доброкачественным или неопухолевым, анатомической локализации каждого найденного образования. Перечисленные недостатки замедляют процесс интерпретации результатов исследования, не позволяют оценить более точно качественные и количественные характеристики каждого найденного образования, а также имеют сильную привязку к архитектуре применяемой сети.

Заявленное изобретение направлено на устранение перечисленных выше недостатков известных из уровня техники аналогов.

Технической проблемой, решаемой заявленным изобретением, является повышение точности диагностики объемных образований почек в нативной и контрастной фазах КТ-исследования и формирование результата диагностики в удобном, информативном и интуитивно понятном виде, что делает разработанный на его основе продукт – программно-аппаратный комплекс - дружественным и доступным для использования врачами разного уровня подготовки.

Заявленное изобретение основано на сочетании подходов, использующих ROI и end-to-end-сегментации в одной системе, позволяющем добиться более высоких метрик сегментации, классификации и детекции отдельных объемных образований, при более высокой скорости обработки исходного медицинского изображения. В изобретении использована оригинальная методика постпроцессинга трехмерных масок сегментации, полученных при анализе срезов компьютерной томограммы, предварительно обученной 2D U-net подобной нейронной сетью в различных плоскостях. При этом использованы методы кластеризации, построения и анализа ограничивающих поверхностей. Оригинальная методика постпроцессинга использована для детекции и классификации кист, злокачественных и доброкачественных опухолей почек при анализе компьютерной термограммы почек в нативной фазе. Кроме того, в изобретении, дополнительно применен анализ гистограмм регионов интересов (ROI) оригинального изображения для классификации найденных образований: кист, злокачественных новообразований или доброкачественных новообразований - при анализе компьютерной термограммы почек в контрастных фазах.

Раскрытие изобретения

Техническим результатом является обеспечение высокой точности диагностики патологий почек, включая различение опухолевых и неопухолевых образований, злокачественных и доброкачественных опухолей на нативных и/или контрастных сериях изображений, за счет разработанных этапов и шагов по классификации, детекции и сегментации трёхмерных объектов на базе использования глубоких нейронных сетей с пониженным спросом на вычислительные ресурсы и с пониженным спросом на объем обучающих данных.

Разработанные способ и система для выявления объемных образований почек относятся к системам поддержки принятия врачебных решений (СППВР): обеспечивающим быструю и качественную обработку исследования, с получением детализированных результатов анализа о наличии или отсутствии патологии в почках на нативных и контрастных фазах лучевых исследований; представляющим полученные результаты обработки врачу в компактной форме с текстовым описанием, включающим описание локализации объемного образования (в случае его выявления) по отношению к трем сегментам левой и правой почек с детализацией визуальных характеристик каждого образования, и визуализацией каждого образования отдельным контуром на каждом изображении дополнительной серии, с дополнительным указанием размеров и визуальных характеристик.

Технический результат достигается способом выявления поражения органов брюшной полости, включающим получение КТ-изображений почек в формате набора DICOM файлов, обработку КТ-изображений с использованием алгоритмов искусственного интеллекта, по результатам которого делают вывод о наличии или отсутствии опухолевых или неопухолевых образований почек, после чего результаты обработки направляют в PACS систему.

Технический результат достигается при осуществлении способа выявления объемных образований почек на компьютерных томограммах брюшной полости, включающего следующие последовательно реализуемые этапы: этап отбора из исходного пакета DICOM изображений целевого органа пациента изображений, выполненных в аксиальной проекции с последующей их передачей в блок хранения и архивации DICOM-изображений, этап препроцессинга загруженных изображений, этап анализа изображений с использованием алгоритма на основе нейронных сетей, этап постпроцессинга результатов анализа изображений, этап формирования отчета, содержащего дополнительные серии DICOM изображений с визуализированными патологиями (SC) и текстовые отчеты с описанием патологий (SR).

При этом на этапе препроцессинга загруженных изображений осуществляют группировку файлов по сериям, каждая из которых соответствует определенной фазе контрастирования, с последующей обработкой сгруппированных DICOM изображений посредством преобразования каждого из изображений в группе в плотностное изображение HU_image, после чего полученные изображения сортируют по порядковому номеру и конкатенируют в единое 3D-изображение исследуемой области;

На этапе анализа изображений с использованием алгоритма на основе нейронных сетей полученное единое 3D-изображение исследуемой области нарезают вдоль выбранных осей на слои с шагом до 3 пикселей, при этом используют, по меньшей мере, три основные оси координат (X, Y, Z), набор слоев по каждой оси объединяют в пакеты изображений (batches); далее пакеты изображений (batches) подают в предварительно обученные U-Net-подобную сеть для сегментации патологий и U-net подобную сеть для сегментации сегментов почек (которая в тексте описания также может иметь наименование «U-net подобная сеть для локализации патологий») с получением масок вероятностей для классов патологий: злокачественные опухоли (ЗНО), доброкачественные опухоли (ДНО), неопухолевые образования; и масок вероятностей для шести анатомических зон почек - верхней, средней, нижней частей левой и правой почек, соответственно; после чего полученные маски вероятностей для классов патологий и для классов анатомических зон почек объединяют с получением усредненных 3D-маски вероятностей классов патологий и 3D-маски анатомических зон почек, соответственно;

На этапе постпроцессинга на основе полученной 3D-маски вероятностей классов патологий создают 3D-маску наличия/отсутствия патологии, бинаризируют 3D-маску наличия/отсутствия патологии, бинаризируют 3D-маску вероятностей анатомических зон почек, создают облако точек на основе бинаризированной 3D маски наличия/отсутствия патологий, создают облака точек на основе бинаризированной 3D маски вероятностей анатомических зон почек для каждого класса анатомических зон почек, осуществляют кластеризацию алгоритмом DBSCAN на облаке точек, созданном на основе бинаризированной 3D маски наличия/отсутствия патологий, создают ограничивающую поверхность для каждого кластера, найденного алгоритмом DBSCAN, производят геометрическую фильтрацию ограничивающих поверхностей, находят среднюю вероятность внутри каждой ограничивающей поверхности на основе 3D-маски наличия/отсутствия патологии, осуществляют фильтрацию ограничивающих поверхностей на основе средней вероятности внутри каждой ограничивающей поверхности, производят классификацию оставшихся ограничивающих поверхностей, на основе бинаризированной маски анатомических зон почек определяют расположение каждого сегмента почки, на основе расположения каждого сегмента почки и расположения ограничивающих поверхностей определяют анатомическую локализацию ограничивающих поверхностей, создают индексную маску и двухуровневый словарь оставшихся поверхностей.

В отдельных вариантах осуществления изобретения на этапе анализа изображений в качестве осей нарезки могут быть использованы дополнительные диагональные оси; для каждой оси, вдоль которой нарезают 3D-изображение исследуемой области на слои, используют алгоритм поворота, основанный на применении матрицы поворота к 3D-изображению исследуемой области; объединение полученных масок вероятностей классов патологий и вероятностей анатомических зон почек на этапе анализа изображений осуществляют следующим образом: для каждой маски вероятностей, полученной в результате анализа 3D изображения, нарезанного, вдоль соответствующей оси, находят обратную матрицу к матрице поворота и применяют её к соответствующей маске, полученные после обратного поворота маски вероятностей для каждой оси усредняют.

В отдельных вариантах осуществления изобретения на этапе постпроцессинга 3D-маску наличия/отсутствия патологии на основе 3D-маски вероятностей классов патологий создают с применением операции максимизации 3D-маски вероятностей классов патологий вдоль оси классов; облако точек создают на основе бинаризированной 3D маски наличия/отсутствия патологий с применением функции argwhere библиотеки numpy; облака точек создают на основе бинаризированной 3D маски вероятностей анатомических зон почек для каждого класса анатомических зон почек с применением функции argwhere библиотеки numpy; кластеризацию алгоритмом DBSCAN на облаке точек осуществляют с вызовом метода cluster_dbscan экземпляра класса PointCloud библиотеки Open3d, с получением набора кластеров точек с уникальными метками;

Кроме того, в отдельных вариантах осуществления изобретения на этапе постпроцессинга ограничивающая поверхность для каждого кластера может быть создана следующим образом: все точки отдельного кластера по его уникальной метке передают как изолированный набор точек в алгоритм поиска выпуклой поверхности или альфа-поверхности библиотеки Open3d, с получением объекта ограничивающей поверхности, содержащего поля вершин и полигонов поверхности; а геометрическая фильтрация ограничивающих поверхностей можете быть произведена следующим образом: для ограничивающей поверхности находят вертикальный, горизонтальный и продольный размеры, далее находят минимальный размер и максимальный размер, далее находят отношение максимального и минимального размеров, если отношение максимального и минимального размеров больше 5, то это интерпретируют как несоответствие формы выпуклой поверхности априорным ожиданиям о форме опухоли или неопухолевого образования.

Кроме того, в одном из вариантов осуществления изобретения на этапе постпроцессинга для определения средней вероятности внутри каждой ограничивающей поверхности на основе 3D-маски наличия/отсутствия патологии выделяют элементы 3D-маски наличия/отсутствия патологии внутри ограничивающей поверхности и находят их среднее арифметическое значение. Фильтрация ограничивающих поверхностей на основе средней вероятности внутри каждой ограничивающей поверхности может быть реализована следующим образом: если средняя вероятность для конкретной ограничивающей поверхности меньше второго порогового значения, то поверхность удаляют.

Кроме того, на этапе постпроцессинга классификацию оставшихся ограничивающих поверхностей производят в зависимости от анализируемой фазы - нативной или контрастной, при этом для нативной фазы находят средние вероятности по каждому классу патологий на основе 3D-маски вероятностей классов патологий отдельно для каждого класса патологии, полученные значения средних вероятностей для каждого класса патологии нормируются на единицу; для контрастной фазы выделяют все элементы 3D-изображения исследуемой области внутри ограничивающей поверхности, на основании выбранных элементов формируют гистограмму, сформированная гистограмма является входными данными для предобученной нейронной сети классификации, значения предсказаний которой интерпретируют как вероятности принадлежности ограничивающей поверхности к соответствующим классам патологий.

Кроме того, на этапе постпроцессинга расположение каждого сегмента почки может быть определено следующим образом: для каждой анатомической зоны почки создают облако точек, для созданного облака точек считают среднее значение координат по каждому измерению и стандартное отклонение от центра. При этом анатомическую локализацию ограничивающих поверхностей определяют следующим образом: для каждой ограничивающей поверхности находят центр ограничивающей поверхности, после чего, рассчитывают расстояние от центра ограничивающей поверхности до каждого из центров анатомических зон почек, находят анатомическую зону, расстояние до которой минимально; ограничивающую поверхность считают принадлежащей этой анатомической зоне, если расстояние не превышает два стандартных отклонения, в противном случае ограничивающую поверхность удаляют.

Индексная маска в одном из вариантов осуществления изобретения может быть создана следующим образом: для каждой ограничивающей поверхности, пиксели, лежащие внутри поверхности с индексом i, заполняют уникальными для поверхности числами типа int, равными i + 1, ключами двухуровневого словаря являются индексы поверхностей, увеличенные на единицу, а соответствующими значениями являются словари характеристик ограничивающих поверхностей.

В одном из вариантов реализации изобретения для отчета формируют дополнительные серии DICOM изображений с визуализированными патологиями (SC) и текстовые отчеты с описанием патологий (SR), создают DICOM изображение дополнительной серии, выбирают соответствующий порядковому номеру изображения срез индексной маски, на основе среза индексной маски визуализируют патологии на DICOM изображении дополнительной серии, на основе двухуровневого словаря оставшихся поверхностей создают текстовый отчет.

Технический результат достигается также при осуществлении системы для выявления объемных образований почек на компьютерной томографии (медицинских изображениях), включающей устройство для определения патологии, которое представляет собой удаленный сервер с размещенными на нем блоками: блоком хранения и архивации исходных DICOM изображений и результатов, блоком препроцессинга исходных DICOM изображений, блоком обработки изображений алгоритмом на основе нейронных сетей, блоком постпроцессинга, блоком визуализации и формирования отчетов, при этом упомянутые блоки выполнены с возможностью осуществления предприсанной им функции.

В частности, блок хранения и архивации исходных DICOM изображений и результатов выполнен с возможностью получать и хранить пакеты DICOM изображений.

Блок препроцессинга исходных DICOM изображений выполнен с возможностью осуществлять группировку файлов по сериям, каждая из которых соответствует определенной фазе контрастирования, с последующей обработкой сгруппированных DICOM изображений посредством преобразования каждого из изображений в группе в плотностное изображение HU_image и сортировки полученных изображений по порядковому номеру и конкатенации в единое 3D-изображение.

Юлок обработки изображений алгоритмом на основе нейронных сетей выполнен с возможностью нарезки 3D-изображения вдоль выбранных осей, при этом использующий по меньшей мере три основные оси координат, объединения нарезанных изображений в пакеты (batches), подачи пакетов в предварительно обученные U-Net-подобную сеть для сегментации патологий и U-net-подобную сеть для сегментации сегментов почек, получения масок вероятностей для классов патологий и масок вероятностей для шести анатомических зон почек, объединения масок вероятностей, полученных вдоль каждой оси с получением усредненных 3D-маски вероятностей классов патологий и 3D-маски анатомических зон почек, соответственно;

Блок постпроцессинга выполнен с возможностью бинаризации 3D-маски наличия/отсутствия патологии, бинаризации 3D-маски вероятностей анатомических зон почек, создания облака точек на основе бинаризированной 3D маски наличия/отсутствия патологий, создания облака точек на основе бинаризированной 3D маски вероятностей анатомических зон почек, осуществления кластеризации алгоритмом DBSCAN, создания ограничивающих поверхностей, осуществления опциональной геометрической фильтрации ограничивающих поверхностей, поиска средней вероятности внутри каждой ограничивающей поверхности, осуществления фильтрации ограничивающих поверхностей на основе средней вероятности, произведении классификации оставшихся ограничивающих поверхностей, определения расположения каждого сегмента почки, определения анатомической локализации ограничивающих поверхностей, создания индексной маски и двухуровневого словаря.

Блок визуализации и формирования отчетов выполнен с возможностью создания DICOM изображения дополнительной серии, выбора соответствующего порядковому номеру изображения среза индексной маски, визуализации патологии на DICOM изображении дополнительной серии, создания текстового отчета на основе двухуровневого словаря, отправки сформированных отчетов в блок хранения и архивации исходных DICOM изображений и результатов.

Достижение технического результата – повышение точности выявления объемных образований почек на КТ-изображениях почек при использовании ограниченного объема обучающих данных, оптимизация использования вычислительных ресурсов, обеспечивается за счет следующих аспектов.

Повышенное быстродействие заявленной системы по сравнению с известными аналогами реализуется за счет анализа КТ изображения по 2D-срезам в нескольких измерениях с постепенной реконструкцией трёхмерной маски сегментации, вместо прямого анализа воксельного изображения нейронной сетью для сегментации трехмерных изображений, при этом метрики качества остаются сопоставимыми с аналогами, использующими сети 3D сегментации, и превышают метрики качества аналогов, использующих методы 2D cсегментации, за счет анализа изображения в нескольких измерениях, агрегации результатов анализа в нескольких измерениях, с последующим постпроцессингом, использующим методы кластеризации, построения ограничивающих поверхностей, анализа отдельных участков маски сегментации внутри ограничивающих поверхностей и опционально гистограммы участка трёхмерного изображения внутри ограничивающей поверхности для контрастных фаз КТ исследования, что увеличивает точность классификации, детекции, и сегментации отдельных объемных образований.

Из уровня техники не известно комплексное использование 2D сетей сегментации для анализа 3D-изображений более, чем в 3 измерениях, с последующей агрегацией полученных масок сегментации в одну маску, бинаризацией маски, построением облака точек, кластеризацией облака точек, нахождением отдельных огранивающих поверхностей для каждого облака точек, анализом средних значений маски сегментации внутри каждой ограничивающей поверхности, с последующей фильтрацией ограничивающих поверхностей на основе полученного значения средней вероятности внутри конкретной ограничивающей поверхности. Также неизвестно сочетание перечисленных выше операций сегментации и детекции с классификацией найденных объектов (отдельных ограничивающих поверхностей) на основе относительной доли предсказаний нейронной сети внутри ограничивающей поверхности по каждому сегментируемому классу с дополнительной возможностью классификации найденного объекта на основе анализа гистограммы участка анализируемого изображения внутри искомой ограничивающей поверхности. Комплексное использование перечисленных выше методов обеспечивает более высокую скорость и меньшие требования к вычислительным ресурсам по сравнению с аналогами, которые способны обеспечивать сопоставимые метрики качества сегментации, детекции и классификации. Кроме того, комплексное использование перечисленных выше методов обеспечивает более высокие метрики качества сегментации, детекции и классификации по сравнению с аналогами, имеющими сопоставимое или меньшее время обработки данных или требующими меньших вычислительных ресурсов.

Дополнительным преимуществом данного изобретения, является возможность генерации компактного текстового отчета, содержащего краткое описание результатов анализа КТ-исследования, включающее описание анатомической локализации, типа, размеров, плотностных характеристик каждого найденного образования, а не только визуализация найденных образований с указанием типа патологии, что улучшает пользовательский опыт.

Таким образом, перечисленные выше аспекты заявленного изобретения обеспечивают высокую точность сегментации, детекции и классификации патологий почек, минимизирует ложные срабатывания и снижают вероятность диагностических ошибок. Технология интегрируется с PACS и позволяет работать как с нативными, так и с контрастными изображениями. При этом в заявленном изобретении реализована возможность формирования результата диагностики в удобном, информативном и интуитивно понятном виде, что делает разработанный на его основе продукт дружественным и доступным для использования врачами разного уровня подготовки.

Краткое описание чертежей

Изобретение поясняется иллюстративными материалами.

На фигуре 1 показано 3D-изображение исследуемой анатомической области для случайной, отдельно взятой, серии DICOM изображений.

На фигуре 2 проиллюстрированы диагональные оси параллелепипеда, вдоль которых производится нарезка трехмерного изображения.

На фигуре 3 продемонстрировано поэтапное преобразование 3D-изображения исследуемой анатомической области к 3D-маске сегментации (для одного класса анатомии или патологии). Нарезка изображения показана схематично с целью демонстрации принципа анализа 3D-изображения 2D-Unet подобной нейронной сетью. Данная иллюстрация не отражает технических деталей реализации принципа, а именно, использования матрицы поворота и обратной матрицы поворота для ориентации изображения перед нарезкой на двумерные срезы. В конкретной технической реализации 3D-изображение поворачивают и нарезают по выбранным осям. Срезы, сгруппированные в пакеты (batches), обрабатывают нейросетями, с выводом результата в виде 3D-масок вероятностей. К 3D-маскам вероятностей применяют обратный поворот, после чего маски усредняют.

На фигуре 4 показан пример визуализации исходного DICOM изображения, поступающего в блок обработки изображений алгоритмом на основе нейронных сетей.

На фигуре 5 показан пример визуализации найденных поверхностей с цветовым выделением наиболее вероятной патологии в виде DICOM изображения дополнительной серии (SC).

На фигуре 6 показан пример результата генерации текстового SR отчета с подробным описанием каждого найденного образования.

На фигуре 7 показана блок-схема реализации изобретения, демонстрирующая архитектуру технического решения и взаимосвязь компонентов системы. Изобретение может найти воплощение в виде программного продукта, который может быть установлен на удаленный сервер медицинской организации с возможностью удаленного доступа, при этом программный продукт содержит блок хранения и архивации исходных DICOM изображений и результатов, обладающий Web интерфейсом, авторизация в котором происходит посредством ввода логина и пароля пользователя, блок обработки изображений алгоритмом на основе нейронных сетей, брокер сообщений, распределяющий выполнение обработки пакетов блоком обработки изображений алгоритмом на основе нейронных сетей и блок общего хранилища.

На фигуре 8 показана блок-схема реализации изобретения, демонстрирующая пошаговое преобразование исходных DICOM изображений на этапе препроцессинга.

На фигуре 9 показана блок-схема, демонстрирующая пошаговое преобразование данных на этапе обработки 3D-изображения исследуемой области алгоритмом обработки изображений на основе нейронных сетей.

На фигурах 10 и 11 показаны блок-схемы реализации изобретения, демонстрирующие схему алгоритма постпроцессинга, при этом фигура 10 демонстрирует краткую логику постпроцессинга и определяет взаимосвязи шагов, а фигура 11 демонстрирует процесс построения ограничивающих поверхностей на основе 3D-маски наличия/отсутствия патологии.

Осуществление изобретения

В настоящем описании использованы следующие термины, определения и сокращения, характеризующие заявленные способ и систему, протоколы, языки программирования и форматы, архитектуры, фреймворки и библиотеки, и др.

КТ – компьютерная томография.

DICOM (Digital Imaging and Communications in Medicine) - стандартный протокол и формат для обмена, хранения и передачи медицинских изображений и связанных с ними информаций, таких как рентгеновские снимки, МРТ (магнитно-резонансная томография), КТ (компьютерная томография) и другие виды медицинских изображений. (https://www.dicomstandard.org/).

SR отчет - расширение стандарта DICOM (Digital Imaging and Communications in Medicine), предназначенное для структурированной и нормализованной передачи структурированных медицинских отчетов в цифровой форме;

SC отчет – дополнительная серия DICOM изображений, содержащая дополнительную визуализацию.

PACS (Picture Archiving and Communication System) - интегрированная система для хранения, передачи и просмотра медицинских изображений, таких как рентгеновские снимки, МРТ, КТ и ультразвуковые изображения, в цифровой форме.

ИИ (AI) - искусственный интеллект.

Нейросеть (или нейронная сеть) - вычислительная модель, состоящая из соединенных и взаимодействующих искусственных нейронов, образующих слои.

UID - уникальный идентификатор, используемый в качестве ключа обработки медицинских изображений, полученных в результате лучевых исследований.

API (Application Programming Interface) - набор определенных правил и протоколов, которые позволяют разным программам и компонентам программного обеспечения взаимодействовать друг с другом.

Метаданные - данные о данных (или информация о другой информации, или данные, относящиеся к дополнительной информации о содержимом или объекте). Метаданные раскрывают сведения о признаках и свойствах, характеризующих какие-либо сущности, позволяющие автоматически искать и управлять ими в больших информационных потоках.

Маска - наложенное на исходное изображение однородное цветовое представление, выделяющее какой-либо объект или его часть.

Рéндеринг - программная визуализация.

Python - высокоуровневый, интерпретируемый язык программирования с динамической типизацией.

Docker (докер) - открытая платформа для разработки, доставки и запуска приложений в контейнерах.

Контейнеры - легковесные и отдельные окружения, которые могут включать в себя приложение и все его зависимости, что обеспечивает изолированное и надежное выполнение приложений на разных вычислительных средах.

PostgreSQL - открытая реляционная система управления базами данных (СУБД), которая используется для хранения и управления данными в приложениях и веб-сайтах. PostgreSQL известен своей надежностью, производительностью и расширяемостью, предоставляет множество продвинутых функций для работы с данными и выполнения запросов.

RabbitMQ - программный брокер сообщений на основе стандарта AMQP.

Брокер сообщений - архитектурный шаблон в распределённых системах; приложение, которое преобразует сообщение по одному протоколу от приложения-источника в сообщение протокола приложения-приёмника, тем самым выступая между ними посредником. Осуществляет проверку сообщений на ошибки, маршрутизацию к конкретному приемнику, сохранение сообщений и ответов приемников, вызов веб-сервисов.

AMQP (Advanced Message Queuing Protocol) - открытый протокол прикладного уровня для передачи сообщений между компонентами системы.

Фреймворк (англоязычный аналог framework «остов, каркас, рама; структура») - программная платформа, определяющая структуру программной системы; программное обеспечение, облегчающее разработку и объединение разных компонентов большого программного проекта.

FastAPI – это современный и высокопроизводительный фреймворк для создания веб-приложений и API на языке программирования Python.

RESTful API – (Representational State Transfer Application Programming Interface) - архитектурный стиль и набор ограничений для создания веб-сервисов, которые обеспечивают взаимодействие между клиентами и серверами посредством передачи данных в виде ресурсов.

Pytorch – бесплатный и открытый фреймворк машинного обучения и глубокого обучения, разработанный и поддерживаемый Facebook's AI Research lab (FAIR). Он предоставляет гибкие инструменты для создания и обучения нейронных сетей, а также обширное сообщество пользователей и исследователей в области искусственного интеллекта (ИИ).

Библиотека – коллекция программных функций, процедур и ресурсов, предназначенных для решения конкретных задач или обеспечения определенной функциональности в рамках программирования. Библиотеки часто разрабатываются и предоставляются другими разработчиками, чтобы облегчить создание программ и приложений.

Open3D – библиотека с открытым исходным кодом, которая поддерживает быструю разработку программного обеспечения, работающего с 3D-данными. Интерфейс Open3D предоставляет набор тщательно отобранных структур данных и алгоритмов как на C++, так и на Python. Бэкэнд высоко оптимизирован и настроен на параллелизацию.

Alembic – библиотека, реализующая методы создания и применения миграций баз данных.

PyVista – библиотека-расширение для Visualization Toolkit (VTK), которая использует метод взаимодействия с VTK через NumPy и прямой доступ к массиву.

VTK (Visualization Toolkit) – открытая программная система, которая обеспечивает расширенные возможности в 3D-компьютерной графике, обработке изображений, моделировании, объемном рендеринге и научной визуализации. Реализует потоковую и распределенную параллельную обработку памяти для масштабируемости и лучшей производительности.

SciPy – это набор математических алгоритмов и удобных функций, созданных на основе NumPy.

Pydicom – библиотека для чтения, записи, модификации и создания DICOM файлов.

Aiofiles – библиотека, реализующая асинхронное чтение данных из входного/выходного потока на python.

Aiohttp – библиотека, реализующая возможность создания асинхронных http запросов на python.

Celery – открытая библиотека для распределенной обработки задач в Python, которая позволяет выполнять долгие и ресурсоемкие операции в фоновом режиме, чтобы не блокировать основной поток выполнения приложения.

Celery worker – компонент в системе Celery, который выполняет фоновые задачи в асинхронном режиме.

Torchvision – пакет библиотеки PyTorch, который предоставляет набор утилит и инструментов для работы с компьютерным зрением и обработки изображений. TorchVision расширяет функциональность PyTorch, делая его более удобным и мощным для разработки и обучения моделей машинного обучения, связанных с обработкой изображений и видео.

PIL (Python Imaging Library) – библиотека Python для работы с изображениями. Она предоставляет различные функции и инструменты для открытия, создания, редактирования и сохранения изображений в различных форматах.

OpenCV (Open Source Computer Vision Library) – библиотека с открытым исходным кодом, разработанная для обработки изображений и компьютерного зрения. OpenCV предоставляет множество инструментов и функций для работы с изображениями и видео, а также для выполнения различных задач в области компьютерного зрения и обработки изображений.

Numpy (Numerical Python) – библиотека для языка программирования Python, предназначенная для работы с числовыми массивами и выполнения математических операций над ними. NumPy предоставляет множество функций и инструментов для эффективной работы с массивами данных, включая многомерные массивы, линейную алгебру, статистические операции и многое другое.

Аlbumentations – библиотека для аугментации изображений в задачах машинного обучения и компьютерного зрения. Она предоставляет разнообразные методы и инструменты для изменения и улучшения наборов данных изображений. Albumentations позволяет создавать разнообразные трансформации, такие как повороты, сдвиги, изменение контраста, наложение шума и другие, чтобы расширить и разнообразить обучающие данные.

PixelData – фактические данные, представляющие цвета или интенсивность пикселей на изображении. Термин PixelData обычно используется в контексте обработки изображений и медицинских изображений (например, в медицинской радиологии и обработке медицинских изображений).

Первое пороговое значение – значение, применяемое непосредственно к маске сегментации патологических образований для получения бинарной маски, иными словами – порог сегментации патологий.

Второе пороговое значение – значение, с которым сравнивают среднюю вероятность предсказаний внутри ограничивающей поверхности, иными словами – порог детекции отдельного образования.

Третье пороговое значение – значение, применяемое непосредственно к маске локализации для получения бинарной маски локализации, иными словами – порог сегментации анатомических зон почек.

Конкатенация – объединение двух или более объектов счётного вида с сохранением порядка следования элементов.

3D-патчи – небольшие фрагменты изображений (например, участки размера 32x32 пикселя из 2D-изображений). В 3D контексте это кубические участки, например, размером 32×32×32 вокселя.

Препроцессинг (предобработка) – этап обработки данных перед передачей их в модели искусственного интеллекта.

Постпроцессинг (постобработка) – этап обработки данных после работы моделей искусственного интеллекта, направленный на улучшение интерпретации или применение результатов.

Серия изображений (фаза) – это набор изображений, связанных одной исследовательской сессией или областью сканирования.

Плотностное изображение (HU_image) – формат DICOM изображения, в котором каждый пиксель изображения характеризует плотность ткани КТ изображения в единицах HU (Hounsfield Units).

Modality –DICOM tag, который описывает тип медицинского исследования (например, КТ, МРТ, рентген и т.д.).

InstanceNumber – порядковый номер DICOM – изображения внутри одной серии.

SeriesDescription – текстовое описание серии DICOM изображений, содержащее дополнительную информацию об исследуемой области, условиях сканирования и/или цели исследования.

SliceThickness – DICOM tag, который описывает толщину одного сканируемого слоя (среза) в трехмерном объёме (обычно указывается в миллиметрах).

PixelSpacing – DICOM tag, который описывает физическое расстояние (как правило, в миллиметрах) между центрами соседних пикселей по горизонтали и вертикали в плоскости DICOM изображения.

RescaleSlope – коэффициент (наклон линейной функции), используемый для преобразования значений, сохранённых в пикселях, в стандартизированные единицы (например, в HU при КТ) согласно DICOM tag Modality LUT.

RescaleIntercept – DICOM tag, который описывает смещение (свободный член линейной функции) в преобразовании пиксельных значений после умножения на RescaleSlope, позволяющее перевести данные в нужный диапазон интенсивностей.

WindowCenter – DICOM tag, который описывает значение, задающее центр (уровень яркости) отображаемого окна интенсивностей при визуализации.

WindowWidth – DICOM tag, который описывает диапазон (ширина) вокруг указанного WindowCenter, в рамках которого отображаются значения интенсивности на изображении.

2D U-net подобная сеть – архитектура сверточной нейронной сети с U-образной топологией, предназначенная для сегментации двумерных изображений; позволяет выделять объекты, учитывая контекст на нескольких уровнях детализации.

3D U-net подобная сеть – аналогичная 2D U-net архитектура сверточной нейронной сети, использующая трехмерные операции свертки и пулинга, что делает её подходящей для сегментации трехмерных данных (например, объёмных КТ- или МР-исследований).

Обучающая выборка (обучающие данные) – набор данных, на котором производят обучение нейронной сети или иного алгоритма ИИ.

Валидационная выборка (валидационные данные) – набор данных, на котором производят тестирование нейронной сети или иного алгоритма ИИ во время обучения.

IOU (Intersection over union) - это метрика, которая используется в задачах компьютерного зрения, особенно в задачах объектного детектирования, для оценки качества предсказания модели. IOU измеряет степень пересечения между предсказанным и истинным ограничивающими исследуемую область прямоугольниками.

Клиническая валидация – процесс подтверждения способности системы искусственного интеллекта выдавать клинически значимые выходные данные, связанные с целевым использованием системы искусственного интеллекта в рамках установленного изготовителем функционального назначения.

Способ выявления онкозаболеваний в органах брюшной полости может быть реализован в виде компьютерно-реализуемой системы, предназначенной для поддержки принятия врачебного решения.

Система, по меньшей мере, включает локальное устройство медицинской организации (или сервер медицинской организации) и устройство для определения патологии, которое в своем большинстве представляет собой удаленный сервер, снабженный средствами, с помощью которых реализуют основные процессы обработки и анализа изображений результатов КТ исследований с использованием алгоритмов искусственного интеллекта и моделей машинного обучения. Результаты обработки и анализа изображений с удаленного сервера возвращают на локальный сервер медицинской организации, с которым могут быть связаны рабочие места (периферические устройства, например компьютеры) медицинского персонала.

Локальное устройство медицинской организации выполнено с возможностью получения серии изображений органов брюшной полости обследуемого пациента в формате набора DICOM файлов с КТ аппарата. На локальном устройстве осуществляют начальный этап обработки КТ изображений и формируют очередь для передачи предобработанных изображений в виде набора данных на удаленный сервер.

Удаленный сервер используют для анализа полученного набора данных с помощью нейронных сетей, обученных для конкретного типа диагностического исследования и определённого набора патологий.

Система может содержать дополнительный компонент, представляющий собой средство просмотра, которое размещают на стороне медицинской организации (на локальном устройстве (сервере) медицинской организации или на рабочих компьютерах медицинского персонала), имеет возможность приёма результата определения патологии от удаленного сервера и выгрузки данных в DICOM SR (Structured Report).

Заявленная система может быть дополнительно снабжена средствами интеграции с уже имеющимися в медицинской организации системами, например, такими как PACS (система архивации и передачи изображений) для получения КТ изображений пациентов из хранилища медицинской организации и радиологическими медицинскими информационными системами.

Способ выявления онкозаболеваний в органах брюшной полости содержит последовательно выполняемые этапы обработки и анализа медицинских изображений: этап отбора из исходного пакета изображений целевого органа/области пациента (DICOM) изображений, выполненных в аксиальной проекции с последующей их загрузкой в систему хранения и архивации медицинских изображений (PACS); этап препроцессинга загруженных изображений; этап анализа изображений с использованием алгоритма на основе нейронных сетей; этап постпроцессинга результатов анализа изображений; этап формирования отчета, содержащего дополнительные серии DICOM изображений с визуализированными патологиями (SC) и текстовые отчеты с описанием патологий (SR).

На этапе отбора КТ изображений, реализуемом на локальном устройстве медицинской организации, из подлежащих обработке данных, которые содержат, по меньшей мере, одну объемную серию изображений, формируют набор данных для передачи на удаленный сервер. Для чего отбирают серии изображений в аксиальной проекции. Отбор происходит автоматически по метаданным или в ручном режиме. Исследование пациента может проводиться на различных КТ аппаратах. Далее из полученных изображений формируют набор данных для передачи на удаленный сервер всех изображений в виде одного пакета. Формирование набора данных может быть реализовано посредством ручного сбора файлов или встроенными функциями системы PACS на стороне медицинской организации. После формирования пакета с данными, осуществляют передачу пакета в блок хранения и архивации DICOM изображений

Этап препроцессинга, который в одном из вариантов реализации изобретения может быть реализован на удаленном сервере, включает следующие шаги.

На первом шаге в блоке хранения и архивации DICOM изображений принимают сформированные пакеты, которые затем сохраняют в блок общего хранилища (представляющее собой общее дисковое пространство) блоков хранения и архивации DICOM изображений и обработки изображений алгоритмом на основе нейронных сетей под уникальным ID. Одновременно с сохранением пакетов DICOM изображений осуществляют постановку в очередь обработки полученных изображений посредством записи в очередь сообщения с указанием ID полученных данных. Формирование очереди обработки реализуют посредством конфигурации брокера сообщений RabbitMQ с указанием заранее определенного имени очереди. Получение сообщения из очереди реализуют путем создания блока управления очередями, который подключают к брокеру RabbitMQ. Блок управления очередями принимает на заранее заданных параметрах подключения и заранее заданных конфигурациях очередей RabbitMQ сообщение и начинает обработку полученных данных.

На втором шаге производят поиск файлов в директории с уникальным ID, полученным в сообщении, и формируют массив входных DICOM файлов. Чтение каждого DICOM файла реализуют с помощью библиотеки pydicom, чтение может быть реализовано как в синхронном формате, с выбором параметра mode “r” при открытии файла, так и в асинхронном формате с помощью библиотеки aiofiles с выбором параметра mode “rb” при открытии файла.

На третьем шаге каждый полученный DICOM файл валидируют. Для корректной обработки DICOM файл должен содержать следующие поля: Modality, InstanceNumber, PixelData, SeriesDescription, SliceThickness, PixelSpacing, RescaleSlope, RescaleIntercept, WindowCenter, WindowWidth. При этом поля RescaleSlope и RescaleIntercept применяют согласно следующей формуле: Output = m * SV + b, где m – значение RescaleSlope, b – значение RescaleIntercept, SV – оригинальные значения PixelData, сохраненные в файле.

На следующем, четвертом, шаге оставшиеся после валидации DICOM файлы фильтруют по полю Modality, отбирают только те, которые соответствуют КТ изображениям.

На пятом шаге записывают оставшиеся DICOM файлы в экземпляры объекта-хранилища DicomData, каждый экземпляр этого класса обладает следующими полями: dcm_path, характеризующее путь к оригинальному DICOM файлу; dcm_name – имя оригинального DICOM файла; dcm – считанный в оперативную память DICOM файл; instance_number – порядковый номер изображения в серии; image – оригинальное значение PixelData; hu_image – плотностное изображение, изначально задается None.

На пятом шаге группируют полученные DICOM изображения по сериям изображений, путем создания словаря стандартными средствами python, где ключом является значение поля SeriesInstanceUID, а значением – список относящихся к этой серии экземпляров вспомогательного объекта-хранилища. Дополнительно для предотвращения получения ошибки KeyError в python, создают defaultdict объект, вместо стандартного словаря.

На шестом шаге к каждому изображению в каждой серии применяют поля RescaleSlope и RescaleIntercept согласно формуле, описанной на третьем шаге, затем применяют параметры окна WindowCenter и WindowWidth, полученное таким образом изображение является плотностным hu_image изображением. Полученное плотностное изображение записывают в соответствующее поле hu_image каждого экземпляра объекта-хранилища.

На седьмом шаге каждую серию изображений сортируют по полю instance_number, соответствующих серии DICOM изображений, после чего упорядоченный набор изображений серии конкатенируют в 3D-изображение исследуемой анатомической области с помощью функции concatenate библиотеки numpy.

Этап анализа изображений с использованием алгоритма на основе нейронных сетей, который в одном из вариантов реализации изобретения может быть реализован на удаленном сервере, включает следующие шаги.

1. На первом шаге данного этапа для каждой серии полученное изображение нарезают вдоль каждой выбранной оси на слои с шагом не более 3 пикселей, оптимально – 1 пиксель, при этом количество осей выбирают, по меньшей мере, три X, Y, Z (оптимально, семь, включая оси, расположенные соответственно с пространственной диагональю параллелепипеда – медианной линией или осевой диагональю). Нарезание осуществляют следующим образом. К 3D-изображению исследуемой области применяют матрицу поворота с соответствии с данными, представленными в сводной таблице 1.

Таблица 1

Диагональ / Плоскость Уравнение плоскости Нормаль Ось вращения Угол поворота (рад) x=y x−y=0 [1,−1,0] [0,0,1] π/4 x=−y x+y=0 [1,1,0] [0,0,1] −π/4 x=z x−z=0 [1,0,−1] [0,1,0] π/4 y=z y−z=0 [0,1,−1] [1,0,0] π/4 x=−z x+z=0 [1,0,1] [0,1,0] −π/4 y=−z y+z=0 [0,1,1] [1,0,0] −π/4

Угол поворота вычисляют следующим образом: вычисляют скалярное произведение вектора нормали на изначальный вектор оси вращения [0, 0, 1]; к полученному значению применяют функцию arccos для поиска угла из библиотеки numpy; ось вращения вычисляют как векторное произведение нормали и изначального вектора оси вращения.

Полученное 3D-изображение нарезают вдоль оси X в новой (повернутой) системе координат, обратный поворот производят путем поиска обратной матрицы к матрице поворота и последующим поворотом с использованием обратной матрицы поворота. Матрицу поворота формируют согласно общеизвестным формулам (https://encyclopediaofmath.org/index.php?title=Rotation).

2. На втором шаге каждый слой преобразуют к размерам, требуемым на вход нейронной сетью, например, применяют numpy.pad, чтобы дополнить диагональные срезы пустотами, формируют набор пакетов (batches), после чего каждый пакет обрабатывают предварительно обученной U-net подобной сетью сегментации для выявления исследуемых классов патологии (злокачественные образования ЗНО, доброкачественные образования ДНО, неопухолевые образования НО) и предварительно обученной U-net подобной сетью для сегментации сегментов почек, которая далее в описании изобретения и формуле изобретения называют также U-net подобной сетью для локализации патологий, выходом которой является маска сегментации с шестью классами принадлежности каждого пикселя соответственно к верхней, средней, нижней части левой и правой почек, к которой применяют третье пороговое значение (порог подбирается автоматически, с обеспечением максимизации среднего IOU по всем классам на валидационных данных).

Результатом этой обработки является получение пакета (batch) масок вероятностей по каждому классу патологии (которые в настоящем описании также могут иметь наименование – маски вероятностей классов патологий) и получение пакета (batch) масок вероятностей для шести анатомических зон почек (которые в настоящем описании также могут иметь сокращенное наименование – маски сегментации почек).

3. На следующем, третьем, шаге полученные пакеты масок вероятностей классов патологий и пакеты масок сегментации почек конкатенируют в 3D-маски маски вероятностей классов патологий вдоль выбранных осей и 3D-маски анатомических зон почек (сегментации почек), соответственно. Полученные 3D-маски вероятностей классов патологий и 3D-маски анатомических зон почек для каждой оси преобразуют с помощью обратного поворота, описанного на шаге 1. После чего, производят обрезку пустот изображения, добавленных на шаге 2 для соответствия размерам входных параметров нейронной сети, для этого пустоты могут быть заполнены фиксированными значениями, например numpy.NaN, зафиксированы их индексы в изображении путем создания бинарной маски пустот с последующим удалением значений в этих индексах из 3D-маски вероятностей классов патологий и 3D-маски сегментации почек путем наложения бинарной маски пустот на 3D-маски.

4. На последнем, четвертом, шаге данного этапа развернутые в одном направлении по разным осям 3D-маски вероятностей классов патологий и 3D-маски анатомических зон почек усредняют с использованием среднего арифметического 3D-маски вероятностей классов патологий и 3D-маски анатомических зон почек.

Этап постпроцессинга, который в одном из вариантов реализации изобретения может быть реализован на удаленном сервере, включает следующие шаги.

1. На первом шаге данного этапа на основе 3D-маски вероятностей классов патологий формы (num_classes, x, y, z) генерируют 3D-маску наличия/отсутствия патологии формы (x, y, z), путем применения функции максимизации вдоль оси количества классов патологий, например numpy.max с именованным параметром axis=0.

2. На втором шаге к 3D-маске наличия/отсутствия патологии применяют первое пороговое значение – результатом является бинарная разреженная маска (значение первого порога подбирается автоматически на валидационных данных, исходя из оптимизации IOU по всем классам патологии) Бинарную разреженную маску сегментации преобразуют в облако точек формы (x, y, z). К получившемуся облаку точек применяют алгоритм DBSCAN, например из библиотеки Open3D-метод cluster_dbscan экземпляра класса PointCloud, при этом параметры eps и min_points выбирают с учетом ожидаемой разреженности бинарной маски. Результатом является набор кластеров точек, где каждый кластер точек предположительно соответствует изолированному патологическому образованию.

3. На третьем шаге для каждого кластера точек осуществляют процедуру построения выпуклой поверхности или альфа-поверхности, с получением набора ограничивающих поверхностей для каждого кластера. Примером реализации может служить класс PointCloud библиотеки Open3D, реализующий методы построения выпуклой поверхности compute_convex_hull(), результатом которого является формирование объекта поверхности, содержащего поля вершин vertices и полигонов triangles.

4. На четвертом шаге производят опциональную геометрическую фильтрацию ограничивающих поверхностей. В некоторых реализациях изобретения получившийся набор ограничивающих поверхностей для каждого кластера подвергают фильтрации по соотношению геометрических показателей для соответствия формы ограничивающей поверхности априорным ожиданиям о форме опухоли или неопухолевого образования. Для этого производят поиск описанного параллелепипеда ограничивающей поверхности, после чего вычисляют его длину, ширину и глубину. После этого выбирают минимальное и максимальное значения размеров описанного параллелепипеда и оценивают отношение максимального размера к минимальному. Если полученное отношение превышает заранее определенное значение, то ограничивающую поверхность исключают из общего набора ограничивающих поверхностей.

5. На пятом шаге для каждой ограничивающей поверхности из изначальной 3D-маски сегментации наличия/отсутствия патологии выделяют все точки маски, лежащие внутри ограничивающей поверхности, подсчитывают среднее значение элементов маски внутри ограничивающей поверхности, полученное значение интерпретируют как достоверность детекции отдельного объекта. Примером реализации может служить класс UniformGrid из библиотеки pyvista, предоставляющий метод select_enclosed_points(), который принимает в качестве входного параметра объект pyvista.PolyData, создаваемый на основе вычисленных на третьем шаге объектов поверхностей. Результатом применения select_enclosed_points является объект, реализующий доступ к полям по ключу. Поле ‘SelectedPoints’ данного объекта хранит массив точек, лежащих внутри ограничивающей поверхности. На основе этих точек далее создают бинарную маску ограничивающей поверхности.

6. На следующем, шестом шаге производят фильтрацию ограничивающих поверхностей по второму пороговому значению (подбирается из соображений оптимизации F1 score детекции на валидационных данных).

7. На седьмом шаге производят классификацию отдельных образований, при этом существуют две альтернативы, реализующие классификацию:

Если анализируемая фаза является нативной фазой, то для всех поверхностей, прошедших фильтрацию по второму пороговому значению, производят подсчет средних вероятностей по каждому классу патологии, воспроизведя шаг 5, использовав вместо 3D-маски сегментации наличия/отсутствия патологии, 3D-маску анатомических зон почек для каждого класса патологии.

Если анализируемая фаза принадлежит к одной из контрастных фаз, то с оригинального 3D-изображения исследуемой области выделяют все точки, лежащие внутри ограничивающей поверхности, гистограмма этих точек является входными данными для нейронной сети классификации, выходом которой является вероятность принадлежности каждой ограничивающей поверхности к трем классам патологии.

8. На восьмом шаге к полученной ранее 3D-маске анатомических зон почек применяют заранее заданный третий порог, в результате чего получают бинарную маску сегментации отдельных анатомических фрагментов почки. Для каждого сегмента почки данную бинарную маску преобразуют в облако точек, для которого рассчитывают центр и среднеквадратичное отклонение от центра - реализовывать этот шаг можно с использованием встроенных функций numpy.average, numpy.sqrt и scipy.ndimage, применяя их к бинарной маске сегментации отдельных анатомических фрагментов почки.

9. На девятом шаге для каждой оставшейся поверхности подсчитывают следующие характеристики:

- Геометрические размеры в пикселях (глубина, ширина, высота), данный подсчет реализуют путем поиска ограничивающего параллелепипеда поверхности;

- Объем поверхности в пикселях, который вычисляют на основе пикселей, входящих во вписанный в ограничивающий параллелепипед эллипсоид по формуле: 4 / 3 * π * NUM_POINTS / 8, где NUM_POINTS – количество точек, входящих в ограничивающий параллелепипед;

- Значения вероятностей принадлежности к каждому классу патологии, подсчитанных на шаге 7, в сумме дающие 1;

- Плотностные показатели: на плотностных HU изображениях, соответствующих оригинальным изображениям (hu_image соответствующего экземпляра DicomData), выделяют все точки, лежащие внутри ограничивающей поверхности, после чего для получившихся значений подсчитывают статистические показатели (минимальное, максимальное, среднее арифметическое) с помощью стандартных методов numpy: numpy.min, numpy.max и numpy.mean соответственно.

- Ближайший к поверхности сегмент почки, который выбирают как наименьшее из всех расстояний от центра текущей поверхности до ранее определенных на шаге 8 центров каждого сегмента почки. Если расстояние превышает 2 стандартных отклонения, то такое образование на основе найденной поверхности считают ложно-положительно определенным и исключают из общего набора ограничивающих поверхностей.

10. На десятом шаге на основе оставшихся поверхностей генерируют индексную маску, совпадающую по форме с 3D-маской наличия/отсутствия патологии для последующей визуализации выявленных образований. В этой индексной маске, пиксели, лежащие внутри поверхности с индексом i, заполняют уникальными для поверхности числами типа int, равными i + 1. Кроме того, создают двухуровневый словарь, где ключом является индекс i + 1, а значением является словарь характеристик поверхности из шага 9.

Этап формирования отчета, который в одном из вариантов реализации изобретения может быть реализован на удаленном сервере, включает следующие шаги.

1. На первом шаге данного этапа производят преобразование формы индексной маски к форме 3D-изображения исследуемой анатомической области, при этом для сохранения индексации внутри маски применяют алгоритм interpolate из модуля nn.functional библиотеки pytorch с указанием параметра mode со значением “nearest”. При указании данного параметра в алгоритме interpolate, значения при изменении размеров не будут преобразованы согласно линейному или нелинейному правилу, а будут скопированы, сохраняя значение при переносе. После этого каждому срезу в преобразованной индексной маске ставят в соответствие экземпляр класса DicomData, это действие позволяет однозначно соотнести данные, полученные из исходного DICOM файла с результатами обработки.

2. На втором шаге для каждой пары экземпляра DicomData и среза индексной маски запускают алгоритм формирования и визуализации дополнительной серии DICOM изображений - формируют DICOM изображение дополнительной серии.

Для формирования DICOM изображения дополнительной серии получают исходный DICOM файл, для этого находят соответствующий для среза индексной маски экземпляр DicomData, который содержит поле dcm, хранящее исходный DICOM файл. На основе метаданных, лежащих в исходном DICOM файле, формируют DICOM файл дополнительной серии, для этого копируют параметры идентификаторов из исходного DICOM файла и заменяют значение поля SeriesInstanceUID на уникальное значение, которое не встречается среди исходных для серий изображений. Для того, чтобы визуализация найденных образований корректно отображалась на экране конечного пользователя, дополнительному изображению также устанавливают следующие поля с соответствующими значениями: Rows – тип int, количество строк в изображении, определяют после окончания визуализации, которая будет описана ниже; Columns – тип int, количество столбцов в изображении, определяют после окончания визуализации, которая будет описана ниже; PhotometricInterpretation – тип строка, значение “RGB”; SamplesPerPixel – тип int, значение 3; BitsStored – тип int, значение 8; BitsAllocated – тип int, значение 8; HighBit – тип int, значение 7; PixelRepresentation – тип int, значение 0; Modality – тип строка, значение SC.

Далее производят визуализацию найденных образований с помощью сопоставления двухуровневого словаря найденных образований, индексной маски образований и исходного DICOM изображения. Исходное DICOM изображение переводят средствами opencv из формата оттенков серого в формат RGB изображения, применяя функцию cv2.cvtColor(image, cv2.COLOR_GRAY2RGB). Исходное DICOM изображение дополняют слева и справа пустотами (пикселями черного цвета) шириной, необходимой для свободного прочтения информации на изображении после рендера, и высотой, равной высоте исходного изображения, рекомендуемое значение ширины пустоты – число, равное ширине исходного изображения. Данный шаг выполняют средствами numpy, создавая массив, заполненный из нулей numpy.zeros, шириной равной ширине исходного изображения плюс две ширины пустоты, высотой равной высоте исходного изображения. К срезу индексной маски применяют функцию оконтуривания, путем применения функции cv2.findContours, результатом оконтуривания является массив контуров, параметры, передаваемые в функцию findContours, следующие: Срез маски, переведенный в тип данных np.uint8, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE. Для каждого найденного контура создают бинарную маску, которую накладывают на срез индексной маски, в результате чего получают потенциальный срез поверхности на конкретном изображении. На потенциальном срезе поверхности подсчитывают моду, в результате чего определяют соответствующую поверхность. На основе однозначно определенной поверхности с помощью вычисленной моды устанавливают цвет контура, линии и рамки таблицы, согласно максимальному аргументу в массиве вероятностей патологий поверхности из словаря характеристик поверхности. Цвета патологий заранее задают в отдельном модуле в виде словаря, где ключом будет максимальный аргумент, а значением – цвет в формате RGB, представляющий собой массив из трех элементов, каждый из которых описывает насыщенность одного из трех цветовых каналов.

На основе ближайшего найденного сегмента почки для поверхности, определяют сторону, на которой будет происходить рендер информационной таблицы об образовании, как правило, при просмотре аксиальной проекции DICOM изображений, правая часть тела находится слева на изображении, а левая – справа. На основе данных о ближайшем к поверхности сегменте почки, производят рендер информационной таблицы определенным, как указано выше, цветом. Каждую строку данной таблицы выводят на изображение путем перевода изображения из формата cv2 в формат PIL Image, вызывая функцию PIL.Image.fromarray(), после чего от получившегося изображения создают экземпляр класса ImageDraw.Draw(), который реализует метод text() для рендера текста на изображении, после чего изображение обратно переводят в формат cv2 путем применения np.array(image).

Далее приведены строки информационной таблицы:

- Порядковый номер образования.

- Локализация. Для соотнесения сегмента почки с текстовой репрезентацией, каждый сегмент заранее соотносят с некоторым текстом в отдельном модуле в виде словаря, где ключом является – один из шести сегментов почки, а значением является текстовое описание сегмента почки.

- Размеры образования. Для перевода размеров из пикселей в миллиметры используют поля SliceThickness и PixelSpacing исходного DICOM файла.

- Плотность. Для определения используют плотностные показатели из соответствующего словаря характеристик поверхности.

- Вероятность. Для определения используют вероятности из соответствующего словаря характеристик поверхности.

Далее производят рендер линии, связывающей контур среза поверхности и соответствующую ей информационную таблицу, для этого при рендере таблицы фиксируют начальные координаты x и y таблицы, сохраняют координаты последней строки этой таблицы, таким образом ограничивая текст внутри таблицы прямоугольником, производят рендер границ таблицы встроенными средствами cv2. Рисуют контур среза поверхности, цветом, определенным выше цветом. Полученное изображение переводят в формат numpy.uint8, после чего заполняют поля Rows, Columns и PixelData в DICOM изображении дополнительной серии. Полученное DICOM изображение дополнительной серии сохраняют в блок общего хранилища с уникальным ID.

3. На следующем, третьем шаге, формируют SR отчет. Для чего создают DICOM файл SR отчета и копируют значения идентификаторов исследования и пациента. Генерируют текстовое описание найденных патологий, для этого текст SR отчета дополняют следующими данными: модальность исследования – определяют на основе исходных DICOM изображений; идентификатор исследования; дата и время формирования отчета – фиксируют дату и время в момент заполнения поля; назначение – фиксированный текст, определяющий область исследования; технические данные – текст, информирующий пользователя о проанализированной серии DICOM изображений: толщина срезов (определяют на основе поля SliceThickness исходного DICOM файла), количество срезов (определяют на основе общего количества DICOM изображений в серии); описание – текст, в котором отображают полное описание всех найденных образований, структура текста для каждого образования соответствует структуре информационной таблицы, представленной выше; заключение – текст, в котором отображают краткое описание всех найденных образований. Краткое описание каждого образования заполняют информацией о вероятностях и плотностных показателях образования; руководство пользователя – вспомогательный текст, в котором пользователя информируют о том, какими цветами выделены соответствующие патологии.

Полученный DICOM файл SR отчета сохраняют в блоке общего хранилища.

4. На следующем, заключительном шаге данного этапа, полученные для каждой серии исходных DICOM изображений, DICOM изображения дополнительной серии и соответствующие им SR отчеты отправляют в блок хранения и архивации DICOM изображений, для отправки используют пакет программного обеспечения dcmtk, предоставляющий функционал программной передачи данных по протоколу DICOM.

Компьютерно-реализуемая система с возможной реализацией в виде программно-аппаратного комплекса (далее продукт) включает объединенные в сеть с помощью проводной и/или беспроводной связи следующие устройства, как указано далее: рабочие места медицинского персонала и устройство для определения патологии (удаленный сервер).

Рабочие места медицинского персонала, например, врачей лучевой диагностики, представляют собой периферические устройства, например, компьютеры, с установленными на них современными браузерами, например, такими как Яндекс Браузер, Google Chrome или Firefox, подключенные в единую сеть медицинской организации.

Устройство для определения патологии (удаленный сервер) представляет собой, по меньшей мере, один блок памяти с контейнерами, содержащими компоненты программной части, в т.ч. реализующими шаги этапа обработки изображений (основная функциональность). Блок памяти содержит контейнер с интегрированным PACS системы продукта, обеспечивающей хранение и запись в очередь обработки по отправленным на удаленный сервер исследованиям; контейнер с брокером сообщений RabbitMQ (https://www.rabbitmq.com/), обеспечивающим очередь обработки, и Celery worker (https://docs.celeryq.dev/en/stable/), обеспечивающий возможность масштабируемой обработки; контейнер с компонентами основной функциональности, включающими FastAPI, обеспечивающий анонимизацию КТ-изображений и отправку результатов обработки в PACS систему продукта.

Для обучения моделей используют нейросетевые модели, основанные на сверточных архитектурах с механизмом «внимания» для повышения качества. В качестве фреймворка обучения могут быть использованы Pytorch (https://pytorch.org/docs/stable/index.html), а также библиотеки torchvision (https://pytorch.org/vision/stable/index.html), PIL (https://pillow.readthedocs.io/en/stable/), OpenCV (https://docs.opencv.org/4.8.0/), numpy (https://numpy.org/doc/stable/user/index.html#user), Sklearn (https://scikit-learn.org/stable/). Для валидации результата весь набор данных делят на 2 части — обучение, и отложенная выборка, в пропорции 80:20. Для тестирования используют отдельно размеченный набор данных не менее 30 процентов от исходного.

Сформированные модели машинного обучения размещают на удаленном сервере.

Для работы в системе проходят авторизацию под учетными данными врача.

Согласно изобретению на вход в средство просмотра поступают данные в DICOM формате. Данные загружают путем выбора папки или файлов КТ-исследований пациента с периферийных устройств (рабочих компьютером медицинского персонала) в PACS систему продукта. В результате обработки системой при запуске блока обработки изображений алгоритмом на основе нейронных сетей врач получает на выходе дополнительную серию медицинских изображений в виде набора DICOM файлов с модальностью SC и текстовых отчетов с модальностью SR. Передача данных происходит в форме вызова REST сервиса, опубликованного на удаленном сервере по HTTPS-интерфейсу. Реализация выполняется с использованием python фреймворка FastAPI (https://fastapi.tiangolo.com/) или др.

Примеры реализации изобретения

Разработанный способ детекции и сегментации объемных образований почек на томограммах с использованием методов анализа трехмерных изображений по срезам во многих проекциях и обнаружения поверхностей в облаках вероятностей был реализован в виде прототипа продукта (компьютерно-реализуемой системы), результатом работы которого является визуализация признаков одной или нескольких патологий на результате КТ-исследования почек в формате DICOM в виде оконтуривания (дополнительная серия изображений DICOM SecondaryCapture), включая данные о геометрических и плотностных характеристиках выявленных объемных образований, отчет по результатам анализа исследования с указанием вероятности присутствия каждой из искомых патологий (DICOM StructuredReport), а также аналитические отчеты по результатам проведенных исследований.

Разработанные компьютерно-реализуемая система и способ выявления объемных образований почек на компьютерной томографии (медицинских изображениях) обеспечивали:

- Выявление правой и/или левой почки вне зависимости от их расположения, размеров, формы; если одна почка отсутствовала, то определялась единственная имеющаяся почка, вне зависимости от ее расположения, размеров, формы;

- Выделение трех сегментов каждой почки: верхний, средний и нижний (деление на сегменты почки производилось во фронтальной проекции), где верхний сегмент был расположен от уровня верхнего полюса почки до условной линии, проведенной по верхнему краю ворот почки; средний сегмент – между двумя условными линиями, проведенными между верхним и нижним краем ворот почки; нижний сегмент – от уровня нижнего полюса почки до условной линии, проведенной по нижнему краю ворот почки;

- Выявление всех объемных образований, локализованных в пределах паренхимы правой и/или левой почки, вне зависимости от их морфологической принадлежности, количества, локализации и размеров;

- Определение количества всех выявленных объемных образований правой и/или левой почки;

- Проведение нумерации каждого выявленного объемного образования правой и/или левой почки (например, образование n=1; образование n=2);

- Определение локализации каждого выявленного объемного образования правой и/или левой почки; локализация образований указывалась при наличии выявленных образований, согласно трем выделенным сегментам почки;

- Определение размеров каждого выявленного объемного образования правой и/или левой почки (размеры определялись в аксиальной проекции в мм);

- Определение плотностных характеристик каждого выявленного объемного образования правой и/или левой почки (измерение плотности проводилось во всех фазах, указывались среднее значение, минимальное и максимальное значение; HU);

- Проведение дифференциальной диагностики всех выявленных объемных образований каждой почки, вне зависимости от размеров образования, с учетом выделенных классов патологии; осуществлялось автоматическое определение вероятности принадлежности выявленного образования к определенному классу патологии (в процентах, %);

- Формирование по результатам анализа дополнительных серий исследований: DICOM StructuredReport: дополнительная серия исследования, содержащая структурированный отчет-заключение в текстовом формате по обработанному модулем моделей искусственного интеллекта КТ-исследования (общая таблица для каждой почки, и текстовое сопровождение напротив каждого выявленного образования каждой почки); DICOM SecondaryCapture: дополнительная серия исследования, содержащая визуализацию выявленных объемных образований правой и/или левой почки в виде наложенной цветовой разметки на исходном КТ-исследовании;

- Формирование аналитических отчетов по заданию пользователя.

Обучение нейронных сетей производилось с использованием следующего набора данных. Было выбрано 800 КТ исследований, каждое из которых содержало 4 фазы исследования, одну нативную и 3 контрастных. Таким образом, использовалось 3200 изображений для 800 пациентов. Из 800 пациентов у 250 были диагностированы злокачественные новообразования почек, у 250 доброкачественнее новообразования почек, у 400 пациентов кисты почек (у некоторых пациентов было несколько типов патологии), у 250 пациентов не было описано никаких патологий. С помощью стандартных средств 3D-разметки для каждого из 3200 изображений врачами экспертами была создана 3-мерная маска сегментации с 7 классами: злокачественное новообразование, доброкачественное новообразование, киста (неопухолевое образование), верхний сегмент правой почки, верхний сегмент левой почки, средний сегмент правой почки, средний сегмент левой почки, нижний сегмент правой почки, нижний сегмент левой почки. Таким образом было получено 3200 масок сегментации для 9 классов анатомии и патологии размерами 512, 512, 512 вокселей.

Далее каждое 3-мерное КТ изображение и соответствующая маска были нарезаны вдоль 7 – осей, 3 осей (X, Y, Z) и 4 горизонтальных осей на 512 срезов по каждой оси. Таким образом было получено 11468800 двумерных изображений и соответствующих им двумерных масок для 7 классов патологии и анатомии.

Параллельно алгоритмическим способом для каждого изолированного патологического образования на каждой контрастной серии была найдена гистограмма соответствующего участка изображения. Всего на каждой контрастной серии было детектировано 912 объемных образований. Общий объем полученных гистограмм составил 2736.

Таким образом, было получено 2 набора: первый набор данных - 11468800 размеченных двумерных изображений для обучения U-net подобных нейронных сетей, второй набор данных - 2736 гистограмм с соответствующими метками класса образования, которому соответствовала гистограмма конкретного участка изображения, содержащая искомое образование.

Далее, используя первый набор данных, было обучено две U-net подобных нейронных сети одинаковой архитектуры. Для валидации была выделена независимая выборка из 20% данных, обучение проводилось на оставшихся 80% процентах набора данных. Причем разделение данных на обучающую выборку и набор для валидации производилось таким образом, чтобы срезы, полученные с КТ изображений одного пациента, присутствовали только в обучающем наборе данных или только в наборе данных для валидации.

В качестве архитектуры была выбрана FPN-net c энкодером Efficient-net-B7 (библиотека SMP https://github.com/qubvel-org/segmentation_models.pytorch). Обучение проводилось с использованием сочетания среднего focall – loss и jacar-loss, задача формулировалась как задача сегментации с многими метками. Для первой нейронной сети использовали 3 класса из обучающего набора данных: злокачественные новообразования, доброкачественные новообразования и кисты, для второй - 6 классов из набора: верхний сегмент правой почки, верхний сегмент левой почки, средний сегмент правой почки, средний сегмент левой почки, нижний сегмент правой почки, нижний сегмент левой почки. Обучение проводилось в течении 150 эпох для каждой нейронной сети. По окончании обучения были выбраны веса модели для эпох с наименьшими значениями Loss – функции на этапе валидации. Во время обучения использовались стандартные методы аугментации данных, а именно случайный поворот, случайный шум, случайна инверсия, случайные деформации.

Далее, используя второй набор данных, была обучена предсказывать тип патологического образования на основании гистограммы соответствующего участка изображения модель классификации на основе градиентного бустинга - Gradient Boosting Classifier из библиотеки Sklearn (https://scikit-learn.org/stable/). Для обучения модели классификации использовались метки классов, соответствующие типам патологий: злокачественные новообразования, доброкачественные новообразования и кисты. Для настройки гиперпараметров модели классификации был использован метод кросс-валидации. Обучение проводилось до сходимости метрики F1, а для тестирования была выделена независимая выборка из 20% данных.

Клиническая валидация разработанного продукта была проведена на выборке исследований, состоящей из результатов КТ-исследований почек в формате DICOM, полученных у 422 пациентов, с периодом наблюдения до 10 лет, с известными исходами/конечными точками (наличие/отсутствие патологии), специальным образом отобранных из медицинских данных медицинской организации, из них: 63 пациента с ЗНО, 75 пациентов с ДНО, 95 пациентов с Кистами и абсцессами, и 189 пациентов с отсутствием указанных образований. Из них: мужчин – 172, женщин – 260. Медианный возраст – 48.

Исследования проводились следующим образом. Каждое исследование из тестовой выборки было обработано разработанной системой. Полученный отчет был вручную проверен врачом экспертом. Проверка проходила следующим образом. Врач эксперт для каждого образования проверял корректность его выделения и классификации. Если образование было обнаружено и верно классифицировано, то это считалось истинно положительным срабатыванием для конкретного класса патологии, если не обнаружено - ложноположительным срабатыванием для конкретного класса патологии, если образование было обнаружено, но неверно классифицировано, то одновременно - ложноположительным срабатыванием для одного класса и ложноотрицательным для другого. На основании этих результатов рассчитывались точность, отзыв, среднегармоническое точности и отзыва - F1. В результате проведенных исследований метрики среднегармоническое точности и отзыва в нативной и контрастной фазах составили 0.82 – 0.89 для разных патологии, определяемой системой.

Также врачами – экспертами была проведена оценка точности сегментации: как достаточной, недостаточной для всех образований. В результате, точность сегментации и, соответственно, точность автоматического определения плотностных характеристик образований соответствовали целям клинической полезности в 87% случаев.

Также в автоматическом режиме оценивалась скорость генерации отчета. Измеренная скорость генерация отчета варьировалась от 20 секунд до 63 секунд в зависимости от числа обнаруженных патологических образований, что существенно меньше известных требований к максимальному времени работы систем анализа КТ-изображений.

Таким образом, по результатам клинической валидации установлен высокий уровень диагностической эффективности разработанных способа и системы при применении в соответствии с назначением.

Результаты работы разработанной системы представлены на фигурах 4 - 6.

Этап 1. Авторизация. Перед началом работы системы пользователю необходимо ввести свой логин и пароль. В системе также реализованы функции сохранения данных авторизации, восстановления пароля и гостевого доступа.

Этап 2. Выбор КТ- исследования. Для отправки исследования на анализ в сервис Прототипа требуется загрузить исследование используя команды «Select files to upload» и «Start the upload».

Этап 3. После окончания загрузки КТ-исследования автоматически производится его анализ блоком обработки изображений алгоритмом на основе нейронных сетей Прототипа.

Этап 4. На фигуре 4 приведен результат анализа КТ-исследования в виде дополнительной серии исследования DICOM SecondaryCapture, на которой в виде оконтуривания отображено выявленное объемное образование. Пользователю доступны данные о локализации выявленного объемного образования, его размеры, а также вероятность принадлежности к одному из классов искомых патологий в виде %. Для удобства пользователя каждое выявленное образование имеет контур соответствующего цвета. Расположение информационной таблички соответствует почке, в которой оно было выявлено (для правой почки пояснительный текст приводится слева, для левой, соответственно, справа). 

Этап 5. На фигуре 5 приведен результат анализа КТ-исследования в виде дополнительной серии исследования DICOM StructuredReport, в котором приведено подробное описание всех выявленных образований в разрезе правой и/или левой почек, приведены результаты измерения почек, количество выявленных объемных образований, их размер, локализация и вероятность принадлежности к одному из целевых классов патологии в виде %.

Таким образом, заявленное изобретение позволяет:

- Достичь высоких клинических показателей анализа КТ исследований почек. Выявлять перечень патологий с точностью, сравнимой с точностью метода при анализе врачом экспертом, как в контрастной, так и в нативной фазах;

- Достичь высокой производительности системы за счет использования 2D U-net подобной сети вместо 3D U-net при сохранении высоких метрик качества: измеренное время обработки серии КТ-исследований разработанной системой существенно меньше текущих требований к максимальному времени работы ИИ систем анализа КТ изображений, применяемых на практике и меньше времени, которое тратит в среднем врач рентгенолог на постановку диагноза, при исследовании КТ почки;

- Сократить время на проведение рутинных измерений целевого органа и выявленных объемных образований, тем самым оптимизируя загрузку медицинского персонала.

Кроме того, интерфейс разработанного продукта является удобным при использовании и отвечает современному уровню развития техники, является интуитивно понятным и позволяет быстро адаптироваться к применению системы в клинической практике.

Изобретение относится к медицине, а именно к обработке и исследованию медицинских изображений. Технический результат заключается в выявлении с высокой точностью образований почек по результатам анализа изображений, полученных как с введением, так и без введения контрастного вещества, а также в автоматическом измерении их характеристик. Способ включает этап отбора из исходного пакета DICOM изображений целевого органа пациента изображений; препроцессинг загруженных изображений, в результате которого получают единое 3D-изображение исследуемой области; анализ изображений с использованием алгоритма на основе нейронных сетей, на этапе которого формируют пакеты изображений, которые далее подают в предварительно обученные U-Net-подобную сеть для сегментации патологий и U-net-подобную сеть для сегментации сегментов почек с получением масок вероятностей для классов патологий, после чего полученные маски вероятностей объединяют с получением усредненных 3D-маски вероятностей классов патологий и 3D-маски анатомических зон почек; постпроцессинг, на этапе которого на основе полученных масок с помощью алгоритмов кластеризации и классификации определяют анатомическую локализацию ограничивающих поверхностей. 2 н. и 18 з.п. ф-лы, 11 ил., 1 табл.

1. Способ выявления объемных образований почек на компьютерных томограммах брюшной полости, включающий следующие последовательно реализуемые этапы:

этап отбора из исходного пакета DICOM изображений целевого органа пациента изображений, выполненных в аксиальной проекции с последующей их передачей в блок хранения и архивации DICOM изображений, этап препроцессинга загруженных изображений, этап анализа изображений с использованием алгоритма на основе нейронных сетей, этап постпроцессинга результатов анализа изображений, этап формирования отчета, содержащего дополнительные серии DICOM изображений с визуализированными патологиями (SC) и текстовые отчеты с описанием патологий (SR),

при этом на этапе препроцессинга загруженных изображений осуществляют группировку файлов по сериям, каждая из которых соответствует определенной фазе контрастирования, с последующей обработкой сгруппированных DICOM изображений посредством преобразования каждого из изображений в группе в плотностное изображение HU_image, после чего полученные изображения сортируют по порядковому номеру и конкатенируют в единое 3D-изображение исследуемой области,

на этапе анализа изображений с использованием алгоритма на основе нейронных сетей полученное единое 3D-изображение исследуемой области нарезают вдоль выбранных осей на слои с шагом до 3 пикселей, при этом используют по меньшей мере три основные оси координат (X, Y, Z), набор слоев по каждой оси объединяют в пакеты изображений,

далее пакеты изображений подают в предварительно обученные U-Net-подобную сеть для сегментации патологий и U-net-подобную сеть для сегментации сегментов почек с получением масок вероятностей для классов патологий: злокачественные опухоли (ЗНО), доброкачественные опухоли (ДНО), неопухолевые образования; и масок вероятностей для шести анатомических зон почек - верхней, средней, нижней частей левой и правой почек, соответственно;

после чего полученные маски вероятностей для классов патологий и для классов анатомических зон почек объединяют с получением усредненных 3D-маски вероятностей классов патологий и 3D-маски анатомических зон почек, соответственно;

на этапе постпроцессинга на основе полученной 3D-маски вероятностей классов патологий создают 3D-маску наличия или отсутствия патологии, бинаризируют 3D-маску наличия/отсутствия патологии, бинаризируют 3D-маску вероятностей анатомических зон почек, создают облако точек на основе бинаризированной 3D-маски наличия или отсутствия патологий, создают облака точек на основе бинаризированной 3D-маски вероятностей анатомических зон почек для каждого класса анатомических зон почек, осуществляют кластеризацию алгоритмом DBSCAN на облаке точек, созданном на основе бинаризированной 3D-маски наличия или отсутствия патологий, создают ограничивающую поверхность для каждого кластера, найденного алгоритмом DBSCAN, производят геометрическую фильтрацию ограничивающих поверхностей, находят среднюю вероятность внутри каждой ограничивающей поверхности на основе 3D-маски наличия или отсутствия патологии, осуществляют фильтрацию ограничивающих поверхностей на основе средней вероятности внутри каждой ограничивающей поверхности, производят классификацию оставшихся ограничивающих поверхностей, на основе бинаризированной маски анатомических зон почек определяют расположение каждого сегмента почки, на основе расположения каждого сегмента почки и расположения ограничивающих поверхностей определяют анатомическую локализацию ограничивающих поверхностей, создают индексную маску и двухуровневый словарь оставшихся поверхностей.

2. Способ по п.1, характеризующийся тем, что на этапе анализа изображений в качестве осей нарезки используют дополнительные диагональные оси.

3. Способ по п.1, характеризующийся тем, что на этапе анализа изображений с использованием алгоритма на основе нейронных сетей для каждой оси, вдоль которой нарезают 3D-изображение исследуемой области на слои, используют алгоритм поворота, основанный на применении матрицы поворота к 3D-изображению исследуемой области.

4. Способ по п.3, характеризующийся тем, что объединение полученных масок вероятностей классов патологий и вероятностей анатомических зон почек на этапе анализа изображений осуществляют следующим образом: для каждой маски вероятностей, полученной в результате анализа 3D-изображения, нарезанного вдоль соответствующей оси, находят обратную матрицу к матрице поворота и применяют её к соответствующей маске, полученные после обратного поворота маски вероятностей для каждой оси усредняют.

5. Способ по п.1, характеризующийся тем, что на этапе постпроцессинга 3D-маску наличия или отсутствия патологии на основе 3D-маски вероятностей классов патологий создают с применением операции максимизации 3D-маски вероятностей классов патологий вдоль оси классов.

6. Способ по п.1, характеризующийся тем, что на этапе постпроцессинга создают облако точек на основе бинаризированной 3D-маски наличия или отсутствия патологий с применением функции argwhere библиотеки numpy.

7. Способ по п.1, характеризующийся тем, что на этапе постпроцессинга облака точек создают на основе бинаризированной 3D-маски вероятностей анатомических зон почек для каждого класса анатомических зон почек с применением функции argwhere библиотеки numpy.

8. Способ по п.1, характеризующийся тем, что на этапе постпроцессинга кластеризацию алгоритмом DBSCAN на облаке точек осуществляют с вызовом метода cluster_dbscan экземпляра класса PointCloud библиотеки Open3d, с получением набора кластеров точек с уникальными метками.

9. Способ по п.1, характеризующийся тем, что на этапе постпроцессинга ограничивающую поверхность для каждого кластера создают следующим образом: все точки отдельного кластера по его уникальной метке передают как изолированный набор точек в алгоритм поиска выпуклой поверхности или альфа-поверхности библиотеки Open3d, с получением объекта ограничивающей поверхности, содержащего поля вершин и полигонов поверхности.

10. Способ по п.1, характеризующийся тем, что на этапе постпроцессинга геометрическую фильтрацию ограничивающих поверхностей производят следующим образом: для ограничивающей поверхности находят вертикальный, горизонтальный и продольный размеры, далее находят минимальный размер и максимальный размер, далее находят отношение максимального и минимального размеров, если отношение максимального и минимального размеров больше 5, то это интерпретируют как несоответствие формы выпуклой поверхности априорным ожиданиям о форме опухоли или неопухолевого образования.

11. Способ по п.1, характеризующийся тем, что на этапе постпроцессинга для определения средней вероятности внутри каждой ограничивающей поверхности на основе 3D-маски наличия/отсутствия патологии выделяют элементы 3D-маски наличия или отсутствия патологии внутри ограничивающей поверхности и находят их среднее арифметическое значение.

12. Способ по п.11, характеризующийся тем, что на этапе постпроцессинга фильтрацию ограничивающих поверхностей на основе средней вероятности внутри каждой ограничивающей поверхности осуществляют следующим образом: если средняя вероятность для конкретной ограничивающей поверхности меньше второго порогового значения, то поверхность удаляют.

13. Способ по п.1, характеризующийся тем, что на этапе постпроцессинга классификацию оставшихся ограничивающих поверхностей производят в зависимости от анализируемой фазы - нативной или контрастной, при этом для нативной фазы находят средние вероятности по каждому классу патологий на основе 3D-маски вероятностей классов патологий отдельно для каждого класса патологии, полученные значения средних вероятностей для каждого класса патологии нормируются на единицу; для контрастной фазы выделяют все элементы 3D-изображения исследуемой области внутри ограничивающей поверхности, на основании выбранных элементов формируют гистограмму, сформированная гистограмма является входными данными для предобученной нейронной сети классификации, значения предсказаний которой интерпретируют как вероятности принадлежности ограничивающей поверхности к соответствующим классам патологий.

14. Способ по п.1, характеризующийся тем, что на этапе постпроцессинга на основе бинаризированной маски анатомических зон почек расположение каждого сегмента почки определяют следующим образом: для каждой анатомической зоны почки создают облако точек, для созданного облака точек считают среднее значение координат по каждому измерению и стандартное отклонение от центра.

15. Способ по п.14, характеризующийся тем, что на этапе постпроцессинга на основе расположения каждого сегмента почки и расположения ограничивающих поверхностей анатомическую локализацию ограничивающих поверхностей определяют следующим образом: для каждой ограничивающей поверхности находят центр ограничивающей поверхности, после чего рассчитывают расстояние от центра ограничивающей поверхности до каждого из центров анатомических зон почек, находят анатомическую зону, расстояние до которой минимально; ограничивающую поверхность считают принадлежащей этой анатомической зоне, если расстояние не превышает два стандартных отклонения, в противном случае ограничивающую поверхность удаляют.

16. Способ по п.1, характеризующийся тем, что на этапе постпроцессинга индексную маску создают следующим образом: для каждой ограничивающей поверхности, пиксели, лежащие внутри поверхности с индексом i, заполняют уникальными для поверхности числами типа int, равными i + 1, ключами двухуровневого словаря являются индексы поверхностей, увеличенные на единицу, а соответствующими значениями являются словари характеристик ограничивающих поверхностей.

17. Способ по п.1, характеризующийся тем, что на этапе формирования отчета формируют дополнительные серии DICOM изображений с визуализированными патологиями (SC) и текстовые отчеты с описанием патологий (SR).

18. Способ по п.17, характеризующийся тем, что на этапе формирования отчета, содержащего описание патологии для каждого исходного DICOM изображения из соответствующей серии, создают DICOM изображение дополнительной серии, выбирают соответствующий порядковому номеру изображения срез индексной маски, на основе среза индексной маски визуализируют патологии на DICOM изображении дополнительной серии, на основе двухуровневого словаря оставшихся поверхностей создают текстовый отчет.

19. Система для выявления объемных образований почек на компьютерной томографии, включающая устройство для определения патологии, которое представляет собой удаленный сервер с размещенными на нем блоками: блоком хранения и архивации исходных DICOM изображений и результатов, блоком препроцессинга исходных DICOM изображений, блоком обработки изображений алгоритмом на основе нейронных сетей, блоком постпроцессинга, блоком визуализации и формирования отчетов, при этом

блок хранения и архивации исходных DICOM изображений и результатов выполнен с возможностью получать и хранить пакеты DICOM изображений;

блок препроцессинга исходных DICOM изображений выполнен с возможностью осуществлять группировку файлов по сериям, каждая из которых соответствует определенной фазе контрастирования, с последующей обработкой сгруппированных DICOM изображений посредством преобразования каждого из изображений в группе в плотностное изображение HU_image и сортировки полученных изображений по порядковому номеру и конкатенации в единое 3D-изображение;

блок обработки изображений алгоритмом на основе нейронных сетей выполнен с возможностью нарезки 3D-изображения вдоль выбранных осей, при этом использующий по меньшей мере три основные оси координат, объединения нарезанных изображений в пакеты, подачи пакетов в предварительно обученные U-Net-подобную сеть для сегментации патологий и U-net-подобную сеть для сегментации сегментов почек, получения масок вероятностей для классов патологий и масок вероятностей для шести анатомических зон почек, объединения масок вероятностей, полученных вдоль каждой оси с получением усредненных 3D-маски вероятностей классов патологий и 3D-маски анатомических зон почек, соответственно;

блок постпроцессинга выполнен с возможностью бинаризации 3D-маски наличия/отсутствия патологии, бинаризации 3D-маски вероятностей анатомических зон почек, создания облака точек на основе бинаризированной 3D-маски наличия или отсутствия патологий, создания облака точек на основе бинаризированной 3D-маски вероятностей анатомических зон почек, осуществления кластеризации алгоритмом DBSCAN, создания ограничивающих поверхностей, осуществления опциональной геометрической фильтрации ограничивающих поверхностей, поиска средней вероятности внутри каждой ограничивающей поверхности, осуществления фильтрации ограничивающих поверхностей на основе средней вероятности, произведения классификации оставшихся ограничивающих поверхностей, определения расположения каждого сегмента почки, определения анатомической локализации ограничивающих поверхностей, создания индексной маски и двухуровневого словаря.

20. Система по п.19, характеризующаяся тем, что блок визуализации и формирования отчетов выполнен с возможностью создания DICOM изображения дополнительной серии, выбора соответствующего порядковому номеру изображения среза индексной маски, визуализации патологии на DICOM изображении дополнительной серии, создания текстового отчета на основе двухуровневого словаря, отправки сформированных отчетов в блок хранения и архивации исходных DICOM изображений и результатов.