СПОСОБ ОЦЕНКИ КАЧЕСТВА АНАЛИЗА МЕДИЦИНСКОГО ИЗОБРАЖЕНИЯ Российский патент 2025 года по МПК G16H50/00 A61B3/113 G06T7/00 G06N3/02 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области измерений для диагностических целей, и, более конкретно, к способу оценки качества анализа медицинского изображения врачом.

Уровень техники

Нагрузка на рентгенологов постоянно растет в последнее десятилетие, в основном из-за увеличения количества медицинских изображений, получаемых для целей диагностики, планирования лечения и мониторинга после лечения. Существуют исследования, показывающие, что качество решений, принимаемых врачами по результатам диагностики медицинских изображений, не идеально: до 4-10% диагнозов являются ошибочными. Около 60-80% ошибок относятся к ошибкам восприятия, когда аномалии упускаются из виду, в то время как остальные являются когнитивными ошибками, когда аномалии видны, но неправильно интерпретируются. На радиологические ошибки влияют различные факторы, включая априорные ожидания, предвзятость зрения, опыт и усталость. Настоящее изобретение направлено на оценку качества анализа изображения врачом, чтобы получить возможность исключить или по меньшей мере смягчить один из упомянутых факторов.

Сущность изобретения

В одном аспекте настоящего изобретения предложен способ оценки качества анализа медицинского изображения, содержащий этапы, на которых:

отображают на блоке отображения медицинское изображение для просмотра врачом, причем медицинское изображение содержит область, подлежащую анализу;

отслеживают взгляд врача в процессе просмотра им отображаемого медицинского изображения, причем отслеживание содержит фиксацию местоположения взгляда врача на отображаемом изображении;

формируют тепловую карту распределения взгляда врача на основе результатов отслеживания местоположения взгляда врача на отображаемом изображении;

с помощью нейронной сети принимают упомянутое медицинское изображение и упомянутую тепловую карту и предсказывают на их основе ошибку анализа врачом упомянутого медицинского изображения; и

оценивают качество анализа упомянутого медицинского изображения на основе предсказанной ошибки анализа.

В одном из вариантов осуществления нейронная сеть предварительно обучена на основе набора данных, содержащего медицинские изображения и для каждого медицинского изображения тепловую карту распределения взгляда врача на этом изображении и разметку, указывающую наличие или отсутствие ошибки анализа.

В одном из вариантов осуществления способ дополнительно содержит этап, на котором:

с помощью нейронной сети принимают упомянутое медицинское изображение и упомянутую тепловую карту и предсказывают на их основе значение достоверности анализа врачом упомянутого медицинского изображения,

причем качество анализа упомянутого медицинского изображения оценивают дополнительно на основе предсказанного значения достоверности анализа.

В одном из вариантов осуществления нейронная сеть предварительно обучена на основе набора данных, содержащего медицинские изображения и для каждого медицинского изображения тепловую карту распределения взгляда врача на этом изображении и разметку, указывающую наличие или отсутствие ошибки анализа и значение достоверности анализа.

Технический результат

Настоящее изобретение позволяет повысить эффективность систем и способов оценки качества диагностики медицинских изображений врачом. При этом обеспечивается:

- полная автоматизация оценки;

- повышение точности оценки;

- устранение ложных срабатываний;

- повышение точности диагностики медицинских изображений;

- возможность математически обоснованного принятия решения о необходимости «второго мнения».

Эти и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания со ссылкой на сопроводительные чертежи.

Краткое описание чертежей

На Фиг. 1A-1C показаны примеры отслеживания взгляда на медицинском изображении и тепловых карт.

На Фиг. 2 показана гистограмма уверенности в ответе для каждого рентгенолога.

На Фиг. 3 показана архитектура модели машинного обучения, использованной для настоящего изобретения.

Следует понимать, что фигуры могут быть представлены схематично и не в масштабе и предназначены, главным образом, для улучшения понимания настоящего изобретения.

Подробное описание

Оценка качества анализа

В одном аспекте изобретения раскрывается система оценки качества анализа медицинского изображения, которая содержит блок отображения, блок отслеживания, блок формирования тепловой карты, блок предсказания и блок оценки. Система с помощью блоков реализует соответствующий способ оценки качества анализа медицинского изображения.

Блок отображения может представлять собой монитор или иное подходящее средство для отображения медицинского изображения для просмотра врачом. Медицинское изображение содержит область, подлежащую диагностике. Например, медицинское изображение представляет собой рентгеновское изображение грудной клетки в прямой проекции, а областью, подлежащей диагностике, являются легкие. Следует отметить, что данное изобретение направлено на диагностику двумерных изображений. При этом изобретение не ограничивается приведенным примером, и изображение может быть также срезом МРТ или КТ-изображения, может содержать подлежащую диагностике область сердца, мозга, тазобедренных суставов и т.д. Медицинское изображение для отображения и диагностики получается из памяти системы или из внешнего устройства через интерфейс обмена данными.

Блок отслеживания представляет собой прибор для отслеживания движений глаз (eye tracker), который установлен перед врачом (например, на мониторе). Блок отслеживания выполнен с возможностью отслеживания взгляда врача в процессе просмотра им отображаемого медицинского изображения, причем блок отслеживания выполнен с возможностью фиксации местоположения взгляда врача на отображаемом изображении. Для этого блок отслеживания должен знать точные размеры и характеристики области отображения на блоке отображения (экрана на мониторе) и свое точное местоположение относительно блока отображения, чтобы иметь возможность по направлению взгляда врача определять точку на экране, в которую взгляд падает, и в соответствии с этим определять (фиксировать) координаты пикселей, на которые смотрит врач. Кроме того, блок отслеживания может дополнительно фиксировать момент времени, соответствующий местоположению взгляда врача на отображаемом изображении. Данные об отслеживании взгляда передаются на блок формирования тепловой карты.

Блок формирования тепловой карты реализован с помощью вычислительного устройства, такого как компьютер, содержащий процессор и память. Блок формирования тепловой карты получает данные об отслеживании взгляда от блока отслеживания и на их основе формирует тепловую карту распределения взгляда врача на отображаемом изображении. Конкретные способы формирования тепловой карты известны специалисту в данной области техники и не раскрываются здесь подробно. В качестве неограничивающего примера, тепловая карта может быть построена с использованием таких методов, как Grad-CAM или карты пространственного внимания.

Блок предсказания реализован с помощью вычислительного устройства, такого как компьютер, содержащий процессор и память. Блок предсказания содержит нейронную сеть и выполнен с возможностью принимать на входе упомянутое медицинское изображение, предназначенное для просмотра врачом, и упомянутую тепловую карту, сформированную блоком формирования тепловой карты, и предсказывать на их основе ошибку анализа врачом упомянутого медицинского изображения. Ошибка анализа может представлять собой вероятность ошибки в диапазоне от 0 до 1, от 0 до 100, бинарное значение 0/1, Ложь/Истина, Нет/Есть и т.д. Конкретное представление выходных данных зависит от требований частного применения. Ошибка анализа показывает в виде вероятности или бинарного значения, существует ли вероятность того, что данное изображение, исходя из тепловой карты, было проанализировано врачом с одной или более ошибок, недостаточно качественно. В настоящем изобретении не исследуется причина возможной ошибки, при этом ошибка может быть вызвана самыми разными факторами, такими как усталость врача, отвлечение внимания врача на посторонние предметы, события, явления или людей, недостаточная квалификация или опыт врача, плохое качество изображения, сложная или редкая патология и т.д. Тем не менее, несмотря на различные возможные причины, предложенные подходы к изучению тепловой карты совместно с самим изображением позволяют со значимой точностью оценить возможное наличие ошибки. Более подробно это будет показано далее при описании обучающего набора данных и результатов обучения моделей.

Блок оценки реализован с помощью вычислительного устройства, такого как компьютер, содержащий процессор и память. Блок оценки принимает выходные данные блока предсказания и оценивает качество анализа исследуемого медицинского изображения на основе предсказанной ошибки анализа. В одном из вариантов осуществления оценка может выбираться из нескольких категорий по порогу вероятности ошибки – например, высокое качество (вероятность ошибки ниже 20%), среднее качество (вероятность ошибки от 20% до 40%), низкое качество (вероятность ошибки выше 40%). В другом варианте осуществления оценка может выбираться из двух категорий по порогу вероятности ошибки – например, приемлемое качество (вероятность ошибки ниже 50%), неприемлемое качество (вероятность ошибки выше 50%). В другом варианте осуществления, если вывод блока предсказания имеет бинарный вид, то оценка выдается в соответствии с результатом предсказания – например, высокое качество (0, или нет ошибки), низкое качество (1, или есть ошибка). Точные величины подбираются в зависимости от требований конкретного применения и не ограничиваются приведенными примерами.

На основании оценки качества может приниматься решение о том, что требуется повторный анализ данного изображения тем же самым врачом или, например, требуется дополнительный анализ данного изображения другим врачом («второе мнение»). Например, такое решение может приниматься, если определено, что качество анализа изображения является низким. С другой стороны, если качество анализа изображения является высоким, то может приниматься решение о том, что повторный или дополнительный анализ данного изображения не требуется.

Таким образом, обеспечивается новый способ оценки качества анализа медицинских изображений, который позволяет повысить точность диагностики медицинских изображений врачами и избежать неверных диагнозов, что в конечном счете приводит к повышению качества медицинских услуг.

Оценка достоверности анализа

В другом аспекте изобретения раскрывается система оценки достоверности анализа медицинского изображения, которая содержит блок отображения, блок отслеживания, блок формирования тепловой карты, блок предсказания и блок оценки. Система с помощью блоков реализует соответствующий способ оценки достоверности анализа медицинского изображения.

Блок отображения может представлять собой монитор или иное подходящее средство для отображения медицинского изображения для просмотра врачом. Медицинское изображение содержит область, подлежащую диагностике. Например, медицинское изображение представляет собой рентгеновское изображение грудной клетки в прямой проекции, а областью, подлежащей диагностике, являются легкие. Следует отметить, что данное изобретение направлено на диагностику двумерных изображений. При этом изобретение не ограничивается приведенным примером, и изображение может быть также срезом МРТ или КТ-изображения, может содержать подлежащую диагностике область сердца, мозга, тазобедренных суставов и т.д. Медицинское изображение для отображения и диагностики получается из памяти системы или из внешнего устройства через интерфейс обмена данными.

Блок отслеживания представляет собой прибор для отслеживания движений глаз (eye tracker), который установлен перед врачом (например, на мониторе). Блок отслеживания выполнен с возможностью отслеживания взгляда врача в процессе просмотра им отображаемого медицинского изображения, причем блок отслеживания выполнен с возможностью фиксации местоположения взгляда врача на отображаемом изображении. Для этого блок отслеживания должен знать точные размеры и характеристики области отображения на блоке отображения (экрана на мониторе) и свое точное местоположение относительно блока отображения, чтобы иметь возможность по направлению взгляда врача определять точку на экране, в которую взгляд падает, и в соответствии с этим определять (фиксировать) координаты пикселей, на которые смотрит врач. Кроме того, блок отслеживания может дополнительно фиксировать момент времени, соответствующий местоположению взгляда врача на отображаемом изображении. Данные об отслеживании взгляда передаются на блок формирования тепловой карты.

Блок формирования тепловой карты реализован с помощью вычислительного устройства, такого как компьютер, содержащий процессор и память. Блок формирования тепловой карты получает данные об отслеживании взгляда от блока отслеживания и на их основе формирует тепловую карту распределения взгляда врача на отображаемом изображении. Конкретные способы формирования тепловой карты известны специалисту в данной области техники и не раскрываются здесь подробно. В качестве неограничивающего примера, тепловая карта может быть построена с использованием таких методов, как Grad-CAM или карты пространственного внимания.

Блок предсказания реализован с помощью вычислительного устройства, такого как компьютер, содержащий процессор и память. Блок предсказания содержит нейронную сеть и выполнен с возможностью принимать на входе упомянутое медицинское изображение, предназначенное для просмотра врачом, и упомянутую тепловую карту, сформированную блоком формирования тепловой карты, и предсказывать на их основе значение достоверности результата анализа упомянутого медицинского изображения, выданного врачом. Значение достоверности результата анализа может представлять собой значение в диапазоне от 0 до 1, от 0 до 100, бинарное значение 0/1 и т.д. Конкретное представление выходных данных зависит от требований частного применения. Значение достоверности результата анализа показывает в виде числа или бинарного значения, какова предположительная степень доверия к диагнозу, который выдал врач. Даже самые квалифицированные врачи время от времени сомневаются в правильности вынесенного ими решения, и чем сложнее изучаемое изображение (плохое качество изображения, сложная или редкая патология и т.д.), тем больше сомнений может испытывать врач в своем решении. Предложенные подходы к изучению тепловой карты совместно с самим изображением позволяют со значимой точностью оценить степень уверенности врача в том, что он выдал правильный результат. Более подробно это будет показано далее при описании обучающего набора данных и результатов обучения моделей.

Блок оценки реализован с помощью вычислительного устройства, такого как компьютер, содержащий процессор и память. Блок оценки принимает выходные данные блока предсказания и оценивает достоверность анализа исследуемого медицинского изображения на основе предсказанного значения достоверности. В одном из вариантов осуществления оценка может выбираться из нескольких категорий по порогу значения достоверности – например, высокая достоверность (значение достоверности выше 85%), средняя достоверность (значение достоверности от 65% до 85%), низкая достоверность (значение достоверности ниже 65%). В другом варианте осуществления оценка может выбираться из двух категорий по порогу значения достоверности – например, приемлемая достоверность (значение достоверности выше 55%), неприемлемая достоверность (значение достоверности ниже 55%). В другом варианте осуществления, если вывод блока предсказания имеет бинарный вид, то оценка выдается в соответствии с результатом предсказания – например, высокая достоверность (значение 1), низкая достоверность (значение 0). Точные величины подбираются в зависимости от требований конкретного применения и не ограничиваются приведенными примерами.

На основании оценки достоверности может приниматься решение о том, что требуется повторный анализ данного изображения тем же самым врачом или, например, требуется дополнительный анализ данного изображения другим врачом («второе мнение»). Например, такое решение может приниматься, если определено, что достоверность результата анализа изображения является низкой. С другой стороны, если достоверность результата анализа изображения является высокой, то может приниматься решение о том, что повторный или дополнительный анализ данного изображения не требуется.

Таким образом, обеспечивается новый способ оценки достоверности анализа медицинских изображений, который позволяет повысить точность диагностики медицинских изображений врачами и избежать неверных диагнозов, что в конечном счете приводит к повышению качества медицинских услуг.

Комплексная оценка

Еще в одном аспекте изобретения раскрывается система оценки качества анализа медицинского изображения, которая сочетает в себе вышеописанные системы, при этом содержит тоже блок отображения, блок отслеживания, блок формирования тепловой карты, блок предсказания и блок оценки. Блок предсказания в данном случае предсказывает и возможную ошибку, и значение достоверности, а затем на основе результатов предсказания блок оценки оценивает качество анализа изображения. Блок предсказания может содержать одну нейронную сеть, которая выполняет оба предсказания, или же может содержать две нейронных сети, каждая из которых выполняет только одно из этих предсказаний.

В одном варианте осуществления оценка может выполняться по порогу – например, если оба из предсказанной вероятности ошибки и предсказанного значения достоверности не выходят за пределы порога (например, вероятность ошибки ниже 60% и значение достоверности выше 70%), то качество анализа оценивается как достаточное, в противном случае, если хотя бы одно из предсказанных значений выходит за пределы порога, то качество анализа оценивается как недостаточное.

В другом варианте осуществления оценка может выполняться по бинарному значению предсказаний – например, если выполняется условие, что предсказанная вероятность ошибки равна 0 (нет ошибки), а предсказанное значение достоверности равно 1 (высокая достоверность), то качество анализа оценивается как достаточное, в противном случае, если условие не выполняется, то качество анализа оценивается как недостаточное.

Тем самым, обеспечивается защита от ложных срабатываний блока предсказания

На основании оценки может приниматься решение о том, что требуется повторный анализ данного изображения тем же самым врачом или, например, требуется дополнительный анализ данного изображения другим врачом («второе мнение»). Например, такое решение может приниматься, если определено, что достоверность результата анализа изображения является низкой. С другой стороны, если достоверность результата анализа изображения является высокой, то может приниматься решение о том, что повторный или дополнительный анализ данного изображения не требуется.

Таким образом, обеспечивается новый способ оценки качества анализа медицинских изображений, который позволяет повысить точность диагностики медицинских изображений врачами и избежать неверных диагнозов, что в конечном счете приводит к повышению качества медицинских услуг.

Обучающие наборы данных

Для целей настоящего изобретения авторы сформировали несколько обучающих наборов данных, используя общедоступные наборы данных и дополнив их необходимыми данными.

Первый общедоступный набор данных VinDr-CXR является базой данных рентгенограмм грудной клетки, которая включает в себя набор из более чем 15 000 изображений. Каждое изображение вручную аннотировано (размечено) тремя независимыми рентгенологами. Образец считается нормальным (без патологий), если патология не была обнаружена ни одним из трех рентгенологов.

Второй общедоступный набор данных CheXpert тоже представляет собой базу данных рентгенограмм грудной клетки, имеющую разметку патологий.

Третий общедоступный набор данных REFLACX представляет собой базу данных, которая содержит записанные движения глаз рентгенолога и соответствующие рентгеновские снимки грудной клетки (которые, в свою очередь, взяты из общедоступного набора данных MIMIC-CXR).

Первый обучающий набор данных сформирован авторами настоящего изобретения следующим образом. 400 изображений взяты из набора данных VinDr-CXR (168 нормальных и 232 с патологиями, то есть 42% нормальных и 58% с патологиями). 4 врача с разным опытом и квалификацией участвовали в эксперименте.

Каждый врач просматривал по очереди все изображения, сидя в кресле напротив монитора, блок отслеживания был установлен на мониторе и отслеживал движения глаз с частотой 90 Гц, фиксировал координаты и время взгляда. Блок отслеживания калибровался перед началом работы и после каждых 100 изображений, просмотренных врачом. Изображения были разделены на пакеты по 100 образцов. Для каждого рентгенолога пакеты перемешивались между собой, и образцы внутри пакета также перемешивались.

Таким образом, было просмотрено 1600 изображений (4 раза по 400). Для каждого из 1600 изображений на основе данных об отслеживании взгляда сформирована тепловая карта распределения взгляда врача на отображаемом изображении. Пример отслеживания взгляда и тепловых карт показан на Фиг. 1: на Фиг. 1A показана рентгенограмма грудной клетки и точки, на которые падал взгляд врача в процессе анализа, на Фиг. 1B показана эта же рентгенограмма грудной клетки и наложенная на нее тепловая карта распределения взгляда врача в цвете, на Фиг. 1C показана только сама тепловая карта в оттенках серого.

Просмотрев изображение, рентгенолог указывал все патологии, обнаруженные им на рентгенограмме грудной клетки, а также уровень уверенности в своем ответе (достоверности) по 10-балльной шкале.

Ответ рентгенолога считается ошибочным, если он не пересекается ни с одной из истинных (ground truth) меток (следует напомнить, что за основу был взят датасет VinDr-CXR, в котором для каждого изображения имеется разметка патологий от трех врачей). Ответ рентгенолога считается правильным, если существует хотя бы одно пересечение с истинными метками. В таблице 1 показано количество правильных и неправильных ответов каждого рентгенолога из данного эксперимента.

Таблица 1

Врач Ошибочный ответ Правильный ответ Не уверен в ответе Уверен в ответе Врач A 70 309 126 253 Врач B 115 271 131 255 Врач C 71 313 130 254 Врач D 98 299 182  215

10-балльная шкала, использованная для оценки уверенности рентгенолога в ответе, является субъективной и не основывается на каких-либо объективных показателях. На Фиг. 2 показана гистограмма уверенности в ответе для каждого рентгенолога. Чтобы сравнить уверенность рентгенологов друг с другом, авторы бинаризировали значения, рассчитав медиану уверенности для каждого рентгенолога. При этом ответы с достоверностью, большей или равной медианной достоверности, были помечены как достоверные, а остальные — как недостоверные. Таким образом авторы свели значения уверенности к более общему масштабу. В таблице 1 показано количество ответов, в которых врач уверен в ответе, и количество ответов, в которых врач не уверен в ответе, для каждого рентгенолога из данного эксперимента.

Всего было получено 354 образца с неправильным ответом и 1192 образца с правильным ответом. 54 образца из 1600 были забракованы из-за технических ошибок при проведении эксперимента.

Соответственно, первый обучающий набор данных содержит 1546 изображений (рентгеновских снимков грудной клетки), каждое из которых дополнено соответствующей тепловой картой и разметкой, которая содержит указания обнаруженных патологий и уровень достоверности ответа.

Второй обучающий набор данных сформирован авторами настоящего изобретения следующим образом. Из набора данных VinDr-CXR взяты 562 изображения (252 нормальных и 310 с патологиями), отличающихся от тех 400 изображений, которые использовались для первого обучающего набора данных. 38 изображений с патологиями взяты из набора данных CheXpert. Таким образом, для создания второго обучающего набора данных в сумме использовалось 600 изображений (252 нормальных и 348 с патологиями, то есть 42% нормальных и 58% с патологиями, как и в случае с первым обучающим набором данных).

Как и в случае с первым обучающим набором данных, 4 врача просматривали по очереди все изображения, чтобы определить диагноз, а движения их глаз отслеживались блоком отслеживания.

Таким образом, было просмотрено 2400 изображений (4 раза по 600). Для каждого из 2400 изображений на основе данных об отслеживании взгляда сформирована тепловая карта распределения взгляда врача на отображаемом изображении.

К этим данным добавлено 3000 изображений с соответствующими им тепловыми картами распределения взгляда врача из набора данных REFLACX.

Соответственно, второй обучающий набор данных содержит 5400 изображений (рентгеновских снимков грудной клетки), каждое из которых дополнено соответствующей тепловой картой распределения взгляда врача.

Архитектура и обучение модели

На Фиг. 3 показана архитектура модели машинного обучения, использованной для настоящего изобретения. Данная модель основана на контрастивном обучении. Архитектура ResNet18 была выбрана в качестве энкодера в системе контрастивного обучения без предварительно обученных весов. В конкретном примере размерность выходного сигнала энкодера равна 512. Проекционная головка осуществляет преобразование 512-мерного пространства в 128-мерное латентное пространство.

Для обучения энкодера был использован второй обучающий набор данных. Из него извлекается по 40 изображений из упомянутых 3000 изображений и из упомянутых 2400 изображений для формирования валидационного поднабора размеров 80 образцов. Остальные изображения использованы для формирования обучающего поднабора данных.

Обучающий поднабор данных разделяется на пакеты (батчи) по N изображений. В конкретном примере размер батча может составлять 256. На вход нейронной сети подается рентгеновское изображение и соответствующая ему тепловая карта, которые вместе представляют собой двухканальный входной тензор. Канал 0 предназначен для рентгенографии грудной клетки в оттенках серого, а канал 1 — для тепловой карты взгляда в оттенках серого. В конкретном примере входной тензор может иметь размерность [96, 96, 2].

С помощью аугментации для каждого из N входных тензоров получили по 2 аугментированных. Аугментированные тензоры были пропущены через энкодер и проекционную головку для получения эмбеддингов в латентном пространстве. В результате получена матрица порядка N, где элементом (i,j) является косинусное сходство

между соответствующими эмбеддингами образцов i и j.

Для обучения энкодера использовалась функция потерь infoNCE, которая может быть выражена следующим образом:

где образцы с индексами i,j — это результаты применения аугментации к исходному образцу, τ – гиперпараметр, называемый температурой. В конкретном примере температура может быть равна 0,07. ℓ_i,j рассчитывается для каждой пары образцов, полученных в результате применения аугментации к исходному образцу, и полученное значение усредняется для расчета потерь в батче.

После обучения энкодера с помощью контрастивного обучения он извлекается, замораживается, и далее к нему добавляется полносвязный слой для точной настройки под целевую задачу. Полносвязный слой выполняет сопоставление пространства эмбеддингов энкодера с пространством целевой задачи.

Для обучения модели под целевую задачу предсказания ошибок использовался первый обучающий набор данных. Для этого было сформировано 4 тестовых поднабора данных. Каждый тестовый поднабор данных содержал 17 неправильных и 17 правильных ответов от каждого рентгенолога (итого 4 по 17, или по 68 неправильных и правильных ответов, исходя из того, что есть врач с 70 неправильными ответами). Соответственно, каждый тестовый поднабор содержал 136 образцов. Тестовые поднаборы не пересекались друг с другом. Для каждого тестового поднабора был создан валидационный поднабор. Он тоже содержал по 17 неправильных и 17 правильных ответов от каждого рентгенолога (всего 136 образцов) и не пересекался с выбранным тестовым поднабором. Для каждой пары тестового и валидационного поднаборов из оставшихся данных формировался обучающий поднабор, не имевший с ними перекрытия.

Аналогично были сформированы поднаборы данных для обучения модели под целевую задачу предсказания значения достоверности. Разница заключалась в том, что для тестового и валидационного поднаборов было выбрано 30 правильных и 30 неправильных ответов от каждого рентгенолога (исходя из того, что есть врач со 126 ответами, в которых он не уверен).

Как указывалось выше, после обучения энкодера с помощью контрастивного обучения он извлекается, замораживается, и далее к нему добавляется полносвязный слой для точной настройки под целевую задачу. Полносвязный слой выполняет сопоставление 512-мерного пространства эмбеддингов энкодера с 2-мерным пространством целевой задачи. В конкретном примере в качестве функции потерь использовалась функция бинарной кросс-энтропии, а в качестве оптимизатора использовался оптимизатор Adam.

Пример осуществления

Предложенная система была реализована на практике. Использовались диагностический монитор LG 10-bit с разрешением 3840×2160 пикселей и плотностью пикселей 7.21 пикс/мм, а также блок отслеживания Tobii Eye Tracker 4C и компьютер на базе процессора Intel(R) i7 с операционной системой Windows(R), графическим процессором 4 ГБ, оперативной памятью 16 ГБ, SSD-памятью 500 ГБ. Нейронная сеть была построена на архитектуре ResNet18, предварительно контрастивно обучена на втором обучающем датасете и дообучена на первом обучающем датасете для предсказания в бинарном виде ошибок диагностики патологий легких и во втором случае для предсказания в бинарном виде достоверности диагностики патологий легких.

Проведенные авторами изобретения эксперименты показали наличие высокой корреляции между изображением, тепловой картой и наличием ошибок и значением достоверности. В частности, точность предсказания ошибок в бинарном виде составила 64,7±0,7% при 218 образцах на метку, а точность предсказания достоверности в бинарном виде составила 59,5±2,6% при 260 образцах на метку.

Предложенный подход контрастивного обучения сравнивался с известными из уровня техники подходами к обучению предложенной модели, результаты показали превосходство в точности предсказания при любом размере обучающего датасета вплоть до разницы в точности 10% в предсказании ошибок и 5% в предсказании достоверности.

Применение

Системы и способы согласно настоящему изобретению можно использовать для оценки качества анализа медицинских изображений, в том числе в медицинских системах, распределяющих задания для врачей.

Дополнительные особенности реализации

Несмотря на то, что в данном документе может быть указано, что данные передаются/отправляются или принимаются/получаются человеком (например, медицинским специалистом, врачом, экспертом), специалист в данной области техники должен понимать, что такое указание используется исключительно в целях упрощения описания, тогда как на самом деле подразумевается, что данные передаются/отправляются или принимаются/получаются соответствующим устройством, которым пользуется и/или управляет этот человек.

Один или более описанных в настоящем документе блоков или устройств передачи (передатчиков) и один или более блоков или устройств приема (приемников) физически могут быть реализованы в одном и том же блоке или устройстве приемопередачи или в разных блоках или устройствах.

Устройством или блоком передачи в данном документе для упрощения описания может называться устройство или блок, имеющий функции не только передачи, но и приема данных, информации и/или сигналов. Аналогичным образом, устройство или блок приема может также заключать в себе функции передачи данных, информации и/или сигналов.

Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства (PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).

Некоторые блоки по отдельности или вместе могут представлять собой, например, компьютер, и включать в себя процессор, который сконфигурирован для вызова и выполнения компьютерных программ из памяти для выполнения этапов способа или функций блоков в соответствии с вариантами осуществления настоящего изобретения. Согласно вариантам осуществления, устройство может дополнительно включать в себя память. Процессор может вызывать и выполнять компьютерные программы из памяти для выполнения способа. Память может быть отдельным устройством, независимым от процессора, или может быть интегрирована в процессор. Память может хранить код, инструкции, команды и/или данные для исполнения на наборе из одного или более процессоров описанного устройства. Коды, инструкции, команды могут предписывать процессору выполнять этапы способа или функции устройства.

Функции, описанные в данном документе, могут реализовываться в аппаратном обеспечении, программном обеспечении, выполняемом посредством одного или более процессоров, микропрограммном обеспечении или в любой комбинации вышеозначенного. Аппаратные и программные средства, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях, то есть может выполняться распределенная обработка или распределенные вычисления.

При необходимости (например, в случае если велик объем данных и/или вычислений, которые необходимо выполнить в отношении этих данных), может производиться многопоточная обработка данных, которая в простом представлении может выражаться в том, что все множество подлежащих обработке данных разделяется на набор подмножеств, и каждое ядро процессора выполняет обработку в отношении назначенного для него подмножества данных.

Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Специалисту в области техники должно быть также понятно, что, когда речь идет о памяти и о хранении данных, программ, кодов, инструкций, команд и т.п., подразумевается наличие машиночитаемого (или компьютерно-читаемого, процессорно-читаемого) запоминающего носителя. Машиночитаемые носители данных включают в себя как некратковременные компьютерные носители хранения данных, так и среду связи, включающую в себя любую передающую среду, которая упрощает перемещение компьютерной программы или ее части из одного места в другое. Некратковременный машиночитаемый запоминающий носитель может представлять собой любой доступный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера, процессора или иного устройства обработки общего назначения или специального назначения.

В качестве примера, а не ограничения, машиночитаемые носители могут содержать постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память, оперативную память (RAM), статическую память с произвольным доступом (SRAM), динамическую память с произвольным доступом (DRAM), синхронную динамическую память с произвольным доступом (SDRAM), синхронную динамическую память с произвольной выборкой с двойной скоростью передачи данных (DDR SDRAM), синхронную динамическую память с произвольной выборкой с повышенной скоростью (ESDRAM), DRAM с синхронной линией связи (SLDRAM) и оперативную память с шиной прямого доступа (DR RAM), регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.

Информация и сигналы, описанные в данном документе, могут представляться с помощью любой из множества различных технологий. Например, данные, инструкции, команды, информация, сигналы, биты, символы и элементарные сигналы, которые могут приводиться в качестве примера в вышеприведенном описании, могут представляться посредством напряжений, токов, электромагнитных волн, магнитных полей или частиц, оптических полей или частиц либо любой комбинации вышеозначенного, если это применимо к настоящему изобретению.

По меньшей мере один из этапов в способе или блоков в устройстве может использовать модель искусственного интеллекта (AI) для выполнения соответствующих операций. Функция, связанная с AI, может выполняться через процессор и энергонезависимую и/или энергозависимую память.

Процессор может включать в себя один или более процессоров. В то же время, один или более процессоров могут быть процессором общего назначения, например центральным процессором (CPU), прикладным процессором (AP) и т.п., блоком обработки только графики, таким как графический процессор (GPU), визуальный процессор (VPU), и/или специализированным процессором AI, таким как нейронный процессор (NPU).

Один или более процессоров управляют обработкой входных данных в соответствии с предварительно определенным правилом работы или моделью искусственного интеллекта (AI), хранящейся в энергонезависимой памяти и/или энергозависимой памяти. Предварительно определенное правило работы или модель искусственного интеллекта могут быть получены путем обучения. При этом процессор может выполнять операцию предварительной обработки данных для преобразования в форму, подходящую для использования в качестве входных данных для модели искусственного интеллекта.

«Получены путем обучения» означает, что посредством применения алгоритма обучения к обучаемой модели искусственного интеллекта с использованием множества обучающих данных создается предварительно определенное правило работы или модель AI с желаемой характеристикой. Обучение может выполняться на самом устройстве, в котором выполняется AI согласно варианту осуществления, и/или может быть реализовано через отдельный сервер/систему.

Модель искусственного интеллекта может включать в себя множество слоев нейронной сети. Каждый из множества слоев нейронной сети включает в себя множество весовых значений (коэффициентов) и выполняет рабочую операцию для данного слоя путем вычисления с применением множества весовых значений данного слоя в отношении входных данных или результата вычисления предыдущего слоя.

Алгоритм обучения - это метод обучения предварительно определенного целевого устройства (например, нейронной сети на базе GPU или NPU) с использованием множества обучающих данных, чтобы вызывать, разрешать или управлять целевым устройством для выполнения определения или прогнозирования. Примеры алгоритмов обучения включают, но не ограничиваются ими, обучение с учителем, обучение без учителя, обучение с частичным привлечением учителя или обучение с подкреплением.

Следует понимать, что хотя в настоящем документе для описания различных блоков, модулей, сетей, элементов, компонентов, областей, слоев и/или секций, могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти блоки, модули, сети, элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один блок, модуль, сеть, элемент, компонент, область, слой или секцию от другого блока, модуля, сети, элемента, компонента, области, слоя или секции. Так, первый блок, модуль, сеть, элемент, компонент, область, слой или секция может быть назван вторым блоком, модулем, сетью, элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Изобретение относится к области измерений для диагностических целей, более конкретно к системе и способу оценки качества анализа медицинского изображения врачом. Предложенный способ оценки качества анализа медицинского изображения содержит этапы, на которых отображают на блоке отображения медицинское изображение для просмотра врачом, причем медицинское изображение содержит область, подлежащую анализу; отслеживают взгляд врача в процессе просмотра им отображаемого медицинского изображения, причем отслеживание содержит фиксацию местоположения взгляда врача на отображаемом изображении; формируют тепловую карту распределения взгляда врача на основе результатов отслеживания местоположения взгляда врача на отображаемом изображении; с помощью нейронной сети принимают упомянутое медицинское изображение и упомянутую тепловую карту и предсказывают на их основе ошибку анализа врачом упомянутого медицинского изображения; и оценивают качество анализа упомянутого медицинского изображения на основе предсказанной ошибки анализа. Изобретение обеспечивает повышение автоматизации и точности оценки. 3 з.п. ф-лы, 5 ил.

1. Способ оценки качества анализа медицинского изображения врачом, содержащий этапы, на которых:

отображают на блоке отображения медицинское изображение для просмотра врачом, причем медицинское изображение содержит область, подлежащую анализу;

отслеживают взгляд врача в процессе просмотра им отображаемого медицинского изображения, причем отслеживание содержит фиксацию местоположения взгляда врача на отображаемом изображении;

формируют тепловую карту распределения взгляда данного врача на основе результатов отслеживания местоположения взгляда данного врача на отображаемом изображении;

с помощью нейронной сети принимают упомянутое медицинское изображение и упомянутую тепловую карту и предсказывают на их основе ошибку анализа врачом упомянутого медицинского изображения; и

оценивают качество анализа упомянутого медицинского изображения на основе предсказанной ошибки анализа.

2. Способ по п. 1, в котором нейронная сеть предварительно обучена на основе набора данных, содержащего медицинские изображения и для каждого медицинского изображения тепловую карту распределения взгляда врача на этом изображении и разметку, указывающую наличие или отсутствие ошибки анализа.

3. Способ по п. 1, дополнительно содержащий этап, на котором:

с помощью нейронной сети принимают упомянутое медицинское изображение и упомянутую тепловую карту и предсказывают на их основе значение достоверности анализа врачом упомянутого медицинского изображения,

причем качество анализа упомянутого медицинского изображения оценивают дополнительно на основе предсказанного значения достоверности анализа.

4. Способ по п. 3, в котором нейронная сеть предварительно обучена на основе набора данных, содержащего медицинские изображения и для каждого медицинского изображения тепловую карту распределения взгляда врача на этом изображении и разметку, указывающую наличие или отсутствие ошибки анализа и значение достоверности анализа.