СПОСОБ ОБРАБОТКИ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ ПАЛЬЦЕВ РУКИ ДЛЯ КОЛОРИМЕТРИЧЕСКОГО АНАЛИЗА УРОВНЯ ГЕМОГЛОБИНА В КРОВИ Российский патент 2024 года по МПК G01N33/49 

Область техники, к которой относится изобретение

Изобретение относится к средствам для обработки данных, полученных в процессе неинвазивного анализа содержания гемоглобина в крови пациента/ пользователя/ человека, с использованием моделей машинного обучения.

Уровень техники

Из уровня техники известен ряд способов обработки при помощи компьютерной техники результатов анализа крови, полученных неинвазивными методами.

Известен способ неинвазивного медицинского мониторинга, предусматривающий измерение характеристик крови, раскрытый в заявке US 2021/0113121 А1, опубликованной 27.08.2020. В данной заявке описан способ получения информации об оптических свойствах ткани, в котором используют датчик оптической когерентной томографии для картирования кровеносных сосудов пациента. Данные оптической когерентной томографии кожи пациента обрабатывают с использованием предварительно обученной сверточной нейронной сети и получают информацию о светоотражающих свойствах тканей кожи с проходящими через них кровеносными капиллярными сосудами. По результатам указанной обработки судят о характеристиках крови пациента, в частности об уровне содержащейся в ней глюкозы и гемоглобина.

Недостатками такого способа является необходимость применения сложного метода оптической когерентной томографии, требующего наличия специализированной техники для проведения исследования. Более того, с помощью указанного метода светотражающие характеристики тканей получают только с тех участков, где установлены соответствующие датчики. Соответственно построенная карта светоотражающих свойств тканей кожи может получиться не совсем точной, и при ее обработке могут быть допущены значительные погрешности при определении характеристик крови.

Также известен способ определения гемоглобина крови при помощи оптического детектора, раскрытый в описании к патенту RU 2712078 С2. Указанный способ заключается в том, что с помощью фотодетектора, чувствительного в видимом и ближнем ИК диапазоне, регистрируют оптический сигнал от светодиодов с узкополосным спектром излучения в видимом и ближнем ИК диапазоне, прошедший через участки пальца человека. Детектируемый сигнал передают для обработки на удаленный сервер с помощью мобильного устройства. После соответствующей обработки при помощи алгоритмов нелинейного машинного обучения результаты анализа передаются обратно на мобильное устройство и отображаются на его дисплее в виде цветного пиктографического представления, на основании которого судят об уровне гемоглобина в крови пациента. Основным недостатком такого способа является относительно невысокая точность определения гемоглобина, согласно 10.1371/journal.pone.0254629.

Известен способ неинвазивного прогнозирования уровня гемоглобина крови, раскрытый в заявке US 2021/0007648 А1. Способ предполагает обработку цифровых изображений пальцев руки с использованием подсветки в ближнем ИК диапазоне (на 850 и 1070 нм), получаемых с помощью камеры смартфона. В указанном способе на первом этапе получают временные последовательности снимков пальцев изображения пациента с инфракрасной подсветкой. Затем на цифровых снимках производят сегментацию областей изображений, на которых приведены ногтевые ложа пальцев. На основании данных, извлеченных из временных последовательностей, с помощью алгоритма машинного обучения на основе машин опорных векторов осуществляют предсказание уровня гемоглобина в крови пациента.

Описанный выше способ определения гемоглобина требует наличия ИК подсветки и детектора, в качестве которого, как правило, выступает камера смартфона, чувствительного в ИК диапазоне. Однако обычно камеры смартфонов оснащаются световыми фильтрами, ослабляющими излучение ближнего ИК диапазона. Поэтому при обработке результатов измерений учитывается распределение интенсивностей главным образом в одном канале полученного RGB изображения (R-канале). Соответственно в G- и В-каналах происходит значительное отклонение обработанных значений интенсивностей от реально зарегистрированных значений. Кроме того, согласно данному способу, при обработке полученного изображения также не учитывается статистика распределения интенсивностей по всем трем каналам (RGB-каналам). Как следствие неверно выдается оценочное значение гемоглобина в крови пациента.

Таким образом, задачей, положенной в основу настоящего изобретения, является разработка метода анализа изображений, получаемых в видимом диапазоне спектра с помощью камеры, детектирующей изображение одновременно в трех цветовых каналах в диапазоне от 300 до 700 нм при освещении белым источником освещения, что не требует применения специальных источников излучения и детектирующих устройств, помимо стандартных цветовых камер, таких как, например, камеры мобильных устройств. При этом обеспечивается высокая точность определения гемоглобина в крови пациента.

Раскрытие сущности изобретения

В качестве технического результата, достигаемого за счет использования предложенного изобретения, выступает возможность более точного распознания полученных изображений ногтевых лож пальцев пациента за счет учета распределения интенсивностей света, прошедшего через ткань пациента, с получением цифрового изображения одновременно во всех трех каналах (R-канала, G-канала, и В-канала), используя при этом несколько уровней заданных опорных значений распределения интенсивностей и такой алгоритм машинного обучения, который позволяет наиболее полно учитывать вышеуказанное распределение интенсивностей и более точно предсказывать значение гемоглобина на основании анализа полученных RGB -изображений.

Детектирование производится с помощью камеры в трех цветовых каналах: R-канале (спектральная чувствительность в диапазоне 580-680 нм), G-канале (спектральная чувствительность в диапазоне 480-580 нм), и В-канале (спектральная чувствительность в диапазоне 430-480 нм).

Для достижения технического результата в способе обработки цифровых изображений пальцев руки для колориметрического анализа уровня гемоглобина в крови осуществляют следующую последовательность действий:

1. на цифровом снимке пальцев сегментируют области изображений, на которых располагаются ногтевые ложа пальцев, а также участки кожи, цвет которых изменяется в зависимости от уровня гемоглобина в крови;

2. сегментируют только ту часть изображения ногтевого ложа и участка кожи, в которой распределение интенсивности в различных цветовых каналах является однородным;

3. фильтруют сегментированные области изображения, цветовые характеристики которых изменяются в зависимости от уровня гемоглобина в крови, при этом удаляют области, в которых интенсивности R-, G-, В-каналов имеют нетипичные характеристики для цветовых характеристик кожи и ногтевого ложа путем сравнения средних значений интенсивностей и стандартного отклонения интенсивностей детектированного изображения с опорными значениями;

4. для отфильтрованных областей изображения рассчитывают статистики распределения интенсивностей в R-, G-, В-каналах цифрового изображения: процентилей распределения интенсивностей по уровню 5, 15, 25, 50, 75, 85, 95 среднего значения интенсивности и среднеквадратического отклонения интенсивностей;

5. предсказывают уровень концентрации гемоглобина с помощью модели машинного обучения на основе ансамбля решающих деревьев по данным рассчитанных значений статистик распределения интенсивностей цифрового изображения выделенных областей.

В частных случаях для реализации настоящего изобретения для сегментации области изображений ногтевого ложа и участков кожи пальцев рук в качестве модели машинного обучения используют сверточную нейронную сеть с архитектурой MobileNet-SSD-FPN или YOLOv6.

Кроме того, для предсказания уровня гемоглобина в крови в дополнение к ансамблю решающих деревьев также может быть использована одна из следующих моделей машинного обучения: модели линейной регрессии, нейронные сети, непараметрические методы типа метода ближайших соседей, регрессии на главные компоненты, регрессии на опорных векторах, локально-взвешенной регрессии или совокупность одной или нескольких из данных моделей.

Краткое описание чертежей

Изобретение поясняется иллюстративным материалом.

На фиг. 1 приведена общая схема метода определения концентрации гемоглобина по данным колориметрии.

На фиг. 2 показан пример обнаруженных участков ногтевых пластин на изображении руки.

На фиг. 3 показан пример сегментированных участков ногтевого ложа.

На фиг. 4 приведен пример ансамбля решающих деревьев, которые обеспечивают предсказания уровня гемоглобина.

Осуществление изобретения.

Как показано на схеме (фиг. 1), созданный способ обработки изображений пальцев руки для колориметрического анализа гемоглобина в крови пациента включает в себя следующие этапы:

- получение изображения (подготовительный этап, предшествующий заявленному способу);

- сегментация ногтевых пластин и участков кожи, являющиеся информативными для последующего анализа;

- расчет цветовых характеристик сегментированных областей;

- использование цветовых характеристик в статистической модели;

- прогнозирование содержания гемоглобина на основании анализа указанных цветовых характеристик.

Для получения изображения пальцев руки для последующего колориметрического анализа уровня гемоглобина в его крови ладонь освещают источником белого излучения видимой области спектра.

На первом этапе производится фотография ногтевого ложа диагностируемого пациента в контролируемых условиях освещения так, чтобы ладонь или фаланги пальцев пациента занимали на изображении не менее одной шестой от кадра. Учитывая, что разные участки просвечиваемых ладоней имеют различные оптические характеристики, интенсивность диффузно-отраженного света будет различна в различных участках кожи человека, в частности, интенсивность отраженного от кожи света будет определяться наличием кровеносных сосудов на данном участке, а также цветом крови, определяемом уровнем гемоглобина в крови. Однако не все участки ладони удобны для детектирования гемоглобина в крови пациента за счет наличия других хромофоров в коже человека (в первую очередь меланина). Наиболее предпочтительными участками для детектирования гемоглобина являются ногтевые ложа пальцев, а также участки кожи, находящиеся на удалении 1-2 см от ногтевого ложа (для учета возможного уровня меланина в модели). Для выделения указанных участков на изображении необходимо применять методы сегментации.

Для сегментации ногтевых областей на изображениях используют модель машинного обучения, детектирующую участки ногтевого ложа на изображении с использованием сверточной нейронной сети. Наиболее предпочтительной нейронной сетью является сеть с архитектурой MobileNet-SSD-FPN или YOLO, каждая из которых обладает высокой производительностью и сравнительно малым количеством весов, необходимым для детектирования объектов. Используемая модель должна быть предварительно обучена на датасете изображений ногтей рук. Результатом предсказания модели являются координаты прямоугольников на изображении, в которых наиболее вероятно расположение ногтевой пластины. В проведенных экспериментах была использована модель, обученная на датасете из более 1000 изображений ладоней, демонстрирующая высокие показатели точности на тестовом наборе данных - для 174 объектов (ногтевых пластин) на изображениях рук для 44 добровольцев, модель успешно обнаружила 172 объекта. Таким образом, вероятность корректного обнаружения ногтевой пластины на изображении составляла 98,8% (95% доверительный интервал [95,9; 99,8]%).

В ряде случаев указанная сегментация может быть произведена оператором вручную путем задания координат ногтевого ложа или тех участков пальцев, которые являются информативными для колориметрического анализа. Так, например, могут быть заданы координаты центра исследуемой области, радиус или диаметр данной области, и при необходимости коэффициент овальности выбранной области, чтобы более правильно аппроксимировать реальное изображение ногтевого ложа.

Примеры сегментированых участков ногтевого ложа представлены на фиг. 2. Аналогичным образом сегментируются участки кожи на фалангах пальцев - сегментирование может быть произведено с помощью отдельной модели, или используя предсказания, полученные для ногтевого ложа, путем сдвига координат предсказанных областей на необходимое число пикселей на изображении.

После сегментации на изображении внутренняя область сегментированных ногтевых пластин вырезается для последующего анализа. Цветовые характеристики сегментированных участков изображения кожи и ногтевых пластин фильтруются путем сравнения интенсивностей детектированного изображения с опорными значениями если полученные при помощи оптического детектора значения интенсивности прошедшего через ткань света не лежат в указанном диапазоне опорных значений, они удаляются из общей базы данных и не участвуют в дальнейших этапах предсказания уровня гемоглобина.

На фиг. 3 приведены увеличенные вырезанные изображения сегментированных участков ногтевого ложа. После процедуры фильтрации для отобранных изображений участков ногтевого ложа и кожи руки рассчитываются цветовые характеристики указанных областей средние значения, значения процентилей распределений интенсивностей и стандартные отклонения значений интенсивностей в R-, G- и В-каналах.

Средние значения распределения интенсивности для каждого из каналов могут быть определены по формулам:

, где I_Ri - это зарегистрированное значение интенсивности в R (красном)-канале в каждом из пикселей, принадлежащей вырезанной сегментированной области, n - общее количество пикселей, принадлежащих данной области.

, где I_Gi - это зарегистрированное значение интенсивности в G (зеленом)-канале в каждом из пикселей, принадлежащей вырезанной сегментированной области, n - общее количество пикселей, принадлежащих данной области.

, где I_Bi - это зарегистрированное значение интенсивности в В (синем)-канале в каждом из пикселей, принадлежащей вырезанной сегментированной области, n - общее количество пикселей, принадлежащих данной области.

Среднеквадратичные значения интенсивностей определяются по следующим формулам:

где I_Ri - это зарегистрированное значение интенсивности в R(красном)-канале в каждом из пикселей, принадлежащей вырезанной сегментированной области, - среднее значение (мат.ожидание) интенсивности в R-канале, n - общее количество пикселей, принадлежащих данной области.

, где I_Gi - это зарегистрированное значение интенсивности в G(красном)-канале в каждом из пикселей, принадлежащей вырезанной сегментированной области, - среднее значение (мат.ожидание) интенсивности в G-канале, n - общее количество пикселей, принадлежащих данной области.

где I_Bi - это зарегистрированное значение интенсивности в В (красном)-канале в каждом из пикселей, принадлежащей вырезанной сегментированной области, - среднее значение (мат.ожидание) интенсивности в В-канале, n - общее количество пикселей, принадлежащих данной области.

В дополнение к средним значениям и стандартным отклонениям интенсивностей в R-, G-, В-каналах сегментированного изображения, для изображений также определяют процентили распределения интенсивностей в указанных каналах по семи уровням: 5, 15, 25, 50, 75, 85, 95. Полученные процентили распределения интенсивности связаны с действительным уровнем гемоглобина в крови пациента и также используются в качестве входных данных, поданных в модель машинного обучения, предсказывающую уровень гемоглобина в крови пациента по данным оптического отклика.

Для того, чтобы в вырезанном сегментированном цифровом изображении наиболее точно по трем каналам (R-, G-, В- каналах) определить статистики распределения средних значений интенсивностей и их среднеквадратичных отклонений устанавливают процентили распределения интенсивностей по семи уровням: 5, 15, 25, 50, 75, 85, 95 и определяют, какое количество пикселей на вырезанном сегментированном изображении не превысит с заданной вероятностью, например 95%, вышеуказанные значения процентилей одновременно по всем трем каналам. Полученные значения связаны с действительным уровнем гемоглобина в крови пациента и могут быть использованы в качестве входных данных, поданных в модель машинного обучения, которая позволяет интерпретировать результаты колометрического агнализа. Так например, три малых значения процентилей (5, 15 и 25) позволяют с высокой вероятностью отследить малые значения интенсивности детектируемого света и в процессе последующей машинной обработки выявить значения гемоглобина в диапазоне от 160 до 200 г/л, а три больших значения процентилей (75, 85, 95) позволят детектировать высокие значения интенсивности детектируемого света и в процессе последующей машинной обработки выявить значения гемоглобина в диапазоне от 60 до 120 г/л. В том случае, если в крови содержится средний уровень гемоглобина (от 120 до 160 г/л), то более точную статистику позволит получить среднее значение процентиля по уровню 50.

Само по себе определение распределения параметров интенсивности оптического излучения, отраженного от ткани информативного участка ладони хотя и является необходимой операцией для осуществления заявленного способа, не является его конечной операцией. Для того чтобы обеспечить высокую точность интерпретации информации, приведенной на изображении пальцев пациента, нужно подобрать тот метод машинного обучения, который обеспечит заданную точность восстановления концентрации гемоглобина из заданных величин оптического отклика. Экспериментально было установлено, что использование модели машинного обучения на основе ансамбля решающих деревьев для обработки значений статистик распределения интенсивностей цифрового изображения выделенных областей ладони обеспечит наибольшую точность определения гемоглобина. Наилучшую точность в проведенных экспериментах показали ансамбли решающих деревьев (см. фиг. 4), построенные по методу градиентного бустинга или случайного леса. Помимо высокой точности предсказания модели на основе решающих деревьев также обладают высокой скоростью обработки входных предикторов и не требуют существенных затрат вычислительных ресурсов.

Для дополнительного повышения точности обработки изображений пальцев ладони, по которым судят о значении гемоглобина, в дополнение к ансамблю решающих деревьев могут быть использованы и иные модели статистического обучения, например, модели линейной регрессии, нейронные сети, не параметрические методы, в частности метод ближайших соседей, регрессии на главные компоненты, регрессии на опорных векторах, локально-взвешенной регрессии или совокупность одной или нескольких из данных моделей.

Таким образом, за счет использования предложенного способа обработки цифровых изображений пальцев руки обеспечивается существенное повышение точности определения уровня гемоглобина в крови, используя неинвазивный колориметрический метод диагностики.

Данное изобретение относится к средствам для обработки данных, полученных в процессе неинвазивного анализа содержания гемоглобина в крови пациента, с использованием моделей машинного обучения. Предложен способ обработки цифровых изображений пальцев руки для колориметрического анализа уровня гемоглобина в крови, заключающийся в том, что на цифровом снимке пальцев сегментируют области изображений, на которых располагаются ногтевые ложа пальцев, а также участки кожи, цвет которых изменяется в зависимости от уровня гемоглобина крови; при этом сегментируют часть изображения ногтевого ложа и участка кожи, в которой распределение интенсивности в различных цветовых каналах является однородным; фильтруют сегментированные области изображения, цветовые характеристики которых изменяются в зависимости от уровня гемоглобина в крови; при этом удаляют области, в которых интенсивности R-, G-, В-каналов имеют нетипичные характеристики для цветовых характеристик кожи и ногтевого ложа путем сравнения средних значений интенсивностей и стандартного отклонения интенсивностей детектированного изображения с опорными значениями; для отфильтрованных областей изображения рассчитывают статистики распределения интенсивностей одновременно в R-, G-, В-каналах цифрового изображения: процентилей распределения интенсивностей по уровню 5, 15, 25, 50, 75, 85, 95 среднего значения интенсивности и среднеквадратического отклонения интенсивностей; предсказывают уровень концентрации гемоглобина с помощью модели машинного обучения на основе ансамбля решающих деревьев по данным рассчитанных значений статистик распределения интенсивностей цифрового изображения выделенных областей. Данное изобретение обеспечивает возможность более точного распознания полученных изображений ногтевых лож пальцев пациента за счет учета распределения интенсивностей света, прошедшего через ткань пациента, полученного цифрового изображения одновременно во всех трех R-, G-, В-каналах, используя при этом несколько уровней значений заданных опорных значений распределения интенсивностей и такой алгоритм машинного обучения, который позволит наиболее полно учесть вышеуказанное распределение интенсивностей и более точно предсказать значение гемоглобина на основании анализа полученных RGB-изображений. 2 з.п. ф-лы, 4 ил.

1. Способ обработки цифровых изображений пальцев руки для колориметрического анализа уровня гемоглобина в крови, включающий следующие шаги:

- на цифровом снимке пальцев сегментируют области изображений, на которых располагаются ногтевые ложа пальцев, а также участки кожи, цвет которых изменяется в зависимости от уровня гемоглобина крови;

- при этом сегментируют часть изображения ногтевого ложа и участка кожи, в которой распределение интенсивности в различных цветовых каналах является однородным;

- фильтруют сегментированные области изображения, цветовые характеристики которых изменяются в зависимости от уровня гемоглобина в крови;

- при этом удаляют области, в которых интенсивности R-, G-, B-каналов имеют нетипичные характеристики для цветовых характеристик кожи и ногтевого ложа путем сравнения средних значений интенсивностей и стандартного отклонения интенсивностей детектированного изображения с опорными значениями;

- для отфильтрованных областей изображения рассчитывают статистики распределения интенсивностей одновременно в R-, G-, B-каналах цифрового изображения: процентилей распределения интенсивностей по уровню 5, 15, 25, 50, 75, 85, 95 среднего значения интенсивности и среднеквадратического отклонения интенсивностей;

- предсказывают уровень концентрации гемоглобина с помощью модели машинного обучения на основе ансамбля решающих деревьев по данным рассчитанных значений статистик распределения интенсивностей цифрового изображения выделенных областей.

2. Способ по п. 1, отличающийся тем, что для сегментации области изображений ногтевого ложа и участков кожи пальцев рук используют модель машинного обучения, в качестве которой используют сверточную нейронную сеть с архитектурой MobileNet-SSD-FPN или YOLOv6.

3. Способ по п. 1, отличающийся тем, что для предсказания уровня гемоглобина в крови в дополнение к ансамблю решающих деревьев также используют одну из следующих моделей машинного обучения: модели линейной регрессии, нейронные сети, непараметрические методы, в частности метод ближайших соседей, регрессии на главные компоненты, регрессии на опорных векторах, локально-взвешенной регрессии или совокупность одной или нескольких из данных моделей.