Способ детализации структурных элементов медико-биологических объектов исследования Российский патент 2023 года по МПК A61B5/145 G06T7/00 G16H10/00 

Область техники

Изобретение относится к медицине, а именно к онкологии, и может быть использовано для детализации структурных элементов на изображениях медико-биологических препаратов, в частности анализа структуры изображений ядер клеток крови и/или костного мозга при диагностике острых лейкозов.

Острые лейкозы (ОЛ) относятся к опухолевым заболеваниям кроветворной и лимфатической ткани (гемобластозам). При диагностике острых лейкозов широко применяются исследования морфологических особенностей лейкоцитов периферической крови и препаратов костного мозга, цитохимический, иммунофенотипический и цитогенетический методы анализа. Правильно поставленный диагноз позволяет врачу определить клиническое течение заболевания, соответствующие лечебные мероприятия, прогноз заболевания [1].

Один из ключевых этапов диагностики острых лейкозов морфологическое исследование препаратов клеток костного мозга с применением световой микроскопии. Особое внимание уделяется анализу структуры биологического объекта.

Характеристика хроматина бластов является важным биологическим критерием, который дает основания предполагать взаимосвязь между ориентацией клеточной дифференцировки и структурой хроматина ядер. Проблему представляет слабая детализация изображений объектов, полученных цифровой камерой, затрудняющая анализ структурных элементов медико-биологических объектов исследования и однозначную интерпретацию картины наблюдаемой врачом.

Уровень техники:

Под детализацией будем понимать микроконтраст или изменения тона на уровне пикселей. А под мелкой, средней и крупной детализацией микроконтраст границ структур соответствующего масштаба. Микроконтраст относится к контрасту, измеренному между соседними пикселями [2-3].

Известен способ коррекции сигнала датчика изображения слабоконтрастных объектов в системах компьютерной микроскопии при онкологической диагностике [Патент РФ на изобретение 2712941].

Технический результат изобретения заключается в коррекции сигнала датчика изображения слабоконтрастных объектов в системах компьютерной микроскопии при онкологической диагностике и повышения точности расчета характеристик при автоматизации процесса диагностики.

Недостатком данного изобретения является сложность его практической реализации состоящая в предварительных дополнительных измерениях и направленная на корректировку сигнала определенных устройств и затрудняющая коррекцию одиночных изображений, когда нет возможности провести дополнительные измерения.

Известен способ автоматизированного анализа клеток крови посредством описания лейкоцитов на основе оптических особенностей структуры ядер [Патент РФ на изобретение 2612007], включающий представление изображения в компьютерном анализаторе изображений, отличающийся тем, что определяют количественные характеристики клетки крови, значения которых получают расчетным путем на основании измерений, выполненных по микроскопическим изображениям внутренних структур ядра клетки крови, и при этом рассчитываемые характеристики определены таким образом, чтобы соответствовать тем качественным признакам структуры хроматина ядра клетки крови, которые используют врачи при визуальном анализе микроскопических изображений мазков крови, при этом представляют изображения ядра клетки крови в виде совокупности светлых и темных объектов - структурных элементов, отражающих такие визуально наблюдаемые в микроскопическом изображении характерные объекты анализа, как «зерна» в изображении грубой структуры хроматина, «ячейки» в сетчатой структуре хроматина; выделение светлых и темных структурных элементов в изображении ядра клетки крови выполняют путем сегментации, сочетающей бинаризацию с различными уровнями порогового ограничения с применением логических функций конъюнкции и дизъюнкции для объединения частей объектов ввиду того, что один уровень может представлять только часть объекта, причем для количественного описания выделенных структурных элементов, соответствующих оптическим характеристикам структуры ядра клетки крови, измеряют следующие морфологические характеристики объектов.

Недостатком данного изобретения является отсутствие учета детализации при формировании структурных элементов.

Существующие способы повышения информативности медицинских изображений не учитывают детализацию изображений медико-биологических объектов исследования, что ухудшает объективность, информативность и достоверность проведения анализа изображений при формировании диагностического заключения в ходе диагностики онкологических заболеваний, а именно анализа структуры хроматина ядер лейкоцитов при онкогематологической диагностике.

Сущность изобретения

Техническим результатом изобретения является повышение объективности, информативности и достоверности проведения анализа изображений при формировании диагностического заключения в ходе диагностики онкологических заболеваний, а именно анализа структуры хроматина ядер лейкоцитов при онкогематологической диагностике.

Указанный технический результат достигается за счет того, что, в способе детализации структурных элементов медико-биологических объектов исследования, включающем получение цветного изображения мазков крови и/или костного мозга с помощью компьютерный анализатора, после чего применяют пороговые операции к полученному цветному изображению, затем выделяют области соответствующие ядрам лейкоцитов посредством процедуры анализа объектов на бинарном изображении с заполнением пустот внутри каждого ядра лейкоцита, затем к выделенным ядрам лейкоцитов применяют билатеральный и медианный фильтры, после применения фильтров вычитают обработанное изображение из исходного изображения и формируют детализирующий слой для получения результирующего изображения, затем проводят процедуру усиления деталей заданного масштаба и выполняют процедуру корректировки яркости и контраста изображения посредствам гамма-преобразования.

Описание графических материалов

Изобретение поясняется чертежами, где на

Фиг. 1 - показана структура программно-аппаратного комплекса получения изображения.

Фиг. 2 - структурная схема реализации способа повышения детализации структурных элементов медико-биологического объекта на примере исследования изображений с препаратов клеток костного мозга.

Фиг. 3 Сравнение применения различных сглаживающих фильтров с одинаковым окном фильтрации - 5×5: а) исходное изображение; б) билатеральный фильтр; в) медианный фильтр; г) медианный фильтр со сдвинутым окном фильтрации.

Фиг. 4 Изменение конечного изображения в зависимости от значений параметров преобразования (билатеральный фильтр с окном 5×5): а) исходное изображение, б) - м) результирующие изображения с различными коэффициентами детализации и гамма преобразования (Таб. 1 – см. в графической части).

Осуществление изобретения

Основные этапы, на которых базируется предлагаемый способ, отражают технологию обработки информации в системе (независимо от конкретной программной реализации и технической реализации)

Заявленный способ реализуется с помощью программно-аппаратного комплекса (фиг. 1) следующим образом.

Регистратор видеоизображения - телекамера (фиг. 1) (осуществляет регистрацию видеоизображения.

Процесс обработки зарегистрированного изображения представлен на Фиг. 2.

Для выделения ядра клетки применяется программа, основанная на нахождении порога яркости для разделения изображения по гистограмме (фиг. 2 - выделение ядра клетки крови).

Далее для полученного изображения применяется сглаживающий фильтр с сохранением краев. Детализирующий слой - изображение, полученное путем вычитания из исходного изображения результата его обработки фильтром. Для формирования детализирующего слоя и сохранения краев области интереса применялись медианный и двусторонний (билатеральный) фильтры.

Затем проводится процедура формирования детализирующего слоя. Первый детализирующий слой d₁ формируется посредствам вычитания из исходного изображения результата его обработки сглаживающим фильтром с сохранением краев изображения. Затем процедура повторяется еще два раза для формирования детализирующих слоев d₂ и d₃, последнее обработанное фильтром изображение формирует базовый слой и.

Следующим этапом выполняется усиление деталей заданного масштаба.

Усиление или ослабление деталей различных масштабов, при формировании результирующего изображения, регулируется за счет повышающих коэффициентов и функции сигмоиды по формуле:

где μ - среднее, η - коэффициент, отвечающий за экспозицию, δ₀ - повышающий коэффициент для базового слоя, δ₁, δ₂, δ₃ - повышающие коэффициенты соответствующего детализированного слоя, S - сигмоида.

Каждое из пяти слагаемых в формуле (1) принадлежит диапазону от 0 до 1. Для того чтобы конечное значение яркости не выходило за диапазон яркостей пикселей изображения необходимо использовать корректирующий коэффициент где n - количество детализирующих слоев.

После преобразования, описанного на предыдущем шаге, изображение получается бледным и неконтрастным, что ухудшает как визуальное восприятие, так и различимость текстуры. Поэтому яркость и контрастность изображения необходимо скорректировать. Для этого был применен наиболее простой и эффективный метод, который относится к попиксельным преобразованиям - гамма-преобразование:

После чего на выходе получается результирующее изображение, с которым проводят дальнейшие операции.

Результаты экспериментальных исследований

Экспериментальные исследования направлены на проверку адекватности предложенного способ детализации структурных элементов медико-биологического объекта исследования. Исследование проводилось в два этапа: поиск визуально оптимальных параметров и оценка влияния повышения детализации структурных элементов медико-биологического объекта на точность распознавания. В качестве исходных данных использовалась выборка 12960 изображений клеток костного мозга, из которых были отобраны изображения по 280 бластов и лимфоцитов, т.к. они вызывают наибольшие сложности в установлении типа.

Для первого этапа параметры подбирались так, чтобы насыщенность цвета, освещенность и яркость полученного изображения были схожими с исходным изображением, а четкость деталей и границ была наибольшей. Насыщенность цвета в основном зависит от повышающего коэффициента базового слоя, так как от его значения зависит вклад в результирующее изображение базового слоя, на котором находится практически вся информация о цвете. Яркость изображения можно регулировать тремя коэффициентами η, γ, с одновременно. Изменить детализацию различного масштаба можно с помощью трех повышающих коэффициентов: δ₁, δ₂, δ₃. Так как на первом детальном слое (мелкая детализация) остаются не только мелкие детали, но и шум, то для этого слоя коэффициент был выбран с маленьким значением, а коэффициенты второго и третьего слоев (детализация среднего и крупного масштаба) были выбраны с большим значением.

В ходе второго этапа оценивалось влияние повышения детализации структурных элементов медико-биологического объекта на точность распознавания. Для каждого изображения ядра клетки крови формируется набор, из морфологических и текстурных характеристик для компонент цветовых моделей RGB, XYZ, HSL, Lab, Luv, HSI, HSV, YUV, YIQ, YCbCr, CMY. Классификация проводилась в двумерном пространстве признаков [2].

Первый этап: поиск оптимальных параметров предложенного метода детализации структуры медико-биологического объекта на примере клеток костного мозга.

Рассмотрим влияние сглаживающего фильтра на конечный результат. Как видно из Фиг. 3 наиболее естественный вид имеет изображение, а), для получения которого использовался билатеральный фильтр. Так же хороший результат дает медианный фильтр со сдвинутым окном фильтрации: изображение г) выглядит не так естественно, при этом для большинства деталей характерна выраженность рельефа, возникающая из-за небольшого сдвига при фильтрации.

Влияние остальных параметров преобразования (Фиг. 4) на изображения. При усилении первого детализирующего слоя помимо мелких деталей так же сильно увеличивается и зашумленность изображения (д). Поэтому, в итоговом преобразовании коэффициент δ₁ = 0, то есть слой мелкой детализации оказывается полностью подавленным. Это позволяет избавиться от влияния шума, но приводит к потере информации о мелкомасштабных деталях, находящихся на этом слое. Данная информация является важной с точки зрения дифференцировки клеток по типам.

Увеличение влияния деталей среднего и крупного масштаба, по отдельности, сильного визуального улучшения не дает Фиг. 4 (е), ж), а при совмещении слоев детализация становится значительно лучше Фиг. 4 (з).

При подборе параметров, отвечающих за яркость и насыщенность, наилучший результат показан в Табл. 1 в строке б). При больших значениях параметра 6₀ изображение Фиг. 4 (г) становится насыщенным по цвету, в противном случае - серым (Фиг. 4 в). Увеличение значения η или уменьшение параметра γ изображение становится ярким Фиг. 4 - к) и м). Наоборот, уменьшение η или увеличение γ приводило к излишнему затемнению Фиг. 4 и) и л).

Второй этап: оценка влияния повышения детализации структурных элементов медико-биологического объекта на точность распознавания. Для проведения исследований использовались методики и рекомендации, указанные в работе [3].

На втором этапе эксперимента определялась точность распознавания при оптимальных значениях параметров модели. Экспериментальная выборка сформирована из 12560 изображений с препаратов костного мозга, описанных специалистами. Из отобранных 560 изображений клеток костного мозга сформированы две группы клеток: бласт и лимфоцит по 280 изображений в каждой. Исследование проводилось с использованием базовых моделей текстурных признаков, рассчитанных по изображениям ядер клеток костного мозга [3]. Без повышения детализации структурных элементов медико-биологического объекта точность распознавания клеток костного мозга по результатам эксперимента составила 79%. Результат распознавания в 79% согласуется с данными, представленными в работе [2], в которой для базовых текстурных признаков из работы [3] указано значение около 80% для всевозможных комбинаций. Предложенное нами решение позволило улучшить точность распознавания до 87%. Тем самым показано, что при разработке методов цифровой обработки изображений при анализе структурных элементов медико-биологических объектов следует использовать методы, повышающие уровень детализации объектов исследования.

Предложен способ детализации структурных элементов медико-биологического объекта на примере изображений структуры хроматина ядер клеток костного мозга при диагностике острого лейкоза. Способ включает следующие процедуры: выделение изображения ядра клетки крови костного мозга на основе гистограмм; сглаживание с сохранением краев; формирование детализирующего слоя; усиление деталей заданного масштаба; гамма-преобразование.

Для проверки адекватности разработанного метода проведен эксперимент, в рамках которого выделено 560 ядер с изображений препаратов костного мозга, разделенных на две группы бласт и лимфоцит по 280 изображений в каждой. Оценка влияния повышения детализации структуры медико-биологического объекта на точность распознавания показала улучшение разделения для базовых текстурных признаков с 79% до 87%, повышение объективности, информативности и достоверности проведения анализа изображений при формировании диагностического заключения в ходе диагностики онкологических заболеваний, а именно анализа структуры хроматина ядер лейкоцитов при онкогематологической диагностике.

Список литературных источников

1. Гематология: руководство для врачей / Под ред. Н.Н. Мамаева. СПб.: СпецЛит, 2019. 639 с.

2. Поляков Е.В. Анализ эффективности методов и моделей обработки изображений препаратов крови и костного мозга для автоматизированной диагностики острых лейкозов / Е.В. Поляков // Системный анализ и управление в биомедицинских системах. - 2019. - Т. 18. - №2. - С. 133-144.

3. Поляков Е.В. Методы и модели анализа структуры хроматина ядер клеток костного мозга для систем автоматизированной диагностики острых лейкозов: автореф. кан. тех. наук: 2.2.12 / Поляков Евгений Валерьевич. - М.:НИЯУ МИФИ, 2022. - 22 с.

4. Farbman Z. et al. Edge-preserving decompositions for multi-scale tone and detail manipulation //ACM transactions on graphics (TOG). - 2008. - T. 27. - №. 3. - C. 1-10.doi: https://doi.org/10.1145/1360612.1360666

5. Dai G. P. Palm print image de-noising based on BEMD and wavelet packet transform-wiener filter //International Conference on Intelligent Computing. -Springer, Berlin, Heidelberg, 2011. - C. 290-297. doi: https://doi.org/10.1007/978-3-642-24728-6_39

6. Badri H., Yahia H., Aboutajdine D. Fast multi-scale detail decomposition via accelerated iterative shrinkage //SIGGRAPH Asia 2013 Technical Briefs. 2013. C. 1-4.

7. The method of segmentation of leukocytes in information-measuring systems7 153 on the basis of light microscopy / VG Nikitaev, AN Pronichev, EV Polyakov, Yu V Zaharenko // Journal of Physics: Conference Series / IOP Publishing. - Vol.945. - 2018. - P. 012006 doi: 10.1088/1742-6596/945/1/012006

8. Gonzalez R.C., Woods R.E. Digital Image Processing, 4th Edition. Pearson, 2018.

Изобретение относится к области медицины и может быть использовано для детализации структурных элементов медико-биологических объектов исследования. Предложен способ детализации структурных элементов медико-биологических объектов исследования, согласно которому получают цветное изображение мазков крови и/или костного мозга с помощью компьютерного анализатора, после чего применяют пороговые операции к полученному цветному изображению, затем выделяют области, соответствующие ядрам лейкоцитов посредством процедуры анализа объектов на бинарном изображении с заполнением пустот внутри каждого ядра лейкоцита, затем к выделенным ядрам лейкоцитов применяют билатеральный и медианный фильтры, после применения фильтров вычитают обработанное изображение из исходного изображения и формируют детализирующий слой для получения результирующего изображения, затем проводят процедуру усиления деталей заданного масштаба и выполняют процедуру корректировки яркости и контраста изображения посредством гамма-преобразования. Изобретение обеспечивает повышение объективности, информативности и достоверности проведения анализа изображений при формировании диагностического заключения в ходе диагностики онкологических заболеваний, а именно анализа структуры хроматина ядер лейкоцитов при онкогематологической диагностике. 2 з.п. ф-лы, 4 ил., 1 табл.

1. Способ детализации структурных элементов медико-биологических объектов исследования, включающий получение цветного изображения мазков крови и/или костного мозга с помощью компьютерного анализатора, после чего применяют пороговые операции к полученному цветному изображению, затем выделяют области соответствующие ядрам лейкоцитов посредством процедуры анализа объектов на бинарном изображении с заполнением пустот внутри каждого ядра лейкоцита, затем к выделенным ядрам лейкоцитов применяют билатеральный и медианный фильтры, после применения фильтров вычитают обработанное изображение из исходного изображения и формируют детализирующий слой для получения результирующего изображения, затем проводят процедуру усиления деталей заданного масштаба и выполняют процедуру корректировки яркости и контраста изображения посредством гамма-преобразования.

2. Способ по п. 1, отличающийся тем, что результирующее изображение получают по формуле , где μ - среднее значение, η - коэффициент, отвечающий за экспозицию, δ₀ - повышающий коэффициент для базового слоя, δ₁, δ₂, δ₃ - повышающие коэффициенты соответствующего детализирующего слоя, S - сигмоида.

3. Способ по п. 1, отличающийся тем, что для корректировки яркости и контраста используется гамма-преобразование по формуле где с и γ - параметры гамма-преобразования.