СПОСОБ РАСПОЗНАВАНИЯ И ПОДСЧЕТА КЛЕТОК В БИОЛОГИЧЕСКИХ СРЕДАХ ЧЕЛОВЕКА И ЖИВОТНЫХ И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ Российский патент 2007 года по МПК G06K9/00 

Изобретение относится к медицине и ветеринарии, а именно к применению нейросетевых технологий для повышения скорости и точности распознавания и подсчета клеток в биологических средах человека и животных.

В настоящее время в данной области существует ряд разработок программно-аппаратных комплексов, в том или ином объеме реализующих задачу распознавания и подсчета клеток в биологических средах.

Известен способ анализа клеточного состава крови человека по мазку, описанный в патенте РФ №2147123, состоящий в последовательном выполнении следующих операций:

- поля зрения мазка под микроскопом посредством оптико-цифровой системы вводят в память компьютера в виде серии цифровых кадров;

- клетки всех типов и их внутриклеточные структуры выделяют (сегментируют) в каждом сохраненном кадре;

- подсчитывают число выделенных клеток каждого типа: эритроцитов, лейкоцитов, тромбоцитов;

- определяют соотношения количества эритроцитов, лейкоцитов и тромбоцитов;

- измеряют выделенные объекты (получают их формальное описание), при этом описание объектов содержит характеристики формы, которые позволяют воспроизвести контур объекта с заданной точностью;

- определяют распределение тромбоцитов по размерам;

- проводят распознавание (классификацию) изображений клеток эритроцитов и лейкоцитов;

- выделяют нормальные и патологические формы эритроцитов и подсчитывают их соотношение;

- определяют лейкоцитарную формулу.

К недостаткам данного способа можно отнести использование в модели количественных характеристик клетки, не позволяющих восстановить ее форму без погрешности, узкую специализацию модели, не позволяющую анализировать другие биологические среды (плазму, мочу, лимфу и т.д.), а также невозможность подсчета концентрации клеток из-за затруднений в определении истинного объема мазка.

Также известен способ адаптивной автоматической сегментации и распознавания клеток на изображениях цитологических препаратов (патент РФ №2132061), состоящий в определении функционалов энергии контуров клеточных компонентов (ядрышка, ядра и цитоплазмы), разбиении изображения на однородные по цветояркости фрагменты (фасеты) и формировании областей изображений клеточных компонент путем объединения фасетов с использованием критерия объединения, обеспечивающего минимизацию функционала энергии контура. Адаптация алгоритма распознавания под конкретный класс изображений цитологических препаратов производится определением параметров модели контуров цитологических объектов с использованием метода обучения с учителем на реальных изображениях. В качестве недостатка следует указать тот факт, что параметры разложения функционала полной энергии контура были определены опытным путем для частного случая (препаратов Ag-NOR реакции лимфоцитов) и затем была показана их применимость (но не оптимальность) в других случаях (неокрашенные эритроциты, моноциты и лимфоциты в мазке крови, окрашенные по Романовскому-Гимза клетки).

Также недостатком является сложность обучения подобной системы, так как для построения обучающей выборки оператору-цитологу необходимо вручную построить все истинные границы клеток и внутриклеточных компонент и указать пороговые ограничения на значения оптической плотности в красном, зеленом, синем цвете, площади фасетов и параметры разложения, что существенно усложняет процесс обучения. К недостаткам следует также отнести узкую специализацию способа и невозможность подсчета концентрации клеток.

Известен способ анализа изображения клеток крови, полученного с плоской прозрачной подложки, патент США №6330350 от 11.12 2001 года, который включает:

- получение изображения клеток крови;

- сохранение изображения клеток крови в памяти;

- анализ изображения клеток крови;

- вычисление множества значений параметров, характеризующих особенности каждой из указанных клеток крови в изображении;

- распознавание клеток крови, базирующееся на указанном множестве значений параметров, характеризующих клетки:

- извлечение группы пикселей ядра из сохраненных изображений;

- сохранение данной группы пикселей в памяти;

- сегментация группы пикселей в индивидуальный кластер, представляющий клетку крови;

- сохранение индивидуального кластера ядер и связанных с ним параметров цитоплазмы;

- вычисление параметров каждой клетки, основанное на данных, хранящихся в индивидуальных кластерах, и соответствующих им цитоплазматических данных.

При этом типы множества параметров, характеризующих клетки, предопределены, и каждый параметр представляет форму и цвет клеток крови, а этап распознавания включает обнаружение клеток нормобласта согласно параметрам, характеризующим клетку, и анализ клеток, не распознанных как клетки нормобласта посредством как минимум двух нейронных сетей. Определение вида каждой клетки происходит, только если выходы указанных нейронных сетей равны между собой.

Каждая нейронная сеть имеет входной слой, скрытый слой и слой выхода, вес и смещения в скрытом слое каждой нейронной сети определены реверсивным вычислением входных значений от выходов слоев выхода.

К недостаткам относятся невозможность обучения нейронных сетей конечным пользователем, узкая специализация, невозможность подсчета концентрации клеток.

Данное изобретение является наиболее близким к настоящему способу, поэтому данный патент был принят за прототип.

Сущностью изобретения является способ и автоматизированная система распознавания и подсчета клеток в биологических средах человека и животных (кровь, плазма, сперма, моча и другие биологические среды).

Способ включает:

- получение изображения клеток;

- сохранение изображения клеток;

- определение представителя некоторого вида клеток в сохраненных кадрах методом экспертной оценки оператора;

- запоминание изображения представителя указанного вида клеток и фона в качестве обучающей выборки;

- обучение нейронной сети;

- осуществление контроля оператором с целью формирования уточненной обучающей выборки в случае необходимости и переобучение сети на основе уточненной выборки, либо повторного сканирования изображения при измененном масштабе той же нейронной сетью с целью различения близко расположенных клеток.

Автоматизированная система включает:

- образец - биологическая среда, помещенная в прозрачную камеру или на твердую подложку;

- модуль получения изображения биологической среды;

- модуль хранения данных;

- модуль распознавания и подсчета клеток.

Настоящим изобретением обеспечивается ряд технических результатов, таких как универсальность, возможность подсчета концентрации клеток, низкая стоимость эксплуатации, повышение быстродействия, повышение точности, простота использования.

Целью изобретения является создание универсального способа и автоматизированной системы распознавания и подсчета клеток, способной анализировать клеточный состав различных биологических сред человека и животных с высокой скоростью и точностью, в том числе и за счет способности разделять близко расположенные клетки как в прозрачной камере установленного объема, так и на твердой подложке, при низкой стоимости эксплуатации автоматизированной системы, не требующей наличия у персонала специальных знаний в области математики и программирования.

Краткое описание чертежей

Фиг.1 - общая структурная схема нейронной сети в случае черно-белого изображения. Круг обозначает нейрон, стрелка - связь между нейронами, прямоугольник - значение цвета пикселя в оттенках серого, пунктирная стрелка - ответ нейрона.

Фиг.2 - схема нейрона, где i - номер нейрона предыдущего слоя, j - номер данного нейрона, x_ij - вход данного пришедшего по i-й связи, w_ij - вес связи, о_j - взвешенная сумма входов, y_i - выход нейрона, β_j - смещение.

Фиг.3 - схема алгоритма обучения нейронной сети.

Фиг.4 - блок-схема алгоритма.

фиг.5 - общая схема автоматизированной системы распознавания и подсчета клеток в биологических средах.

Фиг.6 - применение программы (авторское название NeuroBAS) для подсчета клеток в тромбоконцентрате. Красным подсвечены найденные нейронной сетью тромбоциты. При необходимости, ошибки удаляются оператором и сеть обучается вторично.

Фиг.7 - применение программы NeuroBAS для подсчета клеток в мазке. Красным подсвечены найденные нейронной сетью лимфоциты. При необходимости, ошибки удаляются оператором и сеть обучается вторично.

фиг.8 - применение программы NeuroBAS для подсчета эритроцитов цыпленка. Красным подсвечены найденные нейронной сетью эритроциты. При необходимости, ошибки удаляются оператором и сеть обучается вторично.

Модуль получения изображения образца биологической среды, помещенной в прозрачную камеру или на твердую подложку, состоит из бинокулярного микроскопа и электронной системы ввода изображений. Модуль хранения данных реализован на основе ПК с применением серверных технологий хранения данных. Модули создания цифрового образа и распознавания и подсчета клеток реализован на основе ПК и являются клиентскими приложениями относительно модуля хранения данных. Клиент-серверная архитектура системы имеет ряд преимуществ:

- возможность параллельной обработки полученных данных несколькими компьютерами, что позволяет нескольким модулям подсчета одновременно производить обработку образцов;

- большая защищенность от программных и аппаратных сбоев;

- независимость функционирования отдельных модулей.

Сочетание указанных преимуществ с возможностью проведения параллельных вычислений позволяет повысить производительность и надежность автоматизированной системы в целом.

Возможная реализация автоматизированной системы: образец - биологическая среда, помещенная на твердую подложку или в прозрачную камеру; модуль получения изображения, состоящий из бинокулярного микроскопа Motic DMB3 и цифровой системы ввода изображений VS-CTT-252; модуль хранения данных - ПК под управлением СУБД Линтер в следующей комплектации - процессор Intel Pentium4 2.8 Ghz, ОЗУ 512 mb, жесткий диск 120 GB 7200 об/мин, видеокарта directх8-совместимая, сетевая карта 3com905В; модуль распознавания и подсчета - ПК с установленной программой, разработанной авторами настоящего изобретения (авторское название программы Neurobas) в следующей комплектации - Pentium4 2.0 Ghz, ОЗУ 512 mb, жесткий диск 60 GB 7200 об/мин, видеокарта directx8-совместимая, сетевая карта 3com905В.

Прозрачная камера либо твердая подложка с анализируемой средой помещается на предметное стекло микроскопа. Оператор производит фокусировку, съемку образца, кадры в автоматическом режиме передаются в модуль хранения данных. Затем оператором активируется модуль распознавания и подсчета (фиг.5). Для этого необходимо запустить программу NeuroBAS, выбрать образец, существующую нейронную сеть либо топологию (количество элементов в каждом слое) и параметры обучения создаваемой нейронной сети, параметры распознавания (количество анализируемых кадров, разведение биологической среды и т.д.). В случае если выбрана существующая нейронная сеть и указаны все необходимые параметры, в автоматическом режиме производится распознавание и подсчет. Из изображения анализируемой среды выделяется фрагмент размера М×N пикселей, предположительно являющийся изображением целевой клетки, при этом учитываются размеры клеток, входящих в обучающую выборку нейронной сети (размер фрагмента не превышает максимальных размеров клетки из обучающей выборки). Затем формируется входной вектор нейронной сети, представляющий собой упорядоченный набор значений цветов пикселей, входящих во фрагмент (например, в оттенках серого цвета). На основании данного вектора нейронная сеть распознает клетку и в случае, если она принадлежит целевому множеству, включает центральную область данной клетки в маску, сохраняющую взаимное расположение целевых клеток в кадре. Данный процесс повторяется до тех пор, пока не будут проанализированы все изображения во всех кадрах. При этом производится подсчет целевых клеток. Затем результат (число целевых клеток и маска, показывающая расположение клеток в кадре) предъявляется оператору для визуального контроля. В случае ошибок распознавания из-за близости целевых клеток возможно повторное распознавание и подсчет при измененном масштабе изображения.

В случае создания новой нейронной сети, оператор указывает набор клеток, типичных для данного вида, и фон (помечая мышью), формируя обучающую выборку. На основе данной выборки в автоматическом режиме производится обучение сети. После успешного завершения обучения оператор указывает параметры распознавания и производится автоматическое распознавание и подсчет целевых клеток.

Примеры применения

1. Тромбоконцентрат после тщательного перемешивания разводится в 36 раз (1:35) цитратдекстрозным буфером, полученной суспензией заполняется прозрачная камера глубиной 100 мкм. После оседания клеток на дно камеры осуществляется съемка, изображения запоминаются в памяти компьютера. После этого запускается программа NeuroBAS для автоматического подсчета тромбоцитов. Результат подсчета 1.118,5·10⁹ клеток/л. Количество кадров 16.

2. Стандартно изготовленный мазок помещается в микроскоп. Производится съемка, изображения сохраняются в памяти компьютера, после чего запускается программа NeuroBAS и производится автоматический подсчет содержания лейкоцитов. Количество лейкоцитов в кадре 37.

3. Кровь цыпленка разводится в 201 раз (1:200) 0.9% раствором хлорида натрия. Полученной суспензией заполняется прозрачная камера глубиной 100 мкм. После оседания клеток на дно камеры осуществляется съемка, изображения запоминаются в памяти компьютера. После этого запускается программа NeuroBAS для автоматического подсчета эритроцитов. Количество клеток в кадре 22.

Таким образом, настоящее изобретение обеспечивает все заявленные технические результаты, а именно:

- универсальность - достигается за счет возможности обучения и использования в качестве входного вектора нейронной сети цифрового образа целевой клетки, а не набора характеристик, специфичных для определенных типов клеток (например, клеток крови);

- подсчет концентрации - достигается за счет возможности анализа не только сухого мазка, но и жидкости в прозрачной камере установленного объема;

- низкая стоимость эксплуатации - достигается за счет отсутствия необходимости в дополнительных расходных материалах и реагентах, использовании стандартных, широко распространенных комплектующих;

- повышение быстродействия - достигается за счет применения нейросетевых технологий, в основе которых лежит эмуляция параллельного функционирования определенного числа простейших процессоров, требующих малого количества ресурсов современных ПК и многопроцессорных технологий, позволяющих производить распознавание и подсчет одновременно на нескольких ПК;

- повышение точности - достигается за счет повторного сканирования в другом масштабе для распознавания близко расположенных клеток и возможности повторного обучения нейронной сети после уточнения оператором обучающей выборки;

- простота использования - для формирования обучающей выборки оператор помечает несколько целевых клеток, для уточнения результата оператор удаляет элементы маски, все операции производятся мышью.

Изобретение относится к медицине и ветеринарии. Его применение в нейросетевых технологиях позволяет получить технический результат в виде повышения скорости и точности распознавания и подсчета клеток в биологических жидкостях человека и животных. Этот результат достигается благодаря тому, что в способе выполняют следующие операции: помещают биологическую жидкость на твердой подложке или в прозрачной камере под микроскоп; производят через микроскоп серию съемок полей зрения этой жидкости; запоминают полученное при этой съемке цифровое изображение в памяти ПК; выбирают из запомненного цифрового изображения серию кадров для анализа; распознают целевые клетки с помощью обучаемой нейронной сети; при этом осуществляют подсчет распознаваемых клеток на основе маски, сформированной из пикселей, помечающих центральные области каждой целевой клетки. 1 з.п. ф-лы, 8 ил.

1. Способ распознавания и подсчета клеток в биологических жидкостях человека и животных, в котором

помещают биологическую жидкость на твердой подложке или в прозрачной камере под микроскоп;

производят через микроскоп серию съемок полей зрения этой жидкости;

запоминают полученное при этой съемке цифровое изображение в памяти ПК;

выбирают из запомненного цифрового изображения серию кадров для анализа;

распознают целевые клетки с помощью обучаемой нейронной сети;

при этом осуществляют подсчет распознаваемых клеток на основе маски, сформированной из пикселей, помечающих центральные области каждой целевой клетки.