Способ определения наличия на предметном столе микроскопа, имеющего многослайдовую конфигурацию, предметного стекла Российский патент 2024 года по МПК G01N21/17 G02B21/34 

Область техники, к которой относится изобретение

Изобретение относится к медицинской компьютерной технике, применяемой для оцифровки биологических препаратов, в частности с использованием систем цифровой микроскопии, для автоматического определения наличия на предметном столе микроскопа, имеющего многослайдовую конфигурацию, предметного стекла.

Уровень техники

В настоящее время для проведения анализа биологических препаратов человека используются автоматизированные системы анализа. Одним из необходимых этапов проведения такого анализа является создание цифрового изображения биологического препарата (оцифровка). В наиболее простом исполнении автоматизированная система для оцифровки биологического препарата представляет собой микроскоп с подключенными к нему цифровой камерой и моторизованным предметным столом, находящиеся под управлением компьютера. В связи с большим количеством проводимых анализов, в целях ускорения работы современные автоматизированные системы для оцифровки биологических препаратов имеют предметные столы, рассчитанные на размещение сразу нескольких предметных стекол с биологическими препаратами. Для обеспечения бесперебойной работы таких систем в автоматическом режиме, среди прочего, необходимы решения, которые бы позволяли определить наличие предметного стекла на предметном столе микроскопа.

Из уровня техники известен способ, раскрытый в патенте US 10345218 В2 «Automated slide assessments and tracking in digital microscopy» (МПК G01N 15/02, G01N 15/14, G06K 9/46, G06T 7/00, G06T 7/11, G06K 9/00, G01N 15/00, G01N 15/10, опубликовано 09.07.2019), в соответствии с которым для определения наличия предметного стекла на предметном столе используется дополнительная цифровая камера, с помощью которой получают изображение той части предметного стекла, которая несет на себе информацию о пациенте.

Недостатком данного решения является необходимость иметь дополнительное оборудование в виде второй цифровой камеры, с помощью которой получают изображение той части предметного стекла, которая несет на себе информацию о пациенте.

Известны способ и устройство определения загрузки предметного стекла, раскрытые в патенте CN 112945956 В «Glass slide loading detection method and device, terminal equipment and storage medium» (МПК G01N 21/01, G01N 21/84, опубликовано 27.06.2023), согласно которому терминальное оборудование (устройство определения загрузки предметного стекла) оснащено съемным приспособлением для выпуклой линзы и, в свою очередь, это приспособление оснащено держателем предметного стекла, а способ включает следующие шаги:

получение первого изображения с помощью модуля камеры при обнаружении операции по загрузке слайда, при этом отслеживается изменение условий освещенности на основе получаемого изображения и если изменение соответствует определенному условию, то считается, что операцию по загрузке слайда обнаружена;

определение статуса загрузки слайда по первому изображению;

выдача информации, соответствующей состоянию загрузки.

Недостатком данного решения является его ограниченная пригодность для использования в автоматизированных устройствах цифровой микроскопии в виду необходимости отслеживания параметра яркости при установке предметного стекла, так как предметные стекла с биологическими препаратами могут иметь довольно прозрачные биологические образцы, которые будут незначительно изменять параметр яркости изображений, что может привести к ошибочной интерпретации автоматизированной системой изменения параметров яркости. В частности, по этим же причинам данный способ имеет ограниченную пригодность для работы с предметными стеклами, содержащими биологические образцы жидкости человека.

Наиболее близким аналогом к заявляемому изобретению является система определения застрявшего слайда по патенту US 10654655 В2 «Stuck slide determination system» (МПК B65G 43/00, G01N 35/00, G01V 8/12, G01N 21/64, G02B 21/00, опубликовано 19.05.2020), заключающаяся в:

использовании устройства для оцифровки предметных стекол, включающего предметный стол для размещения и закрепления на нем предметного стекла, привод для перемещения предметного стола во время процесса оцифровки, парного датчика, который состоит из передающего элемента и принимающего элемента, при том, что передающий и принимающий элементы расположены таким образом, чтобы обнаруживать наличие или отсутствие предметного стекла в одном или нескольких положениях во время процесса оцифровки, при том, что передающий элемент и принимающий элемент парного датчика расположены по разные стороны предметного стола, при том, что один из пары элементов располагается над предметным столом, а второй из пары элементов располагается под предметным столом, при том, что передающий элемент настроен передавать сигнал, а принимающий элемент расположен в поле зрения передающего элемента и настроен принимать сигнал, который передает передающий элемент, когда сигнал проходит через одно или несколько положений предметного стекла;

использовании как минимум одного процессора во время оцифровки предметного стекла для управления приводом движения предметного стола, получения сигнала от парного датчика, анализа сигнала для определения отсутствия или наличия предметного стекла, определения положения предметного стекла, остановки движения предметного стола при определении неправильного положения предметного стекла на предметном столе.

Недостатком вышеуказанной системы является необходимость использования дополнительных датчиков, что снижает отказоустойчивость устройства для оцифровки предметных стекол, а также делает невозможным использование коммерчески доступных предметных столов, не обладающих технической возможностью для размещения дополнительных датчиков.

Техническая задача состоит в создании способа автоматического определения наличия предметного стекла на предметном столе микроскопа, имеющего многослайдовую конфигурацию, при работе автоматизированной системы по оцифровке биологических препаратов в проходящем свете.

Раскрытие сущности изобретения

Техническая задача решается за счет компьютерно-реализуемого способа определения наличия на предметном столе микроскопа, имеющего многослайдовую конфигурацию, предметного стекла с выделенной информационной частью, осуществляемый с помощью автоматизированной системы оцифровки биологических препаратов в проходящем свете. При этом заявленный способ состоит из следующих этапов:

а) перемещают предметный стол микроскопа в область чистого света;

б) в области чистого света получают первое цифровое изображение, принимаемое в качестве корректирующего изображения, которое помещают в память компьютера в виде набора пикселей цветового пространства, при этом каждому цветовому каналу каждого пикселя присваивают числовое значение в интервале от минимального значения, соответствующего черному цвету, до максимального значения, соответствующего максимально насыщенному цвету, каждый цветовой канал каждого пикселя кодируют одним байтом;

в) затем получают последующее цифровое изображение, которое с помощью корректирующего изображения преобразуют путем коррекции фона, а именно, к каждому значению цветового канала каждого пикселя корректируемого изображения прибавляют значение, соответствующее максимально насыщенному цвету, и из полученного значения вычитают значение соответствующего цветового канала пикселя корректирующего изображения, преобразованное таким образом цифровое изображение сохраняют в памяти компьютера и принимают его в качестве опорного изображения;

г) затем перемещают предметный стол микроскопа в область предполагаемого нахождения информационной части предметного стекла и получают цифровое изображение, которое сохраняют в памяти компьютера;

д) затем вычисляют среднеквадратичное отклонение между массивами байтов опорного изображения и изображения, полученного в области предполагаемого нахождения информационной части предметного стекла;

е) полученное значение среднеквадратичного отклонения сравнивают с заранее установленным пороговым значением, если значение среднеквадратичного отклонения превышает заданное пороговое значение, то считают, что предметное стекло присутствует на предметном столе микроскопа, если значение среднеквадратичного отклонения не превышает заданное пороговое значение, то считают, что предметное стекло отсутствует на предметном столе микроскопа.

Описание фигуры

Фигура иллюстрирует схематичное представление предметного стекла, где: 1 - предметное стекло; 2 - биологический препарат; 3 - информационная часть предметного стекла.

Осуществление изобретения

Для осуществления предложенного решения может подойти любое коммерчески доступное устройство, которое имеет в своем составе микроскоп для исследования биологических образцов в проходящем свете, моторизованный предметный стол, цифровую камеру, подключенную к микроскопу, и как минимум один процессор для управления движением предметного стола и цифровой камерой для получения цифровых изображений. Используемое предметное стекло должно иметь часть, выделенную под нанесение информации о типе образца и/или для иной информации, позволяющей идентифицировать предметное стекло и информацию о пациенте, - информационную часть. Как правило, на информационной части предметного стекла находится наклейка (этикетка) с нанесенной информацией о пациенте или штриховой код. В таком случае информационная часть предметного стекла является непрозрачной в видимом свете при условии использования в микроскопах проходящего света.

Под управлением процессора предметный стол микроскопа перемещают относительно объектива микроскопа по осям X и Y таким образом, чтобы между объективом микроскопа и источником света образовался непрерывный оптический путь (область чистого света). Данный оптический путь может быть сформирован незанятым посадочным местом для предметного стекла в случае с предметными столами микроскопов, имеющих многослайдовую конфигурацию, или же технологическим отверстием в самом предметном столе. Координаты области чистого света могут быть определены пользователем. Например, пользователь может в ручном режиме передвинуть предметный стол в область чистого света, сохранить координаты положения предметного стола в память компьютера и использовать их для осуществления изобретения. Или координаты области чистого света могут быть определены автоматически, в зависимости от того, какой тип предметного стола используется. Габариты и особенности геометрии различных предметных столов и соответствующие им координаты могут храниться в памяти компьютера и использоваться для перемещения предметного стола в область чистого света.

Затем в области чистого света получают первое цифровое изображение. В компьютерном представлении цветное цифровое изображение представлено набором пикселей. При этом каждый пиксель имеет свое значение в зависимости от используемого цветового пространства. Например, в цветовом пространстве RGB, где для кодировки цвета используются три канала - красный, зеленый, синий, каждый пиксель представлен тремя значениями в пределах от 0 до 255 для каждого из каналов, где 0 представляет абсолютно черный цвет, а 255 - максимально насыщенный цвет. Получаемое цветное изображение, принимаемое в качестве корректирующего изображения, помещают в память компьютера в виде набора пикселей цветового пространства, при этом каждому цветовому каналу каждого пикселя присваивают числовое значение в интервале от минимального значения, соответствующего черному цвету, до максимального значения, соответствующего максимально насыщенному цвету, каждый цветовой канал каждого пикселя кодируют одним байтом.

Затем получают последующее цифровое изображение, которое с помощью корректирующего изображения преобразуют путем коррекции фона, а именно, к каждому значению цветового канала каждого пикселя корректируемого изображения прибавляют значение, соответствующее максимально насыщенному цвету, и из полученного значения вычитают значение соответствующего цветового канала пикселя корректирующего изображения, преобразованное таким образом цифровое изображение сохраняют в памяти компьютера и принимают его в качестве опорного изображения.

Затем предметный стол микроскопа перемещают в область предполагаемого нахождения информационной части предметного стекла. Координаты информационной части могут быть заданы пользователем вручную. Например, пользователь может вручную переместить предметный стол таким образом, чтобы в поле зрения камеры попала информационная часть предметного стекла и сохранить координаты данного положения предметного стола в память компьютера. Это позволит совершать данный этап в автоматическом режиме при работе с одинаковыми предметными стеклами. Или же координаты могут быть найдены математически исходя из физических размеров предметного стекла и известных координат посадочного места для предметного стекла. Например, координаты точки, в которой будет получено изображение в области информационной части, могут составлять 85% длины предметного стекла по оси X и 25% ширины предметного стекла по оси Y, при условии, что начало координат лежит в правом нижнем углу предметного стекла.

После перемещения предметного стола в положение, при котором в поле зрения камеры должна попасть информационная часть предметного стекла, получают цифровое изображение, которое сохраняют в памяти компьютера.

Далее вычисляют среднеквадратичное отклонение между массивами байтов опорного изображения и изображения, полученного в области предполагаемого нахождения информационной части предметного стекла. В компьютерном представлении каждый канал каждого пикселя кодируется одним байтом, то есть на один пиксель приходится три байта, где каждый байт имеет значение, соответствующее значению цветового канала пикселя. Таким образом сравниваются массивы байтов опорного изображения и изображения, полученного в области предполагаемого нахождения информационной части предметного стекла. Среднеквадратичное отклонение между массивами байтов изображений рассчитывается по следующей формуле:

где:

N - длина массива байтов изображения;

Xi - i-ый байт опорного изображения;

Yi - i-ый байт изображения, полученного в области предполагаемого нахождения информационной части предметного стекла.

Далее полученное значение среднеквадратичного отклонения сравнивают с заранее установленным пороговым значением. Если значение среднеквадратичного отклонения превышает заданное пороговое значение, то считают, что предметное стекло присутствует на предметном столе микроскопа, если не превышает, то считают, что предметное стекло отсутствует на предметном столе микроскопа. Пороговое значение среднеквадратичного отклонения может быть задано вручную пользователем в зависимости от типа используемого предметного стекла и источника освещения или же оно может быть задано системой автоматически в зависимости от используемого оборудования.

Пример осуществления изобретения

Для примера осуществления изобретения используется автоматическая система для сканирования биологических образцов Vision Pro 8 Cell Imaging Analyzer (https://wm-vision.ru/ru/product/hema). Система включает в себя сканирующий микроскоп с моторизованным предметным столом, монитор, объектив 10х, цифровую камеру и персональный компьютер с установленным программным обеспечением семейства Vision от компании West Medica.

На предметный стол устанавливается предметное стекло, на котором размещен содержащее биологический препарат и имеется информационная часть (наклейка).

Предметный стол под управлением процессора перемещается таким образом, чтобы в поле зрения объектива, а, следовательно, и цифровой камеры, попала область чистого света.

В области чистого света происходит получение корректирующего изображения. Изображение в виде массива байтов, кодирующих цифровые каналы пикселей в цветовой модели RGB, запоминается в памяти компьютера. Затем данное изображение используется для коррекции фона последующего изображения, при которой к каждому каналу корректируемого изображения прибавляется значение 255 и вычитается значение корректирующего изображения. После проведения коррекции скорректированное (опорное) изображение сохраняется в памяти компьютера.

Затем предметный стол под управлением процессора перемещается таким образом, чтобы в поле зрения объектива, а, следовательно, и цифровой камеры, попала область нахождения информационной части (наклейки) предметного стекла.

В области информационной части предметного стекла система получает цифровое изображение. После чего происходит вычисление среднеквадратичного отклонения между массивами байтов ранее полученного опорного изображения и изображения, полученного в области информационной части (наклейки) предметного стекла. Далее полученное значение среднеквадратичного отклонения сравнивается с ранее установленным пороговым значением, равным 100. Пороговое значение выражено в безразмерных величинах.

Если значение среднеквадратичного отклонения превышает 100, то система считает, что предметное стекло присутствует на предметном столе микроскопа, если не превышает - то предметное стекло отсутствует на предметном столе микроскопа.

Изобретение относится к медицинской компьютерной технике. Способ состоит из этапов, на которых перемещают предметный стол микроскопа в область чистого света; получают первое цифровое изображение, принимаемое в качестве корректирующего изображения. Каждому цветовому каналу каждого пикселя присваивают числовое значение в интервале от минимального значения, соответствующего черному цвету, до максимального значения, соответствующего максимально насыщенному цвету, каждый цветовой канал каждого пикселя кодируют одним байтом; получают последующее цифровое изображение, которое с помощью корректирующего изображения преобразуют путем коррекции фона, преобразованное изображение сохраняют в памяти и принимают его в качестве опорного изображения. Затем перемещают предметный стол в область предполагаемого нахождения информационной части предметного стекла и получают цифровое изображение, которое сохраняют в памяти; вычисляют среднеквадратичное отклонение между массивами байтов опорного изображения и изображения, полученного в области предполагаемого нахождения информационной части предметного стекла; полученное значение среднеквадратичного отклонения сравнивают с заранее установленным пороговым значением, по результатам сравнения делают вывод о наличии или отсутствии предметного стекла на предметном столе. Способ обеспечивает автоматическое определение наличия предметного стекла на предметном столе микроскопа, имеющего многослайдовую конфигурацию, при работе в проходящем свете. 1 ил.

Компьютерно-реализуемый способ определения наличия на предметном столе микроскопа, имеющего многослайдовую конфигурацию, предметного стекла с выделенной информационной частью, осуществляемый с помощью автоматизированной системы оцифровки биологических препаратов в проходящем свете, состоящий из этапов:

а) перемещают предметный стол микроскопа в область чистого света;

б) в области чистого света получают первое цифровое изображение, принимаемое в качестве корректирующего изображения, которое помещают в память компьютера в виде набора пикселей цветового пространства, при этом каждому цветовому каналу каждого пикселя присваивают числовое значение в интервале от минимального значения, соответствующего черному цвету, до максимального значения, соответствующего максимально насыщенному цвету, каждый цветовой канал каждого пикселя кодируют одним байтом;

в) затем получают последующее цифровое изображение, которое с помощью корректирующего изображения преобразуют путем коррекции фона, а именно, к каждому значению цветового канала каждого пикселя корректируемого изображения прибавляют значение, соответствующее максимально насыщенному цвету, и из полученного значения вычитают значение соответствующего цветового канала пикселя корректирующего изображения, преобразованное таким образом цифровое изображение сохраняют в памяти компьютера и принимают его в качестве опорного изображения;

г) затем перемещают предметный стол микроскопа в область предполагаемого нахождения информационной части предметного стекла и получают цифровое изображение, которое сохраняют в памяти компьютера;

д) затем вычисляют среднеквадратичное отклонение между массивами байтов опорного изображения и изображения, полученного в области предполагаемого нахождения информационной части предметного стекла;

е) полученное значение среднеквадратичного отклонения сравнивают с заранее установленным пороговым значением, если значение среднеквадратичного отклонения превышает заданное пороговое значение, то считают, что предметное стекло присутствует на предметном столе микроскопа, если значение среднеквадратичного отклонения не превышает заданное пороговое значение, то считают, что предметное стекло отсутствует на предметном столе микроскопа.