Способ поиска области мазка препарата на предметном стекле микроскопа Российский патент 2024 года по МПК G06T7/13 

Изобретение относится к области цифровой микроскопии, а именно к способам поиска области мазка препарата на большом увеличении с целью последующей его оцифровки и проведения лабораторных анализов.

В настоящее время для проведения лабораторных анализов используются автоматизированные микроскопические комплексы, которые осуществляют оцифровку мазка, и используют оцифрованный препарат для дальнейшей работы. При этом сами мазки могут готовится как вручную, так и с помощью автоматических устройств для подготовки мазков. В случае с автоматической подготовкой соблюдается единообразие мазка и его маркировки, однако при подготовке мазков вручную зачастую сами мазки могут находится в различных частях предметного стекла и иметь/не иметь дополнительной маркировки. В таком случае для обеспечения возможности оцифровки мазков, подготовленных вручную, в автоматическом режиме необходимо точно знать расположение мазка на предметном стекле. Это может достигаться посредством фотографирования мазка на малом увеличении или при помощи отдельной камеры, что позволяет найти мазок на стекле и вручную задать его координаты. Однако, недостатком данного решения является необходимость вмешательства человека в работу машины, снижение автоматизации и, как следствие, скорости работы устройства для оцифровки мазка. Еще одним недостатком подобного решения является необходимость установки дополнительного оборудования, такие как объектив малой кратности или отдельная цифровая камера. При этом, в небольших лабораториях, из экономических соображений, для устройств сканирования закупают только рабочие объективы, то есть объективы высокой кратности, с помощью которых проходит оцифровка биологического препарата и дальнейшая валидация результатов работы системы оцифровки. Таким образом возникает необходимость создания технического решения, которое бы позволяло выполнять поиск области мазка препаратов на предметном стекле на большом увеличении микроскопа.

Из уровня техники известен способ уточнения областей интереса в образце в системе для оцифровки мазка (US 2006104499, опубл. 18.05.2005), который заключается в нахождении местоположения контрольной точки на предметном стекле, определении области интереса в образце, местоположения области интереса относительно контрольной точки и повторное нахождение контрольной точки. При этом местоположение области интереса считается уточненным, если пространственная ошибка не превышает предельное значение.

Недостатком данного способа является непригодность работы с предметными стеклами, которые не имеют нанесенных контрольных точек.

Из уровня техники также известен способ определения местонахождения биологического препарата на предметном стекле (US 8743195, опубл. 03.06.2014), согласно которому определение местоположения осуществляют посредством фотографирования предметного стекла с помощью макрокамеры для создания цифрового макроизображения и последующего применения порогового алгоритма к данному макроизображению для определения области маски препарата на предметном стекле.

Недостатком данного способа является необходимость использования дополнительной макрокамеры для получения макроснимка.

В качестве прототипа принят способ обнаружения (поиска) объекта, например, области мазка препарата, который включает получение изображения области объекта на первом увеличении 10x, проведение с помощью компьютерной программы анализа первого изображения для определения значений совокупности измеримых характеристик изображения (текстуры) в заданной области, определение областей с повышенными значениями текстуры как областей, соответствующих образцу, апроксимация серий значений текстуры к волновой форме для определения границ образца, получение второго изображения, представляющего образец при увеличении, большем чем предыдущее увеличение, например, 40×-60×. (US 7558415, опубл. 07.07.2009).

Недостатком известного способа является ограниченная пригодность для поиска области мазка на предметном стекле при помощи объектива большой кратности (40×-60×), так как в этом случае область, которая захватывается камерой, будет значительно меньше, чем область, которая захватывается камерой, при использовании объектива с меньшим увеличением (10×), что отрицательно сказывается на скорости осуществления способа.

Технический результат - повышение скорости поиска области мазка препарата на предметном стекле микроскопа при большом увеличении и степени совпадения реальной области мазка препарата с полученной указанным способом за счет компенсации несоответствия кадра и его текущей позиции моторизации.

Достижение технического результата осуществляется за счет того, что способ поиска области мазка препарата на предметном стекле микроскопа включает размещение предметного стекла с мазком препарата на предметном столе микроскопа, оснащенного цифровой камерой и программным обеспечением, движение цифровой камеры внутри заданной области сканирования, анализ полученных кадров и определение координат мазка препарата.

В отличие от прототипа указанный способ проводят в два этапа. На первом этапе формируют «белый» кадр, соответствующий параметрам цифровой камеры микроскопа, на предметном стекле задают начальную А и конечную В точки поиска, расположенные на оси Х , и осуществляют непрерывное движение камеры слева направо из начальной точки А в конечную точку В с заданной скоростью, захватывая кадр и соответствующую ему позицию моторизации, далее вычисляют стандартное отклонение захваченного кадра от «белого» кадра, сохраняют в память компьютера пары «позиция-отклонение», выбирают позицию с минимальным отклонением и переходят в нее, осуществляя захват опорного кадра.

На втором этапе осуществляют перемещение камеры в левый верхний угол области сканирования - точку А и движение камеры вдоль полосы по оси Х в конечную точку В с заданной скоростью, осуществляют захват кадра и его текущей позиции моторизации, вычисляют стандартное отклонение текущей позиции кадра относительного опорного кадра и сохраняют в памяти компьютера пару «позиция-отклонение», если превышено пороговое значение отклонения σ _порог.

Затем осуществляют движение в обратном направлении по оси Х справа налево, аналогично осуществляя захват кадра и текущей позиции моторизации, вычисление стандартного отклонения относительно опорного кадра и сохранение в памяти компьютера пары «позиция-отклонение», если превышено пороговое значение отклонения σ_порог, осуществляют компенсацию несоответствия кадра и позиции моторизации с помощью поправки Δ, для чего для каждой полосы движения камеры в области сканирования рассчитывают величину поправки Δ по формуле:

Δ = (<x1> - <x2>) / 2,

где: <x1> - средняя координата позиции моторизации кадра при проходе слева направо;

<x2> - средняя координата позиции моторизации кадра при проходе справа налево, далее осуществляют переход на следующую полосу движения камеры по оси Y и перемещают камеру до конца области сканирования, в результате получают компенсированный массив координат, соответствующий области мазка на предметном стекле.

Изобретение проиллюстрировано следующими фигурами.

На фиг.1 показана траектория движения объектива во время поиска опорного кадра на предметном стекле на первом этапе.

На фиг.2 представлено предметное стекло с областью сканирования и траекторией движения объектива в процессе сбора кадров при поиске области мазка на втором этапе.

На фиг.3 представлен алгоритм осуществления заявленного способа.

На фиг.4 - Таблица. Значения поправок на полосах движения камеры.

Способ осуществляется следующим образом.

В способе использован микроскоп, укомплектованный моторизованным предметным столом, объективом, цифровой камерой, и подключенный к персональному компьютеру с программным обеспечением, позволяющим контролировать движение предметного стола, получать и обрабатывать цифровые изображения (кадры), полученные с цифровой камеры.

Предварительно на моторизованный предметный стол микроскопа устанавливают предметное стекло с нанесенным мазком препарата.

Запускают первый этап. Для этого в памяти компьютера формируют «белый» кадр, соответствующий параметрам используемой цифровой камеры. «Белый» кадр в данном случае является изображением, которое имеет белый цвет в кодировке цветового пространства RGB. Далее задают начальную А и конечную В точки поиска на предметном стекле, которые лежат в одной плоскости на одной оси Х (фиг. 1 и 2).

Начальная точка А должна быть расположена у левого края области сканирования, тем самым увеличивая вероятность того, что в поле зрения попадет светлая область предметного стекла. Конечная точка В расположена у правого края области сканирования.

Затем начинают поиск опорного кадра. Опорный кадр - это изображение, с которым потом сравнивают кадры в рамках второго этапа для расчета стандартного отклонения. Затем выбирают скорость движения предметного стола. Для объектива 40× задают скорость движения в 12 мм/с.

Запускают непрерывное движение объектива из начальной точки А к конечной В. По мере движения происходит захват координат текущей позиции моторизации и кадра.

Не прерывая движение предметного стола, осуществляют вычисление стандартного отклонения σ текущего захваченного кадра от ранее сформированного «белого» кадра. В компьютерном представлении цветное цифровое изображение представлено набором пикселей. При этом каждый пиксель имеет свое значение, в зависимости от используемого цветового пространства. Например, в цветовом пространстве RGB, где для кодировки цвета используются три канала - красный, зеленый, синий, каждый пиксель представлен тремя значениями в пределах от 0 до 255 для каждого из каналов. Ноль (0) представляет абсолютно черный цвет, а 255 - максимально насыщенный цвет. Таким образом, ранее сформированный «белый» кадр в цветовом пространстве RGB будет иметь значения 255 по всем каналам. Каждый канал каждого пикселя в цифровом изображении кодируется одним байтом. Таким образом на один пиксель приходится три байта, где каждый байт имеет значение, соответствующее значению цветового канала пикселя (https://en.wikipedia.org/wiki/RGB_color_model).

Стандартное отклонение σ между двумя изображениями («белым» и опорным кадрами) есть корень из отношения суммы квадратов разниц между двумя байтами с одинаковым расположением в первом и втором изображении к длине массива байт.

Расчет осуществляют по следующей формуле:

,

где: N - длина массива байтов кадра,

Xi - i-ый байт «белого» кадра,

Yi - i-ый байт опорного кадра

При этом во время поиска опорного кадра, если хотя бы по одну сторону от рассматриваемого кадра находится кадр, стандартное отклонение σ которого превышает пороговое значение σ_порог, например, 9σ, то рассматриваемый кадр отбраковывается, и он не может быть выбран в качестве опорного. Позиция кадра представляет собой координаты по осям X и Y в микрометрах (мкм).

В памяти компьютера сохраняют пару «позиция - отклонение», выбирают позицию с минимальным отклонением, переходят в нее и осуществляют захват опорного кадра.

Далее следует второй этап. Для этого цифровую камеру перемещают в левый верхний угол области сканирования - точку А (фиг.2) и движение камеры вдоль полосы по оси Х в конечную точку В с заданной скоростью, осуществляют захват кадра и его текущей позиции моторизации, вычисляют стандартное отклонение текущей позиции кадра относительного опорного кадра и сохраняют в памяти компьютера пару «позиция-отклонение», если превышено пороговое значение отклонения σ_порог,

Затем осуществляют движение в обратном направлении по оси Х справа налево, аналогично осуществляя захват кадра и текущей позиции моторизации, вычисление стандартного отклонения относительно опорного кадра и сохранение в памяти компьютера пары «позиция-отклонение», если превышено пороговое значение отклонения σ_порог.

В связи с тем что на обработку запроса о выдаче данных о местоположении предметного стола и получении кадра требуется время, то полученный кадр может не соответствовать присвоенным ему координатам в связи с высокой скоростью движения предметного стола, обусловленной большим увеличением объектива. Для повышения точности определения мазка на предметном столе, т.е. степени совпадения реальной области мазка препарата с полученной указанным способом, выполняют компенсацию несоответствия кадра и его координат с помощью поправки Δ. Для этого вычисляют средние координаты пар «позиция-отклонение» предметного стола по оси Х при движении в оба направления.

Затем полученная усредненную координату делят пополам, после чего полученное значение поправки Δ применяют к координатам пар, полученных при проходе из начальной точки А в конечную В. Поправку Δ рассчитывают для каждой полосы движения камеры в области сканирования.

Значение поправки Δ определяют по формуле:

Δ = (<x1> - <x2>) / 2,

где: <x1> - средняя координата позиции моторизации кадра при проходе слева направо;

<x2> - средняя координата позиции моторизации кадра при проходе справа налево.

После вычисления Δ каждая точка из массива x1 уменьшается на величину компенсации.

Далее осуществляют переход на следующую полосу движения камеры по оси Y и перемещают камеру до конца области сканирования, в результате получают компенсированный массив координат, соответствующий области мазка на предметном стекле.

Пример

На предметный стол микроскопа было размещено предметное стекло с биологическим образцом. Была задана область сканирования с размерами 20 × 40 мм. Точка А в верхнем левом углу области сканирования имела координаты (5000; 3000) мкм относительно начала координат предметного стекла. В памяти компьютера был сформирован «белый» кадр, разрешение которого соответствовало разрешению цифровой камеры - 5 мегапикселей.

Затем был запущен первый этап, включающий поиск опорного кадра. Отрезок, на котором происходил поиск опорного кадра, имел следующие координаты: начальная точка А (6835;13447) мкм и конечная точка В (50440;12559) мкм. Стандартное отклонение σ опорного кадра от «белого» кадра составило 36.3.

Затем был запущен второй этап, включающий поиск области мазка препарата на предметном стекле. Количество проходов полос движения камеры составило 32, расстояние между полосами составило 645 мкм для объектива 40×. Значения поправок Δ на полосах движения камеры представлены в Таблице на фиг.4. Общее время осуществления поиска по способу - 4:15 мин.

Таким образом, после осуществления предложенного способа появляется возможность оцифровки мазка автоматизированными системами, так как известны координаты области сканирования на предметном стекле, полученные с высокой степенью достоверности совпадения реальной области мазка препарата с полученной указанным способом.

Изобретение относится к области цифровой микроскопии, а именно к способам поиска области мазка препарата на большом увеличении с целью последующей его оцифровки и проведения лабораторных анализов. Техническим результатом является повышение скорости поиска области мазка препарата на предметном стекле микроскопа при большом увеличении и степени совпадения реальной области мазка препарата с полученной указанным способом за счет компенсации несоответствия кадра и соответствующей ему координате текущей позиции моторизованного рабочего стола. Технический результат достигается тем, что на первом этапе формируют «белый» кадр, соответствующий параметрам цифровой камеры микроскопа, на предметном стекле задают начальную А и конечную В точки поиска, осуществляют непрерывное движение камеры из точки А в точку В, выбирают позицию с минимальным отклонением и переходят в нее, осуществляя захват опорного кадра. На втором этапе осуществляют перемещение камеры из точки А в точку В, вычисляют стандартное отклонение текущей позиции кадра относительного опорного кадра и сохраняют в памяти компьютера пару «позиция-отклонение», если превышено пороговое значение отклонения, затем осуществляют движение в обратном направлении. Осуществляют компенсацию несоответствия кадра и позиции моторизованного рабочего стола с помощью поправки. 4 ил.

Способ поиска области мазка препарата на предметном стекле микроскопа, включающий размещение предметного стекла с мазком препарата на предметном столе микроскопа, оснащенного цифровой камерой и программным обеспечением, движение цифровой камеры внутри заданной области сканирования, анализ полученных кадров и определение координат мазка препарата, отличающийся тем, что способ проводят в два этапа, на первом этапе формируют «белый» кадр, соответствующий параметрам цифровой камеры микроскопа, на предметном стекле задают начальную А и конечную В точки поиска, расположенные на оси Х и осуществляют непрерывное движение камеры слева направо из начальной точки А в конечную точку В с заданной скоростью, захватывая кадр и соответствующую ему координату текущей позиции моторизованного предметного стола, далее вычисляют стандартное отклонение захваченного кадра от «белого» кадра, сохраняют в память компьютера пары «позиция-отклонение», выбирают позицию с минимальным отклонением и переходят в нее, осуществляя захват опорного кадра; на втором этапе осуществляют перемещение камеры в левый верхний угол области сканирования - точку А и движение камеры вдоль полосы по оси Х в конечную точку В с заданной скоростью, осуществляют захват кадра и координату соответствующей ему текущей позиции моторизованного предметного стола, вычисляют стандартное отклонение текущей позиции кадра относительного опорного кадра и сохраняют в памяти компьютера пару «позиция-отклонение», если превышено пороговое значение отклонения σ_порог, затем осуществляют движение в обратном направлении по оси Х справа налево, аналогично осуществляя захват кадра и координату соответствующей ему текущей позиции моторизованного предметного стола, вычисление стандартного отклонения относительно опорного кадра и сохранение в памяти компьютера пары «позиция-отклонение», если превышено пороговое значение отклонения σ_порог, осуществляют компенсацию несоответствия кадра и позиции моторизованного предметного стола с помощью поправки Δ, для чего для каждой полосы движения камеры в области сканирования рассчитывают величину поправки Δ по формуле:

Δ = (<x1> - <x2>) / 2,

где: <x1> - средняя координата позиции моторизованного предметного стола

при проходе слева направо;

<x2> - средняя координата позиции моторизованного предметного стола при проходе справа налево,

далее осуществляют переход на следующую полосу движения камеры по оси Y и перемещают камеру до конца области сканирования, в результате получают компенсированный массив координат, соответствующий области мазка на предметном стекле.