СПОСОБ АВТОМАТИЗИРОВАННОЙ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЯ ЦИТОЛОГИЧЕСКОГО ПРЕПАРАТА Российский патент 1998 года по МПК G06K9/00 G06K9/34 

Изобретение относится к системам обработки изображений, точнее к системам автоматизированной сегментации цитологических изображений.

Уровень техники.

Одной из важнейших задач, возникающих при анализе изображений цитологических препаратов, является задача сегментации изображений, т.е. нахождение границ цитологических объектов. Несмотря на значительные усилия, затраченные на разработку способов сегментации цитологических изображений, в настоящее время эта проблема далека от полного решения. Основную трудность здесь представляет сегментация слабоконтрастных и зашумленных границ клеточных объектов. В этих случаях результаты работы алгоритмов автоматической сегментации часто бывают неадекватны границам цитологических объектов, воспринимаемым человеческим глазом, и требуют корректировки перед дальнейшим их использованием при измерениях изображений. Необходимость такой корректировки приводит к тому, что вместо автоматической сегментации во многих системах анализа цитологических изображений используют автоматизированную сегментацию.

В [1] описывается программа, которая удаляет точки вокруг клеток, оставляя пиксели внутри клеток неизменными. Эта стирающая программа делает возможным сканирование клеток, которые окружены другими клетками, микробиологическими элементами, слизью, осколками клеток или другими нежелательными элементами, возникающими при подготовке препарата. Пользуясь функциональной клавиатурой, оператор может перемещать по экрану дисплея небольшое окно, и все пиксели, попадающие в это окно, при нажатии соответствующей клавиши удаляются. Недостатком этого способа сегментации является его высокая трудоемкость.

В [2] описывается процесс сканирования и выбор поля обзора под управлением оператора. Описывается процесс сегментации под управлением оператора. При нахождении ядра оно обходится против часовой стрелки и запоминается цепной код границы. Аналогичный способ предложен в [3], где оператор использует устройство ввода, чтобы обвести каждую сфокусированную клетку, которая частично или полностью находится внутри анализируемого кадра изображения. Недостатком этих способов является необходимость полной обводки контура оператором, что приводит к высокой трудоемкости.

В [4] предложен способ автоматизированной сегментации объектов, в котором система сегментирует границу путем пороговой обработки градиента, выдавая результат сегментации на монитор, и в случае неправильного выделения какого-либо участка границы оператор имеет возможность изменить результат сегментации путем изменения значения, используемого при определении граничных пикселей. Этот способ имеет недостаток, состоящий в том, что он не является дружественным пользователю, поскольку оператор должен иметь представление о механизме сегментации и вводить исправления не в терминах наглядного положения границы, а в терминах порогов.

В [5] раскрывается способ выделения изображения объекта из фонда в сигналах видеокадров, состоящий в том, что в каждом сигнале видеокадра выбирается определенная часть сигнала видеокадра, охватывающая выделяемый объект, строится гистограмма яркости пикселей внутри выбранной части кадрав, находятся пики указанной гистограммы, соответствующие модальным значениям яркости пикселей объекта, и из видеокадра в качестве пикселей объекта выбираются только те пиксели, полутоновые уровни которых соответствуют множеству мод объекта. Недостатком этого способа является то, что данный способ предлагает наличие достаточно выраженных пиков гистограммы, соответствующих объекту, что в случае объектов с пестрой текстурой может не иметь места. В [6] предложена модификация этого способа, в которой после выбора части видеокадра оператору выдают табличное представление (гистограмму) значений яркости пикселей в выбранной части изображения, оператор выбирает соответствующее объекту множество значений яркости значений яркости пикселей, после чего формируют объект от пикселей, значения яркости которых соответствуют выбранным оператором значениям. Общим недостатком последних двух способов является необходимость проведения замкнутого контура, охватывающего выделяемый объект, что может быть чересчур трудоемко.

В [7] предложен способ автоматизированного обхода линий, которые могут содержать разрывы, на изображениях. Способ состоит в том, что вводят команду начала обхода и начальную точку на изображении из кусков линии, автоматически проходят один из кусков линии до концевой точки этого куска, при достижении концепций точки приостанавливают обход, вводят точку продолжения обхода в начале второго куска линии, в ответ на введение точки продолжения обхода соединяют конец первого куска линии с введенной точкой продолжения обхода и продолжают автоматический обход второго куска линии. Недостатком этого способа является его ненадежность в том случае, если на изображении встречается разветвление линии: в этом случае процесс автоматического обхода линии может выбрать неправильное продолжение в точке зрения разветвления, а данный способ не дает возможности возвратиться к месту возникновения ошибки и исправить выбор продолжения обхода.

В [8] предложен способ автоматизированного обхода линий, состоящий в том, что на дисплей выдают изображение линии, вручную вводят отрезок прямой, пересекающий указанное изображение линии, находят точку пересечения отрезка прямой с указанным изображением линии, принимают эту точку за начальную точку обхода и производят автоматический обход изображения линии. Недостатком этого способа является его излишняя трудоемкость, связанная с необходимостью вводить две точки конца отрезка.

В [9] раскрывается способ автоматизированной сегментации изображений цитологических объектов, в котором оператор имеет возможность управлять сегментацией полутоновых изображений, соответствующих голубой и красной компонентам цветного изображения клетки. При этом использование экрана подгонки границы голубого помогает в формировании областей ядер, а использование экрана подгонки границы красного помогает в формировании областей цитоплазмы. В этом способе выполняют попиксельное сканирование цифрового изображения до обнаружения пикселя со значением выше порога, завершая процесс сегментации кадра в случае отсутствия таких пикселей, при обнаружении пикселя со значением больше порога помечают объект путем выполнения 4-связного анализа соседних пикселей и рекурсивной локализации "соседей соседей", значения которых выше порога, пока не будет определена вся область клеточного объекта, причем пользователю предоставляется возможность с помощью навигационных клавиш дорисовывать границу объекта и проводить вырезающие линии на изображении, чтобы разделить налагающиеся друг на друга клетки путем выполнения искусственного разреза между двумя областями, что приводит к тому, что процедура помечания будет помечать только одну область как клеточный объект. Однако из описания этого изобретения невозможно понять, в каком порядке используется анализ внутренних пикселей объектов и проведение частей границы пользователем.

В [10] раскрывается тот же способ автоматизированной сегментации с тем уточнением, что после выполнения оператором дорисовывания и стирания фрагментов границы и выполнения разрезов система начинает помечать объект заново, игнорируя ранее полученные результаты и используя только фрагменты границы, установленные пользователем.

В [11] предложена модификация указанного в [10] способа, в котором после выполнения оператором дорисовывания фрагментов границ и разрезающих линий система производит локализацию всей границы объекта методом обхода границы. Кроме того, в [11] предложен общий способ автоматизированной сегментации изображений цитологических объектов, в котором изображение цитологического препарата выдают на монитор, оператор проводит по крайней мере одну линию, являющуюся частью границы изображения цитологического объекта, автоматически определяют недостающие части границы цитологического объекта и выдают на монитор изображение определенной таким образом границы цитологического объекта. Недостатком этого способа является то, что он не избавляет оператора от необходимости проведения тех фрагментов границы, которые он считает недостаточно явно прорисованными на изображении, но которые на самом деле правильно могли бы быть выделены алгоритмом сегментации и без помощи оператора, и в то же время не гарантирует правильность окончательного результата в силу того, что оператор может счесть некоторый фрагмент границы достаточно явным, но этот фрагмент границы может оказаться непригодным для распознавания алгоритмом сегментации.

По этой причине актуальной является разработка такого способа автоматизированной сегментации, который обеспечил бы оперативное взаимодействие программных средств сегментации и оператора с тем, чтобы они поочередно выполняли действия по локализации границы цитологического объекта, причем корректировка оператором результатов автоматической локализации границы не приводила бы к отмене всего результата автоматической сегментации и к необходимости повторной сегментации, а отменяла бы только неверно локализованные фрагменты границ с возможностью автоматического продолжения процесса локализации оставшихся частей границы.

Сущность изобретения.

Целью изобретения является разработка такого способа автоматизированной сегментации, который обеспечил бы оперативное взаимодействие программных средств сегментации и оператора с тем, чтобы они поочередно выполняли действия по локализации границы цитологического объекта, причем корректировка оператором результатов автоматической локализации границы не приводила бы к отмене всего результата автоматической сегментации и к необходимости повторной сегментации, а отменяла бы только неверно локализованные фрагменты границ с возможностью автоматического продолжения процесса локализации оставшихся частей границы.

Это достигается за счет использования диалогового взаимодействия оператора и программных средств автоматизации сегментации, в котором оператор и система поочередно выполняют прослеживание контура, причем оператор имеет возможность прерывать процесс автоматического прослеживания границы и удалять неправильно проведенные фрагменты границы. Такой способ автоматизированной сегментации изображений на практике оказывается удобным и быстрым способом выделения объектов на изображениях.

Сведения, подтверждающие возможность осуществления изобретения.

Устройство для реализации способа состоит из персонального компьютера с процессором "Pentium", графического видеоадаптера SVGA, цветного монитора и манипулятора "мышь", в среде операционной системы Microsoft WINDOWS.

При работе устройства оператор использует манипулятор "мышь" для ручного прослеживания границы объекта как следа перемещения курсора на экране монитора, а также кнопки манипулятора следующим образом:
1) нажатие (не отпуская) левой кнопки определяет момент окончания ручного рисования и начало автоматического построения части границы;
2) отпуск левой кнопки (возврат в исходное положение) определяет момент окончания автоматического построения части границы по инициативе оператора;
3) нажатие (не отпуская) правой кнопки определяет необходимость удаления части границы по инициативе оператора, начиная с точки расположения курсора; при этом вид курсора на экране изменяется на специальный (например, "крест");
4) отпуск правой кнопки определяет момент окончания удаления части границы по инициативе оператора; при этом вид курсора на экране изменяется на обычный (например, "стрелка").

Операционная система Windows отслеживает перемещение мыши, нажатие оператором ее кнопок и формирует сообщения об этих событиях в головной модуль процедуры сегментации, в которой вызываются соответствующие модули обработки этих сообщений.

Для запуска процесса сегментации границы оператор устанавливает курсор в произвольной точке границы объекта и нажимает (не отпуская) левую кнопку "мыши". После этого управление передается процедуре автоматического прослеживания границы, которая выполняет автоматическое прослеживание границы, начиная с указанной точки; при этом обеспечивается контроль оператора за процессом построения границы на каждом шаге путем автоматического достаточно медленного перемещения курсора по экрану по мере прослеживания границы. При этом прослеженная часть границы объекта выделяется на дискете путем присвоения всем граничным пикселям фиксированного значения цвета, хорошо констрастирующего с цветами, имеющимися на изображении. Выбор такого фиксированного цвета может быть осуществлен как априори при разработке программы реализации процедуры прослеживания границы с учетом цветовых свойств применяемых окрасок цитологических препаратов, так и может осуществляться адаптивно при обработке каждого отдельного изображения путем построения трехмерной гистограммы цветов пикселей данного изображения и выбора точки в цветовом пространстве, наиболее удаленной от всех пиков гистограммы. Наличие такой достаточно удаленной от пиков точки гарантируется свойством окрашенных цитологических препаратов, состоящим в их малой насыщенности, когда цвета всех точек цитологического препарата занимают лишь малую часть цветового пространства. Имеется несколько таких априори заданных цветов, и оператор имеет возможность изменять цвет, выделяющий границу объекта, если исходный цвет его по каким-либо причинам не устраивает. Выполнение процедуры автоматического прослеживания границы заканчивают сообщением одного из трех возможных признаков завершения процедуры:
1) прекращение автоматического продолжения границы в случае отпуска оператором левой кнопки "мыши";
2) "ограничение метода" - при невозможности дальнейшего автоматического прослеживания границы (например, из-за слабой контрастности границы или из-за наличия разветвления границы);
3) "конец построения границы" - при завершении процесса обхода границы в точке начала обхода, т.е. когда получается замкнутая граница.

В первом случае (неверного, по мнению оператора, построения границы), оператор удаляет неверный последний фрагмент прослеженной границы, возвращаясь назад в ту точку, где началось расхождение между реальной границей и автоматически построенной границей. После этого оператор вручную проводит фрагмент границы, начиная от точки расхождения и кончая такой точкой, продолжение границы из которой сможет выполняться правильно автоматически. Затем оператор нажимает левую кнопку и процедура автоматического продолжения границы повторяется. При удалении фрагмента границы обеспечивается контроль оператора за процессом удаления путем автоматического достаточно медленного перемещения по экрану курсора, указывающего на текущую удаляемую точку.

Во втором случае (ограниченности нижеописанного метода автоматического продолжения границы) оператор вручную проводит фрагмент границы, начиная от последней построенной точки и кончая такой точкой, продолжение границы из которой сможет выполняться автоматически. После этого оператор нажимает левую кнопку и процедура автоматического продолжения границы повторяется.

В третьем случае процесс сегментации считается успешно завершенным.

Выполнение процедуры автоматического прослеживания границы производится следующим образом.

Процедура производит обработку черно-белого (или цветного) изображения, задаваемого массивом значений яркости X[i, j] (соответственно массивом X[i, j, k] , k= r, g,b) пикселей, называемого массивом данных изображения. Кроме того, процедура использует вспомогательный массив G[i,j], называемый массивом графических данных, в котором запоминается текущее изображение линии, соответствующей прослеженной границе объекта на изображении. В отличие от известных способов автоматического прослеживания границы, в которых текущее изображение прослеживаемой границы кодируется непосредственно в массиве данных изображения путем, например, их обнуления или присваивания им другого фиксированного значения [11], в предлагаемой нами реализации для кодирования прослеживаемой границы объекта используется отдельный массив G[i,j], что позволяет восстанавливать изображение кадра на дисплее при удалении какого-либо неправильно пройденного фрагмента границы объекта. В начале выполнения процедуры массив G[i,j] обнуляется. Используется также пара переменных i0, j0, указывающая координаты пикселя в массиве G[i,j], соответствующего текущей точке обхода границы объекта.

Процедура представляет собой обработчик события "перемещение курсора". Таким образом, выполнение процедуры инициализируется средствами Windows всякий раз, когда происходит перемещение курсора на экране дисплея с изображением. В зависимости от кода события, отражающего нажатую оператором клавишу, процедура выполняет либо дальнейшее прослеживание границы, либо ожидает дальнейших команд оператора, не выполняя никаких действий, либо производит удаление границы.

При нажатой левой клавиши "мыши" производится поиск продолжения границы от текущего пикселя, соответствующего положению курсора на экране дисплея с изображением. Используя любой из известных алгоритмов прослеживания границы, процедура обхода границы, используя координаты i0, j0 текущей точки обхода границы, определяет следующий пиксель границы объекта и в соответствующий элемент массива G[i,j] заносит значение 1. Вновь установленный пиксель границы объекта отображается на экране дисплея путем изменения цвета пикселя на вышеуказанный фиксированный цвет, используемый для отображения прослеженной границы. Это выполняется с помощью процедуры SetPixel из API Windows, позволяющей изменять цвет отдельного пикселя на изображении, выдаваемом на экран дисплея. Выдача вновь прослеженных точек границы производится с достаточно медленной скоростью за счет использования зацикливания процедуры на одном и том же операторе, где число циклов подбирается экспериментально так, чтобы обеспечить удобную для пользователя скорость прослеживания границы. Кроме того, процедура сдвигает курсор в точку, соответствующую вновь установленному пикселю границы, с помощью процедуры SetCursorPos из API Windows, и заканчивает свое выполнение. При этом сдвиг курсора приводит к новой инициализации процедуры прослеживания границы, как было указано в предыдущем абзаце.

При нажатой правой клавише "мыши" производится стирание изображения прослеженной границы и замена соответствующих пикселей пикселями исходного изображения. Для этого цвет текущего пикселя изменяется на цвет соответствующего пикселя в массиве данных изображения X с помощью процедуры SetPixel из API Windows, позволяющей изменять цвет отдельного пикселя на изображении, выдаваемом на экран дисплея. Выдача восстановленных точек исходного изображения на месте прослеженной ранее границы производится с достаточно медленной скоростью за счет использования зацикливания процедуры на одном и том же операторе, где число циклов подбирается экспериментально так, чтобы обеспечить удобную для пользователя скорость стирания границы. Далее в массиве графических данных G[i,j] процедура выполняет поиск пикселя со значением 1, являющегося соседним к текущему пикселю, соответствующему положению курсора на экране дисплея с изображением. Если такого пикселя не находится, процесс стирания заканчивается. В противном случае вновь найденный пиксель становится текущим. Процедура сдвигает курсор в точку, соответствующую найденному пикселю границы, с помощью процедуры SetCursorPos из API Windows, и заканчивает свое выполнение. При этом сдвиг курсора приводит к новой инициализации процедуры прослеживания границы.

Процедура автоматического прослеживания границы каждый раз проверяет условие окончания прослеживания границы, состоящее в том, что в окрестности заданного размера (например, 5•5 пикселей) с центром в текущей точке прослеживания границы имеется уже прослеженная точка границы, для которой значение G[i, j] , равно 1. При выполнении этого условия процедура производит замыкание границы, соединяя отрезком текущую точку и обнаруженную ранее прослеженную точку границы. В случае обнаружения условия окончания прослеживания границы процедура заканчивает работу с признаком завершения процедуры "конец построения границы". Вообще говоря, возможен случай, когда ранее прослеженная точка не является начальной точкой прослеженного контура. В этом случае результатом прослеживания границы будет замкнутый контур с "хвостом". Оператор имеет возможность удалить этот "хвост", установив курсор на конец "хвоста" и нажав кнопку "мыши".

Кроме того, процедура автоматического прослеживания границы каждый раз проверяет выполнение условия возможности продолжения прослеживания границы. Возможно несколько вариантов такого условия, причем выбор варианта определяет сценарий взаимодействия процесса автоматического прослеживания границы с пользователем. В любом случае продолжение автоматического прослеживания границы невозможно в случае слабой контрастности границы. В случае разветвления границы возможны два варианта: либо считается, что продолжение автоматического прослеживания границы невозможно, либо производится выбор любого из нескольких вариантов продолжения границы. В последнем случае при ошибочном выборе продолжения границы оператор имеет возможность остановить процесс автоматического прослеживания границы, вернуть текущую точку в место разветвления границы путем стирания неправильно проведенного фрагмента границы и задать правильное направление продолжения границы. Если процедура автоматического прослеживания границы обнаруживается выполнение условия невозможности продолжения автоматического прослеживания границы, она заканчивается с признаком завершения "ограничение метода".

Кроме того, процедура автоматического прослеживания границы каждый раз проверяет выполнение условия возможности продолжения прослеживания границы. Возможно несколько вариантов такого условия, причем выбор варианта определяет сценарий взаимодействия процесса автоматического прослеживания границы с пользователем. В любом случае продолжение автоматического прослеживания границы невозможно в случае слабой контрастности границы. В случае разветвления границы возможны два варианта: либо считается, что продолжение автоматического прослеживания границы невозможно, либо производится выбор любого из нескольких вариантов продолжения границы. В последнем случае при ошибочном выборе продолжения границы оператор имеет возможность остановить процесс автоматического прослеживания границы, вернуть текущую точку в место разветвления границы путем стирания неправильно проведенного фрагмента границы и задать правильное направление продолжения границы. Если процедура автоматического прослеживания границы обнаруживает выполнение условия невозможности продолжения автоматического прослеживания границы, она заканчивается с признаком завершения "ограничение метода".

Литература
1. Wied G, Bahr G, Bartels P. Automatic Analysis of cell images by TICAS // Automated Cell Identification and Cell Sorting / ed. by Wied G, Bahr G. - 1970. - P. 195-360.

2. Dytch H, Bibbo M, Puls J, Bartels P, Wied G. Software design for an inexpensive, practical microcomputer-based DNA-cytometry system // Anal. Quant. Cytol. Histol. - Vol. 8. - N 1. - P. 8-18.

3. US, патент, 4932044, кл. G 01 N 33/48, 1990.

4. US, патент, 4592089, кл. G 06 K 9/00, 1986.

5. US, патент, 4405940, кл. H 04 N 7/18, 1983.

6. US, патент, 4189744, кл. H 04 N 7/18, 1980.

7. US, патент, 5278922, кл. G 06 K 9/30, 1994.

8. US, патент, 5339366, кл. G 06 K 9/30, 1994.

9. US, патент, 5016283, кл. G 06 K 9/00, 1991.

10. US, патент, 5018209, кл. G 06 K 9/00, 1991.

11. US, патент, 5218645, кл. G 06 K 9/00, 1993.

Изобретение относится к вычислительной технике. Его использование в системах сегментации цитологических изображений позволяет обеспечить оперативное взаимодействие программных средств сегментации и оператора для локализации границы цитологического объекта с возможностью ее корректировки оператором. Способ заключается в том, что изображение цитологического препарата, содержащего по меньшей мере один цитологический объект, выдают на монитор, оператор проводит по крайней мере одну линию, являющуюся частью границы изображения цитологического объекта, автоматически определяют недостающие части границы цитологического объекта и выдают на монитор изображение определенной таким образом границы цитологического объекта. Технический результат достигается благодаря тому, что действия по проведению оператором линии части границы и по автоматическому определению недостающих частей границы производятся поочередно в реальном времени до полного замыкания границы цитологического объекта с возможностью прерывания по инициативе оператора процесса автоматического определения, последующего удаления части изображения проведенной границы, не соответствующей визуально воспринимаемым границам цитологического объекта, и продолжения проведения границы оператором с последующим инициированием процесса автоматического определения.

Способ автоматизированной сегментации изображения цитологического препарата, содержащего по крайней мере один цитологический объект, в котором изображение цитологического препарата выдают на монитор, оператор проводит по крайней мере одну линию, являющуюся частью границы изображения цитологического объекта, автоматически определяют недостающие части границы цитологического объекта и выдают на монитор изображения определенной таким образом границы цитологического объекта, отличающийся тем, что указанные действия по проведению оператором линии части границы и по автоматическому определению надостающих частей границы производятся поочередно в реальном времени до полного замыкания границы цитологического объекта с возможностью прерывания по инициативе оператора упомянутого процесса автоматического определения, последующего удаления части изображения автоматически или вручную проведенной границы, не соответствующей визуально воспринимаемым границам цитологического объекта, и продолжения проведения линии границы оператором с последующим инициированием процесса автоматического определения.