УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ, СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СИСТЕМА ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2016 года по МПК G06T7/00 G06K9/78 G01N21/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к устройству обработки изображений, способу обработки изображений и к системе обработки изображений.

УРОВЕНЬ ТЕХНИКИ

В случае осуществления дородовой диагностики плода диагностика осуществляется для выявления и использования ядросодержащих эритроцитов (NRBC, ниже называемые клетки-мишени), полученных из плода и содержащихся в очень незначительном количестве в материнской крови. Поскольку число NRBC, присутствующих в материнской крови, чрезвычайно мало, визуальное обнаружение NRBC представляет собой тяжелую задачу. Поэтому, как описано в патентной литературе 1 ниже, была предложена технология механического обнаружения NRBC путем поиска клетки на изображении объекта, удовлетворяющей таким условиям, как цвета, формы, взаимное расположение или соотношения областей NRBC.

Патентная литература 1: японский патентный документ №4,346,923.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Целью настоящего изобретения является предоставление устройства обработки изображений, способа обработки изображений и системы обработки изображений, которые могут уменьшить влияние разницы между пробами клеток-мишеней и разницы в условиях формирования изображения и так далее в случае поиска клеток-мишеней на отснятом изображении, полученном формированием изображения клеток-мишеней, имеющих ядро, с использованием обработки изображения, в результате чего достигается повышение надежности и увеличение точности обнаружения ядросодержащих эритроцитов при использовании обработки изображения.

Для достижения описанной выше цели изобретение по п. 1 представляет собой устройство обработки изображений, отличающееся тем, что оно содержит средство сбора, выполненное с возможностью получения отснятого изображения, полученного путем формирования изображения образца, содержащего клетку-мишень, имеющую ядро, первое средство выделения, выполненное с возможностью выделения пикселей, являющихся кандидатом ядра, из пикселей, содержащихся в отснятом изображении, на основе первого условия, определенного заранее в отношении по меньшей мере одного из цвета и яркости, которые должны иметь пиксели, являющиеся кандидатом ядра, второе средство выделения, выполненное с возможностью выделения группы соединенных пикселей, являющейся кандидатом клетки-мишени, из групп соединенных пикселей, каждая из которых получена соединением смежных пикселей из пикселей, выделенных первым средством выделения, на основе второго условия, определенного заранее в отношении размера и формы, которые должна иметь группа соединенных пикселей, являющаяся кандидатом, задающее средство, выполненное с возможностью задания на отснятом изображении прямоугольной области, имеющей предопределенный размер и центрированную на пикселе, включенном в группу соединенных пикселей, выделенную вторым средством выделения, и средство определения, выполненное с возможностью определения, включена или нет клетка-мишень в прямоугольную область на основе того, удовлетворяет или нет величина атрибута изображения, полученная из прямоугольной области, заданной задающим средством, условию величины атрибута изображения.

Далее, изобретение по п.2 представляет собой устройство обработки изображений по п.1, отличающееся тем, что условие величины атрибута изображения устанавливается механически на основе образца изображений позитивного примера и негативного примера клетки-мишени.

Далее, изобретение по п.3 представляет собой устройство обработки изображений по п.1 или 2, отличающееся тем, что оно дополнительно содержит средство расчета, выполненное с возможностью расчета величины атрибута изображения, полученной из прямоугольной области, путем разделения прямоугольной области, заданной задающим устройством, на предопределенные частичные области, расчета направления градиента яркости в каждом из пикселей в каждой из частичных областей, расчета гистограммы направлений градиента яркости, рассчитанных в отношении каждой из частичных областей, и соединения гистограмм соответствующих частичных областей.

Далее, изобретение по п.4 представляет собой устройство обработки изображений по любому из пп.1-3, отличающееся тем, что величина атрибута изображения является величиной атрибута гистограммы направленных градиентов (HOG).

Далее, изобретение по п.5 представляет собой устройство обработки изображений по любому из пп.1-4, отличающееся тем, что оно дополнительно содержит средство получения величины атрибута изображения, выполненное с возможностью поворота отснятого изображения, включенного в прямоугольную область, так что вектор, соединяющий центр прямоугольной области, заданной задающим средством, и положение центра формы группы соединенных пикселей, включенной в прямоугольную область, указывает в заданном направлении, и затем получения величины атрибута изображения из повернутого отснятого изображения, а также отличающееся тем, что средство определения определяет, включена или нет клетка-мишень в прямоугольную область на основе того, удовлетворяет или нет величина атрибута изображения, полученная средством получения величины атрибута изображения, условию величины атрибута изображения.

Далее, изобретение по п.6 представляет собой устройство обработки изображений по любому из пп.1-5, отличающееся тем, что оно дополнительно содержит средство интерполяции, выполненное с возможностью осуществления интерполяции в случае, когда край отснятого изображения включен в прямоугольную область, заданную задающим средством, путем объединения изображения, расположенного на внешней стороне от центральной линии, заданной в группе соединенных пикселей, включенной в прямоугольную область, в качестве области, симметричной к краю относительно центральной линии, со стороны края в изображении, включенном в прямоугольную область.

Далее, изобретение по п.7 представляет собой устройство обработки изображений по любому из пп.1-6, отличающееся тем, что область координат отснятого изображения, соответствующая прямоугольной области, определенной средством определения как включающая в себя клетку мишень, отображается на устройстве отображения.

Далее, изобретение по п.8 представляет собой способ обработки изображений, отличающийся тем, что он содержит этап сбора, предназначенный для получения отснятого изображения, полученного путем формирования изображения образца, включающего клетку-мишень, имеющую ядро, первый этап выделения, предназначенный для выделения пикселей, являющихся кандидатом ядра, из пикселей, включенных в отснятое изображение, на основе первого условия, определенного заранее в отношении по меньшей мере одного из цвета и яркости, которые должны иметь пиксели, являющиеся кандидатом, второй этап выделения, предназначенный для выделения группы соединенных пикселей, являющейся кандидатом клетки-мишени, из групп соединенных пикселей, каждая из которых получена соединением смежных пикселей из пикселей, выделенных на первом этапе выделения, на основе второго условия, определенного заранее в отношении размера и формы, которые должна иметь группа соединенных пикселей, являющаяся кандидатом, этап задания, предназначенный для задания в отснятом изображении прямоугольной области, имеющей предопределенный размер и центрированной на пикселе, включенном в группу соединенных пикселей, выделенную на втором этапе выделения, и этап определения, предназначенный для определения того, включена или нет клетка-мишень в прямоугольную область на основе того, удовлетворяет или нет величина атрибута изображения, полученная из прямоугольной области, заданной на этапе задания, условию величины атрибута изображения.

Далее, изобретение по п.9 представляет собой способ обработки изображений по п.8, отличающийся тем, что условие величины атрибута изображения устанавливается механически на основе образцов изображений позитивного примера и негативного примера клетки-мишени.

Далее, изобретение по п.10 представляет собой способ обработки изображений по п.8 или 9, отличающийся тем, что он дополнительно содержит этап расчета, предназначенный для расчета величины атрибута изображения, полученной из прямоугольной области, путем деления прямоугольной области, заданной на этапе задания, на предопределенные частичные области, расчета направления градиента яркости в каждом из пикселей в каждой из частичных областей, расчета гистограммы направлений градиента яркости, рассчитанных в отношении каждой из частичных областей, и соединения гистограмм соответствующих частичных областей.

Далее, изобретение по п.11 представляет собой способ обработки изображений по любому из пп.8-10, отличающийся тем, что величина атрибута изображения является величиной атрибута HOG.

Далее, изобретение по п.12 представляет собой систему обработки изображений, отличающуюся тем, что она содержит устройство обработки изображений, оптический микроскоп, присоединяемый к устройству обработки изображений, и устройство отображения, присоединяемое к устройству обработки изображений, а также отличающуюся тем, что устройство обработки изображений включает средство сбора, выполненное с возможностью получения отснятого изображения, полученного путем формирования изображения образца, содержащего клетку-мишень, имеющую ядро, первое средство выделения, выполненное с возможностью выделения пикселей, являющихся кандидатом ядра, из пикселей, включенных в отснятое изображение, на основе первого условия, определенного заранее в отношении по меньшей мере одного из цвета и яркости, которые должны иметь пиксели, являющиеся кандидатом, второе средство выделения, выполненное с возможностью выделения группы соединенных пикселей, являющейся кандидатом клетки-мишени, из групп соединенных пикселей, каждая из которых получена соединением смежных пикселей из пикселей, выделенных первым средством выделения, на основе второго условия, определенного заранее в отношении размера и формы, которые должна иметь группа соединенных пикселей, являющаяся кандидатом, задающее средство, выполненное с возможностью задания прямоугольной области на отснятом изображении, имеющей предопределенный размер и центрированной на пикселе, включенном в группу соединенных пикселей, выделенную вторым средством выделения, и средство определения, выполненное с возможностью определения, включена или нет клетка-мишень в прямоугольную область на основе того, удовлетворяет или нет величина атрибута изображения, полученная из прямоугольной области, заданной задающим средством, условию величины атрибута изображения.

Далее, изобретение по п.13 представляет собой систему обработки изображений по п.12, отличающуюся тем, что условие величины атрибута изображения устанавливается механически на основе образцов изображений позитивного примера и негативного примера клетки-мишени.

Далее, изобретение по п.14 представляет собой систему обработки изображений по любому из пп.12, 13, отличающуюся тем, что она дополнительно содержит средство расчета, выполненное с возможностью расчета величины атрибута изображения, полученного из прямоугольной области, путем разделения прямоугольной области, заданной задающим средством, на предопределенные частичные области, расчета направления градиента яркости в каждом из пикселей в каждой из частичных областей, расчета гистограммы направлений градиента яркости, рассчитанных в отношении каждой из частичных областей, и соединения гистограмм соответствующих частичных областей.

Далее, изобретение по п.15 представляет собой систему обработки изображений по любому из пп.12-14, отличающуюся тем, что величина атрибута изображения является величиной атрибута HOG.

Полезные эффекты изобретения

Согласно изобретению, описанному в любом из пп.1, 8 и 12, можно уменьшить влияние разницы между пробами клетки-мишени и разницы в условиях формирования изображения и так далее в случае поиска клетки-мишени на отснятом изображении, полученном формированием изображений клеток-мишеней, имеющих ядро, с использованием обработки изображения, по сравнению со случаем без настоящей конфигурации.

Согласно изобретению, описанному в любом из пп.2, 9 и 13, можно определить, включена или нет клетка-мишень в отснятое изображение с точностью, по сравнению со случаем, в котором условие величины атрибута изображения не устанавливает на основе образцов изображений позитивного примера и негативного примера клетки-мишени.

Согласно изобретению, описанному в любом из пп.3, 10 и 14, влияние разницы между пробами клетки-мишени и разницы в условиях формирования изображения и так далее на величину атрибута изображения, полученного из прямоугольной области, уменьшается по сравнению со случаем без настоящей конфигурации.

Согласно изобретению, описанному в любом из пп.4, 11 и 15, влияние разницы между пробами клетки-мишени и разницы в условиях формирования изображения и так далее на величину атрибута изображения, полученного из прямоугольной области, уменьшается по сравнению со случаем, в котором величина атрибута HOG не используется в качестве величины атрибута изображения.

Согласно изобретению, описанному в п.5, путем использования величины атрибута изображения, полученной после ориентирования изображения в прямоугольной области в определенном направлении можно точно определить, является или нет изображение в прямоугольной области клеткой-мишенью, по сравнению со случаем без настоящей конфигурации.

Согласно изобретению, описанному в п.6, можно точно определить, является или нет изображение в прямоугольной области клеткой-мишенью, даже в прямоугольной области, заданной на краю отснятого изображения, по сравнению со случаем без настоящей конфигурации.

Согласно изобретению, описанному в п.7, в отснятом изображении, полученном формированием изображения клетки-мишени, имеющей ядро, можно отобразить область изображения, включающую клетку-мишень.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На фиг.1 показан схематический вид конфигурации системы обработки изображений согласно настоящему варианту осуществления.

На фиг.2 показана функциональная блок-схема устройства обработки изображений.

На фиг.3 показано схематическое изображение примера отснятого изображения, полученного путем формирования изображения пробы (материнской крови) при помощи оптического микроскопа.

На фиг.4 показано схематическое изображение примера пикселей кандидатов ядер.

На фиг.5 показано схематическое изображение примера групп пикселей, выделенных в качестве кандидатов клетки-мишени.

На фиг.6 показано схематическое изображение примера области определения мишени, заданной в отснятом изображении.

На фиг.7 показано схематическое изображение для объяснения протекания процесса в секции нормализации.

На фиг.8 показано схематическое изображение для объяснения протекания процесса в секции интерполяции изображений.

На фиг.9 показано схематическое изображение для объяснения величины атрибута HOG.

На фиг.10 показана блок-схема процесса обучения для установления величины атрибута изображения, осуществленного на основе позитивного примера и негативного примера клетки-мишени.

На фиг.11A показана блок-схема процесса поиска клетки-мишени на изображении образца (материнской крови), отснятом с помощью оптического микроскопа.

На фиг.11B показана блок-схема процесса поиска клетки-мишени на изображении образца (материнской крови), отснятом с помощью оптического микроскопа.

На фиг.12 показана блок-схема процесса интерполяции изображения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Ниже со ссылкой на сопровождаемые чертежи объяснена конфигурация реализации (далее вариант осуществления) для применения изобретения на практике.

На фиг.1 показан схематический вид конфигурации системы 1 обработки изображений согласно настоящему варианту осуществления. Как показано на фиг.1, система 1 обработки изображений содержит оптический микроскоп 2, устройство 10 обработки изображений и устройство 6 отображения, причем устройство 10 обработки изображений присоединено к оптическому микроскопу 2 и к устройству 6 отображения, чтобы обеспечить возможность передачи данных друг с другом.

Оптический микроскоп 2 снимает изображение пробы на предметном стекле 3, расположенном на предметном столике, через оптическую систему, такую как линзы 4 объектива, с использованием камеры 5 на приборах с зарядовой связью (CCD). В настоящем варианте осуществления в качестве пробы используется материал, полученный нанесением материнской крови на предметное стекло 3 и затем применением красителя Май-Гимза. Таким образом, ядросодержащие эритроциты (NRBC), полученные из плода, в материнской крови окрашиваются с получением голубовато-пурпурного цвета. NRBC называются ниже клетками-мишенями.

Устройство 10 обработки изображений получает отснятое изображение, снятое оптическим микроскопом 2, и в то же время проводит поиск клеток-мишеней в полученном таким образом отснятом изображении. Детали процесса поиска клеток-мишеней, осуществляемого в устройстве 10 обработки изображений, описаны ниже.

Устройство 6 отображения отображает изображение на основе результата указанного процесса, осуществленного устройством 10 обработки изображений. Например, на устройстве 6 отображения отображается отснятое изображение, полученное оптическим микроскопом 2, результат поиска клеток-мишеней устройством 10 обработки изображений и так далее.

На фиг.2 показана функциональная блок-схема устройства 10 обработки изображений. Как показано на фиг.2, устройство 10 обработки изображений включает секцию 12 сбора отснятых изображений, секцию 14 предварительной обработки, секцию 16 выделения областей ядер-кандидатов, секцию 18 выделения областей кандидатов клеток-мишеней, секцию 20 задания области определения мишени, секцию 22 нормализации, секцию 24 интерполяции изображений, секцию 26 расчета величины атрибута, секцию 28 сбора данных для обучения, секцию 30 обучения, секцию 32 определения, секцию 34 сохранения областей клеток-мишеней и секцию 36 вывода результата.

Функции соответствующих секций, описанных выше и включенных в устройство 10 обработки изображений, могут быть реализованы при помощи компьютера, включающего средство управления, такое как центральный процессор (CPU), средство хранения, такое как память, средство ввода/вывода для передачи/приема данных с внешним устройством и так далее, чтения и последующего выполнения программы, хранимой на читаемом компьютером носителе информации. Следует отметить, что программа может быть установлена на устройстве 10 обработки изображений, таком как компьютер, через носитель информации, такой как оптический диск, магнитная лента, магнитооптический диск или флэш-память, или программа может быть установлена на устройстве 10 обработки изображений через сеть передачи данных, такую как интернет.

Секция 12 сбора отснятых изображений получает отснятое изображение, полученное путем формирования изображения образца при помощи камеры 5 CCD, включенной в оптический микроскоп 2, от оптического микроскопа 2.

На фиг.3 показан пример отснятого изображения, полученного путем формирования изображения пробы (материнской крови) при помощи оптического микроскопа 2 и полученного секцией 12 сбора отснятых изображений. На отснятом изображении, показанном на фиг.3, клетка, имеющая глубоко окрашенное ядро, является клеткой-мишенью. Следует отметить, что каждая из клеток-мишеней (NRBC) имеет следующие четыре признака (см. «Автоматическое выделение ядросодержащих красных кровяных клеток из различных изображений микроскопа», журнал японского института инженеров по электронике изображения, том 37, №5, сентябрь 2008). Первый признак NRBC заключается в том, что в каждой NRBC имеется отдельное ядро, форма ядра представляет собой почти правильный круг, а плотность высока. Второй признак заключается в том, что ядро NRBC окрашивается красителем Май-Гимза слегка глубже, чем ядра других клеток. Третий признак заключается в том, что область каждой NRBC и область ядра, а также отношение между указанными областями находятся в определенном диапазоне. Далее, четвертый признак заключается в том, что NRBC имеют слегка большую разницу концентрации между ядром и цитоплазмой по сравнению с другими клетками.

Секция 14 предварительной обработки осуществляет обработку изображений, такую как нормализация гистограммы, цветовое согласование путем анализа главных компонент, усредняющий фильтр или медианный фильтр на отснятом изображении, полученном секцией 12 сбора отснятых изображений для осуществления тем самым нормализации цвета отснятого изображения и устранения шумов.

Секция 16 выделения областей ядер-кандидатов выделяет пиксели, имеющие цвет или концентрацию, входящую в предопределенный диапазон, в качестве областей ядра-кандидата в отношении отснятого изображения, из которого секцией 14 предварительной обработки был устранен шум. Например, секция 16 выделения областей ядер-кандидатов может бинаризировать пиксели в отснятом изображении с использованием предопределенной пороговой величины цвета (или концентрации), при этом, в частности, пиксели, имеющие цвет (или концентрацию), более глубокий (более высокую), чем пороговая величина (или равную, или более высокую, чем пороговая величина), могут быть выделены как черные пиксели.

На фиг.4 показан пример пикселей ядер-кандидатов, выделенных при помощи секции 16 выделения областей ядер-кандидатов в отношении отснятого изображения, показанного на фиг.3. Как показано на фиг.4, благодаря процессу секции 16 выделения областей ядер-кандидатов, из отснятого изображения выделяются области (пиксели), являющиеся ядром-кандидатом.

Поскольку группы пикселей (области кандидатов клетки-мишени) являются кандидатами клетки-мишени, секция 18 выделения областей кандидатов клетки-мишени выделяет соединенные группы пикселей, каждая из которых имеет размер и форму, удовлетворяющие предопределенным условиям, из соединенных групп пикселей, каждая из которых получена соединением пикселей, смежных друг с другом, из пикселей, являющихся ядром-кандидатом, выделенным таким образом секцией 16 выделения областей ядер-кандидатов. Например, секция 18 выделения областей кандидатов клетки-мишени обозначает (группы соединенных пикселей от 1 до n) группы соединенных пикселей, каждая из которых получена соединением пикселей (черных пикселей) ядра-кандидата, выделенного секцией 16 выделения областей ядер-кандидатов, и затем задает ограниченный прямоугольник каждой из групп i (i=1,…, n) соединенных пикселей. Далее, секция 18 выделения областей кандидатов клетки-мишени выделяет в качестве кандидатов клетки-мишени группы соединенных пикселей, каждая из которых имеет вертикальную длину, горизонтальную длину, отношение между вертикальной длиной и горизонтальной длиной ограниченного прямоугольника, а также плотность черных пикселей в ограниченном прямоугольнике, причем каждая из величин содержится в диапазоне, предварительно определенном для каждой из указанных величин.

На фиг.5 показан пример групп пикселей, выделенных в качестве кандидатов клетки-мишени из пикселей ядер-кандидатов, показанных на фиг.4. Как показано на фиг.5, благодаря процессу секции 18 выделения областей кандидатов клетки-мишени области, области изображения, каждая из которых имеет возможность ядра в клетке-мишени, выделяются далее из ядер-кандидатов.

Секция 20 задания области определения мишени задает прямоугольную область (прямоугольную область определения мишени), имеющую заданный размер (например, N×M пикселей) и центрированную на пикселе прямоугольной области (прямоугольная область кандидата), которая задана соединенной группе пикселей, выделенной секцией 18 выделения областей кандидатов клетки-мишени, на отснятом изображении. Например, секция 20 задания области определения мишени выбирает один пиксель из прямоугольной области кандидата, затем идентифицирует соответствующий пиксель в отснятом изображении на основе позиционной координаты выбранного таким образом пикселя, и затем задает прямоугольную область определения мишени, имеющую заданный размер и центрированную на соответствующем пикселе, идентифицированном таким образом. Следует заметить, что секция 20 задания области определения мишени может последовательно выбирать один пиксель из прямоугольной области кандидата и затем задавать область определения кандидата для каждого выбранного пикселя.

На фиг.6 показан пример области определения мишени, заданной в отснятом изображении с помощью секции 20 задания области определения мишени. Как показано на фиг.6, область определения мишени задана с центрированием на одном пикселе в прямоугольной области кандидата.

Секция 22 нормализации осуществляет процесс поворота изображения в области определения мишени, заданной секцией 20 задания области определения мишени, так что направление изображения совпадает с заданным направлением. Например, секция 22 нормализации получает положение центра формы бинаризованного изображения в области определения мишени и затем рассчитывает угол поворота, необходимый для того чтобы вектор направления, соединяющего положение центра области определения мишени и центр формы, полученный как описано выше, указывал в заданном направлении (например, в направлении вверх). Затем секция 22 нормализации поворачивает изображение (частичное изображение отснятого изображения) в области определения мишени на угол поворота, рассчитанный, как описано выше. Следует заметить, что процесс секции 22 нормализации не обязательно должен быть осуществлен.

На фиг.7 показаны схематические изображения для объяснения протекания процесса секции 22 нормализации. Фиг.7A представляет собой область определения мишени, заданной в отснятом изображении, а фиг.7B представляет собой бинаризированное изображение в области определения мишени. Далее, фиг.7C представляет собой изображение, полученное поворотом отснятого изображения, показанного на фиг.7A, на угол 9 поворота, необходимый для того, чтобы вектор направления, показанный на фиг.7B, указывал в направлении вверх, и затем вырезанием отснятого изображения с областью определения мишени.

В случае, когда край отснятого изображения включен в область определения мишени, заданную секцией 20 задания области определения мишени, секция 24 интерполяции изображений интерполирует изображение в области определения мишени. Например, секция 24 интерполяции изображений увеличивает область определения мишени, чтобы получить предопределенный размер (2M×2M), и затем задает наиболее длинную часть линейных сегментов, параллельных краю отснятого изображения в бинаризированном изображении, включенном в область определения мишени, увеличенную таким образом, в качестве центральной линии. Затем секция 24 интерполяции изображений получает расстояние L от заданной таким образом центральной линии до конца отснятого изображения и затем перемещает частичную область, образованную из (M-L) пикселей, перпендикулярных центральной линии, и 2M пикселей, параллельных центральной линии, от конца, противоположного к краю отснятого изображения относительно центральной линии, к линии положения, симметричной относительно центральной линии в увеличенной таким образом области, чтобы тем самым интерполировать изображение в области определения изображения.

На фиг.8 показаны схематические изображения для объяснения протекания процесса секции 24 интерполяции изображений. Фиг.8A представляет собой пример области определения мишени, заданной секцией 20 задания области определения мишени, при этом, как показано на фиг.8A, область определения мишени включает край отснятого изображения. В этом случае, как показано на фиг.8B, секция 24 интерполяции изображений увеличивает область определения мишени с получением размера 2M×2M и затем задает положение линейного сегмента, параллельного краю отснятого изображения и самого длинного в бинаризованном изображении в области определения мишени, в качестве центральной линии. Затем секция 24 интерполяции изображений получает (см. фиг.8C) длину L между центральной линией и концом отснятого изображения и затем перемещает частичную область, образованную из (M-L) пикселей, перпендикулярных к центральной линии, и 2M пикселей, параллельных центральной линии, от конца, противоположного краю отснятого изображения относительно центральной линии, к линии позиции, симметричной относительно центральной линии в увеличенной таким образом области определения мишени, и объединяет частичную область в положении, показанном на фиг.8D. Следует указать, что объединяемая частичная область может быть отражена вокруг центральной оси.

Секция 26 расчета величины атрибута рассчитывает величину атрибута в отношении изображения (изображение предпочтительно нормализовано секцией нормализации, но также может рассматриваться изображение, в котором не был осуществлен процесс нормализации) в области определения мишени, заданной секцией 20 задания области определения мишени. Например, для величины атрибута изображения может использоваться величина атрибута гистограммы направления градиента (HOG).

На фиг.9 показаны схематические изображения для объяснения величины атрибута HOG, рассчитанного секцией 26 расчета величины атрибута. Как показано на фиг.9A, величина атрибута HOG рассчитывается разделением области определения мишени на предопределенное число (например, 4×4) частичных областей, расчетом направления градиента яркости в каждом из пикселей в каждой из частичных областей, расчетом гистограммы рассчитанных таким образом направлений градиента яркости в отношении каждой из частичных областей, и соединением гистограмм соответствующих частичных областей друг с другом. Как показано на фиг.9B, направления градиента яркости могут, например, представлять собой 8 направлений (вверх, направо вверх, направо вниз, направо, вниз, налево вниз, налево и налево вверх).

Секция 28 сбора данных для обучения получает изображения образца позитивного примера и негативного примера клеток-мишеней и затем получает величину атрибута изображения в отношении каждого из изображений образца полученных таким образом позитивного примера и негативного примера. Например, может быть рассчитано величина атрибута HOG при помощи секции 26 расчета величины атрибута в отношении изображений образца, при этом секция 28 сбора данных для обучения может получить результат.

Секция 30 обучения устанавливает условия (критерии) величины атрибута изображения для различения клетки-мишени от других на основе величин атрибутов изображения каждого из позитивного примера и негативного примера, полученных секцией 28 сбора данных для обучения для обучения.

Следует заметить, что обучение может быть осуществлено с использованием алгоритма обучения, такого как метод опорных векторов или алгоритм усиления классификаторов (алгоритм AdaBoost). Например, в случае использования метода опорных векторов для обучения устанавливаемое условие величины атрибута изображения представляется гиперплоскостью для разделения друг от друга величины атрибута изображения, совпадающей с клеткой-мишенью и величины атрибута изображения, не совпадающей с клеткой-мишенью.

Секция 32 определения определяет, представляет или нет изображение в описанной выше области определения мишени клетку-мишень на основе того, удовлетворяет или нет величина атрибута изображения, рассчитанная секцией 26 расчета величины атрибута в отношении изображения в области определения мишени, заданной секцией 20 задания области определения мишени, условию величины атрибута изображения для различения клетки-мишени от других, установленного секцией 30 обучения.

Секция 34 сохранения областей клеток-мишеней сохраняет диапазон координат в отснятом изображении, соответствующий области определения мишени, определенной как включающая клетку-мишень секцией 32 определения. Следует указать, что также можно обеспечить, что секция 34 сохранения областей клеток-мишеней сохраняет часть, где несколько областей определения мишени, определенных как включающие ядросодержащий эритроцит, частично совпадают друг с другом, в качестве области существования клетки-мишени.

Секция 36 вывода результата выводит результат на основе диапазона координат отснятого изображения, сохраненного в секции 34 сохранения областей клеток-мишеней. Например, секция 36 вывода результата может осуществлять процесс обеспечения отображения изображения устройством 6 отображения для отображения диапазона координат отснятого изображения, сохраненного в секции 34 сохранения областей клеток-мишеней, или для перемещения положения получения изображения оптического микроскопа 2 к упомянутому диапазону координат.

Далее со ссылкой на блок-схемы, показанные на фиг.10, 11A, 11B и 12, объяснен пример протекания процесса, осуществляемого в устройстве 10 обработки изображений.

На фиг.10 показана блок-схема процесса обучения для получения величины атрибута изображения, осуществленного на основе позитивного примера и негативного примера клетки-мишени.

Устройство 10 обработки изображений получает (S101) изображение позитивного примера клетки-мишени и затем рассчитывает величину атрибута изображения (величину атрибута HOG) из изображения позитивного примера, полученного таким образом, для генерирования (S102) тем самым данных обучения позитивного примера.

Затем устройство 10 обработки изображений получает (S103) изображение негативного примера клетки-мишени и затем рассчитывает величину атрибута изображения (величину атрибута HOG) из изображения негативного примера, полученного таким образом, для генерирования (S104) тем самым данных обучения негативного примера.

Устройство 10 обработки изображений устанавливает (S105) состояние (параметр модели) дискриминатора для различения величины атрибута изображения клетки-мишени на основе данных обучения позитивного примера и данных обучения негативного примера, затем сохраняет (S106) параметр модели, установленный таким образом, и затем прерывает процесс обучения.

Далее со ссылкой на блок-схему, показанную на фиг.11A, 11B, объяснен процесс поиска клетки-мишени на отснятом изображении образца (материнской крови) с помощью оптического микроскопа 2.

Как показано на фиг.11A, устройство 10 обработки изображений получает (S201) отснятое изображение, полученное путем формирования изображения материнской крови с помощью оптического микроскопа 2, и затем осуществляет (S202) предварительную обработку, такую как медианный фильтр, на отснятом изображении, полученном таким образом. Далее, устройство 10 обработки изображений генерирует (S203) бинаризованное изображение, в котором пикселям, имеющим цвет (например, значения «красный-зеленый-синий» (RGB)) в пределах заданного диапазона, задается значение 1 (черные пиксели), а другим пикселям задается значение 0 (белые пиксели) в отношении отснятого изображения, на котором осуществляется предварительная обработка. Здесь черные пиксели в бинаризованном изображении представляют область ядра-кандидата.

Устройство 10 обработки изображений соединяет пиксели, смежные друг с другом среди черных пикселей в бинаризованном изображении, для генерирования тем самым групп соединенных пикселей, и затем осуществляет (S204) нумерацию групп соединенных пикселей.

Устройство 10 обработки изображений выбирает (S205, где группа соединенных пикселей обозначена Li, причем начальное значение i равно 1) одну из групп соединенных пикселей, пронумерованных таким образом, и затем определяет (S206), удовлетворяют или не удовлетворяют размер и форма ограниченного прямоугольника, заданного в отношении Li, условиям, которые должны быть удовлетворены клеткой-мишенью-кандидатом. В случае, когда на шаге S206 определено, что условие удовлетворено (S206:Y), Li задается (S207) в качестве области поиска мишени для клетки-мишени. В случае, когда на шаге S206 определено, что условие не удовлетворено (S206:N), Li не задается (S208) в качестве области поиска мишени для клетки-мишени. В случае, когда остается невыбранная группа соединенных пикселей (S209:Y), устройство 10 обработки изображений увеличивает (S210) i и затем возвращается к S206. В случае, когда не остается невыбранной группы соединенных пикселей (S209:N), устройство 10 обработки изображений переходит к S211.

Как показано на фиг.11B, устройство 10 обработки изображений выбирает (S211, где выделенная область поиска мишени обозначена Aj, причем начальное значение j равно 1) одну из областей поиска мишени (от A1 до Am), заданную как описано выше, и выбирает (S212) далее невыделенный пиксель из пикселей в ограниченном прямоугольнике Aj. Затем устройство 10 обработки изображений задает (S213) прямоугольную область (область определения мишени: размер S, причем начальное значение S равно Smin), имеющую заданный размер и центрированную на пикселе, выбранном как описано выше, на отснятом изображении, затем нормализует (S214) направление изображения заданной таким образом области определения мишени и осуществляет (S215) далее процесс интерполяции изображения в случае, когда расстояние от центра области определения мишени до конца отснятого изображения меньше, чем пороговое значение (т.е. случай, когда область определения мишени обрезана на конце отснятого изображения). Детали протекания процесса интерполяции изображения объяснены ниже.

После описанного выше процесса устройство 10 обработки изображений рассчитывает (S216) величину атрибута изображения, включенного в область определения изображения, заданную как описано выше, определяет (S217), включена или нет клетка-мишень в область определения изображения на основе рассчитанной таким образом величины атрибута изображения и параметра модели дискриминатора для различения величины атрибута изображения клетки-мишени, установленной заранее, и в случае, когда определено, что клетка-мишень включена (S217:Y), сохраняет (S218) диапазон координат отснятого изображения, соответствующий области определения мишени. После S218 или в случае, когда в S217 определено, что клетка-мишень на включена (S217:N), в случае, когда остается необработанный пиксель среди пикселей в ограниченном прямоугольнике Aj (S219:Y), устройство 10 обработки изображений возвращается к S212, или в случае, когда необработанный пиксель не остается (S219:N), устройство 10 обработки изображений определяет (S220) достиг или нет размер S области определения мишени значения Smax (>Smin). При этом в случае, когда размер S области определения мишени еще не достиг Smax (S220:N), устройство 10 обработки изображений увеличивает (S221) S на AS и затем возвращается к S213, или в случае, когда размер S области определения мишени достиг значения Smax (S220.Y), переходит к S222.

В случае, когда все области поиска мишени еще не были обработаны (S222:N), устройство 10 обработки изображений увеличивает (S223) j, относящийся к Aj, и затем возвращается к S212. В случае, когда все области поиска мишени обработаны (S222:Y), устройство 10 обработки изображений отображает (S224) диапазон координат отснятого изображения, определенный с включением клетки-мишени, и затем прерывает процесс.

Далее со ссылкой на блок-схему, показанную на фиг.12, объяснено протекание процесса интерполяции изображения, показанного в S215.

В случае, когда расстояние (d) от центра области определения мишени до конца отснятого изображения меньше, чем пороговое значение (М) (S301:N), устройство 10 обработки изображений увеличивает (S302) область на основе конца отснятого изображения, так что длина каждой стороны становится равной M+M пикселей, и затем задает (S303) самую длинную часть линейных сегментов, параллельных краю отснятого изображения в бинаризованном изображении, включенном в увеличенную таким образом область, в качестве центральной линии.

Устройство 10 обработки изображений получает (S304) расстояние L от центральной линии, заданной таким образом, до конца отснятого изображения и затем перемещает частичную область, образованную из (M-L) пикселей, перпендикулярных центральной линии, и 2M пикселей, параллельных центральной линии, от конца, противоположного краю отснятого изображения относительно центральной линии к линии позиции, симметричной относительно центральной линии в увеличенной таким образом области для интерполяции (S305) тем самым изображения в области определения мишени. После S305 или в случае, когда расстояние (d) от центра области определения мишени до конца отснятого изображения равно или больше, чем пороговое значение (S301:Y), устройство 10 обработки изображений возвращается.

Согласно системе 1 обработки изображений, относящейся к настоящему варианту осуществления, объясненному выше, поскольку предусмотрено, что первая детализация осуществляется на кандидатах NRBC (клетки-мишени), заключающихся в материнской крови, при помощи цвета или концентрации, затем задаются области определения мишени на основе результата второй детализации, осуществляемой далее на кандидатах, полученных при помощи первой детализации, с размером и формой NRBC, и затем определяется, включены или нет NRBC в области определения мишени путем сравнения величины атрибута изображения, полученной из области определения мишени и критерия, полученного обучением, основанным на позитивном примере и негативном примере NRBC, то уменьшается влияние разницы между пробами материнской крови и разницы в условиях формирования изображения и так далее, в то время как облегчается процесс определения NRBC, содержащихся в материнской крови, по сравнению со случаем осуществления сопоставления образцов для каждой из клеток-кандидатов.

Изобретение не ограничено описанным выше вариантом осуществления. Например, хотя в описанном выше варианте осуществления описан пример системы 1 обработки изображений, в которой отснятое изображение образца последовательно вводится из оптического микроскопа 2, также можно обеспечить, что устройство 10 обработки изображений получает запрос на поиск клетки-мишени в отснятом изображении от устройства обработки информации через коммуникационную сеть и затем возвращает результат поиска в устройство обработки информации.

Изобретение относится к обработке изображений. Уменьшено влияние разницы между пробами клетки-мишени и разницы в условиях формирования изображения и так далее. Техническим результатом является повышение надежности и увеличение точности обнаружения ядросодержащих эритроцитов при использовании обработки изображения. Устройство обработки изображения получает отснятое изображение, полученное формированием изображения образца, содержащего клетку-мишень, имеющую ядро. Выделяет пиксели, являющиеся кандидатом ядра, из пикселей, включенных в отснятое изображение. Задает прямоугольную область на отснятом изображении, имеющую заданный размер и центрированную на пикселе, включенном в выделенную группу пикселей. Определяет, включена или нет клетка-мишень в упомянутую прямоугольную область на основе того, удовлетворяет или нет величина атрибута изображения, полученная из прямоугольной области, установленному условию величины атрибута изображения. 6 н. и 3 з.п. ф-лы, 13 ил.

1. Устройство обработки изображений, содержащее:
задающую секцию, которая задает область определения мишени на основе пикселя в отснятом изображении для каждого из множества пикселей, включенных в группу пикселей, полученную в качестве кандидата ядра клетки-мишени; и
секцию определения, которая определяет, включена или нет клетка-мишень в область определения мишени, которая устанавливается устанавливающей секцией для каждого из упомянутого множества пикселей, включенных в группу пикселей, на основе того, удовлетворяет или нет величина атрибута изображения, полученная из области определения мишени, условию величины атрибута изображения клетки-мишени;
причем задающая секция задает область определения мишени, центрированную на пикселе в отснятом изображении для каждого из множества пикселей, включенных в группу пикселей.

2. Устройство обработки изображений по п. 1, дополнительно содержащее:
секцию выделения пикселей, которая выделяет пиксели, являющиеся кандидатами ядра, из пикселей, включенных в отснятое изображение, полученное путем формирования изображения образца, содержащую клетку-мишень, имеющую ядро;
причем задающая секция задает область определения мишени на основе пикселя в отснятом изображении для каждого из множества пикселей, включенных в пиксели, выделенные секцией выделения пикселей.

3. Устройство обработки изображений по п. 1,
в котором группа пикселей получается соединением смежных пикселей.

4. Устройство обработки изображений по п. 1,
в котором область определения мишени является прямоугольной.

5. Устройство обработки изображения, содержащее:
секцию сбора, которая получает отснятое изображение, полученное путем формирования изображения образца, содержащего клетку-мишень, имеющую ядро;
первую секцию выделения, которая выделяет пиксели, являющиеся кандидатом ядра, из пикселей, содержащихся в отснятом изображении, на основе первого условия, определенного заранее в отношении по меньшей мере одного из цвета и яркости, которые должны иметь пиксели, являющиеся кандидатом ядра;
вторую секцию выделения, которая выделяет группы пикселей, являющихся кандидатом клетки-мишени, из групп пикселей, каждая из которых получена соединением смежных пикселей из пикселей, выделенных первой секцией выделения, на основе второго условия, определенного заранее в отношении размера и формы, которые должна иметь группа соединенных пикселей, являющаяся кандидатом;
задающее средство, которое задает прямоугольную область, имеющую предопределенный размер и центрированную на пикселе, включенном в группу пикселей, выделенную второй секцией выделения; и
секцию определения, которая определяет, включена или нет клетка-мишень в прямоугольную область на основе того, удовлетворяет или нет величина атрибута изображения, полученная из прямоугольной области, заданной задающей секцией, условию величины атрибута изображения.

6. Постоянный машиночитаемый носитель информации, хранящий программу, побуждающую компьютер выполнять процесс обработки изображения, содержащий:
а) задание области определения мишени на основе пикселя в отснятом изображении для каждого из множества пикселей, включенных в группу пикселей, полученных в качестве кандидата ядра клетки-мишени; и
б) определение, включена или нет клетка-мишень в область определения мишени, которая задается на этапе (а) для каждого из множества пикселей, включенных в группу пикселей, на основе того, удовлетворяет или нет величина атрибута изображения, полученная из области определения мишени, условию величины атрибута изображения клетки-мишени;
причем область определения мишени является центрированной на пикселе в отснятом изображении для каждого из множества пикселей, включенных в группу пикселей.

7. Способ обработки изображения, содержащий:
а) задание области определения мишени на основе пикселя в отснятом изображении для каждого из множества пикселей, включенных в группу пикселей, полученных в качестве кандидата ядра клетки-мишени; и
б) определение того, включена или нет клетка-мишень в область определения мишени, которая задана на этапе (а) для каждого из множества пикселей, включенных в группу пикселей, на основе того, удовлетворяет или нет величина атрибута изображения, полученная из области определения мишени, условию величины атрибута изображения клетки-мишени;
причем область определения мишени является центрированной на пикселе в отснятом изображении для каждого из множества пикселей, включенных в группу пикселей.

8. Система обработки изображения, содержащая:
устройство обработки изображения;
оптический микроскоп для подключения к устройству обработки изображения; и
устройство отображения для подключения к устройству обработки изображений;
причем устройство обработки изображений содержит:
секцию выделения пикселей, которая выделяет пиксели, являющиеся кандидатами ядра из пикселей, включенных в отснятое изображение, полученное путем формирования изображения образца, содержащего клетку-мишень, имеющую ядро;
задающую секцию, которая задает область определения мишени на основе пикселя в отснятом изображении для каждого из множества пикселей, включенных в пиксели, выделенные секцией выделения пикселей; и
определяющую секцию, которая определяет, включена или нет клетка-мишень в область определения мишени, которая задается задающей секцией для каждого из множества пикселей, включенных в группу соединенных пикселей, на основе того, удовлетворяет или нет величина атрибута изображения, полученная из области определения мишени, условию величины атрибута изображения клетки-мишени;
причем задающая секция задает область определения мишени, центрированную на пикселе в отснятом изображении для каждого из множества пикселей, включенных в группу пикселей.

9. Устройство обработки изображений, содержащее:
задающую секцию, которая задает область определения мишени на основе пикселя в отснятом изображении для каждого из множества пикселей, включенных в группу пикселей, полученную в качестве кандидата ядра клетки-мишени; и
секцию определения, которая определяет, включена или нет клетка-мишень в область определения мишени, которая устанавливается устанавливающей секцией для каждого из упомянутого множества пикселей, включенных в группу пикселей, на основе того, удовлетворяет или нет величина атрибута изображения, полученная из области определения мишени, условию величины атрибута изображения клетки-мишени;
причем область определения мишени является прямоугольной.