СПОСОБ РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ Российский патент 2007 года по МПК G06K9/62 G06T1/00 

Область техники, к которой относится изобретение

Изобретение относится к областям информационной телевизионной техники, робототехники, распознавания образов, распознавания изображений, телевизионным системам обнаружения и слежения, телевизионным системам автоматизированного анализа изображений и распознавания объектов и может быть использовано в системах технического зрения и автоматизированного контроля обстановки различного назначения.

Уровень техники

Используемая при построении технических систем методология распознавания изображений ориентирована, в первую очередь, на классификацию объектов. Операция классификации трактуется при этом как выявление принадлежности объекта одному из заранее заданных классов, каждый из которых описывается с помощью эталонных значений формализованных признаков, присутствующих и выделяемых в изображениях и сигналах. Реализация соответствующих методов распознавания требует предварительного статистического анализа свойств объектов в предполагаемых условиях наблюдения и формирования эталонных описаний распознаваемых классов объектов, специфических для каждой прикладной задачи распознавания.

Вместе с тем в практических задачах распознавания имеет место так называемая проблема априорной неопределенности, состоящая в том, что объекты любых классов представлены практически неограниченным множеством реализации, в которых ни одно из микроструктурных свойств анализируемого сигнала не оказывается достаточно достоверным признаком ни для выделения объекта, ни для его идентификации. Применительно к анализу изображений такие условия возникают по следующим причинам. Во-первых, анализируемые объекты приходится различать не по интенсивности сигнала, а по сложным геометрическим и топологическим параметрам типа формы. Во-вторых, всегда присутствует большое структурное разнообразие анализируемых объектов, например, при распознавании символов - это различные алфавиты и шрифты; при роботизации производства - это широкая номенклатура деталей и операций с ними; в системах наблюдения и контроля обстановки - это всевозможные типы техники, людей, промышленных объектов и коммуникаций. Третьим фактором, создающим априорную неопределенность в задачах автоматического анализа изображений, является неограниченная изменчивость условий наблюдения объектов по масштабам, ракурсам, подстилающим поверхностям, условиям освещенности.

Тем самым, условия априорной неопределенности ограничивают применения распознающих систем со специфическими априорными эталонами объектов. Для преодоления данных ограничений развивают так называемые структурно-лингвистические методы распознавания, в которых производится обнаружение простейших типовых элементов изображения - примитивов, - которые и составляют изображения объектов.

Аналогами заявляемого технического решения являются, например, способ и устройство распознавания объектов по авторскому свидетельству СССР №1697533, 1990 г., МПК G06К 9/00; способ и устройство для распознавания объектов по патенту ФРГ №03327445, МПК G06F 15, G06К 9/00.

Наиболее близким к заявляемому техническим решением, выбранным в качестве прототипа, является программно-аппаратный комплекс для анализа биологических препаратов по свидетельству России №16628 на полезную модель от 20.01.2001 г., МПК 7 G01N 33/48, G06К 9/00.

Способ распознавания, реализованный в прототипе, состоит из последовательности операций нормализации входного сигнала изображения, обнаружения на нормализованном входном сигнале областей как структурных элементов изображения, измерения характеристик обнаруженных областей и классификации обнаруженных областей как искомых объектов. При этом в качестве простейших областей изображения, отображающих искомые и анализируемые объекты, выявляются такие участки-области нормализованного изображения, которые образованы соседствующими, т.е. пространственно связными, пикселями, имеющими значения яркости (интенсивности сигнала изображения) в заданном диапазоне.

Основной недостаток способа-прототипа заключается в наличии ошибки обнаружения элементов изображения, или областей изображения, которые представляют анализируемые объекты. Этот недостаток проявляется в несовпадении обнаруживаемых областей с фактическими изображениями (силуэтами) объектов и/или их информативных фрагментов. Ошибка эта тем больше, чем сложнее сюжет и чем больше рассогласование между оптимальными для данных условий наблюдения и фактическими значениями параметров операций обработок входного сигнала.

Указанный недостаток прототипа обуславливается тем, что обнаружение областей-объектов в нем производится по пространственно связным значениям нормализованного входного сигнала. При этом правильность попадания силуэтов объектов в обрабатываемые связностью яркостные диапазоны зависит от параметров операций квантования (дискретизации уровня яркости) и пространственной фильтрации при нормализации входного изображения.

Раскрытие изобретения

Задачей предлагаемого изобретения является расширение области применения способа распознавания на случаи принципиальной априорной неопределенности путем уменьшения зависимости достоверности обнаружения элементов изображения, составляющих изображения объектов и/или их информативных фрагментов, от значений параметров операции нормализации входного сигнала и других обработок.

Поставленная задача достигается тем, что в способ распознавания изображений, содержащий операцию нормализации входного сигнала, операцию квантования сигнала, операцию выделения по связности областей и операцию классификации, вводят дополнительно операцию обнаружения локальных экстремумов, операцию формирования описания изображения, операцию формирования вспомогательного сигнала и операцию группирования областей. При этом обнаружение локальных экстремумов производят на входном сигнале изображения и на нормализованном входном сигнале посредством независимого в каждом сигнале сравнения значений соседних отсчетов, а сигнал обнаруженных локальных экстремумов преобразуют и запоминают операцией формирования описания изображения. Сформированный сигнал описания изображения затем используют при формировании вспомогательного сигнала для нелинейного преобразования линейной комбинации сигнала входного изображения и нормализованного входного сигнала. Далее сформированный вспомогательный сигнал квантуют и квантованный сигнал преобразуют посредством анализа пространственной связности его соседних отсчетов в сигнал выделенных областей, который преобразуют и запоминают операцией формирования описания изображения. Также сигнал выделенных областей преобразуют посредством статистического и логического анализа в сигнал групп областей, который также преобразуют и запоминают операцией формирования описания изображения. Сигналы выделенных по связности областей и групп областей формируют с использованием сигналов входного изображения и сформированного описания изображения. Также сигналы выделенных по связности областей и групп областей и входной сигнал изображения преобразуют операцией классификации посредством сравнения с эталонными сигналами в сигнал классификации, который также преобразуют и запоминают операцией формирования описания изображения.

Достигаемый при этом по сравнению с прототипом технический результат состоит в следующем:

- множество обнаруживаемых локальных экстремумов фактически выявляет и описывает информационную структуру изображения, распознавая его определением центров и границ всех присутствующих на изображении текстурных неоднородностей, т.е. искомых примитивов;

- структура множества обнаруживаемых локальных экстремумов, по крайней мере, в части границ структурных элементов изображения не зависит от абсолютных значений яркости примитивов и формы распределения яркости по их пространству. Более того, данные о локальных экстремумах сами могут быть непосредственно использованы для улучшения качества исходного изображения. Тем самым исключается зависимость достоверности распознавания от параметров нормализации, т.е. способов предварительной обработки анализируемого изображения и повышения отношения сигнал/шум.

Введенная операция обнаружения локальных экстремумов дает дополнительную, независимую от абсолютных значений яркости, информацию для разметки границ искомых структурных элементов изображения, или областей-объектов, необходимую для последующей обработки изображения операцией выявления областей-объектов по условию пространственной связности.

Краткое описание чертежей

На фиг.1 приведена блок-схема устройства, реализующего предлагаемый способ.

На фиг.2 приведен вариант реализации блока обнаружения локальных экстремумов.

На фиг.3 приведен вариант реализации блока нормализации входного сигнала.

На фиг.4 приведен вариант реализации блока формирования описания изображения.

На фиг.5 приведен вариант реализации блока формирования вспомогательного сигнала.

На фиг.6 приведен вариант реализации блока квантования сигнала.

На фиг.7 приведен вариант реализации блока выделения по связности областей.

На фиг.8 приведен вариант реализации блока группирования областей.

На фиг.9 приведен вариант реализации блока классификации.

На фиг.1 обозначено:

1 Блок обнаружения локальных экстремумов,

2 Блок нормализации входного сигнала,

3 Блок формирования описания изображения,

4 Блок формирования вспомогательного сигнала,

5 Блок квантования сигнала,

6 Блок выделения по связности областей,

7 Блок группирования областей,

8 Блок классификации.

На фиг.2 обозначено:

Входной сигнал изображения,

Нормализованный входной сигнал,

9 Аналого-цифровой преобразователь,

10 Аналого-цифровой преобразователь,

11 Запоминающее устройство,

12 Компаратор,

13 Компаратор,

14 Компаратор,

15 Логический блок,

16 Запоминающее устройство.

На фиг.3 обозначено:

17 Блок фильтров,

18 Блок дифференцирования,

19 Запоминающее устройство,

20 Блок усилителей.

21 Сумматор.

На фиг.4 обозначено:

22 Преобразователь,

23 Запоминающее устройство,

24 Запоминающее устройство,

25 Запоминающее устройство,

26 Запоминающее устройство,

27 Преобразователь.

На фиг.5 обозначено:

28 Преобразователь,

29 Преобразователь,

30 Усилитель,

31 Усилитель,

32 Сумматор.

На фиг.6 обозначено:

33 Компаратор,

34 Запоминающее устройство.

На фиг.7 обозначено:

35 Запоминающее устройство,

36 Логический блок нумерации,

37 Запоминающее устройство,

38 Блок проверки контрольной суммы,

39 Вычислитель характеристик областей,

40 Запоминающее устройство.

На фиг.8 обозначено:

41 Запоминающее устройство,

42 Блок статистического анализа,

43 Блок логического объединения,

44 Вычислитель характеристик групп областей,

45 Запоминающее устройство.

На фиг.9 обозначено:

46 Запоминающее устройство,

47 Запоминающее устройство,

48 Компаратор,

49 Блок выборки эталонов.

Осуществление изобретения

Предлагаемый способ может быть осуществлен в виде устройства, блок-схема которого представлена на фиг.1. Устройство состоит из последовательного соединения блока 1 обнаружения локальных экстремумов, блока 3 формирования описания изображения, блока 4 формирования вспомогательного сигнала, блока 5 квантования сигнала, блока 6 выделения по связности областей, блока 7 группирования областей и блока 8 классификации, ко второму входу которого подсоединен выход блока 6 выделения по связности областей, а выход блока 8 классификации подсоединен ко второму входу блока 3 формирования описания изображения. Устройство также включает в себя блок 2 нормализации входного сигнала, выход которого подсоединен ко второму входу блока 1 обнаружения локальных экстремумов и ко второму входу блока 4 формирования вспомогательного сигнала, а вход блока 2 нормализации входного сигнала подсоединен ко входу блока 1 обнаружения локальных экстремумов, на который подается входной сигнал изображения и который является входом устройства, и подсоединен также к третьему входу блока 4 формирования вспомогательного сигнала, ко второму входу блока 6 выделения по связности областей и ко второму входу блока 7 группирования областей. При этом выход блока 3 формирования описания изображения подсоединен также к третьему входу блока 6 выделения по связности областей и к третьему входу блока 7 группирования областей, выход которого подсоединен также к третьему входу блока 3 формирования описания изображения, а выход блока 6 выделения по связности областей подсоединен также к четвертому входу блока 3 формирования описания изображения.

Устройство, реализующее предлагаемый способ, работает следующим образом.

Входной сигнал изображения, поступающий на вход устройства, и нормализованный входной сигнал, формируемый в блоке 2 нормализации входного сигнала, преобразуют в блоке 1 обнаружения локальных экстремумов в сигнал локальных экстремумов, который запоминают в блоке 3 формирования описания изображения. Затем в блоке 4 формирования вспомогательного сигнала формируют из входного сигнала изображения, нормализованного входного сигнала и сигнала локальных экстремумов первичный вспомогательный сигнал. Первичный вспомогательный сигнал далее квантуют по уровню в блоке 6 квантования сигнала и получают, тем самым, бинарные вторичные вспомогательные сигналы. Вторичные вспомогательные сигналы в блоке 6 выделения по связности областей преобразуют по правилу пространственной связности в сигнал номерного силуэтного изображения, отсчеты которого представлены номером яркостной области (т.е. структурного элемента изображения), в которую входит данный отсчет. Здесь же, в блоке 6 выделения по связности областей, для каждой выделенной таким образом области вычисляются по входному сигналу изображения яркостные, геометрические и топологические характеристики, включая показатели формы. Сигнал характеристик запоминают в блоке 3 формирования описания изображения, а также преобразуют в блоке 7 группирования областей в сигнал групп областей на основе логического и статистического анализа параметров сигнала выделенных по связности областей. Здесь же, в блоке 7 группирования областей, аналогично как в блоке 6, вычисляются по входному сигналу изображения яркостные, геометрические и топологические характеристики, включая показатели формы, выявленных групп областей. Сигнал характеристик групп областей также запоминают в блоке 3 формирования описания изображения. На заключительном этапе распознавания входного сигнала изображения производят в блоке 8 классификации сравнение сигналов характеристик выделенных по связности областей и групп областей с эталонными сигналами классов объектов и формируют сигнал оценки подобия выделенных по связности областей и групп областей заданным эталонными сигналами классам объектов. Сигнал оценки подобия также запоминают в блоке 3 формирования описания изображения.

Блоки устройства, реализующего предполагаемый способ, работают следующим образом.

В блоке 1 обнаружения локальных экстремумов, вариант реализации которого приведен на фиг.2, входной сигнал изображения и нормализованный входной сигнал подаются каждый, соответственно, на аналогово-цифровые преобразователи 9 и 10, сигналы с выхода которых запоминаются в запоминающем устройстве 11. Затем для каждого отсчета запомненных цифровых изображений компараторами 12, 13 и 14 производится выявление числа соседних отсчетов, соответственно, с большими, меньшими и равными значениями сигнала. По этим параметрам в логическом блоке 15 формируют сигнал оценки типа локального экстремума в анализируемом отсчете, который запоминают в запоминающем устройстве 16. Тем самым формируют данные о локальных структурных элементах - локальных экстремумах, - составляющих информационную структуру входного сигнала изображения и представленные на нем объекты.

В блоке 2 нормализации входного сигнала, вариант реализации которого приведен на фиг.3, входной сигнал изображения преобразуют в блоке 17 фильтров и блоке 18 дифференцирования в ряд промежуточных сигналов, которые, вместе с входным сигналом изображения и дополнительно запомненными в запоминающем устройстве 19 сигналами, усиливают в блоке 20 усилителей, каждый со своим коэффициентом, и затем суммируют в сумматоре 21.

В блоке 3 формирования описания изображения, вариант реализации которого приведен на фиг.4, производят последовательное запоминание выявленных характеристик анализируемого входного сигнала изображения. При этом каждый из сформированных сигналов локальных экстремумов, выделенных по связности областей, групп областей и сигнала классификации преобразуется во входном преобразователе 22 к единообразному табличному виду списка областей изображения и их характеристик, а затем запоминается, соответственно, в запоминающих устройствах 23, 24, 25 и 26. Выборку запомненных характеристик анализируемого изображения выполняют с помощью выходного преобразователя 27. При этом ранее полученные данные о параметрах входного сигнала изображения используют для получения его последующих параметров, в частности данные об обнаруженных локальных экстремумах поступают также в блок 4 формирования вспомогательного сигнала, блок 6 выделения по связности областей и в блок 7 группирования областей.

В блоке 4 формирования вспомогательного сигнала, вариант реализации которого приведен на фиг.5, производят формирование первичного вспомогательного сигнала для выделения областей изображения по пространственной связности. Формирование первичного вспомогательного сигнала выполняют усилением преобразователем 28 во входном сигнале изображения и преобразователем 29 в нормализованном входном сигнале тех их участков, которые соответствуют заданным типам локальных экстремумов, усилением в усилителях 30 и 31 этих преобразованных сигналов и их суммированием сумматором 32.

В блоке 5 квантования сигнала, вариант реализации которого приведен на фиг.6, производят формирование бинарных вторичных вспомогательных сигналов для непосредственного выделения областей по пространственной связности. Вторичные вспомогательные изображения формируют из первичного вспомогательного сигнала посредством его квантования, т.е. дискретизации по уровню, в компараторе 33 и их запоминанием в запоминающем устройстве 34.

В блоке 6 выделения по связности областей, вариант реализации которого приведен на фиг.7, производят преобразование квантованного сигнала в сигнал номерного силуэтного изображения, отсчеты которого представлены номером области (или элемента), в которую входит данный отсчет. Для этого в запоминающее устройство 35 записывают поочередно вторичные вспомогательные бинарные изображения, или их фрагменты, выбранные по заданным характеристикам сигнала локальных экстремумов. Отсчеты запомненных бинарных изображений нумеруют в логическом блоке 36 нумерации по критерию пространственной связности и полученное номерное силуэтное изображение запоминают в запоминающем устройстве 37. Для запомненного номерного изображения в блоке 38 проверки контрольной суммы вычисляют его контрольную сумму и повторяют в логическом блоке 36 нумерации перенумерацию этого изображения до повторения значения контрольной суммы. Полученное таким образом номерное силуэтное изображение считают результирующим для текущего вторичного вспомогательного бинарного сигнала и для выделенных на нем областей вычисляют в вычислителе 39 характеристик областей их яркостные, геометрические и топологические, включая показатели формы, характеристики. Результирующий сигнал выделенных по связности областей и их характеристик накапливают в запоминающем устройстве 40. Тем самым формируют данные о нелокальных структурных элементах - яркостных областях, - составляющих входной сигнал изображения и представленные на нем объекты.

В блоке 7 группирования областей, вариант реализации которого приведен на фиг.8, осуществляют разделение множества выделенных по связности областей на подмножества (кластеры), элементы - области которых имеют близкие значения характеристик. Для этого в запоминающее устройство 41 поочередно записывают выборки вычисленных ранее характеристик выделенных по связности областей и обнаруженных локальных экстремумов, выполняют их статистический анализ в блоке 42 статистического анализа, а затем в блоке 43 логического объединения формируют по заданному критерию сигнал принадлежности области группе (кластеру). Далее в вычислителе 44 характеристик групп областей вычисляют для групп областей - кластеров - такой же набор характеристик, как и для выделенных по связности областей, и эти данные накапливают в запоминающем устройстве 45. Тем самым формируют данные о кластерных структурных элементах - группах яркостных областях, - составляющих входной сигнал изображения и представленные на нем объекты.

В блоке 8 классификации, вариант реализации которого приведен на фиг.9, производят в компараторе 48 сравнение характеристик выделенных по связности областей и групп областей, поочередно записываемых в запоминающее устройство 46, с эталонными описаниями заданных классов объектов, хранящихся в запоминающем устройстве 47 и поочередно выбираемых блоком 49 выборки эталонов. По результатам сравнения в компараторе 48 формируют сигнал оценки подобия, который также запоминают в блоке 3 формирования описания изображения.

Таким образом, в процессе распознавания изображения предлагаемым способом поэтапно формируют описание его информационной структуры в виде списка составляющих изображение элементов (или областей-объектов) с их характеристиками. Первичное приближенное описание структуры распознаваемого изображения получают сразу же после обнаружения локальных экстремумов. На следующих этапах распознавания изображения эту информационную структуру анализируемого изображения уточняют посредством более точного выделения по связности областей-объектов и измерения полного набора их характеристик, присутствующих на входном изображении, а также выявлением кластеров областей. Выявленная информационная структура входного изображения дополняется данными о подобии выявленных областей и кластеров областей заданным классам объектов.

Изобретение относится к способам автоматического принятия решений в информационно-управляющих системах робототехнических комплексов, в частности, в системах технического зрения и телевизионных системах обнаружения, слежения и распознавания объектов, а также может быть использовано в автоматизированных системах контроля обстановки различного назначения. Техническим результатом является расширение области применения распознающих информационных автоматов на случаи априорной неопределенности характеристик анализируемых объектов и условий их наблюдения, достигаемый тем, что в способ распознавания изображений дополнительно введена операция обнаружения локальных экстремумов, при этом априорно не известную структуру распознаваемого изображения, наличие и расположение составляющих его объектов выявляют не с помощью предварительно заданных эталонов объектов, а на основе анализа характеристик множества обнаруженных на анализируемом сигнале изображения локальных экстремумов. 9 ил.

Способ распознавания сигналов изображений, содержащий операцию нормализации сигнала изображения, операцию квантования сигнала, операцию обнаружения связных областей, операцию классификации, отличающийся тем, что введены операция обнаружения локальных экстремумов, операция формирования сигнала описания изображения, операция формирования вспомогательного сигнала и операция обнаружения групп областей, при этом последовательно формируют нормализованный сигнал изображения, сигнал обнаруженных локальных экстремумов, сигнал описания изображения, вспомогательный сигнал, квантованный сигнал, сигнал обнаруженных связных областей, сигнал обнаруженных групп областей, сигнал классификации и сигнал описания изображения, который формируют запоминанием сначала сигнала обнаруженных локальных экстремумов, затем запоминанием сигнала обнаруженных связных областей, затем запоминанием сигнала обнаруженных групп областей и затем запоминанием сигнала классификации, при этом обнаружение локальных экстремумов производят на сигнале изображения и на нормализованном сигнале изображения посредством независимого в каждом сигнале сравнения значений соседних отсчетов, а сигнал обнаруженных локальных экстремумов формируют как перечень обнаруженных локальных экстремумов и их характеристик, которые вычисляют на соответствующем сигнале для каждого обнаруженного экстремума; вспомогательный сигнал формируют как линейную комбинацию сигнала изображения и нормализованного сигнала изображения, которую подвергают нелинейному преобразованию под управлением сигнала описания изображения; вспомогательный сигнал квантуют и обнаружение связных областей производят на квантованном сигнале под управлением сигнала описания изображения, а характеристики связных областей вычисляют на сигнале изображения; обнаружение групп областей производят под управлением сигнала описания изображения и посредством выявления связных областей с подобными характеристиками на ограниченных участках сигнала изображения, сигнал обнаруженных групп областей формируют как перечень обнаруженных групп областей и их характеристик, которые вычисляют для каждой обнаруженной группы областей на сигнале изображения и на сигнале обнаруженных связных областей; далее сигнал обнаруженных связных областей, сигнал обнаруженных групп областей и сигнал изображения сравнивают с эталонными сигналами, вычисляют оценку подобия сравниваемых сигналов и формируют сигнал классификации, который также запоминают операцией формирования сигнала описания изображения.