СПОСОБ КОМПЬЮТЕРНОГО РАСПОЗНАВАНИЯ ОБЪЕКТОВ Российский патент 2004 года по МПК G06K9/68 

Изобретение относится к автоматике и вычислительной технике, а более узко - к системам искусственного интеллекта.

Известен способ компьютерного распознавания объекта, изображение которого вводится телекамерой в компьютер, после определения его характеристик и перевода их в цифровую форму, путем сопоставления его характеристик с характеристиками, также в цифровой форме, ограниченного числа заранее известных компьютеру объектов-шаблонов для отыскания среди них наиболее похожий на распознаваемый. Смотри книгу “Компьютер обретает разум”. /Перевод с англ. - М.: Мир, 1990, с.28, раздел “Раскрытие загадки зрения - поиски подходящей модели”.

Известны также методы нормализации, предварительной подготовки, приведение к стандартному для данной программы виду изображения распознаваемого объекта - изменение масштаба, поворот в требуемое положение, например расположение наибольшего длиннового размера распознаваемого объекта по оси X, расположенной вдоль горизонтальной стороны экрана монитора, центрирование изображения по центру экрана монитора, вписание в прямоугольник требуемого размера, широко применяемые, например, в системах автоматического компьютерного проектирования, в частности в широко известной программе AutoCad и упоминаемые в книге “Компьютер обретает разум”, с.28, данные о которой были приведены выше.

В ниже приведенных источниках также изображение распознаваемого объекта разными способами преобразуется в систему электрических импульсов, переводится в цифровую форму и в дальнейшем сравнивается с аналогично преобразованными эталонными изображениями.

Так в устройстве для распознавания образов по авторскому свидетельству №898465, МПК G 06 К 9/62, УДК 681 327.12 (088.8) в блок вводится изображение объекта и несколько изображений фотошаблонов, которые сравниваются, например, при помощи оптического коррелятора Берджера, световая картина на экране преобразуется в последовательность электрических импульсов, которые поступают на дальнейшую обработку, и при совпадении определенных характеристик происходит распознавание.

В способе распознавания по патенту US 5740266A, МПК 6 G 06 K 9/46, выданном 14.04.98, происходит последовательное наложение масок на контур распознаваемого изображения с целью формирования контура пиксельного изображения. После первого наложения маски происходит отсечение части изображения, расположенного вне маски, формирование первого пиксельного контура из оставшейся части изображения, создание новой маски на основе первого пиксельного изображения и наложение ее на контур изображения с отсеченной частью, формирование второго контура и новой маски, сравнение второго контура с первым и т.д., пока число различий между контурами не уменьшится до заданного значения.

В способе распознавания образов по патенту US 5744743A, МПК 6 G 06 Т 9/2, выданном 31.03.98 г., сравниваются изображения с выделением соответствующих одна другой точек в блоках изображений и затем производится распознавание.

В способе распознавания объектов по заявке №99125814/09 (02001) с приоритетом 03.12.1999, по которой ФИПС принял решение о выдаче патента на изобретение 11 апреля 2002 г., по которому совмещаются на экране монитора компьютера предварительно нормализованные изображения распознаваемого объекта и шаблона, каждый из которых выполнен в градациях одного различного цвета. Цвет суммарного, результирующего изображения получается отличным от цветов совмещаемых изображений. И в случае совпадения контуров совмещенных изображений в результирующем изображении оператор констатирует распознавание объекта. Для облегчения распознавания объектов вокруг изображений шаблонов выполняются две определенной ширины эквидистантные полосы (которые могут быть разделены на ряд отрезков), граничащие друг с другом и с контуром изображения, цвет которых отличен как от цвета распознаваемого объекта, шаблона, так и друг от друга. Масштаб изображения распознаваемого объекта может делаться чуть больше масштаба изображения шаблона, чтобы изображение распознаваемого объекта при их совмещении вышло на первую контурную полосу тождественного ему шаблона, цвет контурной полосы при этом меняется, сигнализируя о распознавании.

Такой способ распознавания требует обязательного присутствия в системе распознавания монитора и рассчитан в основном на работу с оператором, что усложняет систему распознавания, делает ее громоздкой, нетранспортабельной и снижает скорость распознавания, так как на экран монитора нужно выводить совмещенные изображения объектов распознавания и шаблонов как минимум в течение 0,5-1 сек, чтобы оператор успел произвести распознавание.

К причинам, препятствующим достижению указанного ниже технического результата при использовании известных способов, относится то, что известными способами за приемлемое время можно сравнить распознаваемый объект с небольшим числом шаблонов (особенно если графика сложная), громоздкость и не транспортабельность системы, что резко сужает область применения таких систем.

Сущность изобретения заключается в следующем: задача, на решение которой направлено заявляемое изобретение, заключается в том, чтобы система распознавания могла быстро распознавать большое число объектов, могла распознавать группы объектов, пользуясь большим числом шаблонов, была бы мобильной и негромоздкой, что позволило бы, например, промышленному роботу - системе из телекамеры, компьютера и исполнительного механизма - выбирать не только ограниченное число деталей, расположенных преимущественно в строго определенном положении на конвейере, но и распознавать большое число объектов, групп объектов, сравнивая их с большим числом шаблонов, хранящихся в памяти компьютера.

Технический результат, который может быть получен при осуществлении изобретения, - резкое увеличение скорости распознавания вводимых в компьютер объектов, сравниваемых с большим количеством шаблонов, хранящихся в памяти компьютера, упрощение системы распознавания.

Указанный технический результат при осуществлении изобретения достигается тем, что если в известных способах компьютерного распознавания объектов, предусматривающих предварительную нормализацию (приведение объекта, вводимого в компьютер, к стандартному для данного способа виду - изменению масштаба, поворот в требуемое положение, центрирование, вписание в прямоугольник требуемого размера), определение характеристик, например цвета, перевод их в цифровую форму с последующим последовательным сравнением отдельных характеристик и даже точек изображения распознаваемого объекта, вводимого или хранящегося в памяти компьютера, с характеристиками и точками изображения шаблонов, также переведенными в цифровую форму и хранящихся в памяти компьютера, выведение на экран монитора изображения распознаваемого объекта, преобразованное в изображение, выполненное в градациях - различных степенях яркости - одного цвета, например красного, и последовательное, поочередное совмещение его с изображениями хранящихся в памяти компьютера шаблонов, выполненных, например, в градациях зеленого, что позволяет увидеть в зоне совмещения изображений результирующее изображение другого, отличного от первых двух цвета, которое и фиксируется оператором как распознанное, если совмещаемые изображения идентичны, то особенностью предполагаемого изобретения является то, что он позволяет в автоматическом режиме одновременно распознавать группу объектов. Для этого программа распознавания объектов может пошагово совмещать нормализованные изображения объектов, центрированных и вписанных в одинаковых размеров ячейки таблицы и шаблонов, центрированных и вписанных в аналогичные ячейки таблицы, с шагом, равным высоте строки с ячейками или ширине столбца ячеек таблиц (в зависимости от порядка совмещения таблиц - построчно снизу вверх или сбоку - поочередно совмещаются строки таблиц или столбцы), причем в каждом из столбцов или строк таблицы шаблонов, число которых равно числу столбцов или строк в таблице распознаваемых объектов, находится полный комплект шаблонов, что обеспечивает возможность одновременного распознавания объектов, находящихся в ячейках строки таблицы (или в ячейках столбца), в ячейках группы строк (или столбцов) или даже в ячейках всей таблицы.

Кроме того, программа распознавания объектов, запуская программу пошагового совмещения строк или столбцов с ячейками таблиц распознаваемых объектов и шаблонов, не выводя построчно результирующего изображения на экран монитора (как это делает обыкновенная программа вывода изображения), определяет цвет пикселов каждой строки результирующего изображения (считывая, например, в программах вывода совмещаемых изображений на экран монитора цвет пикселов этих изображений и вычисляя результирующий цвет или определяя результирующий цвет, например, по результатам измерения напряжения электрического тока, которое должно подаваться на электронные пушки монитора, формирующие цвет пикселов изображения) одного выделенного объекта, результирующих изображений группы объектов, результирующих изображений всех объектов или только их контуров в каждой ячейке совмещаемых таблиц (при совмещении идентичных изображений распознаваемого объекта и шаблона все результирующее изображение будет одного ожидаемого цвета, соответствующего совмещенным, смешанным цветам этих изображений), или его контурных полос, или выделенных фрагментов его изображений, или только их контуров или контурных полос этих фрагментов, сравнивает его с ожидаемым цветом (если цвет пикселов строки результирующего изображения или только его контура совпадает с ожидаемым цветом строки результирующего изображения или его контура, то программа распознавания считает эти строки совмещенных изображений идентичными) и в случае идентичности всех строк или определенного заранее процента неидентичных строк совмещенных изображений в результирующих изображениях (если строки совмещенных изображений идентичны, то цвет всей строки изменится на ожидаемый) каждой совмещенной ячейки таблиц фиксирует распознавание объектов в каждой из совмещенных ячеек, запоминает распознанные объекты в ячейках таблицы распознаваемых объектов и исключает их из дальнейшего распознавания при очередном сдвиге на шаг строки или столбца таблицы шаблонов относительно таблицы распознаваемых объектов, может отбирать объекты для дальнейшего распознавания фрагментов изображений, посылая, в случае распознавания требуемого объекта, группы объектов, объектов во всех ячейках таблицы распознаваемых объектов или после совмещения последней строки или столбца таблицы шаблонов с последней строкой или столбцом таблицы распознаваемых объектов, сигнал на исполнительный механизм или регистрирующий, выводя, например, таблицу распознаваемых объектов на тот же монитор с выделением распознанных объектов и заканчивая работу.

Таким образом, из системы распознавания исключается монитор.

Программа распознавания в предлагаемом способе не сравнивает каждую точку в каждой строке изображения распознаваемого объекта с каждой точкой соответствующей ей строки изображения шаблона, а только определяет цвет строк результирующего изображения, например при распознавании иероглифов, или только его контура, если изображение широкое, или цвет его фрагментов, или их контуров и контурных полос, что резко сокращает время распознавания объекта.

Принцип распознавания по предлагаемому способу заключается в том, что если, например, на экране монитора наложить друг на друга два тождественных, идентичных изображения (распознаваемого объекта и шаблона), каждое из которых выполнено в одном, отличающемся друг от друга, цвете, то мы получим на экране точно такое же результирующее изображение, но цвет этого изображения будет отличен от цветов накладываемых друг на друга изображений.

Программа распознавания фиксирует наличие или отсутствие ожидаемого изменения цвета в каждой строке результирующего изображения. Если цвет пикселов строки результирующего изображения или только его контура (на границе с фоном) изменился на ожидаемый - соответствующий цвету контуров совмещенных идентичных изображений распознаваемого изображения и шаблона, то программа распознавания считает, что эта строка изображения распознаваемого объекта соответствует, тождественна строке изображения шаблона, и если все строки или определенный заранее процент строк совмещенных изображений идентичен, то считает этот объект распознанным.

Для распознавания по предлагаемому способу создается большая или даже очень большая библиотека шаблонов - изображений различных объектов, с которыми в дальнейшем будут сравниваться распознаваемые объекты.

Для того чтобы при совмещении распознаваемого объекта и шаблона с идентичным изображением произошло совпадение их контуров, необходимо нормализовать, привести все изображения на шаблонах к стандартному для данного способа виду по определенному алгоритму, обеспечивающему наилучшее, стандартное расположение изображений на экране. Например, длинная сторона прямоугольника, в который полностью вписывается изображение объекта (в случав, когда длина объекта больше его ширины), была бы направлена вдоль оси X, которая, в свою очередь, направлена вдоль длинной стороны экрана монитора, масштаб изображения должен быть таков, чтобы наибольшая длина или высота изображения объекта не превышала размеров стандартного для данного способа прямоугольника, в который вписывается изображение. Наибольшая длина изображения объекта должна быть параллельна длинной стороне этого прямоугольника, изображение должно быть центрировано - точка пересечения диагоналей этого прямоугольника должна лежать в центре изображения.

Такие преобразования изображений легко делаются в такой программе, как AutoCad.

Таким образом, получается, что высота (или длина - у тех изображений, у которых длина больше высоты) всех изображений шаблонов одинакова и изображения центрированы.

Такой же процедуре подвергается и каждое изображение распознаваемого объекта. И поэтому контур каждого распознаваемого объекта при последовательном наложении на шаблоны точно совпадает с контуром идентичного ему изображения на шаблоне, если, конечно, он есть в библиотеке шаблонов.

Для дальнейшего распознавания, если распознаваемый объект относится к классу объектов, имеющих одинаковый наружный контур, но отличающихся друг от друга фрагментами внутри контура (например, у здания могут быть окна и двери разной формы, различное число этажей и т.д.), то внутри контура изображения распознаваемого объекта и шаблонов некоторые выделенные детали, фрагменты изображения должны иметь цвет, отличный как от основного цвета распознаваемого объекта, так и от основного цвета шаблонов и цвета деталей, фрагментов его изображения, и которые для дальнейшего распознавания также должны нормализоваться, приводиться к стандартному для данного способа виду.

Для ускорения процесса распознавания сложных изображений по контуру изображений шаблонов и выделенных фрагментов внутри контура изображения шаблонов могут выполняться две эквидистантные, определенной ширины контурные полосы, граничащие как друг с другом, так и с контуром изображения шаблонов и выделенных фрагментов их изображений, окрашенные в цвета, отличающиеся как друг от друга, так и от изображений распознаваемого объекта и его выделенных фрагментов и шаблонов с выделенными фрагментами его изображения, дающими при совмещении изображений распознаваемого объекта и шаблона достаточно контрастные цвета, чтобы их можно было зафиксировать, констатируя тождественность изображений распознаваемого объекта и шаблона или их отличие.

Ширина полос выбирается из соображений легкости фиксирования и возможности распознавания объектов, контур которых имеет небольшие отличия от контура почти тождественного ему шаблона, например здание с балкончиками и карнизами предварительно можно распознать по шаблону, где на изображении находится здание без балкончиков и карнизов. В этом случае небольшие отклонения формы объекта не должны выходить за пределы первой контурной полосы шаблона.

Так как масштаб изображения распознаваемого объекта может быть несколько больше масштаба изображения шаблона, то в случае идентичных или при незначительных отличиях совмещенных изображений изображение распознаваемого объекта выходит на первую контурную полосу шаблона, которая меняет свой цвет в зависимости от первоначального цвета полосы и цвета распознаваемого объекта. Вторая контурная полоса цвет в данном случае не меняет, что и позволяет программе распознавания зафиксировать распознавание объекта и в случае необходимости вывести на регистрирующее устройство изображение распознанного объекта с надписями, расположенными на нем и характеризующими его.

Контурные полосы могут делиться на ряд отрезков, число которых в каждой полосе может быть разным, а каждый отрезок должен иметь цвет, отличный от всех остальных цветов, примененных в распознаваемых объектах и шаблонах, что позволяет программе распознавания точно знать, замкнута ли первая контурная полоса, на какие отрезки первой контурной полосы шаблона вышло изображение распознаваемого объекта и, значит, действительно ли произошло распознание объекта.

Если же часть изображения распознаваемого объекта вышла и на вторую контурную полосу шаблона или на часть отрезков, из которых она может состоять, то программа распознавания может, анализируя величину выхода изображения распознаваемого объекта на вторую контурную полосу (подсчитывая, например, число неидентичных строк в изображениях распознаваемого объекта и шаблона), принимать решение о распознавании объекта или перевести его в разряд объектов, требующих вторичного распознавания.

В предлагаемом способе изображение каждого распознаваемого объекта должно быть нормализовано, вписано и отцентрировано в одной из ячеек таблицы распознаваемых объектов, размеры которых одинаковы. Изображения шаблонов тоже должны быть центрированы и вписаны в ячейки такого же размера таблицы шаблонов. Число столбцов в таблицах распознаваемых объектов и шаблонов должно быть одинаковым, если совмещение строк таблиц начинается с нижней строки таблицы распознаваемых объектов. Если совмещение начинается сбоку, то в таблицах должно быть одинаковое число строк. Программа распознавания объектов пошагово совмещает строки или столбцы с ячейками таблицы шаблонов со строками или столбцами таблицы распознаваемых объектов, причем в каждом из столбцов или строк с ячейками таблицы шаблонов, число которых должно быть равно числу столбцов или строк с ячейками в таблице распознаваемых объектов, находится полный комплект шаблонов.

Таким образом, в процессе распознавания может находиться строка таблицы с ячейками, где расположены распознаваемые объекты, группа строк (по мере пошагового совмещения таблиц все большее число строк таблицы распознаваемых объектов находится в процессе распознавания) и даже вся таблица распознаваемых объектов, что сокращает время распознавания.

Программа распознавания объектов, запуская программу пошагового совмещения строк или столбцов с ячейками таблиц распознаваемых объектов и шаблонов, не выводя результирующего изображения на экран монитора, определяет цвет пикселов каждой строки результирующих изображений объектов (считывая, например, в программах вывода совмещаемых изображений на экран монитора цвет пикселов этих изображений и вычисляя результирующий цвет или определяя результирующий цвет, например, по результатам измерения напряжения электрического тока, которое должно подаваться на электронные пушки монитора, формирующие цвет пикселов изображения) или только его контуров в каждой ячейке таблицы распознаваемых объектов (при совмещении идентичных изображений распознаваемого объекта и шаблона все результирующее изображение будет одного ожидаемого цвета, соответствующего совмещенным, смешанным цветам этих изображений), или его контурных полос, или выделенных фрагментов его изображений, или только их контуров, или контурных полос этих фрагментов и сравнивает его с ожидаемым цветом (если цвет пикселов строки результирующего изображения или только его контура совпадает с ожидаемым цветом строки результирующего изображения или его контура, то программа распознавания считает эти строки совмещенных изображений идентичными).

В случае идентичности всех строк или только заранее заданного, определенного процента строк совмещенных изображений в результирующих изображениях каждой ячейки таблицы программа распознавания фиксирует распознавание объектов в каждой из ячеек, запоминая их и исключая из дальнейшего распознавания при очередном сдвиге на шаг строки или столбца таблицы шаблонов относительно таблицы распознаваемых объектов, отбирает объекты для дальнейшего распознавания фрагментов изображений, посылая, в случае распознавания требуемого объекта, группы выделенных объектов, объектов во всех ячейках таблицы распознаваемых объектов или после совмещения последней строки или столбца таблицы шаблонов с последней строкой или столбцом таблицы распознаваемых объектов, сигнал на исполнительный механизм или регистрирующий, выводя, например, таблицу распознаваемых объектов на тот же монитор с выделением распознанных объектов и заканчивая работу.

Для осуществления способа в качестве основы программы для компьютера, на котором производится распознание объекта, может применяться программа типа AutoCad, в которой легко может быть создан требуемый набор шаблонов, произведена их нормализация, как и нормализация распознаваемых объектов до их совмещения с шаблонами, и имеется программа совмещения изображений.

Изобретение относится к области автоматики и вычислительной техники, а именно к системам искусственного интеллекта. Его применение при распознавании объектов позволяет получить технический результат в виде увеличения скорости распознавания объектов, вводимых в компьютер. Этот результат достигается благодаря тому, что программа распознавания объектов пошагово совмещает нормализованные изображения распознаваемых объектов, центрированные и вписанные в одинаковых размеров ячейки таблицы распознаваемых объектов и изображения шаблонов, центрированные и вписанные в аналогичные ячейки таблицы шаблонов, с шагом, равным высоте строки с ячейками или ширине столбца ячеек таблиц. 6 з.п. ф-лы.

1. Способ компьютерного распознавания объектов, программа которого предусматривает предварительное приведение изображения объекта, вводимого в компьютер, к нормальному, стандартному для данного способа виду - изменению масштаба, повороту в требуемое положение, центрированию, вписанию в прямоугольник требуемого размера, нанесению на изображениях шаблонов и выделенных фрагментах этих изображений данных, характеризующих изображение объекта или его фрагмента на нем, выполненных цветом, отличным от цвета изображений шаблонов и его выделенных фрагментов, отличающийся тем, что программа распознавания объектов пошагово совмещает нормализованные изображения распознаваемых объектов, центрированные и вписанные в одинаковых размеров ячейки таблицы распознаваемых объектов и изображения шаблонов, центрированные и вписанные в аналогичные ячейки таблицы шаблонов, с шагом, равным высоте строки с ячейками или ширине столбца ячеек таблиц.2. Способ по п.1, отличающийся тем, что в каждом из столбцов или в каждой из строк таблицы шаблонов, число которых равно числу столбцов или строк в таблице распознаваемых объектов, находится полный комплект шаблонов.3. Способ по п.1, отличающийся тем, что программа распознавания объектов, запуская программу пошагового совмещения строк или столбцов с ячейками таблиц нормализованных распознаваемых объектов и шаблонов, определяет цвет пикселов каждой строки результирующего изображения одного выделенного объекта, результирующих изображений группы объектов, результирующих изображений всех объектов или только их контуров в каждой ячейке совмещаемых таблиц, или выделенных фрагментов его изображений, или только их контуров, сравнивает его с ожидаемым цветом и, в случае идентичности всех строк совмещенных изображений в результирующих изображениях какой-либо или в каждой совмещенной ячейке таблиц, фиксирует распознавание объектов в какой-либо или в каждой из совмещенных ячеек.4. Способ по п.1 или 3, отличающийся тем, что программа распознавания определяет цвет пикселов каждой строки результирующего изображения одного выделенного объекта, результирующих изображений группы объектов, результирующих изображений всех объектов или только их контуров, или выделенных фрагментов их изображений, или только их контуров в каждой ячейке совмещаемых таблиц, определяя результирующий цвет по результатам измерения напряжения электрического тока, которое должно подаваться на электронные пушки монитора, формирующие цвет пикселов результирующего изображения одного выделенного объекта, результирующих изображений группы объектов, результирующих изображений всех объектов или только их контуров, или выделенных фрагментов их изображений, или только их контуров в каждой ячейке совмещаемых таблиц.5. Способ по п.1 или 2, отличающийся тем, что программа распознавания запоминает распознанные объекты в ячейках таблицы распознаваемых объектов и исключает их из дальнейшего распознавания при очередном сдвиге на шаг строки или столбца таблицы шаблонов относительно таблицы распознаваемых объектов.6. Способ по п.1 или 2, отличающийся тем, что программа распознавания определяет процент не идентичных строк совмещенных изображений распознаваемого объекта и шаблона в каждой ячейке совмещаемых таблиц, сравнивает с заранее заложенным в программе допустимом проценте неидентичных строк, при котором распознаваемый объект нужно считать распознанным, и принимает решение о том, распознан ли данный объект.7. Способ по п.1 или 2, отличающийся тем, что программа распознавания в случае распознавания требуемого объекта, группы объектов, объектов во всех ячейках таблицы распознаваемых объектов или после совмещения последней строки или столбца таблицы шаблонов с последней строкой или столбцом таблицы распознаваемых объектов, посылает сигнал на исполнительный механизм или регистрирующий, выводя, например, таблицу распознаваемых объектов на монитор с выделением распознанных объектов, и заканчивает работу.