СПОСОБ КОМПЬЮТЕРНОГО РАСПОЗНАВАНИЯ И ВИЗУАЛЬНОГО ВОСПРОИЗВЕДЕНИЯ ЦВЕТНЫХ ИЗОБРАЖЕНИЙ Российский патент 2007 года по МПК G06K9/80 

Способ компьютерного распознавания и визуального воспроизведения цветных изображений относится к области компьютерной обработки цветных изображений объектов и предназначен для приема, распознавания, визуализации изображений цветных объектов на соответствующих средствах визуализации с различными цветовыми свойствами с учетом различного индивидуального восприятия пользователями цветных изображений.

Известны способы компьютерного распознавания и визуального воспроизведения цветных изображений объектов, например способ, описанный в патенте РФ №2191431, МПК G 06 К 9/68, БИПМ №29 от 20.10.2002, в котором в компьютер осуществляют ввод информации о цветном изображении объекта, производят обработку и преобразование в градациях различных степеней яркости, например красного, затем осуществляют поочередное наложение изображения шаблонов в градациях, например, зеленого цвета, хранящихся в памяти компьютера, фиксируют в зоне перекрытия изображения другого цвета, отличающегося от двух предыдущих, который принимают за действительный и выводят на монитор, при этом фиксирование цвета в зоне перекрытия осуществляют за счет того, что по контуру изображения шаблонов и выделенных фрагментов внутри контура выполняют две эквидистантные полосы, окрашенные в цвета, отличные друг от друга, от изображения объекта, от изображений шаблонов и их фрагментов, дающие контрастные цвета для их фиксации при распознавании.

Недостатком данного способа является то, что пользователь за счет индивидуальных свойств цветовосприятия (например, краснослепой оператор) на мониторе видит искаженное, отличающееся от действительного цветное изображение.

Более близким к предлагаемому способу является способ компьютерного распознавания объектов, описанный в патенте РФ №2234127, МПК G 06 К 9/68, БИПМ №12 от 10.08.2004 и заключающийся в том, что в компьютер осуществляют ввод информации о цветном изображении объекта, производят обработку и преобразование во множество фрагментов в виде множества пикселей с множеством соответствующих цветов, производят пошаговое сравнение фрагментов изображения с фрагментами изображения шаблонов, записанных в памяти компьютера и характеризующих цветовое пространство устройства визуализации, и при идентичности в каждом шаге запоминают цвет пикселей результирующего изображения, по которым принимают решение о распознавании изображения и выводят его на устройство визуализации, с которого это изображение воспринимается оператором. Этот способ принят за прототип.

Он имеет следующий недостаток. Пользователь за счет индивидуальных свойств цветовосприятия (например, краснослепой оператор) на мониторе видит искаженное, отличающееся от действительного цветное изображение, то есть функциональные возможности способа ограничены.

Задача, решаемая в изобретении, заключается в расширении функциональных возможностей способа за счет учета свойств цветового пространства пользователя при выводе распознаваемого цветного изображения на устройство визуализации, что способствует более объективному цветовосприятию изображения пользователем с различным цветовосприятием.

Это достигается тем, что в компьютер вводят информацию о цветном изображении, преобразуют ее во множество пикселей с соответствующим множеством цветов, производят последовательное сравнение со вторым множеством пикселей, записанных в памяти и характеризующих цветовое пространство устройства визуализации, выделяют совпадающие пиксели, по которым формируют соответствующее цветное изображение, воспроизводят его на устройстве визуализации, которое затем воспринимает пользователь, а перед вводом в компьютер информации о распознаваемом цветном изображении предварительно формируют и выводят на устройство визуализации информацию о цветовом изображении эталонного теста и цветовом восприятии пользователем этого теста в виде изображений пикселей, по которым с помощью оператора определяют их идентичность, формируют идентификационную таблицу, которую запоминают, а перед воспроизведением распознаваемого изображения на устройстве визуализации его корректируют с использованием идентификационной таблицы путем замены координат и цвета пикселей распознаваемого изображения на координаты и цвет соответствующих им модифицированных пикселей, а затем воспроизводят на устройстве визуализации.

Информацию о цветовом восприятии изображения эталонного теста формируют в цветовом пространстве устройства визуализации путем многократного представления элементов изображения эталонного теста пользователю и по его восприятию фиксируют соответствующие этим элементам другие элементы изображения эталонного теста.

Идентификационную таблицу формируют в виде строк и столбцов, при этом в строках первого столбца указывают координаты пикселей изображения эталонного теста, в строках второго столбца указывают соответствующие координаты основных пикселей восприятия пользователем изображения эталонного теста, а в строках третьего столбца указывают координаты соответствующих модифицированных пикселей.

Координаты модифицированного пикселя определяют в соответствии с выражением:

a Z3_i определяют из выражения

где

Z31_ik и Z3_i - RGB-пиксели с координатами Z31_ik=(R31_ik, G31_ik, B31_ik), Z3_i=(R3_i, G3_i, B3_i),

Z2_j и Z1_i - RGB-пиксели с координатами Z2_j=(R2_j, G2_j, B2_j), Z1_i=(R1_i, G1_i, B1_i),

Z1_i - i-тый исходный пиксель с координатами в системе RGB (R1_i, G1_i, B1_i),

i=1, 2,..., m, a m - количество исходных пикселей;

Z2_i - основной пиксель восприятия оператором для исходного пикселя Z1_i;

Z2_j - произвольный основной j-тый пиксель восприятия пользователем, j=1, 2,..., n;

Z3_i - ближайший к пикселю Z1_i из основных пикселей восприятия пользователем;

Z31_ik - k-тый пиксель из группы пикселей, имеющих одинаковый основной цвет восприятия Z3_i, a k=1, 2,..., р;

- модифицированный пиксель, обеспечивающий более объективное цветовосприятие пользователем, чем пиксель Z1_i;

ρ(Z31_ik, Z3_i); ρ(Z2_j, Z1_i) - расстояния между соответствующими координатами пикселей в пространстве координат RGB.

Сущность способа компьютерного распознавания и визуального воспроизведения цветных изображений поясняется чертежами, где

на фиг.1 приведена структурная схема последовательности действий, выполняемых компьютерной программой, где приняты следующие обозначения:

1 - операция ввода в компьютер информации о цветном изображении объекта;

2 - операция обработки информации о цветном изображении объекта и преобразовании ее во множество фрагментов в виде множества пикселей;

3 - операция пошагового сравнения информации о фрагментах цветного изображения с информацией о фрагментах цветного изображения шаблонов, хранящейся в памяти компьютера и представляющей цветовое пространство устройства визуализации;

4 - операция выделения информации о совпадающих фрагментах (совпадающих пикселей) и их сохранение в памяти компьютера до окончания сравнения всего изображения;

5 - операция формирования информации о цветном изображении объекта для вывода на устройство визуализации;

6 - операция корректировки информации о цветном изображении путем замены полученных пикселей изображения на операции 5 на модифицированные пиксели, хранящиеся в памяти компьютера в виде идентификационной таблицы;

7 - операция вывода скорректированной информации о цветном изображении объекта на устройство визуализации;

8 - операция восприятия пользователем цветного изображения объекта;

9 - операция формирования и ввода в компьютер информации о цветовом изображении эталонного теста и цветовом восприятии этого теста пользователем, полученных путем сканирования соответствующих изображений в цветовом пространстве сканера (устройство визуализации);

10 - операция формирования и запоминания идентификационной таблицы в памяти компьютера.

На фиг.2 представлена графическая процедура этапов вычисления модифицированного пикселя по исходному пикселю изображения эталонного теста Z1_i, который имеет основной пиксель восприятия оператором Z2_i, входящий в группу идентично воспринимаемых пикселей (дополнительных идентичных цветов), обозначенную как последовательность {Z21_ij}, j=1, 2,...,n, для которой пиксель Z3_i является ближайшим из основных пикселей восприятия пользователем и имеющим дополнительную группу идентично воспринимаемых пикселей, обозначенную как последовательность {Z31_ik}, k=1, 2,..., p.

На фиг.3 представлено цветное изображение контрольного теста слева и его восприятие краснослепым художником справа, взятые из медицинской энциклопедии (Популярная медицинская энциклопедия. Гл. ред. Б.В.Петровский. В 1-ом томе. Аборт - Ящур. - М.: Советская энциклопедия - 1979. - с.80-81, рис.4-5).

На фиг.4 приведены примеры соответствия исходных цветов (слева), основных цветов восприятия пользователем (в центре) и модификацией исходных цветов эталонного теста (справа), а соответствующие координаты пикселей которых приведены в таблице 1.

На фиг.5 представлены виды основных цветов восприятия пользователем (слева) и соответствующие им совокупности одинаково воспринимаемых цветов (справа), координаты пикселей которых приведены в таблице 2.

На фиг.6 представлены виды исходного распознаваемого изображения объекта "РОЗА" (слева) и его восприятие краснослепым пользователем (справа) до корректировки изображения.

На фиг.7 представлены виды модифицированного изображения объекта "РОЗА" (слева) и его восприятие краснослепым пользователем (справа) с корректировкой изображения по данному способу.

Работа распознавания цветных изображений данным способом осуществляется следующим образом (фиг.1). После ввода в компьютер информации о цветном изображении (операция 1) осуществляют ее обработку и преобразование во множество фрагментов одним из известных способов в виде множества пикселей (операция 2), производят пошаговое сравнение информации о фрагментах цветного изображения с информацией о фрагментах цветного изображения шаблонов, хранящихся в памяти компьютера и представляющей цветовое пространство устройства визуализации, например монитор, принтер и т.п. (операция 3). В процессе сравнения выделяют совпадающие фрагменты (совпадающие пиксели) и сохраняют их до окончания сравнения всего изображения в памяти компьютера (операция 4). После окончания сравнения всего изображения с шаблонами из запомненных пикселей формируют информацию о цветном изображении для вывода на устройство визуализации (операция 5), затем эту информацию корректируют путем замены полученных пикселей на модифицированные пиксели, хранящиеся в памяти компьютера в виде идентификационной таблицы (операция 6). Откорректированную информацию о цветном изображении выводят на устройство визуализации (операция 7), с которого она воспринимается пользователем (операция 8). Идентификационную таблицу формируют заранее путем ввода в компьютер информации о цветовом изображении эталонного теста и его изображении в цветовом пространстве пользователя, полученных путем сканирования соответствующих изображений в цветовом пространстве сканера (операция 9). Таблицу формируют в виде строк и столбцов, при этом в строках первого столбца указывают координаты и цвет пикселей изображения эталонного теста, в строках второго столбца указывают соответствующие координаты и цвет основных пикселей восприятия пользователем изображения эталонного теста, а в строках третьего столбца указывают координаты и цвет соответствующих модифицированных пикселей.

Координаты модифицированного пикселя определяют в соответствии с выражением

a Z3_i определяют из выражения

где

Z31_ik и Z3_i - RGB-пиксели с координатами Z31_ik=(R31_ik, G31_ik, B31_ik), Z3_i=(R3_i, G3_i, B3_i),

Z2_j и Z1_i - RGB-пиксели с координатами Z2_j=(R2_j, G2_j, B2_j),

Z1_i=(R1_i, G1_i, B1_i),

Z1_i - i-тый исходный пиксель с координатами в системе RGB (R1_i, G1_i, B1_i),

i=1, 2,..., m, a m - количество исходных пикселей;

Z2_i - основной пиксель восприятия оператором для исходного пикселя Z1_i;

Z2_j - произвольный основной j-тый пиксель восприятия оператором, j=1, 2,..., m;

Z3_i - ближайший к пикселю Z1_i из основных пикселей восприятия оператором;

Z31_ik - k-тый пиксель из группы пикселей, имеющих одинаковый основной цвет восприятия Z3i, a k=1, 2,..., р;

- модифицированный пиксель, обеспечивающий более объективное цветовосприятие оператором, чем пиксель Z1_i;

ρ(Z31_ik, Z3_i); ρ(Z2_j, Z1_i) - расстояния между соответствующими координатами пикселей в пространстве координат RGB.

Графически процедура вычисления одного из пикселей по данному алгоритму представлена на фиг.2.

Ниже приведен пример распознавания цветного изображения краснослепым пользователем данным способом.

В качестве устройства визуализации использовался цветной принтер. В качестве изображения контрольного теста использовалось изображение, отпечаток которого взят из медицинской энциклопедии (фиг.3 - слева), и это же изображение, воспринимаемое краснослепым пользователем, отпечаток которого взят из той же энциклопедии (фиг.3 - справа). После сканирования указанных изображений была получена и сохранена в памяти компьютера идентификационная таблица с тремя столбцами, в которых были записаны координаты пикселей исходного изображения, координаты пикселей воспринимаемого изображения и координаты модифицированных пикселей, вычисленные по выше приведенной формуле. Фрагмент координат пикселей из компьютерной таблицы приведен в таблице 1, а соответствующие им цвета представлены на фиг.4.

Вид промежуточных пикселей Z3_i приведен на фиг.2, а для дополнительных совокупностей пикселей {Z21_ij} и {Z31_ik} использовалась таблица их соответствия основным воспринимаемым пикселям, фрагменты которой приведены в таблице 2, а их цветовые соответствия на фиг.5.

Проиллюстрируем суть получения модифицированного пикселя на примере одного пикселя исходного изображения. Пусть пиксель Z1_i исходного изображения (фиг.3) имеет координаты (R1_i, G1_i, В1_i)=(238, 85, 51) (таблица 1), а соответствующий ему основной пиксель восприятия пользователем Z2_i координаты (R2_i, G2_i, B2_i)=(170, 102, 34), которому в соответствии с таблицей 2 и рисунком (фиг.5) соответствует группа пикселей из одиннадцати компонентов. Находим пиксель из этой группы с минимальным расстоянием от исходного пикселя, численное значение которого равно 49, то есть (R3_i, G3_i, B3_i)=(221, 102, 34). Данному цвету восприятия (R3_i, G3_i, B3_i) соответствует совокупность одинаково воспринимаемых цветов в соответствии с четвертой строкой таблицы 2 и рисунком на фиг.5. Находим пиксель из этой группы с максимальным расстоянием от пикселя Z3. Координаты этого пикселя равны (238,153,51). Это и есть координаты модифицированного пикселя

Для иллюстрации распознавания цветного изображения по данному способу было взято исходное изображение объекта "РОЗА", приведенное на фиг.6 (слева), и ее восприятие краснослепым пользователем, приведенное на фиг.6 (справа), распечатанные на цветном принтере. После замены координат пикселей координатами модифицированных пикселей в соответствии с таблицей, фрагменты которой приведены в таблице 1, было получено модифицированное изображение, которое было распечатано на цветном принтере. Сказанное для преобразования трех пикселей изображения объекта "РОЗА" приведено в таблице 3. Преобразование всех пикселей осуществлялось автоматически, в результате сформировалось целостное модифицированное изображение, которое было выведено на устройство визуализации (цветной принтер) с последующим восприятием пользователем. Вид всего модифицированного изображения "РОЗА" и его восприятие указанным пользователем приведены на фиг.7 (соответственно слева и справа).

Для пользователя с нормальным цветовым восприятием цветных изображений операция 6 (корректировка) не выполняется и вслед за операцией 5 выполняется операция 7, поэтому в системе, реализующей данный способ, предусмотрено два режима - с корректировкой и без корректировки.

Приведенный пример реализации способа осуществлен на персональном компьютере типа IBM PC с использованием цветного принтера типа EPSON STYLUS PHOTO (фирма EPSON), цветного сканера типа EPSON Perfection и специализированного программного обеспечения ИПИ РАН в операционной среде MS Windows 98.

Таким образом, при использовании цветовых свойств различных пользователей и путем формирования идентификационной таблицы соответствия их эталонным цветовым тестам с сохранением их в памяти компьютера и с последующей коррекцией распознаваемого изображения данный способ позволяет приблизить восприятие цветного изображения пользователем различных объектов к реальному цветному их изображению, что расширяет сферу деятельности человека. В частности, дальтоник со специальными очками, подключенными к персональному компьютеру, может различать реальные цвета светофоров и успешно водить машину.

Изобретение относится к области обработки цветных изображений объектов и предназначено для приема, распознавания, визуализации изображений цветных объектов. Сущность изобретения заключается в том, что в компьютер вводят информацию о цветном изображении. Далее производят последовательное сравнение множества пикселей изображения со вторым множеством пикселей, записанным в памяти и характеризующим цветовое пространство устройства визуализации. Осуществляют выделение совпадающих пикселей, по которым формируют и визуализируют соответствующее цветное изображение. Перед вводом в компьютер информации о распознаваемом изображении предварительно формируют и выводят на устройство визуализации информацию об изображении эталонного теста и цветовом восприятии пользователем этого теста в виде изображений пикселей. С помощью оператора определяют идентичность восприятия пользователем эталонного теста и указанного изображения. Изображение корректируют с использованием идентификационной таблицы путем замены координат и цвета пикселей распознаваемого изображения на координаты и цвет соответствующих им модифицированных пикселей. Технический результат заключается в получении изображения с учетом индивидуального восприятия цветовой гаммы пользователем. 3 з.п. ф-лы, 7 ил., 3 табл.

1. Способ компьютерного распознавания и визуального воспроизведения цветных изображений, заключающийся в том, что в компьютер вводят информацию о цветном изображении, преобразуют ее во множество пикселей с соответствующим множеством цветов, производят последовательное сравнение со вторым множеством пикселей, записанных в памяти и характеризующих цветовое пространство устройства визуализации, выделяют совпадающие пиксели, по которым формируют соответствующее цветное изображение, воспроизводят его на устройстве визуализации, которое затем воспринимает оператор, отличающийся тем, что перед вводом в компьютер информации о распознаваемом цветном изображении предварительно формируют и выводят на устройство визуализации информацию о цветовом изображении эталонного теста и цветовом восприятии пользователем этого теста в виде изображений пикселей, по которым с помощью оператора определяют их идентичность, формируют идентификационную таблицу, которую запоминают, а перед воспроизведением распознаваемого изображения на устройстве визуализации его корректируют с использованием идентификационной таблицы путем замены координат и цвета пикселей распознаваемого изображения на координаты и цвет соответствующих им модифицированных пикселей, а затем воспроизводят на устройстве визуализации.2. Способ по п.1, отличающийся тем, что информацию о цветовом восприятии изображения эталонного теста формируют в цветовом пространстве устройства визуализации путем многократного представления элементов изображения эталонного теста пользователю и по его восприятию фиксируют соответствующие этим элементам другие элементы изображения эталонного теста.3. Способ по п.1, отличающийся тем, что идентификационную таблицу формируют в виде строк и столбцов, при этом в строках первого столбца указывают координаты пикселей изображения эталонного теста, в строках второго столбца указывают соответствующие координаты основных пикселей восприятия пользователем изображения эталонного теста, а в строках третьего столбца указывают координаты соответствующих модифицированных пикселей.4. Способ по п.1 или 3, отличающийся тем, что координаты модифицированного пикселя определяют в соответствии с выражением:

a Z3_i определяют из выражения

где

Z31_ik и Z3_i - RGB-пиксели с координатами Z31_ik=(R31_ik, G31_ik, B31_ik), Z3_i=(R3_i,G3_i,B3_i),

Z2_j и Z1_i - RGB-пиксели с координатами Z2_j=(R2j, G2_j, B2_j), Z1_i=(R1_i, G1_i, B1_i),

Z1_i - i-тый исходный пиксель с координатами в системе RGB (R1_i, G1_i, B1_i),

i=1, 2,..., m, a m - количество исходных пикселей;

Z2_i - основной пиксель восприятия оператором для исходного пикселя Z1_i;

Z2_j - произвольный основной j-тый пиксель восприятия оператором, j=1, 2,..., n;

Z3_i - ближайший к пикселю Z1_i из основных пикселей восприятия оператором;

Z31_jk - k-тый пиксель из группы пикселей, имеющих одинаковый основной цвет восприятия Z3_i, a k=1, 2,..., р;

- модифицированный пиксель, обеспечивающий более объективное цветовосприятие пользователем, чем пиксель Z1_i;

ρ(Z31_ik, Z3_i); ρ(Z2_j, Z1_i) - расстояния между соответствующими координатами пикселей в пространстве координат RGB.