СПОСОБ И СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ ЦВЕТА ПО ИЗОБРАЖЕНИЮ Российский патент 2016 года по МПК G06T11/40 G06T7/00 G01J3/46 G06K9/62 

Область техники, к которой относится изобретение

Варианты осуществления изобретения относятся к способу и системе для определения цвета цветового образца по изображению цветового образца.

Уровень техники для примеров изобретения

При выборе цвета краски для декорирования помещения часто случается, что потребитель желает согласовать цвет краски с цветом конкретного элемента, который должен содержаться в помещении, такого как элемент мебели, или декоративные ткани, такие как подушки, диваны, занавески, или подобное. Производители красок обычно предоставляют большие цветовые палитры, а в предприятиях розничной продажи краски предоставляются хорошие цветные дисплеи, чтобы обеспечивать возможность потребителям выбирать цвет. Для пользователя доступны карты цветовых образцов, чтобы забрать их домой и сопоставить с элементом, с которым цвет должен соответствовать. Однако обычно это требует того, чтобы потребитель посетил магазин предприятия розничной продажи краски, собрал цветовые карты, забрал цветовые карты домой и затем попытался сравнить цветовые образцы на цветовых картах с цветом элемента, подлежащего сопоставлению. Потребитель должен затем возвратиться в магазин, как правило, купить тестовые банки краски, возвратиться домой, использовать тестовые банки краски и затем, в конечном счете, сделать решение о покупке. В дополнение, такие стандартные способы полагаются на индивидуальное восприятие потребителя в отношении того, какой цвет является наилучшим соответствующим цветом краски. Однако хорошо известно, что цветовое восприятие значительно изменяется от человека к человеку, так что соответствующий цвет для образца, выбранный одним человеком, не будет казаться соответствующим цветом для другого человека.

Одно потенциальное решение для этой проблемы состоит в том, чтобы пробовать и сопоставлять цвета электронным образом, с использованием цифрового изображения. В этом отношении современные бытовые потребители обычно имеют много устройств захвата цифрового изображения в своем распоряжении, в форме цифровых камер или оснащенных камерой мобильных телефонов.

Однако характеристики захвата цвета обычных доступных в быту устройств захвата изображения, таких как цифровые камеры, мобильные телефоны или подобное, изменяются значительно от устройства к устройству, и, следовательно, точный захват цвета обычно не является возможным. Являются доступными специальные устройства спектрофотометра, которые могут точно измерять цвет, но их нет в распоряжении большинства бытовых потребителей. Обычные бытовые устройства захвата изображения захватывают изображение и представляют цвет с использованием пиксельных значений RGB. Обычно используется 16 бит или 24 бита RGB. Там, где используются значения 16 бит, каждый из красного и синего каналов обычно имеет пять бит, ассоциированных с ним, тогда как зеленый канал имеет шесть бит, ассоциированных с ним. В этом отношении человеческий глаз является более чувствительным к зеленым цветам, чем к красному и синему цветам, и, следовательно, большее количество зеленых цветов могут обнаруживаться. Там, где используются цвета 24 бит, тогда имеется восемь бит, или 256 цветов, в расчете на цветовой канал.

Однако из-за указанных выше различий в устройствах захвата изображения в точном захвате цвета и также в устройствах воспроизведения изображений, таких как мониторы и подобное, в воспроизведении цветов, значения RGB цвета не рассматриваются как стандартные значения. Вместо этого имеются установленные определяющие цвет стандарты, установленные Международной комиссией по освещению (CIE), как, например, трехкоординатные значения X, Y, Z CIE, или так называемые значения CIELAB (L*, a*, b*). Значения CIELAB связаны с трехкоординатными значениями XYZ посредством известной математической формулы. Трехкоординатные значения XYZ сами связаны с длинами волн, присутствующими в конкретном цвете.

Предшествующий уровень техники

Проблема калибровки устройства захвата изображения посредством соотнесения значений RGB, захваченных самим устройством, со стандартными значениями, такими как трехкоординатные значения XYZ, или значения CIELAB, решалась ранее, в US 5150199 и WO 01/25737.

Более конкретно, US 5150199 (Megatronics, Inc.) описывает способ для преобразования или коррелирования числовых значений RGB, созданных посредством разных инструментов, в стандартные трехкоординатные значения. В этом отношении итеративный регрессионный анализ используется, чтобы определять начальные функции, которые преобразуют значения RGB, сгенерированные посредством видеокамеры, из начальных цветов в стандартные трехкоординатные значения XYZ. Затем используется регрессионный анализ, чтобы определять дополнительные функции, которые преобразуют значения RGB, сгенерированные посредством видеокамеры, снимающей дополнительные цвета, другие, нежели начальные цвета, в стандартные значения XYZ. Функции, сгенерированные для видеокамеры, затем используются, чтобы преобразовывать значения RGB, сгенерированные посредством видеокамеры в формировании изображения цветного объекта, в стандартные значения XYZ.

Более конкретно, в US 5150199 как значения RGB, так и значения XYZ определяются по набору цветовых образцов. Значения RGB определяются с использованием стандартной видеокамеры и оборудования оцифровки, выполненного с возможностью обнаружения и записи числовых значений для компонентов RGB каждого цвета. Значения XYZ цветовых образцов определяются посредством использования стандартного колориметра или спектрофотометра.

После захвата этих данных, в качестве первого этапа в анализе выполняется итеративный регрессионный анализ, чтобы находить X как функцию R, Y как функцию G, и Z как функцию B. Этот регрессионный анализ использует так называемые значения "серой шкалы" в цветовых образцах, где значения R, G и B являются приблизительно равными. Результирующие функции являются степенными функциями. После этого, на этапе 2, выполняется многовариантный анализ степенных функций, определяя функции, которые соотносят каждое из X, Y и Z индивидуально ко всем R, G и B. В US 5150199 также описывается дополнительный способ, который приспосабливает функцию Y как функцию красной цветности, хотя это не имеет отношения к данной заявке.

Таким образом, US 5150199 описывает базовый способ для определения характеристики функции передачи захвата цвета устройства захвата изображения, чтобы обеспечивать возможность значениям RGB, захваченным посредством устройства, транслироваться в трехкоординатные значения XYZ. Однако, как отмечено, чтобы использовать компоновку из US 5150199, чтобы определить характеристику захваченного изображения, пользователь должен иметь доступ к колориметру или спектрофотометру, чтобы измерять цвет цветовых образцов, для которых также формируется изображение устройством захвата изображения, у которого определяется характеристика. Обычно, в сценарии использования, очерченного в разделе уровня техники выше, пользователь не будет иметь доступ к такому специальному оборудованию, такому как колориметр или спектрофотометр. Следовательно, способ из US 5150199 является в значительной степени экспериментальным.

Однако источник WO 01/25737 частично решает эти недостатки из US 5150199. WO 01/25737 также описывает сопоставление захваченных значений RGB со стандартными колориметрическими данными и, в частности, сопоставление со значениями CIELAB. Математический анализ, описанный в WO 01/25737, является, по существу, таким же, как тот, что описан в US 5150199, хотя WO 01/25737 вводит понятие калибровочного шаблона известных цветов, колориметрические данные для которых являются известными. Для неизвестного цвета, подлежащего измерению, затем формируется изображение одновременно с калибровочным шаблоном. Калибровочный шаблон содержит в одном примере 65 известных цветов и в другом примере 37 известных цветов, распределенных по цветовому пространству. Посредством захвата значений RGB калибровочных цветов можно вычислить математическую модель, необходимую, чтобы преобразовывать измеренные сигналы известных цветов в колориметрические данные (например, значения CIELab). Как только эта модель получена, цвета (в цветовом пространстве CIELab) любых неизвестных цветов в изображении могут тогда определяться из их значений RGB.

Источник WO 01/25737 описывает, что изображение цветового образца, подлежащего определению, захватывается в то же время, что и калибровочный шаблон, с использованием, например, планшетного сканера или цифровой камеры. Захваченное изображение затем обрабатывается, чтобы определять неизвестные цвета в изображении. Компоновка описывается как являющаяся особенно полезной в индустрии ремонта машин. В этом отношении цвет автомобиля, подлежащего ремонту, измеряется с использованием электронного устройства формирования изображений. До этого или в одно и то же время делается запись панели, на которой нанесены разные калибровочные цвета. Колориметрические данные цвета автомобиля затем вычисляются и затем находится цветовая формула, которая будет давать цвет, идентичный цвету автомобиля, подлежащего ремонту. Цветовая формула подготавливается в дозаторе и затем применяется.

Источник WO 01/25737 поэтому описывает компоновку, подлежащую использованию в профессиональных ситуациях, таких как ремонт машин или окрасочные цеха. Как таковой источник WO 01/25737 не решает все проблемы, относящиеся к проблемам, таким как изменение освещения по захваченному изображению, нахождение изображения в некорректной ориентации, или случаи, когда цветовой образец фактически содержит разные цвета пространственно смешанные по образцу. В противоположность описанному, в бытовой ситуации могут происходить все из этих нестандартных ситуаций.

Другие документы предшествующего уровня техники для изобретения включают в себя WO 02/13136, WO 2008/108763 и WO 2004/028144.

Сущность примеров изобретения

Варианты осуществления изобретения решают некоторые из отмеченных выше проблем и относятся к определению цвета цветового образца по изображению цветового образца, при этом изображение обычно (хотя не исключительно) захватывается неквалифицированным пользователем с использованием неспециального оборудования. В одном варианте осуществления обеспечивается карта захвата цветовых образцов, имеющая напечатанные на ней цветовые образцы известного цвета (например, трехкоординатные значения XYZ). Изображение тестового цветового образца затем захватывается с использованием доступного в быту оборудования, такого как потребительская цифровая камера или оснащенный камерой мобильный телефон, при этом изображение также содержит карту захвата цветовых образцов. В одном варианте осуществления изображение затем передается в удаленную службу цветового определения для цветового определения цветового образца. Регрессионный анализ выполняется с использованием цветовых образцов RGB в изображении и его известных цветов XYZ, чтобы определить характеристику отклика захвата цвета устройства захвата изображения. После определения характеристики устройства захвата изображения цвет XYZ неизвестного цветового образца может определяться из его цвета RGB в изображении. Зная цвет XYZ, цвет может затем точно сопоставляться с палитрой цветов краски, чтобы определять цвет краски, который соответствует неизвестному цвету. В дополнение, в палитре красок могут идентифицироваться комплементарные (дополнительные) цвета.

В выполнении вышеописанного, в одном варианте осуществления могут учитываться различия в пространственной яркости по изображению. В другом варианте осуществления ошибки расположения карты в изображении также корректируются до обработки, с использованием устранения искажения изображения и вращательных преобразований. В дополнительном варианте осуществления цвет XYZ вычисляется в два прохода, с использованием информации из первого прохода, чтобы обеспечивать информацию для второго прохода. В еще дополнительном варианте осуществления, где цветовой образец фактически содержит более чем один цвет, индивидуальные цвета определяются с использованием способов кластеризации, чтобы идентифицировать доминирующие цвета в образце.

Ввиду вышеописанного, первый аспект изобретения обеспечивает способ, содержащий: прием первых данных изображения, относящихся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться; и прием вторых данных изображения, относящихся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны. Затем определяются множество характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответственными известными колориметрическими данными калибровочных цветовых образцов; и колориметрические данные неизвестного цветового образца вычисляются в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки. Определенные колориметрические данные неизвестного цветового образца могут затем сопоставляться с цветовой палитрой цветов краски, чтобы идентифицировать соответствующий цвет краски, и информация, относящаяся к соответствующему цвету краски, предоставляется пользователю.

В одном варианте осуществления первые данные изображения и вторые данные изображения принимаются от удаленного пользователя посредством телекоммуникационной сети. В дополнение, информация, относящаяся к соответствующему цвету краски, предоставляется пользователю посредством телекоммуникационной сети. Таким образом, сопоставление цветов краски с неизвестным цветовым образцом может обеспечиваться с использованием удаленной службы.

В одном варианте осуществления первые данные изображения и вторые данные изображения принимаются как любое из: i) сообщение электронной почты; ii) сообщение MMS; и/или iii) как данные изображения в Веб-странице. В дополнение, информация, относящаяся к соответствующему цвету краски, может также обеспечиваться как любое из i) сообщение электронной почты; ii) сообщение MMS; iii) сообщение SMS и/или iv) данные в Веб-странице. Такие протоколы связи способствуют обеспечению службы сопоставления краски удаленно, что хорошо знакомо пользователям и является легким для использования.

В одном варианте осуществления первые данные изображения и вторые данные изображения создаются пользователем с использованием устройства захвата изображения; при этом устройство захвата изображения является предпочтительно любым из: i) цифровой камерой; ii) оснащенным камерой мобильным телефоном; и/или iii) цифровой записывающей видеокамерой. Снова, для обычного пользователя такое оборудование легко получить в распоряжение, и пользователь хорошо знаком с работой такого оборудования.

В одном варианте осуществления определенные колориметрические данные и/или известные колориметрические данные являются трехкоординатными значениями XYZ. Трехкоординатные значения XYZ определяют фиксированные и конкретные стандартизированные цвета.

В одном варианте осуществления могут определяться комплементарные цвета для соответствующего цвета, и информация, относящаяся к определенным комплементарным цветам, предоставляется пользователю. Посредством обеспечения комплементарных цветов цветовые схемы могут более легко определяться.

В одном варианте осуществления, по меньшей мере, вторые данные изображения ориентируются в известной ориентации, чтобы обеспечивать возможность для распознавания известных калибровочных цветовых образцов. Автоматическое ориентирование данных изображения обеспечивает возможность упрощенного использования для конечного пользователя, так как захваченные вторые данные изображения не должны захватываться в любой конкретной требуемой ориентации.

В этом варианте осуществления ориентирование предпочтительно содержит выполнение обнаружения границ, чтобы идентифицировать местоположение набора известных калибровочных цветовых образцов во вторых данных изображения. В дополнение, ориентирование может дополнительно содержать идентификацию множества предварительно определенных точек, относящихся к набору известных калибровочных цветовых образцов во вторых данных изображения. Как только эти известные точки идентифицируются, ко вторым данным изображения может применяться преобразование перспективы в зависимости от местоположения идентифицированных точек, чтобы устранять искажения изображения набора известных калибровочных цветовых образцов.

Более того, в этом варианте осуществления ориентирование может дополнительно содержать идентификацию предварительно определенных меток вращательной ориентации, относящихся к набору известных калибровочных цветовых образцов во вторых данных изображения. Вторые данные изображения могут затем вращаться в зависимости от местоположения идентифицированных меток вращательной ориентации, так что известные калибровочные цветовые образцы помещаются в известное положение во вторых данных изображения.

В одном варианте осуществления могут также компенсироваться яркостные различия по набору известных калибровочных цветовых образцов. Это обеспечивает возможность захватывать данные изображения в неуправляемых условиях освещения, где может быть неодинаковое освещение по изображению. Снова, это обеспечивает простоту использования для конечного пользователя.

В этом варианте осуществления компенсация может содержать определение первого набора одной или более функций, имеющих первый набор калибровочных коэффициентов, при этом упомянутая одна или более функций соотносят измеренные цвета известных калибровочных цветовых образцов из вторых данных изображения с известными колориметрическими данными калибровочных цветовых образцов и известным положением каждого известного образца в изображении. Определенные функции затем анализируются, чтобы находить второй набор функций, имеющих второй набор калибровочных коэффициентов. Первый и второй наборы функций и калибровочных коэффициентов затем используются в вычислении колориметрических данных неизвестного цветового образца.

В этом варианте осуществления анализ может содержать вычисление промежуточных цветовых значений для, по существу, каждого известного калибровочного цветового образца и затем использование вычисленных промежуточных цветовых значений, чтобы определять второй набор функций, имеющих второй набор калибровочных коэффициентов.

Более конкретно, вычисленные промежуточные цветовые значения подвергаются многовариантной подгонке, чтобы определять второй набор функций, имеющих второй набор калибровочных коэффициентов. Предпочтительно многовариантная подгонка имеет форму:

В дополнение, более предпочтительно компенсация яркости дополнительно содержит, до определения первого набора функций, определение предшествующего набора функций, имеющих предшествующий набор калибровочных коэффициентов, которые соотносят измеренные цвета известных калибровочных цветовых образцов из вторых данных изображения с известными колориметрическими данными калибровочных цветовых образцов без учета положения известных цветовых образцов. Предшествующий набор калибровочных коэффициентов затем используются как часть первого набора калибровочных коэффициентов в определении первого набора одной или более функций. В одном варианте осуществления предпочтительно предшествующий набор калибровочных коэффициентов находится с только использованием образцов серой шкалы.

В одном варианте осуществления характеристики цветовой калибровки определяются с использованием N известных калибровочных цветовых образцов, при этом N является меньшим, чем полное количество известных калибровочных цветовых образцов по всему цветовому пространству. В некоторых обстоятельствах это может обеспечивать более точные результаты.

Более предпочтительно, в вышеописанном варианте осуществления N известных калибровочных цветовых образцов являются теми N образцами, которые являются самыми близкими в цветовом пространстве к оцененному цвету неизвестного цветового образца. Это эффективно обеспечивает возможность осуществлять "приближение к" цветовому пространству, при определении характеристик цветовой калибровки, так что часть цветового пространства, которая содержит неизвестный цветовой образец, характеризуется более точно.

В вышеописанном варианте осуществления оцененный цвет может получаться посредством определения первого набора калибровочных характеристик с использованием всех доступных известных калибровочных цветовых образцов и вычисления оцененного цвета с использованием первого набора калибровочных характеристик. Затем выполняется "второй проход" обработки, с использованием N ближайших известных калибровочных цветовых образцов для оцененного цвета. Таким образом, используется подход обработки в два прохода, который обеспечивает возможность определять характеристику общего цветового пространства и затем более детально определять характеристику части пространства, содержащего неизвестный цветовой образец, чтобы обеспечивать более точные результаты.

Альтернативно, N известных калибровочных цветовых образцов являются N образцами, используемыми в ограниченном цветовом пространстве, для которого известно, что его представляют вторые данные изображения. В этом отношении может быть, что известно, что известные калибровочные цветовые образцы находятся внутри ограниченной части цветового пространства, например могут все быть красными или синими. То есть если пытаться сопоставлять красный цвет, то пользователь использует известные калибровочные цветовые образцы, которые являются преобладающе красными или близкими к красным, чтобы тем самым ограничивать часть цветового пространства устройства захвата, характеристику которого необходимо определить.

В дополнительной альтернативе N известных калибровочных цветовых образцов являются теми N образцами, которые имеют измеренные цветовые значения из вторых данных изображения, которые являются наиболее подобными измеренному цветовому значению неизвестного образца из первых данных изображения. Например, могут использоваться N известных калибровочных цветовых образцов, которые имеют самые близкие значения RGB или sRGB к неизвестному цветовому образцу.

В вышеописанных вариантах осуществления N находится предпочтительно в диапазоне от, по существу, 5 до, по существу, 250, или более предпочтительно от, по существу, 10 до, по существу, 100, или более предпочтительно от, по существу, 20 до, по существу, 85, или более предпочтительно от, по существу, 30 до, по существу, 70, или более предпочтительно от, по существу, 40 до, по существу, 60, или наиболее предпочтительно равно или около 50. В другом варианте осуществления тогда могут использоваться разные числа или диапазоны для N.

В одном варианте осуществления изобретения алгоритм кластеризации может применяться к пиксельным значениям пикселей, представляющих неизвестный цветовой образец в первом изображении, чтобы определять количество цветов в изображении образца и цвет, идентифицированный для каждого идентифицированного кластера. С таким вариантом, если неизвестный цветовой образец содержит более чем один цвет, то либо может идентифицироваться доминирующий цвет и/или отдельно идентифицироваться индивидуальные цвета.

В этом варианте осуществления пиксельные значения сначала калибруются с использованием характеристик цветовой калибровки. Это имеет эффект гарантии, что алгоритм кластеризации работает с реальными цветами в цветовом образце. Предпочтительно пиксельные значения калибруются, чтобы определять значения L*a*b* или XYZ для кластеризации.

Алгоритм кластеризации при использовании может затем работать посредством: i) вычисления среднего значения пикселей в кластере; ii) затем определения количества пикселей в пределах предварительно определенного порогового расстояния среднего значения; и затем iii) увеличения количества кластеров, если определенное количество пикселей является меньшим, чем предварительно определенная доля количества пикселей в первых данных изображения, относящихся к неизвестному образцу. Таким образом, становится возможным идентифицировать разные цвета в образце, при этом каждый идентифицированный кластер относится к соответственному индивидуальному цвету, и также иметь уверенность, что наблюдалось достаточно пикселей, чтобы идентифицировать доминирующие цвета.

Там, где имеется более чем один кластер, определение количества пикселей в пределах предварительно определенного порогового расстояния среднего значения содержит суммирование соответствующего количества пикселей в пределах предварительно определенного порога каждого кластера, при этом количество кластеров увеличивается, если эта сумма является меньшей, чем предварительно определенная доля. Снова это обеспечивает, что наблюдалось достаточно пикселей, чтобы иметь уверенность, что доминирующие цвета были идентифицированы.

Чтобы обеспечивать, что доминирующие или важные цвета в образце обнаруживаются, вариант осуществления может также фильтровать кластеры, чтобы удалять те кластеры из рассмотрения, которые не содержат порогового количества пикселей в пределах второго порогового расстояния среднего у кластера. Следовательно, только цветовые кластеры с маленьким количеством пикселей не идентифицируются как доминирующие или важные цвета в образце.

Настоящее описание также описывает способ, содержащий: прием первых данных изображения, относящихся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться; прием вторых данных изображения, относящихся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых являются уже известными; определение множества характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответственными известными колориметрическими данными калибровочных цветовых образцов; и вычисление колориметрических данных неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки; при этом способ характеризуется тем, что дополнительно содержит ориентирование, по меньшей мере, вторых данных изображения в известную ориентацию, чтобы там обеспечивать возможность для распознавания известных калибровочных цветовых образцов.

Настоящее описание также описывает способ, содержащий: прием первых данных изображения, относящихся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться; прием вторых данных изображения, относящихся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны; определение множества характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответственными известными колориметрическими данными калибровочных цветовых образцов; и вычисление колориметрических данных неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки; при этом способ характеризуется тем, что дополнительно содержит компенсирование яркостных различий по набору известных калибровочных цветовых образцов в определении множества характеристик цветовой калибровки.

Настоящее описание также описывает способ, содержащий: прием первых данных изображения, относящихся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться; прием вторых данных изображения, относящихся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны; определение множества характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответственными известными колориметрическими данными калибровочных цветовых образцов; и вычисление колориметрических данных неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки; при этом способ характеризуется тем, что характеристики цветовой калибровки определяются с использованием N известных калибровочных цветовых образцов, при этом N является меньшим, чем полное количество известных калибровочных цветовых образцов по всему цветовому пространству.

Настоящее описание также описывает способ, содержащий: прием первых данных изображения, относящихся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться; прием вторых данных изображения, относящихся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны; определение множества характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответственными известными колориметрическими данными калибровочных цветовых образцов; и вычисление колориметрических данных неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки; при этом способ характеризуется тем, что вычисление дополнительно содержит: применение алгоритма кластеризации к пиксельным значениям пикселей, представляющих неизвестный цветовой образец в первом изображении, чтобы определять количество цветов в изображении образца; и возвращение цвета для каждого идентифицированного кластера.

Из второго аспекта изобретения также обеспечивается устройство, содержащее: по меньшей мере, один процессор; и, по меньшей мере, одно запоминающее устройство, включающее в себя компьютерный программный код, при этом упомянутые, по меньшей мере, одно запоминающее устройство и компьютерный программный код сконфигурированы с возможностью, с помощью упомянутого, по меньшей мере, одного процессора, побуждать устройство выполнять, по меньшей мере, следующее: i) принимать первые данные изображения, относящиеся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться, и вторые данные изображения, относящиеся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны; ii) определять множество характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответственными известными колориметрическими данными калибровочных цветовых образцов; iii) вычислять колориметрические данные неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки; iv) сопоставлять определенные колориметрические данные неизвестного цветового образца с цветовой палитрой цветов краски, чтобы идентифицировать соответствующий цвет краски, и v) предоставлять информацию, относящуюся к соответствующему цвету краски, пользователю.

Настоящее описание также описывает систему, содержащую: приемник данных, который при использовании принимает первые данные изображения, относящиеся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться, и вторые данные изображения, относящиеся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны; процессор, который при использовании: i) определяет множество характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответственными известными колориметрическими данными калибровочных цветовых образцов; и ii) вычисляет колориметрические данные неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки; при этом первые данные изображения и вторые данные изображения принимаются от удаленного пользователя посредством телекоммуникационной сети.

Настоящее описание также описывает систему, содержащую: приемник данных, который при использовании принимает первые данные изображения, относящиеся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться, и вторые данные изображения, относящиеся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны; процессор, который при использовании: i) определяет множество характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответственными известными колориметрическими данными калибровочных цветовых образцов; и ii) вычисляет колориметрические данные неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки; при этом система характеризуется тем, что процессор дополнительно выполнен с возможностью ориентировать, по меньшей мере, вторые данные изображения в известную ориентацию, чтобы обеспечивать возможность для распознавания известных калибровочных цветовых образцов там.

Настоящее описание также описывает систему, содержащую: приемник данных, который при использовании принимает первые данные изображения, относящиеся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться, и вторые данные изображения, относящиеся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны; процессор, который при использовании: i) определяет множество характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответственными известными колориметрическими данными калибровочных цветовых образцов; и ii) вычисляет колориметрические данные неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки; при этом система характеризуется тем, что процессор дополнительно выполнен с возможностью, чтобы компенсировать яркостные различия по набору известных калибровочных цветовых образцов в определении множества характеристики цветовой калибровки.

Настоящее описание также описывает систему, содержащую: приемник данных, который при использовании принимает первые данные изображения, относящиеся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться, и вторые данные изображения, относящиеся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны; процессор, который при использовании: i) определяет множество характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответственными известными колориметрическими данными калибровочных цветовых образцов; и ii) вычисляет колориметрические данные неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки; при этом система характеризуется тем, что характеристики цветовой калибровки определяются с использованием N известных калибровочных цветовых образцов, при этом N являются меньшим, чем полное количество известных калибровочных цветовых образцов по всему цветовому пространству.

Настоящее описание также описывает систему, содержащую: приемник данных, который при использовании принимает первые данные изображения, относящиеся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться, и вторые данные изображения, относящиеся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны; процессор, который при использовании: i) определяет множество характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответствующими известными колориметрическими данными калибровочных цветовых образцов; и ii) вычисляет колориметрические данные неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки; при этом система характеризуется тем, что процессор дополнительно выполнен с возможностью при использовании, чтобы: применять алгоритм кластеризации к пиксельным значениям пикселей, представляющих неизвестный цветовой образец в первом изображении, чтобы определять количество цветов в изображении образца; и возвращать цвет для каждого идентифицированного кластера.

Дополнительные аспекты и признаки настоящего изобретения будут видны из прилагаемой формулы изобретения.

Краткое описание чертежей

Дополнительные признаки и преимущества примеров изобретения станут видны из последующего описания конкретных вариантов осуществления изобретения, представленных только в качестве примера, и со ссылкой на сопровождающие чертежи, где аналогичные ссылочные позиции указывают на аналогичные части, и при этом:

фиг. 1 - это блок-схема системы согласно одному варианту осуществления изобретения;

фиг. 2 - это рисунок карты цветовых калибровочных образцов, используемой в одном варианте осуществления изобретения;

фиг. 3 - это диаграмма последовательности операций обработки, выполняемой в одном варианте осуществления изобретения;

фиг. 4 - это диаграмма последовательности операций и ассоциированные чертежи, иллюстрирующие обработку ориентации изображения, используемую в одном варианте осуществления изобретения;

фиг. 5 - это диаграмма последовательности операций, описывающая обработку цветовой калибровки, используемую в одном варианте осуществления изобретения;

фиг. 6 - это диаграмма последовательности операций, иллюстрирующая обработку множественных проходов, используемую в одном варианте осуществления изобретения;

фиг. 7 - это диаграмма последовательности операций, иллюстрирующая часть обработки калибровки пространственной яркости, используемой в одном варианте осуществления изобретения;

фиг. 8 - это диаграмма последовательности операций, иллюстрирующая обработку кластеризации, используемую в одном варианте осуществления изобретения;

фиг. 9 - это диаграмма, демонстрирующая использование обработки кластеризации, используемой в одном варианте осуществления изобретения;

фиг. 10 - это другая диаграмма, иллюстрирующая использование обработки кластеризации, используемой в одном варианте осуществления изобретения;

фиг. 11 - это фотография экспериментального шаблона образца цветовой калибровки, используемого для тестов одного варианта осуществления изобретения;

фиг. 12 - это график, показывающий степенную подгонку серой шкалы, полученную из обработки калибровки в течение теста одного варианта осуществления изобретения;

фиг. 13-15 являются графиками регрессионных подгонок степенной функции для X, Y и Z на основе степенных функций, показанных на фиг. 12;

фиг. 16 - это график подгонки серой шкалы с использованием многочлена второго порядка;

фиг. 17 - это график подгонки серой шкалы с использованием многочлена четвертого порядка с наложенным ограничением пересечения в нуле; и

фиг. 18-20 являются графиками тестовых результатов, полученных из одного варианта осуществления, где выполняется второй проход обработки.

Описание конкретных вариантов осуществления

Различные примеры изобретения теперь будут описываться со ссылками на сопровождающие чертежи.

1. Первый вариант осуществления - удаленное определение цвета

Фиг. 1 - это блок-схема системы согласно первому варианту осуществления настоящего изобретения. Система имеет элементы пользовательской стороны и внутренние элементы стороны сервера. Элементы пользовательской стороны используются, чтобы захватывать изображение цветового образца, подлежащего определению, вместе с изображением калибровочных цветовых образцов, колориметрические данные которого являются известными. Элементы стороны сервера или внутренние относятся к обработке элементов, которые принимают данные изображения, обрабатывают данные изображения, определяют цвет неизвестного цвета образца, сопоставляют цвет с палитрой красок и затем возвращают соответствующий цвет из палитры пользователю.

В этом отношении первый вариант осуществления настоящего изобретения направлен на обеспечение системы, которая обеспечивает возможность бытовому потребителю, или другому пользователю, точно идентифицировать цвет неизвестного цветового образца. Чтобы выполнить это, пользователь получает карту калибровочных цветовых образцов, например, по почте, или посредством посещения розничного магазина краски, где они имеются в наличии. Карта калибровочных цветовых образцов имеет вырезанную часть, в которую может помещаться объект, цвет которого подлежит определению. Пользователь затем захватывает изображение карты калибровочных цветовых образцов, с объектом, цвет которого подлежит определению, в вырезанной части, с использованием легкодоступных устройств захвата изображения, таких как цифровая камера или оснащенный камерой мобильный телефон. Изображение затем передается пользователем, например, посредством электронной почты, службы передачи мультимедийных сообщений (MMS), или с использованием Веб-интерфейса, во внутренний сервер, где оно обрабатывается, цвет неизвестного цветового образца определяется, и информация передается назад пользователю относительно соответствующего цвета краски. В дополнение, информация относительно комплементарных (дополнительных) цветов краски с тем, чтобы построить схему цвета краски, может также передаваться назад пользователю.

Фиг. 1 иллюстрирует элементы такой системы более подробно. Начиная на пользовательском конце, пользователь получает карту 24 калибровочных цветовых образцов, например, от локального предприятия розничной продажи краски, или посылает запрос на нее по почте. Карта 24 калибровочных цветовых образцов содержит некоторое количество индивидуальных цветовых образцов 242, пространственно распределенных по карте, цвета цветовых образцов 242 также являются распределенными по цветовому пространству. Карта 24 калибровочных цветовых образцов имеет вырезанную часть 244, показанную на фиг. 1, расположенную в середине, но которая в других вариантах осуществления может располагаться где угодно на карте, в которую, при использовании, помещается объект, образец которого необходимо взять, или карта помещается над объектом, образец которого необходимо взять, так что часть объекта, образец которого необходимо взять, показывается через вырезанную часть 244. Дополнительные детали карты 24 калибровочных цветовых образцов будут описываться позже со ссылками на фиг. 2.

При использовании, как отмечено, пользователь помещает карту 24 калибровочных цветовых образцов над объектом, цвет которого должен определяться. Пользователь затем использует устройство захвата изображения, такое как цифровая камера или мобильный телефон, обеспеченный камерой, так, чтобы сделать изображение карты 24 калибровочных цветовых образцов с неизвестным цветовым образцом, подлежащим определению, также расположенным на изображении. Как показано на фиг. 1, может использоваться пользовательское устройство 12 захвата изображения, такое как цифровая камера или пользовательское мобильное устройство 14, оснащенное устройством захвата изображения, таким как встроенная камера.

Как только пользователь захватывает изображение, пользователь должен затем передать изображение во внутренний сервер 10 для обработки изображений. Могут использоваться различные разные технологии передачи, чтобы передавать данные изображения во внутренний сервер 10, и варианты осуществления изобретения не ограничены теми, что описаны. Например, пользователь может загружать захваченное изображение из цифровой камеры 12 на его или ее компьютер 16, при этом компьютер 16 подсоединен к сети 22 Интернет посредством локальной сети, как, например, маршрутизатор 18 WiFi. Затем, пользователь может использовать компьютер 16, чтобы посылать электронную почту изображения как вложение на адрес электронной почты, который относится к внутреннему серверу 10.

Альтернативно, внутренний сервер 10, посредством сетевого интерфейса, может обеспечивать выделенную Веб-страницу, которая может загружаться посредством компьютера 16 и отображаться посредством программы браузера и в которую могут помещаться данные изображения, так чтобы посылаться назад во внутренний сервер 10.

Альтернативный маршрут к внутреннему серверу обеспечивается там, где пользователь использует мобильный телефон, чтобы захватывать изображение. Некоторые мобильные устройства, часто известные как смартфоны, имеют функциональность WiFi и могут использоваться, чтобы посылать электронную почту или осуществлять доступ к Веб-страницам таким же способом, как портативный или настольный компьютер. В этом случае пользовательское мобильное устройство используется как портативный компьютер и изображение, захваченное таким образом, может посылаться посредством электронной почты или как данные, введенные в Веб-страницу, назад во внутренний сервер. Альтернативно, пользовательское мобильное устройство может использовать свой сотовый радиоинтерфейс, чтобы посылать данные изображения во внутренний сервер 10. В этом случае, данные изображения могут посылаться, например, как сообщение службы передачи мультимедийных сообщений (MMS) посредством сотовой сети 26 в мобильный шлюз 20, который затем передает данные изображения во внутренний сервер 10. В этом отношении конкретный контактный номер может предоставляться и делаться известным пользователю (например, печататься на карте 24 калибровочных цветовых образцов), на который могут посылаться сообщения MMS.

Внутренний сервер 10 содержит сетевой интерфейс 102, соединенный с сетью 22, для приема данных изображения от пользователей и передачи к нему цветовых соответствующих данных, как будет описываться. Внутренний сервер 10 дополнительно содержит процессор 104, исполняющий программы, чтобы выполнять цветовое определение и, в общем, управляет работой внутреннего сервера 10. Рабочее запоминающее устройство 106 обеспечивается для использования посредством процессора, в котором данные могут временно храниться.

Также во внутреннем сервере 10 обеспечивается машиночитаемый носитель 108, который формирует долговременное хранилище, в котором могут храниться данные и программы. Например, машиночитаемый носитель 108 может быть жестким диском или может, например, быть твердотельным устройством хранения. На машиночитаемом носителе 108 хранится некоторое количество программ управления. В этом первом варианте осуществления обеспечивается модуль 104 управления цветовым сопоставлением, который управляет всей работой системы и вызывает другие модули, чтобы выполнять операции, как и когда требуется. Дополнительно в первом варианте осуществления обеспечивается модуль 118 калибровки, который принимает команды управления от модуля 114 управления цветовым сопоставлением в установленном порядке, и исполняется процессором 104 так, чтобы выполнять функцию калибровки и, в частности, чтобы выполнять необходимый регрессионный анализ, так, чтобы иметь возможность характеризовать характеристики захвата цвета устройства захвата изображения, используемого пользователем. Дополнительные детали работы модуля 118 калибровки будут даваться позже.

В других вариантах осуществления могут обеспечиваться дополнительные модули, такие как модуль 116 ориентирования изображения или модуль 120 кластеризации. Работа этих дополнительных модулей будет описываться позже, в отношении имеющего отношение варианта осуществления.

Дополнительно во внутреннем сервере 10 обеспечивается дополнительный машиночитаемый носитель 110 информации, который может также принимать форму жесткого диска, твердотельного устройства хранения или подобного. В этом отношении второй машиночитаемый носитель 110 информации может фактически быть таким же носителем, как носитель 108, и может являться, например, разделом того же жесткого диска, который составляет первый машиночитаемый носитель 108 информации. Второй компьютерный носитель 110 информации, однако, хранит цветовую базу данных, содержащую колориметрические данные, относящиеся к цветовым образцам на карте 24 калибровочных цветовых образцов. Могут храниться несколько наборов таких данных, относящихся к разным картам 24 калибровочных цветовых образцов, которые могут быть доступными. Для каждой карты 24 калибровочных цветовых образцов хранится ID карты, и затем для каждого известного цветового образца на карте хранятся известные трехкоординатные значения XYZ, вместе с координатами x, y местоположения цветового образца, имеющего эти трехкоординатные значения на карте. Поэтому будет столько наборов координатных значений и ассоциированных трехкоординатных значений, сколько имеется фрагментов цветовых образцов на карте 24 калибровочных цветовых образцов.

Фиг. 2 иллюстрирует образец 24 карты калибровочных цветов более подробно. В частности, карта 24 калибровочных цветовых образцов имеет кромку 248 на ее внешней границе и затем имеет напечатанные на ней фрагменты цветовых образцов известного цвета. Фрагменты цветовых образцов расположены так, что фрагменты 250 вокруг внешней границы области фрагментов цветовых образцов являются фрагментами серой шкалы, т.е. они простираются от черного через различные цвета серой шкалы к белому. Они должны захватываться устройством захвата изображения, таким как цифровая камера, с, по существу, равными значениями RGB. Они являются полезными в выполнении коррекции пространственной яркости, как будет описываться в более позднем варианте осуществления.

Фрагменты 242 цветовых образцов, расположенные дальше внутрь от границ карты 24 калибровочных цветовых образцов, являются цветовыми фрагментами, каждый из которых имеет известное трехкоординатное цветовое значение. В этом отношении цветовые фрагменты должны печататься настолько точно, насколько возможно к требуемым трехкоординатным значениям. Альтернативно, карты калибровочных цветов могут печататься, и затем каждый фрагмент измеряться, так, чтобы определять его значения XYZ, с использованием, например, спектрофотометра. Цвета фрагментов 242 цветовых образцов предпочтительно распределяются по всему цветовому пространству. Однако в других вариантах осуществления, подлежащих описанию позже, цвета могут концентрироваться внутри конкретной области цветового пространства.

Карта 24 также снабжается некоторым типом метки 246 идентификации, которая может быть штрих-кодом или некоторой другой доверительной меткой, такой как печатное имя, символ или подобное. Это используется, чтобы идентифицировать, какая карта используется пользователем, так что корректные данные цветовой карты могут выбираться для использования.

В заключение, карта 24 калибровки имеет вырезанную часть 244, здесь показанную в середине. Однако положение вырезанной части не является важным, и она может располагаться где угодно на карте и даже на границах. Более того, не является существенным, что имеется вырезанная часть; В этом отношении карта 24 калибровочных цветовых образцов может просто помещаться рядом с объектом или образцом, цвет которого подлежит определению, хотя это является менее предпочтительным.

При использовании, как отмечено, пользователь получает карту 24 калибровочных цветовых образцов, например, от предприятия розничной продажи краски, и затем помещает карту 24 калибровки так, что вырезанная часть находится над цветом, образец которого необходимо взять, например цвет диванной подушки, занавески, элемента мебели или подобного. В этом отношении карта 24 помещается сверху или напротив объекта, цвет которого необходимо взять в качестве образца, так что его цвет показывается через вырезанную часть 244. С использованием мобильного телефона, цифровой камеры или подобного, пользователь затем делает неподвижное изображение объекта, образец которого необходимо взять, с картой захвата цвета в изображении, и посылает его во внутренний сервер 10, с использованием различных маршрутов связи, описанных ранее, таких как MMS, электронная почта, или с использованием Веб-доступа.

Фиг. 3 показывает обработку, выполняемую во внутреннем сервере 10, более подробно.

Сначала данные 32 изображения, посылаемые пользователем, принимаются на сетевом интерфейсе 102 внутреннего сервера 10. Внутренний сервер 10 управляется модулем 114 управления цветовым сопоставлением, исполняющимся на процессоре 104. Когда данные изображения принимаются, модуль 114 управления цветовым сопоставлением сначала, необязательно, выполняет обработку изображений, чтобы определить местоположение для и ориентировать карту 24 калибровочных цветовых образцов внутри изображения 32. Это выполняется на этапе 3.2 и является необязательным, так как может быть, что в зависимости от данных пользователю инструкций этот этап не требуется. Например, карта 24 калибровочных цветовых образцов может приходить с инструкциями пользователю захватывать изображение так, что положение карты внутри изображения является неперекошенным. В дополнение, пользователь может инструктироваться обрезать изображение, так что изображение является изображением только карты 24 калибровки в известной вращательной ориентации, перед тем как оно посылается во внутренний сервер 10. Если пользователь обеспечивается такими инструкциями и выполняет их, то не будет необходимости выполнять какие-либо процедуры определения местоположения или ориентирования карты. В этом случае, поэтому, принятое изображение 32 будет изображением только карты калибровки с неизвестным образцом в известной ориентации, т.е. оно будет изображением 34 карты для карты и образца.

Как только изображение 34 карты получено, модуль 114 управления цветовым сопоставлением управляет процессором 104, чтобы запускать модуль 118 калибровки, чтобы выполнять регрессионный анализ, чтобы характеризовать характеристики захвата цвета устройства захвата изображения пользователя. Регрессионный анализ, используемый в настоящем варианте осуществления является, по существу, таким же, как описано ранее в US 5150199 и WO 01/25737, и показывается более подробно на фиг. 5. В отношении фиг. 3, регрессионный анализ, чтобы характеризовать устройство, выполняется на этапе 3.4, со ссылкой на размещение 35 карты калибровки, известное из данных 112 цветовой карты, сохраненных в цветовой базе 110 данных.

Итеративный регрессионный алгоритм включает в себя два индивидуальных этапа обработки следующим образом.

Этап 1: Определение 3 отношений между каждым из измеренных компонентов R, G и B и известными компонентами X, Y и Z с использованием цветовых образцов серой шкалы на карте 24 калибровочных цветовых образцов, т.е.

- X как функции R (именованная функция R₁).

- Y как функции G (именованная функция G₁).

- Z как функции B (именованная функция B₁).

Подгонка степенной кривой может использоваться в отношении данных серой шкалы, чтобы получать отношения R₁, G₁, B₁ на этапе 1 выше. Является также возможным использовать подгонки полиномиальной кривой, либо 2-го, либо 4-го или более высоких порядков.

Этап 2: Определение многовариантных линейных отношений между каждым из известных компонентов X, Y и Z и тремя функциями, определенными на этапе 1 выше, т.е.

- X как функции R₁, G₁, B₁ (именованная функция X₁).

- Y как функции R₁, G₁, B₁ (именованная функция Y₁).

- Z как функции R₁, G₁, B₁ (именованная функция Z₁).

Этап 2 в алгоритме выполняет многовариантную регрессию X, Y и Z в отношении к подгонкам R₁, G₁ и B₁ степенной кривой, полученным на этапе 1, т.е.

X=f(R₁, G₁, B₁)

Y=f(R₁, G₁, B₁)

Z=f(R₁, G₁, B₁)

или

X=a+b.R₁+c.G₁+d.B₁

Y=a+b.R₁+c.G₁+d.B₁

Z=a+b.R₁+c.G₁+d.B₁

где a, b, c и d являются постоянными коэффициентами. Три многовариантные регрессионные подгонки для X, Y и Z обозначаются X₁, Y₁ и Z₁ соответственно.

Фиг. 5 показывает вышеописанное более подробно. В частности, обработка из фиг. 5 выполняется как этап 3.4 на фиг. 3.

Сначала, на этапе 5.2, как описано, принимаются данные изображения из цветовой карты известной ориентации. Затем является необходимым идентифицировать цветовую карту, используемую на этапе 5.4, и это выполняется с использованием метки 246 идентификации, расположенной на карте 24 калибровки. То есть выполняется распознавание метки 246 идентификации, и эта метка затем используется как индекс, чтобы выбирать подходящий набор данных цветовой карты из базы 110 данных цветовых карт.

Далее, начинается первый этап отмеченного выше алгоритма, простираясь от этапов 5.6 по 5.14. То есть на этапе 5.6 начинается цикл обработки, чтобы считывать данные из изображения, в известных положениях в изображении. То есть на этапе 5.6, каждый образец серой шкалы в известном положении (x, y) на карте 24 калибровки имеет свои значения RGB, измеренные по изображению на этапе 5.8, и затем трехкоординатные значения XYZ для этого образца в том же положении (x, y) ищутся из базы данных, на этапе 5.10. Эта обработка повторяется для всех образцов серой шкалы на изображении, которые, с картой 24 калибровки, располагаются на внешней границе цветовых образцов, как образцы 250. В альтернативных вариантах осуществления этот этап не должен ограничиваться образцами серой шкалы, и другие цветовые образцы могут также использоваться в дополнение, или как альтернатива.

К концу составляющих обработку этапов 5.6 по 5.12, для каждого известного цвета или образца серой шкалы в изображении, трехкоординатные значения XYZ получаются из подходящих данных цветовой карты в цветовой базе 110 данных, и значения RGB этого цветового образца на изображении измеряются. Соответственные значения RGB и XYZ сохраняются ассоциированными друг с другом в запоминающем устройстве 106. Например, является возможным вычерчивать измеренные значения RGB для каждого известного образца по отношению к известным значениям XYZ этого образца на графике, как показано на фиг. 12, 16 и 17.

Как только значения RGB измеряются и соответственные значения XYZ ищутся из цветовой базы данных, на этапе 5.14, отмеченный выше этап 1 алгоритма выполняется, чтобы определять значения X как измеренную функцию значений R, значения Y как функцию измеренных значений G и значения Z как функцию измеренных значений B. Этот этап выполняется с использованием либо степенной подгонки, либо полиномиальной подгонки, чтобы получать функцию, связывающую X с R, Y с G и Z с B. Обычно, степенная подгонка дает уравнение вида:

где коэффициенты α_{x, y, z} и β_{x, y, z} характеризуют соответствующие отношения.

Фиг. 12, 16 и 17 иллюстрируют иллюстративные подгонки кривой, которые были получены для экспериментальных тестовых данных, выполненных над изображениями, захваченными из тестовой матрицы 1102 образцов калибровки, показанной на фиг. 11. Фиг. 11 показывает матрицу фрагментов 1102 цветовых образцов, вместе с фрагментами 1104 серой шкалы, расположенными внизу матрицы. Фрагменты 1102 цветовых образцов содержат 256 случайно расположенных стандартных цветов, включающих в себя шесть стандартов серой шкалы. Фрагменты 1104 серой шкалы содержат 16 цветов серой шкалы, простирающихся от черного к белому.

Чтобы тестировать обработку, экспериментальная тестовая матрица из фиг. 11 освещалась с использованием света D65, и изображение захватывалось с использованием цифровой камеры высокого класса (Cannon Powershot Pro 90IS). Трехкоординатные данные XYZ из цветовых фрагментов в тестовой матрице были известны заранее, проиндексированы посредством положения фрагмента в матрице. С помощью этих данных было возможно вычертить измеренные значения R, G и B для каждого фрагмента по отношению к известным значениям XYZ для каждого тестового фрагмента, как показано на фиг. 12, 16 и 17. Следует отметить, что графики данных в каждой из фиг. 12, 16 и 17 являются идентичными. Что отличается - это подгонка кривой, которая была применена. В частности, на фиг. 12 использовалась степенная подгонка, в соответствии с отношением, описанным выше. Однако, как отмечено, является также возможным использовать полиномиальную подгонку, иную, нежели степенную подгонку, и фиг. 16 показывает полиномиальную подгонку второго порядка, тогда как фиг. 17 показывает полиномиальную подгонку четвертого порядка, где функция имеет ограничение пересечения в нуле. Как будет описываться позже, используется ли степенная подгонка или полиномиальная подгонка, результаты являются, по существу, идентичными, и представляется, что преимущество является маленьким, если есть вообще какое-либо, при использовании полиномиальной подгонки по сравнению со степенной подгонкой.

Как только подгонка кривой выполняется, чтобы давать отмеченные выше функции, далее, на этапе 5.16, выполняется многовариантная регрессия для X, Y и Z в соответствии с полученными функциями, чтобы получать коэффициенты, относящие X к R, G и B, Y к R, G и B, и Z к R, G и B, как отмечено на этапе 2 выше. Фиг. 13 иллюстрирует график известного X по отношению к регрессионным подгонкам R1 и X1, тогда как фиг. 17 показывает известное Y по отношению к регрессионным подгонкам G1 и Y1, и фиг. 15 показывает график известного Z по отношению к регрессионным подгонкам B1 и Z1. Это находит постоянные коэффициенты (a, b, c и d на этапе 2 выше), которые помогают характеризовать каждое из X, Y и Z как функцию R, G и B, как описано выше. Как только эти коэффициенты найдены, т.е. коэффициенты как из этапа 1, так и из этапа 2 алгоритма выше, они сохраняются и после этого характеризуют функцию захвата цвета устройства захвата изображения, используемого пользователем. С использованием этих коэффициентов тогда является возможным находить цвет неизвестного образца в изображении, из его значений RGB.

Возвращаясь к фиг. 3, поэтому, на этапе 3.4, выполняется отмеченная выше обработка калибровки, и это возвращает набор калибровочных коэффициентов 36, которые могут затем использоваться для последующего цветового определения.

Во-первых, однако, является необходимым определить, имеется ли какой-либо доминирующий цвет в известном цветовом образце, и это выполняется на этапе 3.6. Например, пиксельные значения RGB, представляющие неизвестный образец, могут обследоваться, чтобы определять, имеется ли доминирующее значение RGB. Альтернативно, если не имеется никакого доминирующего значения RGB, там, где используется Веб-интерфейс, то на этапе 3.10 пользователя могут запрашивать выбрать цвет, подлежащий калибровке. На этапе 3.12 выбранный цвет затем калибруется. В более позднем варианте осуществления мы будем описывать обработку кластеризации, которая способна идентифицировать множественные цвета в неизвестном образце и возвращать откалиброванный цвет для каждого из них.

На этапе 3.12, выбранный цвет калибруется, с использованием калибровочных коэффициентов 36. То есть значения RGB применяются к уравнениям, найденным на этапе 3.4 с использованием калибровочных коэффициентов 36. Эта обработка дает трехкоординатное значение XYZ выбранного цвета.

После нахождения значений XYZ неизвестного цветового образца (или выбранного доминирующего значения в цветовом образце, если имеется более чем один цвет) модуль 114 управления цветовым сопоставлением затем действует, чтобы находить ближайший цвет в доступной цветовой палитре, на этапе 3.14. В этом отношении данные 45 цветовой палитры являются доступными для модуля 114 управления цветовым сопоставлением и сохраняются в цветовой базе 110 данных. Нахождение ближайшего цвета выполняется посредством использования меры цветового различия и сравнения цвета XYZ, который был определен, с каждым цветом в палитре с использованием меры различия, при этом выбирается цвет с наименьшим различием. Могут использоваться несколько разных мер различия, но в вариантах осуществления изобретения является предпочтительным использовать меры CIE Delta E. В частности, может использоваться исходная мера цветового различия CIE Delta E (1976), или в другом варианте осуществления мера CIE Delta E (2000). В дополнительном варианте осуществления может использоваться Delta E (2000), но с другими весовыми коэффициентами.

Обработка сопоставления цвета на этапе 3.14 возвращает соответствующий цвет краски, который является цветом краски в палитре, который является самым близким к определенному цвету XYZ тестового образца. Эта информация 42 цвета краски затем предоставляется назад пользователю посредством сетевого интерфейса 102 по сети 22. Например, там, где пользователь передал изображение во внутренний сервер 10 посредством MMS с использованием мобильного устройства, сетевой интерфейс 102 может формулировать сообщение службы коротких сообщений (SMS) или MMS, чтобы послать информацию цвета краски назад в пользовательское мобильное устройство. Альтернативно, где пользователь послал электронное письмо во внутренний сервер 10, сетевой интерфейс 102 может формулировать электронное письмо в ответ с информацией цвета краски. Там, где используется Веб-интерфейс, Веб-страница может посылаться пользователю для отображения посредством Веб-браузера пользователя, давая информацию соответствующего цвета краски.

В заключение, в некоторых вариантах осуществления изобретения в дополнение к возвращению информации 42 цвета краски, на этапе 3.16 внутренний сервер 10 также действует, чтобы находить цветовую схему, которая дополняет определенный цвет 42 краски. Например, имеется несколько способов для определения цветовых схем, которые дополняют друг друга. Например, цвет, который находится на 120° от первого цвета на цветовом колесе CIELAB, часто рассматривается как дополнительный цвет. В дополнение, цвет, который находится на 180° от первого цвета на цветовом колесе CIELAB, также рассматривается как дополнительный. Поэтому на этапе 3.16, используются такие способы определения дополнительного цвета, чтобы определять информацию 44 цветовой схемы, которая также возвращается пользователю.

Поэтому в первом варианте осуществления пользователь может делать цифровую фотографию объекта, цвет которого подлежит определению, с использованием его мобильного телефона или его цифровой камеры. Фотография делается посредством помещения карты 24 калибровочных цветовых образцов над, около или рядом с объектом, так что как карта 24 калибровочных цветовых образцов, так и объект захватываются в изображении. Пользователь затем посылает изображение посредством телекоммуникационной сети из его дома во внутренний сервер. В этом отношении контактные реквизиты, такие как адрес электронной почты, номер MMS или Веб-адрес, могут обеспечиваться на задней стороне карты 24 калибровочных цветовых образцов. Внутренний сервер 10 принимает изображение, обрабатывает изображение, как описано, чтобы определять фактический цвет объекта, подлежащего определению, и затем сопоставляет этот цвет с палитрой красок, чтобы определять соответствующий цвет краски для объекта. Информация относительно соответствующего цвета краски затем возвращается в ответ пользователю, по телекоммуникационной сети. Ответ может быть, например, посредством электронной почты, SMS, MMS или посредством передачи соответствующей Веб-страницы для отображения в браузере на компьютере пользователя или мобильном телефоне. С такой компоновкой значительно улучшается возможность пользователя легко сопоставлять цвета краски. В частности, более не является необходимым для пользователя получать множественные наборы карт цветовых образцов из его локального магазина краски и затем пытаться сопоставлять цвета с использованием его собственного восприятия. Вместо этого может получаться намного более точное и математически строгое цветовое соответствие. В дополнение, никакое специальное оборудование не требуется, чтобы захватывать изображение, и пользователь может использовать оборудование захвата изображения, которое у него обычно есть.

Чтобы оценивать результаты от отмеченной выше обработки, измеренные данные RGB для двух шаблонных стандартов (второй шаблонный стандарт показан на фиг. 11, описанной ранее; первый шаблонный стандарт является таким же, но без фрагментов 1104 серой шкалы внизу) также использовались как входные данные образцов. Эти входные данные RGB использовались, чтобы вычислять откалиброванные значения XYZ с использованием способов, описанных выше. Определенные откалиброванные цвета XYZ затем сравнивались численно с известными значениями XYZ, чтобы предоставлять меру эффективности регрессионных подгонок в алгоритме. Для этой цели использовались две стандартные меры воспринимаемого различия, CIE dE и CIE DE2000.

Таблица ниже отображает средние значения dE и также DE2000, полученные для каждого из способов, описанных выше.

Тип подгонки серой шкалы Компоненты XYZ Среднее dE (стандарт) Среднее DE2000 Тест 1, Шаблон 1; камера PowerShot S30 при
естественном дневном свете Степенная функция X₁, Y₁, Z₁ 6,04 3,78        

Тест 2, Шаблон 2 (дополнительные NCS серые);
камера DigiEye при свете D65/100° Степенная функция X₁, Y₁, Z₁ 4,64 2,83 многочлен
2-ого порядка X₁, Y₁, Z₁ 4,31 2,68 многочлен
4-ого порядка X₁, Y₁, Z₁ 4,80 2,83

Данные в вышеприведенной таблице показывают, что замена подгонки степенной кривой на данные серой шкалы с полиномиальными подгонками имеет небольшое влияние на результирующие значения X₁, Y₁, Z₁ с небольшим влиянием или без влияния на среднее DE2000. Поэтому замена подгонки степенной кривой на данные серой шкалы с полиномиальными подгонками не дает никакого значительного улучшения для калибровки. Это может быть из-за того, что в обработке многовариантной регрессии на этапе 2 учитывается любое рассеивание в подгонке кривой серой шкалы.

В терминах результатов, меры различия dE конструируются так, что минимальное заметное различие для человеческого наблюдателя будет иметь значение dE 1. Однако для многих людей dE 1 не будет давать какого-либо заметного различия в цвете, и, в частности, если цвета не помещаются рядом. В настоящем случае описанная обработка цветового определения, когда используется на шаблоне с дополнительными значениями серой шкалы, используемыми в итеративной регрессии (тест 2, с использованием шаблона, показанного на фиг. 11), дает результатом вычисленные значения XYZ, имеющие среднее dE2000 меньшее чем 3 от фактических значений XYZ в каждом тестовом случае.

2. Второй вариант осуществления - ориентирование изображения

Теперь будет описываться второй вариант осуществления изобретения. Второй вариант осуществления изобретения берет в качестве своей основы первый вариант осуществления, описанный выше, и, следовательно, общие признаки между ними не будут описываться снова.

Второй вариант осуществления относится к ориентированию изображения, выполняемому на этапе 3.2 обработки из фиг. 3. Более конкретно, как описано ранее в первом варианте осуществления, такое ориентирование изображения может не быть необходимым, так как пользователь может создавать изображение карты посредством обрезания вручную и вращения изображения карты 24 калибровочных цветовых образцов и неизвестного образца до отправки его во внутренний сервер. В этом отношении пользователь, когда делает изображение, может обеспечивать, что ориентация карты к плоскости изображения является корректной, без какой-либо проекции или перекоса.

Однако для пользователей-непрофессионалов является более предпочтительным, чтобы от пользователя не требовалось выполнять какую-либо предварительную обработку для изображения или чтобы никакие специальные условия не должны были удовлетворяться относительно ориентации изображения, когда делается изображение. Вместо этого система должна быть настолько легкой для пользователей-непрофессионалов для использования, насколько возможно, требуя только, чтобы они могли делать картинку карты 24 калибровочных цветовых образцов с неизвестным цветовым образцом, с картой 24 калибровочных цветовых образцов в любой ориентации. При этом система будет легкой для пользователей-непрофессионалов для понимания и использования, и, следовательно, это будет содействовать использованию системы.

Во втором варианте осуществления поэтому, чтобы обеспечивать возможность для легкого использования, изображение 32, принятое во внутреннем сервере, может содержать изображение карты 24 калибровочных цветовых образцов в любой ориентации. Однако, чтобы обрабатывать данные в изображении, ориентация карты 24 калибровочных цветовых образцов и положение фрагментов цветовых образцов на карте в изображении должны быть известны. Поэтому на этапе 3.2 выполняются определение местоположения и ориентирование изображения карты, посредством модуля 116 ориентирования изображения.

Фиг. 4 показывает работы модуля 116 ориентирования изображения более подробно. Во-первых, на этапе 4.2 данные 32 изображения принимаются из сетевого интерфейса 102 (или из модуля 114 управления цветовым сопоставлением). Чтобы определять местоположение карты 24 калибровочных цветовых образцов внутри изображения, на этапе 4.4 над изображением выполняется обнаружение границ, чтобы обнаруживать высококонтрастные границы. В этом отношении карта 24 калибровочных цветовых образцов имеет толстую двойную кромку 248, которая может использоваться, чтобы определять местоположение карты в изображении 32, при этом кромка является легко определяемой для идентификации посредством алгоритмов обнаружения границ. Как только такие контуры в изображении находятся, затем на этапе 4.6 мы ищем ряд вложенных 4-сторонних, выпуклых контуров, который имеет корректную последовательность ориентаций, и где каждый потомок является значительной долей размера его родителя. В этом отношении толстая кромка появляется после обнаружения границ как две вложенные четырехсторонние формы, и, следовательно, идентификация такой вложенной формы в изображении идентифицирует карту 24.

После определения положения карты 24 в изображении с использованием описанного выше, изображение может сегментироваться, чтобы оставлять данные 46 изображения карты, как показано. Затем является необходимым идентифицировать известные признаки на карте, чтобы иметь возможность выполнять преобразование перспективы, чтобы устранять искажения изображения. Поэтому на этапе 4.8 идентифицируются известные признаки карты, такие как углы карты. Отметим, что является возможным использовать любой доверительный маркер, чтобы идентифицировать фиксированные точки на карте калибровки, но в настоящем варианте осуществления мы должны идентифицировать 4 точки на карте, чтобы выполнять преобразование перспективы.

После идентификации известных точек на изображении карты, на этапе 4.10 мы используем известные точки (например, углы наиболее внутренней кромки), чтобы делать преобразование перспективы, чтобы устранять искажения изображения. Изображение 50 карты с устраненными искажениями показано в качестве примера на фиг. 4. Однако это изображение 50 карты с устраненными искажениями может иметь любую вращательную ориентацию, поэтому мы используем априорное знание ожидаемого размещения карты, чтобы корректно ориентировать карту. В этом отношении данные 112 цветовой карты сохраняются в цветовой базе 110 данных, при этом данные 112 цветовой карты хранят информацию, относящуюся к местоположению доверительного признака, который может распознаваться и использоваться, чтобы ориентировать карту. Например, штрих-код или товарный знак вдоль одной границы рамки имеет белые области рядом с ним. Поэтому возможно принимать в рассмотрение наиболее светлые 2 угла и вращать изображение, чтобы они были внизу. Следовательно, на этапе 4.12 известный признак, относящийся к вращательной ориентации карты, распознается, и изображение 50 карты с устраненными искажениями затем вращается на этапе 4.14, так что признак помещается в известную вращательную ориентацию, таким образом, вращательно ориентируя карту. Как таковые получаются данные 34 изображения карты известной ориентации.

В других вариантах осуществления является возможным использовать любой известный признак карты, чтобы достигать вращательной ориентации. Это может также достигаться посредством того, что один из доверительных признаков делается отличным от других. Другая возможность - это делать размещение образцов на карте вращательно-симметричным, так чтобы вращательная ориентация карты была несущественной.

Общий результат вышеописанных этапов состоит в том, что пользователь не должен принимать участие в нахождении карты в изображении, и также никакие специальные требования не накладываются на пользователя в отношении того, как изображение должно делаться, или предварительно обрабатываться перед тем, как будет посылаться во внутренний сервер. Как таковая, получается намного более дружественная к пользователю система, которая более вероятно будет в большей степени использоваться пользователями-непрофессионалами.

3. Третий вариант осуществления - коррекция пространственной яркости

Теперь будет описан третий вариант осуществления изобретения. Третий вариант осуществления берет в качестве своей основы любой из первого либо второго вариантов осуществления, ранее описанных, и, следовательно, общие признаки между ними не будут описываться снова.

Третий вариант осуществления изобретения сосредоточивается на улучшении определения калибровочных коэффициентов, выполняемого на этапе 3.4 обработки из фиг. 3, и, в частности, чтобы принимать в рассмотрение различия в яркости и контрасте по изображению 34 карты. То есть пользователь может сделать изображение 32 в несовершенных осветительных условиях, так что на карте 24 имеются осветительные различия, так что яркость и контраст на карте не являются равномерными.

Третий вариант осуществления изобретения представляет дополнительную обработку, которая может выполняться на этапе калибровки, чтобы расширять модель калибровки, чтобы принимать в рассмотрение такие пространственные осветительные различия. Вариант осуществления представляет способ, который предполагает линейное изменение в яркости контраста на карте, хотя является возможным находить коэффициенты более высокого порядка, которые моделируют изменения более высокого порядка.

Фиг. 7 иллюстрирует процесс более подробно. Процесс содержит два главных этапа (B.7.6 и B.7.10). Во-первых, на этапе 7.2 измеряются образцы R_i, G_i и B_i в (x_i, y_i) в изображении, и соответственные значения XYZ X_i, Y_i и Z_i получаются из данных цветовой карты в цветовой базе данных. Затем, находятся соответствующие отношения, которые преобразуют известное X в измеренное R, учитывая положение (x, y) каждого измеренного R в изображении 34 карты. То же также делается, чтобы преобразовывать известное Y в измеренное G, и известное Z в измеренное B. То есть рассматривая X-R более подробно, формулируется отношение, которое соотносит X с R с использованием степенной подгонки, но где коэффициент для R зависит от положения в изображении карты. В дополнение, член смещения также вводится в уравнение, который также зависит от положения. То есть, отношение, подлежащее нахождению между X и R, является зависящим от положения, зависящим от положения образцов на карте. Аналогичные зависящие от положения отношения также находятся между Y и G, и Z и B. В настоящем варианте осуществления используются следующие уравнения:

где α_{X, Y, Z}, β_{X, Y, Z}, ζ_{X, Y, Z}, η_{X, Y, Z}, y_{X, Y, Z}, δ_{X, Y, Z} и ε_{X, Y, Z} являются фиксированными коэффициентами, и (x_i, y_i) является положением i-ого образца на карте, R_i, G_i и B_i являются измеренными значениями RGB i-ого образца. Однако в других вариантах осуществления могут использоваться другие уравнения - может использоваться любое отношение, которое учитывает положение образцов на карте.

Вышеописанные уравнения решаются с использованием способа подгонки наименьших квадратов на B.7.6, чтобы определять значения для α_{X, Y, Z}, β_{X, Y, Z}, ζ_{X, Y, Z}, η_{X, Y, Z}, y_{X, Y, Z}, δ_{X, Y, Z} и ε_{X, Y, Z}. Однако может быть, что без какого-либо предварительного знания эти уравнения не будут решаться легко (могут находиться локальные максимумы или минимумы). Поэтому необязательно (на этапе 7.4) коэффициенты α_{X, Y, Z}, β_{X, Y, Z} могут находиться заранее с использованием образцов серой шкалы в изображении без зависимости положения, и с выполнением подгонки (наименьших квадратов) степенной кривой для X_i по отношению к R_i и затем аналогично для y_i по отношению к G_i и Z_i по отношению к B_i, давая 6 коэффициентов α_{X, Y, Z}, β_{X, Y, Z}:

Отметим, что эти уравнения не учитывают какое-либо распределение пространственной яркости, но выполняются, чтобы обеспечивать начальные значения для α_{X, Y, Z}, β_{X, Y, Z}, которые могут затем использоваться при решении зависящих от положения уравнений.

Далее, на этапе 7.8 этот 21 коэффициент (7 в расчете на канал - α_{X, Y, Z}, β_{X, Y, Z}, ζ_{X, Y, Z}, η_{X, Y, Z}, y_{X, Y, Z}, δ_{X, Y, Z} и ε_{X, Y, Z}) используются, чтобы вычислять значения (X_i', Y_i', Z_i') для всех известных образцов в изображении (R_i, G_i, B_i) - не только образцов серой шкалы. Они затем используются для многовариантной подгонки на этапе 7.10 - по существу, с выполнением подгонки наименьших квадратов этих образцов по отношению к измеренным значениям (X_i, Y_i, Z_i) с использованием уравнения

Многовариантная подгонка затем обеспечивает дополнительные 12 коэффициентов (a_{X, Y, Z}, b_{X, Y, Z}, c_{X, Y, Z}, d_{X, Y, Z}). Набор 21 коэффициента α_{X, Y, Z}, β_{X, Y, Z}, ζ_{X, Y, Z}, η_{X, Y, Z}, y_{X, Y, Z}, δ_{X, Y, Z} и ε_{X, Y, Z} и 12 коэффициентов a_{X, Y, Z}, b_{X, Y, Z}, c_{X, Y, Z}, d_{X, Y, Z} затем сохраняются как данные 36 калибровки. Эти 21 + 12 коэффициентов могут затем использоваться впоследствии (на B.3.12 на фиг. 3), чтобы вычислять значение XYZ (X_samp, Y_samp, Z_samp) цвета RGB интереса (R_samp, G_samp, B_samp) с использованием вышеописанных уравнений.

Таким образом, в третьем варианте осуществления обработка калибровки адаптируется так, чтобы принимать в рассмотрение изменения в яркости и контрасте по карте 24 в изображении. Это делает систему даже более легкой для использования, и помещает меньше ограничений на освещение сцены изображения, в то время как все еще обеспечивает возможность получать хорошие результаты.

4. Четвертый вариант осуществления - регрессионный анализ с использованием уменьшенного цветового пространства

Теперь будет описываться четвертый вариант осуществления изобретения. Четвертый вариант осуществления берет в качестве своей основы любой из первого, второго или третьего вариантов осуществления, уже описанных, и, следовательно, общие элементы между ними описываться снова не будут.

В вариантах осуществления, описанных до сих пор, регрессионный анализ для нахождения калибровочных коэффициентов использовал настолько много образцов на карте, насколько возможно по всему цветовому пространству. Однако в настоящем варианте осуществления, если может получаться некоторое априорное знание потенциального цвета неизвестного образца, подлежащего определению, то регрессионный анализ для определения калибровочного коэффициента может выполняться с использованием тех известных цветовых образцов, которые являются близкими к цвету неизвестного образца. Это является похожим на "приближение к" этой части интересующего цветового пространства, т.е. той части отклика захвата цвета пользовательского устройства захвата изображения, которая фактически представляет наибольший интерес в том, что она является той частью, которая использовалась, чтобы захватывать значения RGB неизвестного образца. Эта более маленькая часть отклика захвата цвета может затем характеризоваться настолько близко, насколько возможно, чтобы проверять и улучшать точность.

Более подробно, нормальная обработка калибровки включает в себя 2 главных этапа:

1. Регрессионный анализ измеренных образцов и их известных цветов ('стандартов'), чтобы вырабатывать калибровочные коэффициенты, которые характеризуют устройство, используемое, чтобы делать изображение.

2. Использование калибровочных коэффициентов, чтобы брать известный цвет RGB (и положение относительно рамки калибровки) и вырабатывать цвет XYZ.

В настоящем варианте осуществления мы расширяем эту обработку, чтобы включать туда второй проход: как только цвет XYZ первого прохода известен, затем используется поднабор известных образцов ('стандартов') на карте калибровки, чтобы повторять этап 1. В настоящем варианте осуществления мы используем N самых близких стандартов к откалиброванному цвету (из этапа 2) и берем отдельные наборы самых близких цветов для части гамма-коррекции калибровки (например, B.5.14 на фиг. 5) и части многовариантного анализа (например, этап B.5.16 на фиг. 5). Дополнительные детали показаны на фиг. 6.

Более конкретно, на этапе 6.2 выполняется первый проход через обработку из фиг. 3, этапы от B.3.4 по B.3.12. То есть калибровочные коэффициенты находятся способом, описанным в предыдущем варианте осуществления с использованием всех известных цветовых образцов на карте 24. Затем, определяется цвет XYZ неизвестного цветового образца, на этапе 6.4.

Эта информация затем используется, чтобы идентифицировать N самых близких цветов образцов для идентифицированного цвета XYZ неизвестного образца, на этапе 6.6. В этом варианте осуществления находятся N_G самых близких образцов серой шкалы и N_C самых близких цветовых образцов, где N_G является обычно меньшим, чем N_C. Детали тестов, выполненных, чтобы определять значения для N_G и N_C, будут даваться позже. Самые близкие образцы серой шкалы и цветовые образцы находятся с использованием меры различия delta_E, такой как delta_E(2000).

После нахождения самых близких цветов (серой шкалы и цвета), на этапе 6.8 калибровка выполняется снова, чтобы по-новому определять калибровочные коэффициенты, но в это время только с использованием найденных самых близких цветов. Как отмечено, это является похожим на приближение к или фокусировку на конкретной зоне с цветовым пространством. В теории, любые локальные эффекты, которые присутствуют в обработке калибровки, должны в таком случае учитываться.

После повторного определения калибровочных коэффициентов, на этапе 6.10 значения XYZ неизвестного образца затем пересчитываются с использованием новых коэффициентов калибровки и измеренных значений RGB из изображения.

Некоторое количество тестов были выполнены, чтобы оценивать эффекты этой повторной калибровки, и они детально описываются ниже, со ссылкой на фиг. 18 по 21.

Тест 1

В качестве начальной оценки этого способа зональной калибровки, измеренные значения RGB для двух тестовых шаблонов, описанных ранее (второй тестовый шаблон показан на фиг. 11 - первый шаблон является идентичным, но без ряда цветов серой шкалы внизу), использовались как значения RGB образцов. Диапазон размеров поднабора (т.е. значений для N_G и N_C) тестировались во втором (зональном) проходе следующим образом. Сообщенные значения dE и DE2000 имеются для определенных значений X₁, Y₁, Z₁.

Тест 1: Шаблон 1 (6 серых) Canon PowerShot S30;
естественный дневной свет   # ближайших цветов # ближайших серых Среднее dE (стандарт) Среднее DE2000           1-ый проход 256 (все) 6 6,04 3,78           2-ой проход 150 6 4,63 3,01 2-ой проход 150 3 4,48 2,85 2-ой проход 100 6 4,01 2,69 2-ой проход 100 3 3,87 2,56 2-ой проход 50 6 3,30 2,29 2-ой проход 50 3 3,30 2,24 2-ой проход 25 6 2,80 1,97 2-ой проход 25 3 2,85 1,96

Из таблицы выше ясно, что во всех случаях второй зональный проход улучшает средние значения dE и DE2000 (имеется меньше рассеивания). Фиг. 18 подытоживает данные с уменьшением в количестве цветов шаблона (N_C), используемых во втором проходе, давая результатом значительные улучшения в DE2000. Уменьшение количества цветов шаблона серой шкалы (N_G) для использования во 2-ом проходе также улучшает DE2000, хотя эффект не является настолько значительным, насколько эффект, полученный уменьшением цветов.

Тест 2

Аналогичный анализ выполнялся над данными из второго шаблона (показанного на фиг. 11). Как с первым шаблоном, 2-ой проход дает результатом значительное улучшение в среднем dE и DE2000 (см. таблицу ниже). Результаты отображаются графически на фиг. 19.

Тест 2: Шаблон 2 (23 серых), Canon PowerShot Pro90 IS (DigiEye), источник света D65   # ближайших цветов # ближайших серых Среднее dE (стандарт) Среднее DE2000           1-ый проход 272 23 4,64 2,83           2-ой проход 150 23 3,49 2,10 2-ой проход 150 10 3,42 2,07 2-ой проход 150 5 3,26 1,98 2-ой проход 100 23 3,00 1,83 2-ой проход 100 10 2,92 1,78 2-ой проход 100 5 2,81 1,72 2-ой проход 50 23 2,32 1,44 2-ой проход 50 10 2,26 1,40 2-ой проход 50 5 2,24 1,39 2-ой проход 25 23 1,95 1,23 2-ой проход 25 10 1,92 1,20 2-ой проход 25 5 1,93 1,20

Фиг. 19 демонстрирует, что уменьшение количества цветов (N_C), используемых в поднаборе данных калибровки для второго прохода, значительно улучшает точность определенного XYZ (т.е. понижает DE2000). Однако уменьшение количества образцов серой шкалы (N_G), чтобы использовать в этапе подгонки степенной кривой во 2-ом проходе, имеет маленькое влияние на точность цвета.

Тест 3 и тест 4

Тест 3 и Тест 4 используют стандарты на Шаблоне 2, но дополнительно имеют "реальные" данные образца в изображении, с помощью которого оценивается способ зональной калибровки.

Тест 3

Тест 3 является сценарием "наилучшего случая" с использованием цифровой камеры высокого класса (DigiEye) при управляемых осветительных условиях (D65). Результаты от 10 тестовых образцов представляются в следующей таблице.

Тест 3: Шаблон 2 (23 серых), Canon PowerShot Pro90 IS (DigiEye), D65 источник света   # ближайших цветов # ближайших серых Среднее dE (стандарт) Среднее DE2000           1-ый проход 272 23 7,08 3,90           2-ой проход 150 23 6,12 3,45 2-ой проход 150 10 5,73 3,22 2-ой проход 150 5 5,30 2,93 2-ой проход 100 23 5,36 3,14 2-ой проход 100 10 5,08 2,96 2-ой проход 100 5 4,59 2,62 2-ой проход 50 23 4,41 2,67 2-ой проход 50 10 4,36 2,59 2-ой проход 50 5 3,84 2,28 2-ой проход 25 23 3,59 2,33 2-ой проход 25 10 3,64 2,30 2-ой проход 25 5 3,31 2,06 2-ой проход 10 23 3,30 2,07 2-ой проход 10 10 3,45 2,09 2-ой проход 10 5 3,39 2,03

Еще раз, 2^ой зональный проход уменьшает средние значения dE и DE2000, обеспечивая улучшение по сравнению с вариантом одиночного прохода. Эффект в DE2000 показан на фиг. 20. Здесь, уменьшение обоих N_G и N_C имеет влияние на понижение полученных средних значений delta_E.

Тест 4

Тест 4 является сценарием "реалистического случая" с использованием "имеющейся в наличии" цифровой камеры (Canon PowerShot S30) при хорошем естественном дневном свете. Результаты от 10 тестовых образцов представлены в следующей таблице.

Тест 4: Шаблон 2 (23 серых), Canon PowerShot S30,
естественное дневное освещение   # ближайших цветов # ближайших серых Среднее dE (стандарт) Среднее DE2000           1-ый проход 272 23 7,23 3,69           2-ой проход 150 23 6,16 3,32 2-ой проход 150 10 6,08 3,25 2-ой проход 150 5 7,08 3,43 2-ой проход 100 23 5,27 2,95 2-ой проход 100 10 5,11 2,85 2-ой проход 100 5 5,47 2,84 2-ой проход 50 23 4,97 2,74 2-ой проход 50 10 4,80 2,64 2-ой проход 50 5 5,31 2,67 2-ой проход 25 23 5,06 2,80 2-ой проход 25 10 4,91 2,73 2-ой проход 25 5 5,36 2,74 2-ой проход 10 23 6,51 3,56 2-ой проход 10 10 6,38 3,49 2-ой проход 10 5 7,03 3,55

Эффект в DE2000 показан на фиг. 21. В этом тесте, однако, имеются минимумы для значений DE2000 при приблизительно 50 стандартах. Уменьшение количества стандартов серой шкалы для использования во втором проходе имеет маленькое влияние на DE2000.

Эти тесты показывают, что уменьшение количества цветов N_C, используемых в многовариантной регрессии, имеет заметное влияние на точность цвета, полученного для неизвестного образца. В частности, обеспеченное некоторое априорное знание цвета неизвестного образца может получаться затем с ограничением к ближайшим N_C цветам, где N_C находится в диапазоне от 5 до 250, или более предпочтительно от 10 до 100, или даже более предпочтительно 20-100, или более предпочтительно от 30 по 70, или наиболее предпочтительно 40-60, для многовариантной регрессии может улучшать точность цветового определения. Фиг. 21 показывает, что наиболее точное цветовое определение было получено, когда для многовариантного анализа использовались около 50 ближайших цветов, хотя хорошие результаты с DE 2000, меньшим чем 3.0 получаются, где используется некоторое количество цветов внутри диапазона от около 20 цветов до около 100 цветов. В терминах процентов это равняется от около 8% до около 40% количеств цветов, которые могут быть доступными на цветовой карте 24, предполагая, например, что имеется около 250 цветов на карте.

В отношении того, как может получаться априорное знание цвета образца, как отмечено выше, в настоящем варианте осуществления это получается посредством выполнения обработки первого прохода, чтобы определять цвет, и затем выполнения второго прохода с уменьшенным количеством цветов в этапе калибровки. Однако это не является существенным, и в других вариантах осуществления априорное знание может получаться некоторым другим способом. Например, в одном варианте осуществления можно делать предположение о природе характеристик устройства формирования изображений (например, предположим, что цвета RGB находятся в цветовом пространстве sRGB). В другом варианте осуществления уменьшенное количество цветов может получаться посредством выбора образцов, которые имеют измеренные значения RGB, близкие к цвету RGB, подлежащему измерению. В дополнительном варианте осуществления цвета на цветовой карте могут быть из уменьшенного диапазона. Например, могут вырабатываться разные версии цветовой карты, каждая имеет поднабор цветового пространства на ней, т.е. карта имеет "красные" или другая карта имеет "синие". Пользователь затем выбирает карту, имеющую цвета, которые являются самыми близкими к цвету, который он желает сопоставлять - например, пользователь знает, что он желает сопоставлять красную диванную подушку, и, следовательно, использует карту 24, имеющую преобладающе красные на ней. Во всех из этих случаев уменьшенный набор цветовых образцов, для которых известно, что они находятся рядом с цветом, подлежащим определению, используется, чтобы выполнять калибровку, и, следовательно, могут учитываться локальные изменения в чувствительности захвата цвета устройства в этой части цветового пространства.

5. Пятый вариант осуществления - кластеризация для нахождения множественных цветов в образце

Теперь будет описываться пятый вариант осуществления изобретения. Пятый вариант осуществления берет в качестве своей основы любой из первого, второго, третьего или четвертого вариантов осуществления, уже описанных, и, следовательно, общие элементы между ними не будут описываться снова.

Пятый вариант осуществления изобретения представляет способ, который может использоваться, например, на этапе 3.6 обработки из фиг. 3, где имеется более чем один цвет в неизвестном цветовом образце. Например, пользователь может поместить карту 24 над элементом, который имеет узор и для которого, хотя имеется доминирующий цвет в узоре, также имеется некоторое количество второстепенных цветов. В таком случае должно делаться определение, какой цвет должен сопоставляться. В первом варианте осуществления представлялся вариант выбора идентификации одиночного доминирующего цвета, либо посредством запроса к пользователю выбрать цвет, или посредством определения доминирующего цвета с использованием статистических измерений пикселей, представляющих образец. В пятом варианте осуществления, однако, используется алгоритм кластеризации, чтобы пробовать и идентифицировать каждый из нескольких цветов в неизвестном цветовом образце, так что индивидуальное определение XYZ и сопоставление могут затем выполняться над каждым индивидуальным цветом.

В пятом варианте осуществления используется алгоритм кластеризации k-средних, чтобы определять главные цвета, которые присутствуют в изображении образца. Кластеризация k-средних основывается на евклидовых расстояниях между пиксельными значениями. В пространстве RGB, различия не наблюдаются как равные. Это означает, что два пикселя, которые являются очень близкими друг к другу в пространстве RGB, могут проявляться как очень разные цвета или очень подобные цвета. Чтобы преодолеть это, пиксели преобразуются в пространство L*a*b*, которое является более равномерным по отношению к восприятию, так что воспринимаемое различие между пикселями является относительно согласованным всюду по цветовому пространству. Эта обработка выполняется над изображением, как только для него были устранены искажения, и предпочтительно, как только изменение освещенности по карте было устранено (т.е. она выполняется над откалиброванными цветами из изображения).

Итеративная обработка используется, чтобы определять, сколько кластеров присутствуют в части изображения, представляющей неизвестный образец, и какой средний цвет имеется в каждом кластере. Первая итерация является наиболее простой, так как предполагается, что имеется только один кластер пикселей в образце. Это означает, что алгоритм k-средних будет возвращать кластер, содержащий все из пикселей. Берется среднее значение L*a*b* пикселей в изображении, и затем вычисляется количество пикселей в пределах некоторого расстояния этого среднего. Если количество найденных пикселей выше порога, то предполагается, что имеется только один цвет в изображении, однако, если количество пикселей ниже порога, то над изображением исполняется алгоритм k-средних, с пыткой группировать пиксели в два кластера. Вычисляется среднее значение L*a*b* каждого кластера, и подсчитывается количество пикселей, присутствующих в пределах некоторого расстояния этого пиксельного значения. Выполняются два вычисления, чтобы проверять, является ли оно значимым - первое проверяет, что большинство пикселей в этом кластере находятся в пределах установленного расстояния (т.е. что среднее является хорошим представлением этого кластера), и этот кластер игнорируется, если не достаточно пикселей находятся в пределах установленного расстояния. Второе вычисление состоит в том, что количество пикселей в пределах установленного расстояния среднего всех действительных кластеров должно быть более высоким, чем порог (т.е. чтобы проверять, что наблюдалось достаточно пикселей, чтобы иметь уверенность, что доминирующие цвета были идентифицированы). Если количество подсчитанных пикселей ниже, чем этот порог, то алгоритм k-средних исполняется снова, но пытается группировать пиксели в три кластера вместо двух, и анализ повторяется.

Следующий алгоритм используется, чтобы находить кластеры, и он показан более подробно на фиг. 8. Алгоритм имеет несколько регулируемых параметров:

Максимальный радиус delta-E (dE_thresh)

Требуемая доля изображения (F_img)

Минимальная доля в кластере (F_cluster)

Максимальное число кластеров для попыток (N_max)

и они устанавливаются для конкретной реализации на этапе 8.2. Экспериментирование покажет подходящие значения для регулируемых параметров.

Алгоритм работает следующим образом:

1. Начать с 1 кластера (т.е. всех пикселей в образце) (этап 8.4).

2. Если количество кластеров больше, чем N_max, перейти на этап 5 (этап 8.6)

3. Вычислить следующие статистики для каждого кластера (этап 8.8)

a. Среднее пиксельное значение (L*a*b*) (этап 8.10)

b. Количество пикселей в пределах dE_thresh среднего пиксельного значения (P_thresh) (этап 8.12)

4. Если Сумма(P_thresh)/(Количество пикселей в изображении) меньше, чем F_img (этап 8.14), увеличить количество кластеров на 1 и перейти на этап 2 (этап 8.16).

5. Фильтровать кластеры, чтобы включать туда только те, которые имеют P_thresh/(количество пикселей в кластере) > F_cluster (этап 8.20).

В то время как в вышеописанном мы ссылаемся на цветовые значения в пространстве Lab, алгоритм может также исполняться с использованием значений XYZ, так как упомянутые два набора цветовых данных являются математически связанными.

Фиг. 9 и 10 иллюстрируют работу алгоритма графически. На фиг. 9(a) идентифицируется кластер 92, но кластер терпит неудачу в пороговом тесте плотности, так как слишком высокий процент пикселей находятся вне расстояния dE_thresh от среднего кластера. На фиг. 9(b) делается попытка кластеризовать распределение в два кластера, но кластер 94 является недействительным, так как недостаточно пикселей располагается в пределах радиуса кластера. В дополнение, образец как целое терпит неудачу в проходе порога для всего изображения образца, так как слишком много пикселей не находятся в действительных кластерах. Поэтому количество кластеров увеличивается до 3, и кластеризация исполняется снова.

Фиг. 10 иллюстрирует такое же распределение как на фиг. 9(b), но с тремя кластерами. В части (a) из фиг. 10, количество пикселей в пределах расстояния среднего не является достаточно высоким, чтобы проходить с использованием двух кластеров в алгоритме k-средних, таким образом, анализ исполняется повторно с использованием трех кластеров. Затем количество пикселей в пределах фиксированного расстояния является достаточно высоким, таким образом, три цвета, найденные в изображении, являются средними каждого кластера пикселей. В этом случае могут идентифицироваться кластеры 1010, 1020 и 1030 так, что каждый удовлетворяет применяемым пороговым тестам.

С вышеописанными вариантами осуществления могут делаться различные модификации, чтобы обеспечивать дополнительные варианты осуществления. Например, в каждом со второго по пятый варианты осуществления, они каждый описываются как основывающиеся на первом варианте осуществления. В первом варианте осуществления изображение передается посредством телекоммуникационной сети во внутренний сервер для обработки. В вариантах с первого по пятый варианты осуществления, однако, это не обязательно так. Вместо этого может делаться доступной программа для загрузки на компьютер пользователя или мобильный телефон, который способен выполнять описанные операции обработки. Таким образом, пользовательский компьютер или телефон может вычислять цвет неизвестного образца по сделанному изображению и необязательно предлагать сопоставления цвета краски, без того чтобы какие-либо данные изображения должны были посылаться через сеть.

Дополнительно, в вышеописанных вариантах осуществления мы описываем, что изображение, которое делается, содержит как карту 24, так и неизвестный образец. Однако это не является существенным. В других вариантах осуществления могут обеспечиваться два отдельных изображения, отделенные во времени. Первое изображение может быть карты 24, и оно используется, чтобы находить калибровочные коэффициенты для пользовательского устройства формирования изображений. Отдельное изображение может затем содержать неизвестный образец, калибровочные коэффициенты, найденные по первому изображению, затем применяются к значениям RGB неизвестного образца во втором изображении. Однако этот вариант является менее предпочтительным, чем вышеописанный вариант, поскольку для точности осветительные условия первого и второго изображений должны поддерживаться, по существу, идентичными. Однако это препятствие устраняется, если делается одиночное изображение, содержащее как карту 24 калибровки, так и образец.

Различные дополнительные модификации путем дополнения, удаления или замены должны быть очевидны предполагаемому читателю, который является специалистом в данной области техники, чтобы обеспечивать дополнительные примеры, каждый и все из которых, предполагается, попадают в пределы прилагаемой формулы изобретения.

Изобретение относится к системам определения цвета цветового образца по изображению цветового образца. Техническим результатом является устранение искажения изображения известных калибровочных цветов за счет применения преобразования перспективы в зависимости от местоположения идентифицированных точек на изображении. Предложен способ определения цвета из изображения. Способ включает в себя этап, на котором осуществляют прием первых данных изображения, относящихся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться, и прием вторых данных изображения, относящихся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны. Далее определяют множество характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с известными колориметрическими данными калибровочных цветовых образцов, и вычисляют колориметрические данные неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и характеристикам цветовой калибровки. 2 н. и 40 з.п. ф-лы, 21 ил., 5 табл.

1. Способ определения цвета из изображения, содержащий:
прием первых данных изображения, относящихся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться;
прием вторых данных изображения, относящихся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны;
определение множества характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответственными известными колориметрическими данными калибровочных цветовых образцов;
вычисление колориметрических данных неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки; и
сопоставление определенных колориметрических данных неизвестного цветового образца с цветовой палитрой цветов краски, чтобы идентифицировать совпадающий цвет краски, и предоставление информации, относящейся к совпадающему цвету краски, пользователю,
при этом способ дополнительно содержит ориентирование, по меньшей мере, вторых данных изображения в известную ориентацию, чтобы обеспечивать возможность распознавания известных калибровочных цветовых образцов в ней, причем ориентирование дополнительно содержит идентификацию множества предварительно определенных точек, относящихся к набору известных калибровочных цветовых образцов во вторых данных изображения, и применение преобразования перспективы ко вторым данным изображения в зависимости от местоположения идентифицированных точек, чтобы устранять искажения изображения известных калибровочных цветовых образцов.

2. Способ по п. 1, в котором ориентирование содержит выполнение обнаружения границ, чтобы идентифицировать местоположение известных калибровочных цветовых образцов во вторых данных изображения.

3. Способ по любому из пп. 1 или 2, в котором ориентирование дополнительно содержит идентификацию предварительно определенных меток вращательной ориентации, относящихся к набору известных калибровочных цветовых образцов во вторых данных изображения; и вращение вторых данных изображения в зависимости от местоположения идентифицированных меток вращательной ориентации, так что известные калибровочные цветовые образцы помещаются в известное положение во вторых данных изображения.

4. Способ по любому из пп. 1-2, в котором первые данные изображения и вторые данные изображения принимаются от удаленного пользователя посредством телекоммуникационной сети, и информация, относящаяся к совпадающему цвету краски, предоставляется пользователю посредством телекоммуникационной сети.

5. Способ по п. 4, в котором первые данные изображения и вторые данные изображения принимаются как любое из: i) сообщения электронной почты; ii) сообщения MMS; или iii) данных изображения в Веб-странице; и при этом информация, относящаяся к совпадающему цвету краски, обеспечивается как любое из i) сообщения электронной почты; ii) сообщения MMS; iii) сообщения SMS или iv) данных в Веб-странице.

6. Способ по любому из пп. 1-2, в котором первые данные изображения и вторые данные изображения создаются пользователем с использованием устройства захвата изображения; при этом устройство захвата изображения является предпочтительно любым из: i) цифровой камеры; ii) оснащенного камерой мобильного телефона; или iii) цифровой записывающей видеокамеры.

7. Способ по любому из пп. 1-2, в котором определенные колориметрические данные и/или известные колориметрические данные являются трехкоординатными значениями XYZ.

8. Способ по любому из пп. 1-2, дополнительно содержащий определение дополнительных цветов для совпадающего цвета и предоставление информации, относящейся к определенным дополнительным цветам, пользователю.

9. Способ по любому из пп. 1-2, в котором определение характеристик цветовой калибровки содержит компенсирование яркостных различий по набору известных калибровочных цветовых образцов.

10. Способ по п. 9, в котором компенсирование содержит определение первого набора из одной или более функций, имеющих первый набор калибровочных коэффициентов, при этом упомянутая одна или более функций соотносят измеренные цвета известных калибровочных цветовых образцов из вторых данных изображения с известными колориметрическими данными калибровочных цветовых образцов и известным положением каждого известного образца в изображении; и анализ определенных функций, чтобы находить второй набор функций, имеющих второй набор калибровочных коэффициентов, при этом первые и вторые наборы функций и калибровочных коэффициентов используются в вычислении колориметрических данных неизвестного цветового образца.

11. Способ по п. 10, в котором компенсирование дополнительно содержит, до определения первого набора функций, определение предшествующего набора функций, имеющих предшествующий набор калибровочных коэффициентов, которые соотносят измеренные цвета известных калибровочных цветовых образцов из вторых данных изображения с известными колориметрическими данными калибровочных цветовых образцов без учета положения известных цветовых образцов, при этом предшествующий набор калибровочных коэффициентов используется как часть первого набора калибровочных коэффициентов в определении первого набора из одной или более функций.

12. Способ по п. 1, в котором характеристики цветовой калибровки определяются с использованием N известных калибровочных цветовых образцов, при этом N меньше, чем полное количество известных калибровочных цветовых образцов по всему цветовому пространству.

13. Способ по п. 12, в котором N известных калибровочных цветовых образцов являются теми N образцами, которые являются самыми близкими в цветовом пространстве к оцененному цвету неизвестного цветового образца.

14. Способ по п. 13, в котором оцененный цвет получается посредством определения первого набора калибровочных характеристик с использованием всех доступных известных калибровочных цветовых образцов и вычисления оцененного цвета с использованием первого набора калибровочных характеристик.

15. Способ по п. 12, в котором N известных калибровочных цветовых образцов являются N образцами, используемыми в ограниченном цветовом пространстве, для которого известно, что его представляют вторые данные изображения.

16. Способ по п. 12, в котором N известных калибровочных цветовых образцов являются теми N образцами, которые имеют измеренные цветовые значения из вторых данных изображения, которые являются наиболее подобными измеренному цветовому значению неизвестного образца из первых данных изображения.

17. Способ по любому из пп. 12-16, в котором N находится в диапазоне от 5 до 250, или более предпочтительно от 10 до 100, или более предпочтительно от 20 до 85, или более предпочтительно от 30 до 70, или более предпочтительно от 40 до 60, или наиболее предпочтительно равно 50.

18. Способ по п. 1, в котором вычисление содержит:
применение алгоритма кластеризации к пиксельным значениям пикселей, представляющих неизвестный цветовой образец в первом изображении, чтобы определять количество цветов в изображении образца; и
возвращение цвета для каждого идентифицированного кластера.

19. Способ по п. 18, в котором пиксельные значения сначала калибруются с использованием характеристик цветовой калибровки.

20. Способ по любому из пп. 18 или 19, в котором алгоритм кластеризации при использовании работает следующим образом:
i) вычисляют среднее значение пикселей в кластере;
ii) определяют количество пикселей в пределах предварительно определенного порогового расстояния среднего значения;
iii) увеличивают количество кластеров, если определенное количество пикселей меньше, чем предварительно определенная доля количества пикселей в первых данных изображения, относящихся к неизвестному образцу.

21. Способ по п. 20, дополнительно содержащий фильтрацию кластеров, чтобы удалять те кластеры из рассмотрения, которые не содержат пороговое количество пикселей в пределах второго порогового расстояния среднего у кластера.

22. Устройство для определения цвета из изображения, содержащее:
по меньшей мере, один процессор; и
по меньшей мере, одно запоминающее устройство, включающее в себя компьютерный программный код, при этом упомянутые, по меньшей мере, одно запоминающее устройство и компьютерный программный код сконфигурированы с возможностью с упомянутым, по меньшей мере, одним процессором побуждать устройство выполнять, по меньшей мере, следующее:
i) принимать первые данные изображения, относящиеся к неизвестному цветовому образцу, колориметрические данные для которого должны определяться, и вторые данные изображения, относящиеся к множеству известных калибровочных цветовых образцов, колориметрические данные для которых уже известны;
ii) определять множество характеристик цветовой калибровки, соотносящих цветовые измерения известных калибровочных цветовых образцов из вторых данных изображения с соответственными известными колориметрическими данными калибровочных цветовых образцов;
iii) вычислять колориметрические данные неизвестного цветового образца в зависимости от его цветовых измерений по первым данным изображения и определенным характеристикам цветовой калибровки;
iv) сопоставлять определенные колориметрические данные неизвестного цветового образца с цветовой палитрой цветов краски, чтобы идентифицировать совпадающий цвет краски, и
v) предоставлять информацию, относящуюся к совпадающему цвету краски, пользователю,
причем упомянутые по меньшей мере одно запоминающее устройство и компьютерный программный код сконфигурированы с возможностью с упомянутым по меньшей мере одним процессором побуждать устройство дополнительно ориентировать по меньшей мере вторые данные изображения в известную ориентацию, чтобы обеспечивать возможность для распознавания известных калибровочных цветовых образцов в ней, при этом
ориентирование дополнительно содержит идентификацию множества предварительно определенных точек, относящихся к набору известных калибровочных цветовых образцов во вторых данных изображения, и применение преобразования перспективы ко вторым данным изображения в зависимости от местоположения идентифицированных точек, чтобы устранять искажения изображения известных калибровочных цветовых образцов.

23. Устройство по п. 22, в котором ориентирование содержит выполнение обнаружения границ, чтобы идентифицировать местоположение известных калибровочных цветовых образцов во вторых данных изображения.

24. Устройство по любому из пп. 22-23, в котором ориентирование дополнительно содержит идентификацию предварительно определенных меток вращательной ориентации, относящихся к набору известных калибровочных цветовых образцов во вторых данных изображения; и вращение вторых данных изображения в зависимости от местоположения идентифицированных меток вращательной ориентации, так что известные калибровочные цветовые образцы помещаются в известное положение во вторых данных изображения.

25. Устройство по любому из пп. 22-23, в котором первые данные изображения и вторые данные изображения принимаются от удаленного пользователя посредством телекоммуникационной сети и информация, относящаяся к совпадающему цвету краски, предоставляется пользователю посредством телекоммуникационной сети.

26. Устройство по п. 25, в котором первые данные изображения и вторые данные изображения принимаются как любое из: i) сообщения электронной почты; ii) сообщения MMS; или iii) данных изображения в Веб-странице; и при этом информация, относящаяся к совпадающему цвету краски, обеспечивается как любое из i) сообщения электронной почты; ii) сообщения MMS; iii) сообщения SMS или iv) данных в Веб-странице.

27. Устройство по любому из пп. 22-23, в котором первые данные изображения и вторые данные изображения создаются пользователем с использованием устройства захвата изображения; при этом устройство захвата изображения является предпочтительно любым из: i) цифровой камеры; ii) оснащенного камерой мобильного телефона; или iii) цифровой записывающей видеокамеры.

28. Устройство по любому из пп. 22-23, в котором определенные колориметрические данные и/или известные колориметрические данные являются трехкоординатными значениями XYZ.

29. Устройство по любому из пп. 22-23, в котором упомянутые по меньшей мере одно запоминающее устройство и компьютерный программный код сконфигурированы с возможностью с упомянутым по меньшей мере одним процессором побуждать устройство дополнительно определять дополнительные цвета для совпадающего цвета и предоставлять информацию, относящуюся к определенным дополнительным цветам, пользователю.

30. Устройство по любому из пп. 22-23, в котором определение характеристик цветовой калибровки содержит компенсирование яркостных различий по набору известных калибровочных цветовых образцов.

31. Устройство по п. 30, в котором компенсирование содержит определение первого набора из одной или более функций, имеющих первый набор калибровочных коэффициентов упомянутой одной или более функций, соотносящих измеренные цвета известных калибровочных цветовых образцов из вторых данных изображения с известными колориметрическими данными калибровочных цветовых образцов и известным положением каждого известного образца в изображении; и анализ определенных функций, чтобы находить второй набор функций, имеющих второй набор калибровочных коэффициентов, при этом первые и вторые наборы функций и калибровочных коэффициентов используются в вычислении колориметрических данных неизвестного цветового образца.

32. Устройство по п. 31, в котором компенсирование дополнительно содержит, до определения первого набора функций, определение предшествующего набора функций, имеющих предшествующий набор калибровочных коэффициентов, которые соотносят измеренные цвета известных калибровочных цветовых образцов из вторых данных изображения с известными колориметрическими данными калибровочных цветовых образцов без учета положения известных цветовых образцов, при этом предшествующий набор калибровочных коэффициентов используются как часть первого набора калибровочных коэффициентов в определении первого набора из одной или более функций.

33. Устройство по п. 22, в котором характеристики цветовой калибровки определяются с использованием N известных калибровочных цветовых образцов, при этом N меньше, чем полное количество известных калибровочных цветовых образцов по полному цветовому пространству.

34. Устройство по п. 33, в котором N известных калибровочных цветовых образцов являются теми N образцами, которые являются самыми близкими в цветовом пространстве к оцененному цвету неизвестного цветового образца.

35. Устройство по п. 34, в котором оцененный цвет получается посредством определения первого набора калибровочных характеристик с использованием всех доступных известных калибровочных цветовых образцов и вычисления оцененного цвета с использованием первого набора калибровочных характеристик.

36. Устройство по п. 33, в котором N известных калибровочных цветовых образцов являются N образцами, используемыми внутри ограниченного цветового пространства, для которого известно, что его представляют вторые данные изображения.

37. Устройство по п. 33, в котором N известных калибровочных цветовых образцов являются теми N образцами, которые имеют измеренные цветовые значения из вторых данных изображения, которые являются наиболее подобными измеренному цветовому значению неизвестного образца из первых данных изображения.

38. Устройство по любому из пп. 33-37, в котором N находится в диапазоне от 5 до 250, или более предпочтительно от 10 до 100, или более предпочтительно от 20 до 85, или более предпочтительно от 30 до 70, или более предпочтительно от 40 до 60, или наиболее предпочтительно равно 50.

39. Устройство по п. 22, в котором вычисление содержит:
применение алгоритма кластеризации к пиксельным значениям пикселей, представляющих неизвестный цветовой образец в первом изображении, чтобы определять количество цветов в изображении образца; и
возвращение цвета для каждого идентифицированного кластера.

40. Устройство по п. 39, в котором пиксельные значения сначала калибруются с использованием характеристик цветовой калибровки.

41. Устройство по любому из пп. 39-40, в котором алгоритм кластеризации при использовании работает следующим образом:
i) вычисляют среднее значение пикселей в кластере;
ii) определяют количество пикселей в пределах предварительно определенного порогового расстояния среднего значения;
iii) увеличивают количество кластеров, если определенное количество пикселей меньше, чем предварительно определенная доля количества пикселей в первых данных изображения, относящихся к неизвестному образцу.

42. Устройство по п. 41, дополнительно содержащее фильтрацию кластеров, чтобы удалять те кластеры из рассмотрения, которые не содержат порогового количества пикселей в пределах второго порогового расстояния среднего упомянутого кластера.