СИСТЕМА И СПОСОБ ДЛЯ СЖАТИЯ СИГНАЛА ЦИФРОВОГО ИЗОБРАЖЕНИЯ С ИСПОЛЬЗОВАНИЕМ ИСТИННЫХ ИЗОБРАЖЕНИЙ Российский патент 2016 года по МПК G06K9/36 G06T5/00 

УРОВЕНЬ ТЕХНИКИ

Многие значительные и коммерчески важные области применения современных компьютерных технологий относятся к изображениям. Они включают в себя обработку изображений, анализ изображений и приложения компьютерного зрения. В приложениях компьютерного зрения, таких как, например, распознавания объектов и оптическое распознавание символов, было установлено, что разделение аспектов освещенности и материала изображения может значительно улучшить точность и скорость работы компьютера. Значительные первые изобретения, относящиеся к аспектам освещенности и материала изображения, раскрыты в патенте США № 7873219 Richard Mark Friedhoff, под названием «Differentiation Of Illumination And Reflection Boundaries» и в патенте США № 7672530 на Richard Mark Friedhoff и др., под названием «Method And System For Identifying Illumination Flux In An Image» (далее патенты Friedhoff).

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящее изобретение обеспечивает улучшение и усиление основополагающим идеям патентов Friedhoff, и включает в себя способ и систему, содержащие методы изображения, которые точно и правильно генерируют истинные изображения (intrinsic images, истинные изображения), которые могут быть применены в алгоритме сжатия сигнала цифрового изображения, для улучшенных результатов при, например, передаче данных.

В первом примерном варианте осуществления настоящего изобретения обеспечивается автоматизированный, компьютеризированный способ для обработки изображения. В соответствии с признаком настоящего изобретения способ содержит этапы обеспечения файла изображения, представляющего изображение, в памяти компьютера, генерации истинного изображения, соответствующего изображению, и сжатия истинного изображения, чтобы обеспечить сжатое истинное изображение.

Во втором примерном варианте осуществления настоящего изобретения обеспечивается компьютерная система. Компьютерная система содержит ЦП и память, хранящую файл изображения, содержащий изображение. В соответствии с признаком настоящего изобретения ЦП устроен и выполнен с возможностью выполнения процедуры для генерирования истинного изображения, соответствующего изображению, и сжатия истинного изображения, чтобы обеспечить сжатое истинное изображение.

В третьем примерном варианте осуществления настоящего изобретения обеспечивается компьютерный программный продукт, расположенный на считываемом компьютером носителе. Компьютерный программный продукт, включает в себя исполняемые компьютером этапы процесса, выполненные с возможностью управления компьютером, чтобы: обеспечить файл изображения, представляющий изображение, в памяти компьютера, генерировать истинное изображение, соответствующее изображению, и сжимать истинное изображение, чтобы обеспечить сжатое истинное изображение.

В четвертом примерном варианте осуществления настоящего изобретения обеспечивается автоматизированный, компьютеризированный способ для обработки изображения. В соответствии с признаком настоящего изобретения способ содержит этап приема сжатого истинного изображения.

В пятом примерном варианте осуществления настоящего изобретения устройство устроено и выполнено с возможностью приема сжатого истинного изображения.

В шестом примерном варианте осуществления настоящего изобретения обеспечивается компьютерный программный продукт, расположенный на считываемом компьютером носителе. Компьютерный программный продукт включает в себя исполняемые компьютером этапы процесса, осуществляемые для управления компьютером, чтобы принимать сжатое истинное изображение.

В соответствии с еще другими вариантами осуществления настоящего изобретения обеспечиваются компьютерные системы, которые включают в себя один или несколько компьютеров, сконфигурированных (например, запрограммированных) для выполнения способов, описанных выше. В соответствии с другими вариантами осуществления настоящего изобретения обеспечивается не временные считываемые компьютером носители, которые имеют сохраненные на них исполняемые компьютером этапы процесса, осуществляемые для управления компьютером(ами) для реализации вышеописанных вариантов осуществления. Настоящее изобретение предполагает считываемые компьютером носители как любой продукт, который воплощает информацию, используемую в компьютере для выполнения способов по настоящему изобретению, включением в себя инструкций, реализованных как аппаратная схема, например, как в кристалле интегральной схемы. Автоматизированные, компьютерные способы могут быть выполнены цифровым компьютером, аналоговым компьютером, оптическим датчиком, конечным автоматом, контроллером последовательности, интегральной схемой или любым устройством или устройством, которое может быть выполнено или запрограммировано для выполнения этапов способов настоящего изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 является блок-схемой компьютерной системы устроенной и выполненной с возможностью выполнять операции, связанные с изображениями.

Фиг. 2 показывает массив nXm пикселей файла изображения для изображения, хранящегося в компьютерной системе по фиг. 1.

Фиг. 3а является блок-схемой последовательности операций для идентификации областей базовых элементов типа C в файле изображения с фиг. 2 в соответствии с признаком настоящего изобретения.

Фиг. 3b является исходным изображением, используемым в качестве примера в идентификации базовых элементов типа С.

Фиг. 3с показывает области базовых элементов типа C в изображении с фигуры 3b.

Фиг. 3d показывает базовые элементы типа B, сгенерированные из базовых элементов типа С с фиг. 3с, в соответствии с признаком настоящего изобретения.

Фиг. 4 является блок-схемой последовательности операций для процедуры тестирования базовых элементов типа С, идентифицированных процедурой блок-схемы последовательности операций с фиг. 3а, в соответствии с признаком настоящего изобретения.

Фиг. 5 является графическим представлением лога цветового пространства плоскости цветности в соответствии с признаком настоящего изобретения

Фиг. 6 является блок-схемой последовательности операций для определения списка цветов, изображенных на входном изображении.

Фиг. 7 является блок-схемой последовательности операций для определения ориентации для логарифмического пространства цветности в соответствии с признаком настоящего изобретения.

Фиг. 8 является блок-схемой последовательности операций для определения логарифмических координат цветности для цветов входного изображения, как это определено посредством выполнения процедуры с фиг. 6, в соответствии с признаком настоящего изобретения.

Фиг. 9 является блок-схемой последовательности операций для дополнения логарифмических координат цветности как определено посредством выполнения процедуры с фиг. 8, в соответствии с признаком настоящего изобретения

Фиг. 10 является блок-схемой последовательности операций для кластеризации логарифмических координат цветности в соответствии с признаком настоящего изобретения

Фиг. 11 является блок-схемой последовательности операций для назначения логарифмических координат цветности кластерам, определенным посредством выполнения процедуры с фиг. 10, в соответствии с признаком настоящего изобретения.

Фиг. 12 является блок-схемой последовательности операций для обнаружения областей однородной отражательной способности, основанного на логарифмической кластеризации цветности в соответствии с признаком настоящего изобретения.

Фиг. 13 является представлением [А] [х]=[b] отношения матриц, используемого чтобы идентифицировать и разделять аспекты освещенности и материала изображения в соответствии с таким же ограничением материала для генерации истинных изображений.

Фиг. 14 иллюстрирует особенности изображений, включающие в себя изображение освещенности и изображение материала, соответствующие исходному изображению с фиг. 3b.

Фиг. 15 является блок-схемой последовательности операций для сжатия истинного изображения в соответствии с признаком настоящего изобретения.

Фиг. 16 является блок-схемой последовательности операций для разуплотнения истинного изображения в соответствии с признаком настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Обращаясь теперь к чертежам и вначале к фиг. 1, на ней показана блок-схема компьютерной системы 10 устроенной и выполненной с возможностью выполнять операции, связанные с изображениями. ЦП 12 соединен с устройством, таким как, например, цифровая камера 14 посредством, например, USB порта. Цифровая камера может содержать цифровую видеокамеру. Цифровая камера 14 работает для загрузки изображений, хранящихся локально на камере 14, в ЦП 12. ЦП 12 хранит загруженные изображения в памяти 16 как файлы 18 изображений. К файлам 18 изображений может быть осуществлен доступ посредством ЦП 12 для отображения на мониторе 20 или для печати на принтере 22. Память 16 может содержать любое временное или постоянное устройство хранения данных.

Кроме того, компьютерная система 10 включает в себя объектную базу данных 24, хранящую информацию о различных объектах, которые могут появляться в файлах 18 изображения, сохраненных в памяти 16. Информация включает в себя информацию о структуре материала и отражающей способности цветов материала для каждого объекта, хранящегося в базе данных 24. Объектная база данных соединена с ЦП 12, как показано на фиг. 1. ЦП 12 также соединен с Интернетом 26, для доступа к веб-сайтам 28. Веб-сайты 28 включают в себя веб-сайты, которые содержат информацию, относящуюся к объектам, которые могут появляться в файлах 18 изображений, такую как, например, структуры материала и отражающая способность цветов материала для объектов, и обеспечивают другой источник для объектной базы данных. Веб-сайты 28 также включают в себя веб-сайты, которые выполнены с возможностью приема файла 18 изображения, передаваемого через Интернет 26, от ЦП 12.

В качестве альтернативы ЦП 12 может быть реализован как микропроцессор, встроенный в устройство, такое как, например, цифровая камера 14 или робот. ЦП 12 может также быть оснащен операционной системой реального времени для операций реального времени, связанных с изображениями, в соединении с, например, робототехнических операцией или интерактивной операцией с пользователем.

Как показано на фиг. 2, каждый файл 18 изображения содержит массив n X m пикселей. Каждый пиксель, р, является элементом графического изображения, соответствующим дискретной части общего изображения. Все пиксели вместе образуют изображение, представленное файлом 18 изображения. Каждый пиксель содержит цифровое значение, соответствующее набору цветовых каналов, например, красный, зеленый и синий цветовые компоненты (RGB) элемента графического изображения. Настоящее изобретение применимо к любому многополосному изображению, где каждая полоса соответствует части электромагнитного спектра. Массив пикселей включает в себя n строк из m столбцов каждый, начиная с пикселя р(1,1) и заканчивая пикселем р(n,m). При отображении или печати изображения ЦП 12 извлекает соответствующий файл 18 изображения из памяти 16, и приводит в действие монитор 20 или принтер 22, в зависимости от обстоятельств, как функцию цифровых значений пикселей в файле 18 изображения, как общеизвестно.

При операции над изображением ЦП 12 работает для анализа RGB значений пикселей сохраненного файла 18 изображения для достижения различных целей, таких как, например, идентификация областей изображения, которые соответствуют одиночному материалу, изображенному в сцене, записанной в файл 18 изображения. Фундаментальным наблюдением, лежащим в основе базового открытия настоящего изобретения является то, что изображение состоит из двух компонентов, материала и освещенности. Все изменения в изображении вызваны одним или другим из этих компонентов. Способ обнаружения одного из этих компонентов, например, материала, обеспечивает механизм для различения материала или геометрии объекта, например, краев объекта, от границ освещенности и теней.

Такой механизм обеспечивает методы, которые могут быть использованы для генерации истинных изображений. Истинные изображения соответствуют исходному изображению, например, изображению, представленному в файле 18 входного изображения. Истинные изображения включают в себя, например, изображение освещенности для захвата интенсивности и цвета света, падающего на каждую точку на поверхностях, представленных на изображении, и изображение отражающей способности материала для захвата свойств отражающей способности поверхностей, представленных на изображении (процент каждой длины волны света, отражаемого поверхностью). Отделение освещенности от материала в особенностях изображений обеспечивает ЦП 12 изображениями, оптимизированными для более эффективной и точной и действенной дальнейшей обработки.

Например, в соответствии с признаком настоящего изобретения истинные изображения применяются в алгоритме сжатия сигнала цифрового изображения, для улучшенных результатов при передаче данных и/или хранении. Компьютерные файлы, которые представляют изображение, в частности, цветное изображение, требуют значительного объема информации, размещенного как, например, пиксели, представленные байтами. Таким образом, каждый файл изображения требуется значительного объема места хранения в памяти, и может потреблять большой объем времени при передаче данных изображения на удаленный сайт или устройство. Объем времени, которое может потребоваться для передачи последовательности изображений, например, как в видеопотоке, может представить операцию, такую как операция потоковой передачи для отображения в реальном времени видео на смартфоне, веб-сайте Интернета или планшете, неосуществимой.

Соответственно, математические методы были разработаны, чтобы сжать количество байтов, выражающих пиксели изображения, в значительно меньшее количество байтов. Например, формат файла.jpg является алгоритмом сжатия с потерями, разработанным Joint Photographic Experts Group (JPEG), для сжатия цифрового фотографического файла. Сжатое изображение может быть сохранено таким образом, что требует гораздо меньше объема хранилища, чем файл исходного изображения, и передается на удаленный сайт или устройство в гораздо более эффективной и быстрой операции передачи. Файл сжатого изображения разуплотняется для дальнейшего использования, такого как, например, отображение на экране. Однако в связи с быстрым ростом числа пользователей устройств для приема и отображения в режиме реального времени цифровых видео, известные методы сжатия выжимаются до пределов эффективной функциональности.

В соответствии с признаком настоящего изобретения сжатие цифрового сигнала и обработка по разуплотнению улучшены выполнением процессов сжатия и разуплотнения в отношении истинных изображений.

В соответствии с признаком настоящего изобретения обработка производится на уровне базового элемента. Базовый элемент является связанной областью изображения, где пиксели области связаны друг с другом в порядке, соответствующем идентификации признаков изображения и характеристик, таких как идентификация материалов и освещенности. Пиксели базового элемента могут быть связаны с точки зрения либо гомогенных факторов, таких как, например, близкая корреляция цвета между пикселями, либо негомогенных факторов, таких как, например, отличающиеся значения цвета, связанные геометрически в цветовом пространстве, таком как RGB пространство, обычно называемом как текстура. Настоящее изобретение использует пространственно- пектральную информацию, относящуюся к смежным пикселям изображения, представленного в файле 18 изображения для идентификации областей базовых элементов. Пространственно - спектральная информация включает в себя спектральные соотношения между смежными пикселями, с точки зрения цветовых каналов, например RGB значений пикселей, и пространственной протяженности пиксельных спектральных характеристик, относящихся к одному материалу.

В соответствии с одним примерным вариантом осуществления настоящего изобретения каждый из базовых элементов классифицируются как базовый элемент типа А, базовый элемент типа B или базовый элемент типа C. Базовый элемент типа А является связанной областью изображения, содержащей смежные пиксели, которые представляют наибольшую возможную область изображения, охватывающую один материал в сцене (однородная отражающая способность). Базовый элемент типа B является связанной областью изображения, содержащей смежные пиксели, которые представляют область изображения, охватывающую один материал в сцене, хотя и не обязательно максимальную область однородной отражающей способности, соответствующую этому материалу. Базовый элемент типа B также может быть определен как совокупность одной или более областей изображения или пикселей, все из которых имеют одну и ту же отражающую способность (цвет материала), хотя и не обязательно всех пикселей, которые соответствуют этому цвету материала. Базовый элемент типа С содержит связанную область изображения аналогичных свойств изображения среди смежных пикселей базового элемента, где сходство определяется по отношению к модели шумов для системы формирования изображений, используемой для записи изображения.

Обращаясь теперь к фиг. 3а, на которой показана структурная схема для идентификации областей базовых элементов типа C в сцене, представленной в файле 18 изображения фиг. 2, в соответствии с признаком настоящего изобретения. Базовые элементы типа C могут быть легко идентифицированы на изображении с использованием этапов с фиг. 3а, а затем проанализированы и обработаны для создания базовых элементов типа B, в соответствии с признаком настоящего изобретения.

Базовый элемент гомогенного, однородного типа C 1-го порядка состоит из одного надежного измерения цвета среди смежных пикселей изображения. В начале процедуры идентификации ЦП 12 устанавливает карту области в памяти. На этапе 100 ЦП 12 очищает карту области и назначает ID области, который первоначально устанавливается в 1. Итерация для процедуры, соответствующая числу пикселей, устанавливается на i=0, а число для массива пикселей N×N, для использования в качестве источника для определения базового элемента, устанавливается начальным значением, N=N_start. N_start может быть любым целым числом >0, например оно может быть установлено на 11 или 15 пикселей.

На этапе 102 начинается тест источника. ЦП 12 выбирает первый пиксель, i=1, пиксель (1,1), например (см. фиг. 2), пиксель в верхнем левом углу первой N х N выборки файла 18 изображения. Пиксель затем тестируют на этапе 104 принятия решения для определения, является ли выбранный пиксель частью хорошего источника. Тест может содержать сравнение значения цвета выбранного пикселя со значениями цвета предварительно выбранного числа его соседних пикселей как источника, например, массив N х N. Сравнение значений цвета может быть по отношению к множественным значениям цветовых каналов (RGB в нашем примере) пикселя. Если сравнение не приводит к приблизительно равным значениям (в пределах уровней шума записывающего устройства) для пикселей в источнике, ЦП 12 осуществляет приращение значения i (этап 106), например, i=2, пиксель (1,2), для следующей выборки источника N х N, а затем осуществляет тестирование для определения, если i=i_max (этап 108 принятия решения).

Если значение пикселя является i_max, значение, выбранное в качестве порогового значения для принятия решения на уменьшение размера источника для улучшенных результатов, размер источника, N, уменьшается (этап 110), например, с N=15 на N=12. В примерном варианте осуществления настоящего изобретения i_max может быть установлено на количество пикселей в изображении, заканчивающимся на пикселе (n,m), как показано на фиг. 2. Таким образом, процедура на фиг. 3а анализирует все изображение при первом значении N перед повторением процедуры для уменьшенного значения N.

После уменьшения размера источника, процедура возвращается на этап 102 и продолжает осуществлять тестирование для источников базовых элементов. Значение N_stop (например, N=2) также проверяется на этапе 110 для определения, завершен ли анализ. Если значение N является N_stop, ЦП 12 завершил исследование массивов пикселей изображения и выходит из процедуры.

Если значение i меньше i_max, и N больше, чем N_stop, процедура возвращается на этап 102, и продолжает осуществлять тестирование для источников базовых элементов.

Когда хороший источник (массив N х N с примерно равными значениями пикселей) найден (этап 104), базовый элемент возрастает из источника. На этапе 112 ЦП 12 помещает пиксели из источника на очередь. Все пиксели в очереди обозначены ID текущей области в карте области. ЦП 12 затем запрашивает, является ли очередь пустой (этап 114 принятия решения). Если очередь не пуста, то процедура переходит к этапу 116.

На этапе 116 ЦП 12 извлекает передний пиксель из очереди и переходит к этапу 118. На этапе 118 ЦП 12 помечает "хорошими" соседей вокруг предметного пикселя, которые являются соседями приблизительно равного по значению цвета с предметным пикселем, с ID текущей области. Все помеченные хорошие соседи помещаются в карту области, и также переводятся в очередь. ЦП 12 затем возвращается к этапу 114 принятия решения. Процедура этапов 114, 116, 118 повторяется, пока очередь не опустеет. В это время все пиксели, формирующие базовый элемент в текущей области, будут идентифицированы и помечены в карте области в качестве базового элемента типа C.

Когда очередь пуста, ЦП 12 переходит к этапу 120. На этапе 120 ЦП 12 осуществляет приращение ID области для использования с идентификацией следующего базового элемента. ЦП 12 затем возвращается на этап 106 для повтора процедуры в отношении новой текущей области базового элемента.

После достижения N=N_stop, этап 110 блок-схемы последовательности операций с фиг. 3a, или завершения карты области, которая совпадает с изображением, процедура будет завершена задачей построения базового элемента. Фиг. 3b является исходным изображением, используемым в качестве примера при идентификации базовых элементов. Изображение показывает зоны синего цвета и синего в тени, и бирюзового цвета и бирюзового в тени. Фиг. 3с показывает области базовых элементов, соответствующие карте областей, например, как идентифицировано путем исполнения процедуры фиг. 3а (базовые элементы типа C), в отношении изображения фиг. 3b. Области базовых элементов обладают цветной маркировкой, чтобы проиллюстрировать структуру базового элемента изображения с фиг. 3b, в том числе области полутеней между полноцветными синими и бирюзовыми зонами изображения и тенью окрашенных зон.

В то время как каждый базовый элемент типа C содержит область изображения, имеющую одно надежное измерение цвета среди смежных пикселей изображения, базовый элемент может вырасти за границы материала. Как правило, различные материалы соединяются вместе в одном базовом элементе типа С через область переходной части, часто расположенную на границах тени или в зонах с различной освещенностью, пересекающей различные материалы с аналогичным оттенком, но разной интенсивности. Пиксель переходной части может быть идентифицирован исследованием характеристик соседних пикселей. Когда пиксель имеет два смежных пикселя на противоположных сторонах, которые находятся не в соответствующем базовом элементе, и два смежных пикселя на противоположных сторонах, которые находятся в соответствующем базовом элементе, пиксель определяется как пиксель переходной части.

Фиг. 4 показывает блок-схему последовательности операций для проверки переходной части на предмет базовых элементов типа С. На этапе 122 ЦП 12 исследует каждый пиксель идентифицированного базового элемента для определения, формирует ли любой из исследуемых пикселей переходную часть. Процедура с фиг. 4 может быть исполнена как подпроцедура непосредственно после идентификации конкретного базового элемента во время исполнения процедуры с фиг. 3а. Все пиксели, идентифицированные как переходная часть, маркируются как «невыращиваемые». На этапе 124 принятия решения ЦП 12 определяет, были ли помечены какие-либо из пикселей.

Если нет, ЦП 12 выходит из процедуры с фиг. 4 и возвращается к процедуре с фиг. 3а (этап 126).

Если да, ЦП 12 переходит к этапу 128 и осуществляет управление для повторного выращивания базового элемента из местоположения источника, выбранного из непомеченных пикселей текущего базового элемента, согласно процедуре с фиг. 3а, без изменения счетчиков для размера источника и ID области. Во время процесса повторного выращивания ЦП 12 не включает в себя какой- либо пиксель, ранее маркированный как невыращиваемый. После того как базовый элемент повторно выращен, ранее помеченные пиксели демаркируются, так что другие базовые элементы могут вырасти в них.

После повторного выращивания базового элемента без ранее помеченных пикселей ЦП 12 возвращается к этапу 122 для тестирования вновь повторно выращенного базовый элемента. Тестирование переходной части идентифицирует базовые элементы типа C, которые пересекают границы материала, и повторно выращивает идентифицированные базовые элементы для обеспечения одного материала базовых элементов типа С, пригодных для использования в создании базовых элементов типа B.

Фиг. 3d показывает базовые элементы типа B, сгенерированные из базовых элементов типа С с фиг. 3с, в соответствии с признаком настоящего изобретения. Настоящее изобретение обеспечивает новый примерный метод использования кластеризации логарифма цветности для построения базовых элементов типа B для файла 18 изображения. Логарифм цветности представляет собой метод для разработки пространства цветности инвариантной освещенности.

Способ и система для разделения освещенности и отражательной способности с использованием представления логарифма цветности, раскрыт в патенте США № 7596266, который включен в настоящее описание посредством ссылки. Методы, раскрытые в патенте США № 7596266, могут быть использованы для обеспечения значений представления логарифма цветности инвариантной освещенности для каждого цвета изображения, например, как представлены базовыми элементами типа С. Логарифмические значения значений цветовых каналов пикселей изображения нанесены на график логарифмического пространства цветов. Логарифмические значения затем проецируется на плоскость проекции логарифма цветности, ориентированную как функция би-освещающей дихроматической модели отражения (BIDR модель) для обеспечения значение логарифма цветности для каждого пикселя, как описано в патенте США № 7596266. BIDR модель предсказывает, что различающиеся значения измерений цвета находятся в пределах цилиндра в RGB пространстве, из темного конца (в тени) в светлый конец (освещенный конец), по положительному наклону, когда изменение цвета происходит из-за изменения освещенности, образующей тень на одном материале сцены, представленном на изображении.

Фиг. 5 является графическим представлением логарифмического цветового пространства, би-освещенной плоскости цветности в соответствии с признаком изобретения, раскрытого в патенте США № 7596266. Выравнивание плоскости цветности определяется вектором N, нормальным к плоскости цветности, и определяется как N=log(Bright_vector)-log(Dark_vector)=log(1+1/S_vector). Координаты плоскости, u, v могут быть определены проекцией оси зеленого на плоскость цветности как u оси, и векторного произведения u и N определенного как v ось. В нашем примере каждое значение логарифма для материалов А, В, С проецируется на плоскость цветности и, следовательно, будет иметь соответствующее значение координат u, v в плоскости, которое является значением цветности, как показано на фигуре 5.

Таким образом, согласно методу, раскрытому в патенте США № 7596266, RGB значения каждого пикселя в файле 18 изображения могут быть отображены ЦП 12 от значения p(n,m,R,G,B) файла изображения к значению логарифма, а затем, через проекцию на плоскость цветности, к соответствующему значению u, v, как показано на фигуре 5. Каждый пиксель p(n,m,R,G,B) в файле 18 изображения затем заменяется ЦП 12 на двумерное значение цветности: p(n,m,u,v), чтобы обеспечить представление цветности исходного RGB изображения. В общем, для N-канального изображения, N значений цвета заменяются N-1 значениями цветности. Представление цветности является достоверно точным представлением, инвариантным освещенности, потому что BIDR модель, на которой основывается представление, точно и корректно представляет поток освещенности, который породил исходное изображение.

В соответствии с признаком настоящего изобретения значения логарифма цветности вычисляются для каждого цвета, представленного в файле 18 изображения, введенном в ЦП 12 для идентификации областей однородной отражательной способности (базовые элементы типа B). Например, каждый пиксель базового элемента типа C будет примерно того же значения цвета, например, исходя из RGB значений, что и все другие составляющие пиксели того же самого базового элемента типа C, в пределах уровня шума оборудования, используемого для записи изображения. Таким образом, среднее значений цвета для составляющих пикселей каждого конкретного базового элемента типа C может быть использовано для представления значения цвета для соответствующего базового элемента типа C в анализе логарифма цветности.

Фиг. 6 является блок-схемой последовательности операций для определения списка цветов, представленных во входном изображении, например файле 18 изображения. На этапе 200, вводный файл 18 входного изображения водится в ЦП 12 для обработки. На этапах 202 и 204 ЦП 12 определяет цвета, представленные в файле 18 входного изображения. На этапе 202 ЦП 12 вычисляет средний цвет для каждого базового элемента типа C, определенного посредством ЦП 12 посредством исполнения процедуры с фигуры 3а, как описано выше, для списка цветов. ЦП 12 может быть приведен в действие, чтобы необязательно требовать минимальный размер базового элемента, с точки зрения количества составляющих пикселей базового элемента, или минимальный размер источника (массива N х N), используемого для определения базовых элементов типа С в соответствии с процедурой с фиг. 3а, для анализа. Требования минимального размера реализованы для того, чтобы удостовериться, что измерения цвета в списке цветов для изображения являются точным описанием цвета в сцене, представленной во входном изображении, а не артефактом пикселей композиции.

Пиксели композиции это пиксели между двумя различно окрашенными областями изображения. Если цвета между двумя областями наносятся на график в RGB пространстве, существует линейный переход между цветами, с каждым пикселем композиции, двигаясь из одной области в другую, будучи средневзвешенным из цветов двух областей. Таким образом, каждый пиксель композиции не представляет истинный цвет изображения. Если пиксели композиции присутствуют, относительно небольшие базовые элементы типа C, состоящие из пикселей композиции, могут быть идентифицированы для зон изображения между двумя различно окрашенными областями. Требуя минимальный размер, ЦП 12 может убрать базовые элементы, состоящие из пикселей композиции, из анализа.

На этапе 204 ЦП 12 может альтернативно собирать цвета на уровне пикселей, то есть RGB значения пикселей файла 18 входного изображения, как показано на фиг. 2. ЦП 12 может быть приведен в действие, чтобы необязательно требовать обладания каждым пикселем файла 18 изображения, используемого в анализе, минимальной стабильности или локального квадратичного отклонения через вывод фильтра, для более точного списка цветов. Например, вторая производная энергии может быть использована для указания стабильности пикселей изображения.

При таком подходе ЦП 12 вычисляет вторую производную в каждом пикселе или поднаборе пикселей, израсходованных в изображении, чтобы охватить все условия освещенности изображения, представленного в файле 18 входного изображения, с использованием разности гауссианов, вычисления лапласиана над гауссианом или аналогичного фильтра. Вторая производная энергии для каждого исследуемого пикселя затем может быть вычислена с помощью ЦП 12 в качестве среднего абсолютного значения второй производной в каждом цветовом канале (или абсолютного значения одного значения в черно-белом изображении), суммы квадратов значений вторых производных в каждом цветовом канале (или квадрата одного значения в черно-белом изображении), максимального квадрата значения второй производной по цветовым каналам (или квадрата одного значения в черно-белом изображении), или любого подобного метода. После вычисления второй производной энергии для каждого из пикселей ЦП 12 анализирует значения энергии пикселей. Существует обратная зависимость между второй производной энергии и стабильностью пикселя, чем выше энергия, тем менее стабилен соответствующий пиксель.

На этапе 206 ЦП 12 выводит список или списки цвета (после исполнения одного или обоих этапов 202 и/или 204). В соответствии с признаком настоящего изобретения вся дальнейшая обработка может быть исполнена с использованием списка из любого из этапов 202 или 204, или варианта используемого списка (один или другой из списков из этапов 202 или 204) на каждом последующем этапе.

Фиг. 7 является блок-схемой последовательности операций для определения ориентации для представления логарифма цветности в соответствии с признаком настоящего изобретения. Например, ЦП 12 определяет ориентацию для нормали N, для плоскости логарифма цветности, как показано на фиг. 5. На этапе 210 ЦП 12 принимает список цветов для входного файла 18, такой как список, выводимый на этапе 206 процедуры с фиг. 6. На этапе 212 ЦП 12 определяет ориентацию для логарифмического пространства цветности.

Как описано в патенте США № 7596266 и как отмечалось выше, выравнивание плоскости цветности представлено посредством N, N, что является вектором нормальным к представлению цветности, например плоскости цветности с фиг. 5. Ориентация оценивается посредством ЦП 12 тщательным исполнением любого из нескольких методов. Например, ЦП 12 может определить оценки на основании минимизации энтропии, ручного выбора пользователем или использования характеристического спектрального отношения для изображения из файла 18 входного изображения, как полностью раскрыто в патенте США № 7596266.

Для набора большей размерности цветов, например, RYGB пространства (красный, желтый, зеленый, синий), нормаль логарифма цветности, N, определяет подпространство с одной меньшей размерностью, чем входное пространство. Таким образом, в четырехмерном RYGB пространстве, нормаль N определяет трехмерное пространство логарифма цветности. Когда четырехмерные RYGB значения проецируются в трехмерное пространство логарифма цветности, проецированные значения в пространстве логарифма цветности не подвержены изменениям освещенности.

На этапе 214 ЦП 12 выводит ориентацию для нормали N. Как проиллюстрировано в примере фиг. 5, нормаль N определяет ориентацию для плоскости u, v в трехмерном RGB пространстве.

Фиг. 8 является блок-схемой последовательности операций для определения логарифмических координат цветности для цветов входного изображения, как это определено на этапах 202 или 204 процедуры с фиг. 6, в соответствии с признаком настоящего изобретения. На этапе 220 список цветов вводится в ЦП 12. Список цветов может содержать либо список, генерируемый посредством исполнения этапа 202 процедуры с фиг. 6, или список, генерируемый посредством исполнения этапа 204. На этапе 222 ориентация логарифма цветности для нормали, N, определенная посредством исполнения процедуры с фиг. 7, также вводится в ЦП 12.

На этапе 224 ЦП 12 работает для вычисления значения логарифма для каждого цвета в списке цветов и нанесения на график значений логарифма в трехмерном логарифмическом пространстве в соответствующих (log R, log G, log B) координатах, как проиллюстрировано на фиг. 5. Материалы А, В и С обозначают значения логарифма для конкретных цветов из списка цветов, вводимого в ЦП 12 на этапе 220. Плоскость логарифма цветности также вычисляется посредством ЦП 12 в трехмерном пространстве логарифма с координатами u, v и ориентацией установленной посредством N, вводится в ЦП 12 на этапе 222. Каждую координату u, v в плоскости логарифма цветности можно также обозначить соответствующей (log R, log G, log B) координатой в трехмерном логарифмическом пространстве.

В соответствии с признаком настоящего изобретения ЦП 12 затем проецирует значения логарифма для цветов А, В и С на плоскость логарифма цветности, чтобы определить координаты u, v логарифма цветности для каждого цвета. Каждая координата u, v логарифма цветности может быть выражена соответствующей (log R, log G, log B) координатой в трехмерном логарифмическом пространстве. ЦП 12 выводит список логарифмических координат цветности на этапе 226. Список осуществляет перекрестную ссылку каждого цвета на координату u, v логарифма цветности и на пиксели (или базовые элементы типа С), имеющие соответствующий цвет (в зависимости от списка цветов, используемого в анализе (либо этап 202 (базовые элементы), либо 204 (пиксели))).

Фиг. 9 является блок-схемой последовательности операций для необязательного дополнения логарифмических координат цветности для пикселей или базовых элементов типа С дополнительными размерностями в соответствии с признаком настоящего изобретения. На этапе 230 список логарифмических координат цветности, определенных для цветов входного изображения посредством исполнения процедуры с фиг. 8, вводится на ЦП 12. На этапе 232 ЦП 12 осуществляет доступ к файлу 18 входного изображения, для использования в дополнении.

На этапе 234 ЦП 12 необязательно работает, чтобы дополнить каждую координату логарифма цветности интенсивностью тонального отображения для каждого соответствующего пикселя (или базового элемента типа С). Интенсивность тонального отображения определяется с использованием любого известного метода тонального отображения. Дополнение информацией интенсивности тонального отображения обеспечивает основу для кластеризации пикселей или базовых элементов, которые группируются в соответствии и с аналогичными координатами логарифма цветности и и аналогичными интенсивностями тонального отображения. Это улучшает точность шага кластеризации.

На этапе 236 ЦП 12 необязательно работает, чтобы дополнить каждую координату логарифма цветности координатами х, у для соответствующего пикселя (или средним координат х, у для составляющих пикселей базового элемента типа C) (см. фиг. 2, показывающую компоновку пикселей от P(1,1) до P(N,M)). Таким образом, шаг кластеризации с информацией координат х, у обеспечит группы в пространственно ограниченной компоновке, когда эта характеристика является желательной.

В каждом из этапов 234 и 236 дополненная информация может, в каждом случае, быть взвешена посредством коэффициента w₁ и w₂, w₃ соответственно, чтобы указать относительную важность и масштаб различных размерностей в дополненных координатах. Весовые коэффициенты w₁ и w₂, w₃ задаются пользователем. Соответственно, (log R, log G, log B) координаты для пикселя или базового элемента типа C добавляются к (log R, log G, log B, T*w₁, x*w₂, y*w₃), где Т, х и у являются интенсивностью выполненного тонального отображения, координатой х и координатой у, соответственно.

На этапе 238 ЦП 12 выдает список дополненных координат. Дополненные координаты логарифма цветности обеспечивают точные представления инвариантные освещенности для пикселей, или для заданной областной компоновки входного изображения, такой как, например, базовые элементы типа С. В соответствии с признаком настоящего изобретения на характеристику инвариантную освещенности логарифмических координат цветности полагаются в качестве основы для идентификации областей изображения одного материала или отражающей способности, таких как, например, базовые элементы типа B.

Фиг. 10 является блок-схемой последовательности операций для кластеризации логарифмических координат цветности в соответствии с признаком настоящего изобретения. На этапе 240 список дополненных логарифмических координат цветности вводится в ЦП 12. На этапе 242 ЦП 12 работает, чтобы осуществлять кластеризацию координат логарифма цветности. Этап кластеризации может быть реализован через, например, известную кластеризацию методом k-средних. Любой известный метод кластеризации может быть использован, чтобы осуществлять кластеризацию координат логарифма цветности для определения группы схожих значений логарифмических координат цветности. ЦП 12 коррелирует каждую координату логарифма цветности с группой, к которой принадлежит соответствующая координата. ЦП 12 также работает для вычисления центра для каждой группы, идентифицированной на этапе кластеризации. Например, ЦП 12 может определить центр для каждой группы относительно (log R, log G, log B, log T) пространства.

На этапе 244 ЦП 12 выводит список членств кластерных групп для логарифмических координат цветности (осуществляющих перекрестную ссылку к либо соответствующим пикселям, либо к базовым элементам типа С) и/или список центров кластерных групп.

Как отмечалось выше, при исполнении метода кластеризации ЦП 12 может использовать список цветов из либо списка, генерируемого посредством исполнения этапа 202 процедуры с фиг. 6, или списка, генерируемого посредством исполнения этапа 204. При применении идентифицированных кластерных групп к входному изображению ЦП 12 может работать, чтобы использовать тот же самый набор цветов, что и используемый в способе кластеризации (один из списка цветов, соответствующего этапу 202 или списка цветов, соответствующего этапу 204), или применять другой набор цветов (другой из списка цветов, соответствующего этапу 202 или списка цветов, соответствующего этапу 204). Если используется другой набор цветов, ЦП 12 переходит к исполнению процедуры с фиг. 11.

Фиг. 11 является блок-схемой последовательности операций для назначения логарифмических координат цветности кластерам, определенным посредством исполнения процедуры с фиг. 10, когда другой список цветов используется после идентификации кластерных групп в соответствии с признаком настоящего изобретения. На этапе 250 ЦП 12 снова исполняет процедуру с фиг. 8, на этот раз в отношении нового списка цветов. Например, если список цветов, сгенерированный на этапе 202 (цвета, основанные на базовых элементах типа С), был использован, чтобы идентифицировать кластерные группы, и ЦП 12 затем работает, чтобы классифицировать координаты логарифма цветности по отношению к кластерным группам, основанным на списке цветов, сгенерированном на этапе 204 (цвета основаны на пикселях), этап 250 процедуры с фиг. 11 выполняется, чтобы определить координаты логарифма цветности для цветов пикселей в файле 18 входного изображения.

На этапе 252 список центров кластеров вводится в ЦП 12. На этапе 254 ЦП 12 работает, чтобы классифицировать каждую из логарифмических координат цветности, идентифицированных на этапе 250, в соответствии с ближайшим центром кластерной группы. На этапе 256 ЦП 12 выводит список членств кластерных групп для логарифмических координат цветности, основанных на новом списке цветов, с перекрестной ссылкой на либо соответствующие пиксели либо базовые элементы типа С, в зависимости от списка цветов, используемого на этапе 250 (список цветов, сгенерированный на этапе 202 или список цветов, сгенерированный на этапе 204).

Фиг. 12 является блок-схемой последовательности операций для обнаружения областей однородной отражательной способности, основанного на кластеризации логарифма цветности в соответствии с признаком настоящего изобретения. На этапе 260 файл 18 входного изображения снова обеспечивается к ЦП 12. На этапе 262, один из пикселей или базовых элементов Типа С в зависимости от списка цветов, используемого на этапе 250, вводится в ЦП 12. На этапе 264 информация членства кластера либо из этапа 244, либо из 256, вводится в ЦП 12.

На этапе 266 ЦП 12 работает, чтобы объединить каждый из пикселей, или заданные области входного изображения, такие как, например, базовые элементы типа С, имеющие членство одной и той же кластерной группы, в одну область изображения для представления области однородной отражающей способности (базовый элемент типа B). ЦП 12 выполняет такую операцию объединения для всех пикселей или базовых элементов, в зависимости от обстоятельств может быть, для файла 18 входного изображения. На этапе 268 ЦП 12 выводит список всех областей однородной отражающей способности (а также аналогичных интенсивностей тонального отображения и координат х, у, если координаты логарифма цветности были дополнены на этапе 234 и/или 236). Следует отметить, что каждая область однородной отражающей способности (базовый элемент типа B), определяемая в соответствии с особенностями настоящего изобретения, потенциально оказывает существенное изменение освещенности по области.

В патентной публикации США № US 2010/0142825 раскрыта модель ограничения/решателя для сегрегации освещенности и материала в изображении, включающая в себя оптимальное решение, основанное на ограничении одним и тем же материалом. Ограничение одним и тем же материалом, раскрытое в патентной публикации США № US 2010/0142825, использует базовые элементы типа C и базовые элементы типа B, как может быть определено в соответствии с принципами настоящего изобретения. Ограничивающее соотношение заключается в том, что все базовые элементы типа С, которые являются частью того же базового элемента типа B ограничены, чтобы быть из одного и того же материала. Это ограничение обеспечивает определение базового элемента типа B, то есть связанная область изображения содержит смежные пиксели, которые представляют область изображения, охватывающую один материал (одной и той же отражательной способности) в сцене, хотя и не обязательно максимальную область, соответствующую материалу. Таким образом, все базовые элементы типа С, которые лежат в пределах одного и того же базового элемента типа B, являются по определению, наложенными на базовые элементы типа B, из того же самого материала, но не обязательно той же самой освещенности. Базовые элементы типа C поэтому ограничены, чтобы соответствовать наблюдаемым различиям во внешнем виде, которые вызваны различной освещенностью.

Фиг. 13 является представлением [А] [х]=[b] отношения матриц, используемого, чтобы идентифицировать и разделять аспекты освещенности и материала изображения в соответствии с ограничением одним и тем же материалом, как раскрыто в патентной публикации США № US 2010/0142825. Исходя из основного уравнения I=ML (I = записанное значение изображения, которое хранится в файле 18 изображения, М = отражающая способность материала, и L = освещенность), log(I)=log(ML)=log(М)+log(L). Это можно переформулировать как i=m+l, где i представляет log(I), m представляет log(M) и l представляет log(L). В ограничивающем соотношении одного и того же материала, в примере, где три базовых элемента типа С, a, b и c,(как показано на фиг. 13) находятся в области одной отражательной способности, как это определено соответствующим базовым элементом типа B, определяемым посредством a, b и c, то m_a=m_b=m_c. Для целей этого примера, значение I для каждого базового элемента типа C является средним значением цвета для записанных значений цвета составных пикселей базового элемента. a, b и c, базовых элементов типа C примера могут соответствовать базовым элементам типа B синего цвета, проиллюстрированным на фиг. 3d.

Поскольку: m_a=i_a-l_a, m_b=i_b-l_b, и m_c=i_c-l_c, эти математические соотношения могут быть выражены в ограничении одним и тем же материалом, как (1)l_a+(-1)l_b+(0)l_c=(i_a-i_b), (1)l_a+(0)l_b+(-1)l_c=(i_a-i_c) и (0)l_a+(1)l_b+(-1)l_c=(i_b-i_c).

Таким образом, в матричном уравнении с фигуры 13, различные значения для log(I)(i_a i_b i_c), в матрице [b], как известно, от средних записанных значений цвета пикселя для составных пикселей смежных базовых элементов типа С a,b и c. Матрица [A] из 0, 1 и -1, определяется системой уравнений, выражающей ограничение одним и тем же материалом, как описано выше. Количество строк в матрице [A] сверху вниз соответствует числу фактических ограничений, налагаемых на базовые элементы, в данном случае три, ограничение одним и тем же материалом между тремя соседними базовыми элементами типа С a,b и c. Количество столбцов в матрице [A] слева направо соответствует числу неизвестных, которые должны быть найдены, опять же, в этом случае, трех значений освещенности для трех базовых элементов. Поэтому значения для компонентов освещенности каждого базового элемента типа С a,b и c, в матрице [х], могут быть найдены в матричном уравнении, посредством ЦП 12. Следует отметить, что каждое значение является либо вектором из трех значений, соответствующих цветовым каналам (например, красный, зеленый и синий) из нашего примера либо может быть одним значением, например, в полутоновом изображении.

Как только значения освещенности известны, цвет материала может быть вычислен посредством ЦП 12 с использованием уравнения I=ML. Особенности изображений освещенности и материала могут быть теперь сгенерированы для области, определяемой базовыми элементами a,b и c, заменой каждого пикселя в исходном изображении соответственно на вычисленные значения освещенности и значения материала. Пример изображения освещенности и изображения материала, соответствующий исходному изображению, показанному на фигуре 3b, проиллюстрирован на фигуре 14.

В соответствии с признаком еще одного примерного варианта осуществления настоящего изобретения ЦП 12 соединен с объектной базой данных 24. Как отмечалось выше, объектная база данных 24 хранит список объектов, которые могут появиться в файле 18 изображения, и информацию о структуре материала и отражающей способности цветов материала для каждого объекта, хранящегося в базе данных 24. В связи с вышеописанными методами для сегрегации изображения на соответствующие истинные изображения освещенности и отражающей способности материала истинных изображений ЦП 12 работает для выполнения известной задачи распознавания объектов, такой как, например, метод SIFT, для идентификации объектов в обрабатываемом изображении.

После идентификации объекта в сцене, представленной в обрабатываемом изображении, ЦП 12 обращается к объектной базе данных 24 на предмет информации отражающей способности цвета материала, соответствующей идентифицированному объекту. ЦП 12 затем работает, чтобы коррелировать, например, любые базовые элементы типа C в обрабатываемом изображении, которые составляют идентифицированный объект. Информация отражающей способности цвета материала для идентифицированного объекта затем может быть использована для задания, например, фиксированного значения привязки цвета материала, добавленного в матричное уравнение, показанное на фиг. 13, для ограничения базовых элементов типа C, составляющих идентифицированный объект, чтобы таким образом осуществлять сегрегацию базовых элементов, составляющих идентифицированный объект в обрабатываемом изображении, на присущие аспекты освещенности и отражающей способности материала.

Согласно еще одному аспекту примерного варианта осуществления ЦП 12 соединен с Интернетом 26. Таким образом, ЦП 12 может получить доступ к веб-сайтам 28 в Интернете 26. Веб-сайты 28 служат еще одним источником для объектной базы данных. Например, ЦП 12 может искать в Интернете 26 посредством, например, текстового поиска, чтобы получить информацию на доступном сайте 28, имеющем отношение к характеристикам материала идентифицированного объекта в обрабатываемом изображении. Характеристики материала используются для определения вышеописанного фиксированного значения привязки.

Реализация модели ограничения/решателя в соответствии с методами и учениями патентной публикации США № US 2010/0142825, использующая, например, полученные базовые элементы типа С и базовые элементы типа B, например, посредством метода кластеризации логарифма цветности в соответствии с настоящим изобретением, а также информации от объектной базы 26 данных, обеспечивает очень эффективный и действенный способ генерации истинных изображений, соответствующих исходному входному изображению. Истинные изображения могут быть использованы для повышения точности, скорости и действенности обработки изображения, анализа изображения и приложений компьютерного зрения.

Например, фиг. 15 показывает блок схему последовательности операций для сжатия истинного изображения в соответствии с признаком настоящего изобретения. Сжатие истинного изображения или набора истинных изображений (материала и освещенности), а не исходного изображения, приводит к дальнейшему снижению размера сжатого файла, для более эффективного хранения и быстрой передачи данных.

На этапе 300 ЦП 12 принимает исходное изображение, например файл 18 изображения из памяти 16. На этапе 302 ЦП 12 работает, чтобы генерировать истинные изображения из исходного изображения, например, в соответствии с методами, описанными подробно выше, для выдачи карты освещенности (изображения освещенности) (этап 304) и карты отражательной способности (изображения материала) (этап 306).

На этапах 308 и 310 ЦП 12 работает, чтобы выполнить, либо в параллельном действии, либо в последовательном, соответственно процесс А сжатия и процесс B сжатия.

В процессе A сжатия ЦП 12 выполняет процесс сжатия на изображении освещенности. Например, ЦП 12 работает, чтобы преобразовать карту освещенности в формат.pgm (известный переносимый формат полутонов). ЦП 12 затем переходит к преобразованию полутонового изображения.pgm освещенности в файл сжатого изображения.jpg в соответствии с известным форматом JPEG, c использованием уровня 20 качества.

В процессе B сжатия ЦП 12 выполняет процесс сжатия в отношении изображения материала. Например, ЦП 12 работает, чтобы преобразовать карту отражающей способности в GIF файл в соответствии с известным форматом графического обмена, с использованием 256 цветов. ЦП 12 затем переходит к преобразованию GIF файла в файл сжатого изображения.jpg в соответствии с известным форматом JPEG, c использованием уровня 20 качества.

На этапе 312 ЦП 12 работает, чтобы повторно смешать сжатые файлы освещенности и материала.jpg в соответствии с известной программой обработки изображений GNU (GIMP) для вывода сжатого истинного изображения (этап 314).

В соответствии с признаком настоящего изобретения сжатая истинное изображение сохраняется ЦП 12 в памяти 16 и/или передается, например, посредством Интернета 26, на удаленное устройство выполненное, например, как веб-сайт 28 (см. фиг. 1). Удаленное устройство содержит, например, смартфон, планшет или Ipad, или устройство в процессе работы по ТВ-вещанию.

Фигура 16 является блок-схемой последовательности операций для разуплотнения истинного изображения в соответствии с признаком настоящего изобретения. На этапе 316 устройство, например, сконфигурированное как веб-сайт 28, принимает сжатое истинное изображение (обработанную в соответствии с процедурой с фигуры 15) через Интернет 26. Устройство содержит, например, смартфон, планшет или Ipad, или устройство в процессе работы по ТВ-вещанию. На этапе 318 ЦП 12 работает, чтобы отделить смешанные jpg файлы, содержащие принятое сжатое изображение, для вывода сжатых изображений присущих освещенности и материала.

На этапах 320 и 322 ЦП 12 работает для выполнения, либо в параллельном действии, либо в последовательном, соответственно процесса А разуплотнения и процесса B разуплотнения.

В процессе А разуплотнения ЦП 12 выполняет процесс разуплотнения в отношении сжатого версии изображения освещенности для вывода карты присущей освещенности (этап 324).

В процессе B разуплотнения ЦП 12 выполняет процесс разуплотнения в отношении сжатого версии изображения материала для вывода карты присущей отражательной способности (этап 326).

Каждый из этапов 318, 320 и 322 реализован с использованием известных методик для обработки изображений первоначально сжатых в соответствии с известными методами, такими как формат JPEG.

На этапе 328 ЦП 12 работает для повторного объединения изображений присущей освещенности и материала для вывода исходного изображения (этап 330), например изображения, представленного в файле 18 изображения, первоначально обработанном посредством ЦП 12 в соответствии с процедурой с фиг. 15. Повторно объединенное изображение может быть вычислено посредством ЦП 12 с использованием уравнения I=ML, как полностью описано выше по тексту.

В связи с быстрым ростом числа пользователей устройств для приема и отображения в реальном времени цифровых видео улучшение результатов сжатия, реализуемое посредством использования истинных изображений, как предлагается настоящим изобретением, расширяет пределы эффективной функциональности, чтобы тем самым приспособить современные тенденции в использовании электронного устройства.

В предыдущем описании изобретение было описано со ссылкой на конкретные примерные варианты осуществления и их примеры. Однако, очевидно, что различные модификации и изменения могут быть сделаны в нем без отступления от более широких сущности и объема изобретения, как изложено в нижеследующей формуле изобретения. Описание и чертежи, соответственно, следует рассматривать в иллюстративном порядке, а не в ограничительном смысле.

Изобретение относится к технологиям обработки изображений. Техническим результатом является повышение эффективности сжатия изображений за счет независимого сжатия изображения материала и изображения освещенности. Предложен автоматизированный, компьютеризированный способ обработки изображения. Способ включает в себя этап, на котором осуществляют обеспечение файла изображения, представляющего изображение, в компьютерной памяти. Далее согласно способу генерируют набор внутренних изображений, соответствующих упомянутому изображению, при этом упомянутый набор внутренних изображений включает в себя изображение материала и изображение освещения. Каждое из изображения материала и изображения освещения выражается как отдельное многополосное представление для одного из материала или освещения независимо от другого из материала или освещения, каждая полоса соответствует сегменту электромагнитного спектра. 6 н. и 6 з.п. ф-лы, 19 ил.

1. Автоматизированный, компьютеризированный способ для обработки изображения, содержащий этапы:
обеспечения файла изображения, представляющего изображение, в компьютерной памяти;
генерирования набора внутренних изображений, соответствующих упомянутому изображению, при этом упомянутый набор внутренних изображений включает в себя изображение материала и изображение освещения, причем каждое из изображения материала и изображения освещения выражается как отдельное многополосное представление для одного из материала или освещения независимо от другого из материала или освещения, при этом каждая полоса соответствует сегменту электромагнитного спектра;
сжатия изображения материала в первом процессе сжатия, чтобы обеспечить сжатое изображение материала; и
сжатия изображения освещения во втором процессе сжатия, чтобы обеспечить сжатое изображение освещения.

2. Способ по п. 1, включающий в себя дополнительный этап передачи каждого из сжатого изображения материала и сжатого изображения освещения удаленному устройству.

3. Способ по п. 1, включающий в себя дополнительный этап сохранения каждого из сжатого изображения материала и сжатого изображения освещения в памяти.

4. Автоматизированный, компьютеризированный способ для обработки изображения, содержащий этапы приема каждого из сжатого изображения материала и сжатого изображения освещения, при этом каждое из изображения материала и изображения освещения выражается как отдельное многополосное представление для одного из материала или освещения независимо от другого из материала или освещения, при этом каждая полоса соответствует сегменту электромагнитного спектра, восстановления сжатого изображения материала и восстановления сжатого изображения освещения.

5. Компьютерная система для обработки изображения, которая содержит:
центральный процессор (ЦП); и
память, хранящую файл изображения, содержащий изображение;
ЦП выполнен и сконфигурирован с возможностью исполнения процедуры для генерирования набора внутренних изображений, соответствующих упомянутому изображению, при этом набор внутренних изображений включает в себя изображение материала и изображение освещения, причем каждое из изображения материала и изображения освещения выражается как отдельное многополосное представление для одного из материала или освещения независимо от другого из материала или освещения, при этом каждая полоса соответствует сегменту электромагнитного спектра, сжатия изображения материала в первом процессе сжатия, чтобы обеспечить сжатое изображение материала, и сжатия изображения освещения во втором процессе сжатия, чтобы обеспечить сжатое изображение освещения.

6. Компьютерная система по п. 5, в которой ЦП дополнительно выполнен и сконфигурирован с возможностью передачи каждого из сжатого изображения материала и сжатого изображения освещения удаленному устройству.

7. Компьютерная система по п. 5, в которой ЦП дополнительно выполнен и сконфигурирован с возможностью сохранения каждого из сжатого изображения материала и сжатого изображения освещения в памяти.

8. Считываемый компьютером носитель, хранящий компьютерный программный продукт, причем продукт включает в себя исполняемые компьютером этапы процесса, выполненные с возможностью управления компьютером, чтобы: обеспечить файл изображения, представляющий изображение, в компьютерной памяти, генерировать набор внутренних изображений, соответствующих упомянутому изображению, при этом упомянутый набор внутренних изображений включает в себя изображение материала и изображение освещения, причем каждое из изображения материала и изображения освещения выражается как отдельное многополосное представление для одного из материала или освещения независимо от другого из материала или освещения, при этом каждая полоса соответствует сегменту электромагнитного спектра, сжимать изображение материала в первом процессе сжатия, чтобы обеспечить сжатое изображение материала, а также сжимать изображение освещения во втором процессе сжатия, чтобы обеспечить сжатое изображение освещения.

9. Считываемый компьютером носитель по п. 8, при этом компьютерный программный продукт включает в себя дополнительный этап процесса, на котором передают каждое из сжатого изображения материала и сжатого изображения освещения удаленному устройству.

10. Считываемый компьютером носитель по п. 8, при этом компьютерный программный продукт включает в себя дополнительный этап процесса, на котором сохраняют каждое из сжатого изображения материала и сжатого изображения освещения в памяти.

11. Устройство для приема изображения, выполненное и сконфигурированное с возможностью приема каждого из сжатого изображения материала и сжатого изображения освещения, при этом каждое из изображения материала и изображения освещения выражается как отдельное многополосное представление для одного из материала или освещения независимо от другого из материала или освещения, при этом каждая полоса соответствует сегменту электромагнитного спектра, восстановления сжатого изображения материала и восстановления сжатого изображения освещения.

12. Считываемый компьютером носитель, хранящий компьютерный программный продукт, причем компьютерный программный продукт включает в себя исполняемые компьютером этапы процесса, осуществляемые для управления компьютером, чтобы принимать каждое из сжатого изображения материала и сжатого изображения освещения, при этом каждое из изображения материала и изображения освещения выражается как отдельное многополосное представление для одного из материала или освещения независимо от другого из материала или освещения, при этом каждая полоса соответствует сегменту электромагнитного спектра, восстанавливать сжатое изображение материала и восстанавливать сжатое изображение освещения.