Область техники, к которой относится изобретение
Настоящее изобретение относится к устройствам обработки изображения, способам обработки изображения и компьютерным программам. Более конкретно, настоящее изобретение относится к устройству обработки изображения, способу обработки изображения и компьютерной программе, предназначенным для генерирования данных высококачественного изображения путем коррекции данных изображения, в котором генерируется неправильный цвет, например, из-за аберрации объектива.
Уровень техники
При фотографировании камерой возникают различные проблемы, связанные с аберрацией объектива. Примеры обычной хроматической аберрации включают в себя пять аберраций Зайделя, которые представляют собой монохроматические аберрации. Эти пять видов аберрации, проанализированные Зайделем из Германии, вызваны сферической формой объектива и представляют собой собирательный термин для сферической аберрации, аберрации типа кома, астигматической аберрации, аберрации искажений и кривизны поля. Помимо этих видов аберраций известна хроматическая аберрация, которая также может вызывать серьезные проблемы. Хроматическая аберрация возникает из-за того, что коэффициент преломления света материала объектива изменяется в зависимости от длины волны света, в результате чего образуется неправильный цвет на поверхности захвата изображения.
В качестве типичных примеров хроматической аберрации хорошо известны осевая хроматическая аберрация, которая вызывает размытость цветов, из-за того что положение точки фокусирования на оптической оси изменяется в зависимости от длины волны, и хроматическая аберрация увеличения, в результате которой происходит сдвиг цвета, из-за того что увеличение изображения изменяется в зависимости от длины волны. Обычно явление, называемое на английском языке "purple fringe (пурпурная бахрома)" также является важной причиной ухудшения качества изображения. Это явление вызывает образование неправильного цвета на участке кромки изображения, возникающее из-за разного рассеяния точки, в зависимости от длины волны света. Даже когда это явление мало заметно среди обычных пикселей изображения в присутствии высококонтрастного участка кромки в условиях насыщенности белого цвета, то есть состояния, в котором уровень освещенности насыщен, возникает неправильный пурпурный цвет, генерируемый на участке кромки, в результате чего образуется неестественное изображение. Обычно неправильный цвет, генерируемый рядом с участком насыщенного белого цвета, называется "пурпурной бахромой", поскольку образуется большое количество пурпурного цвета. Однако неправильный цвет может быть любого цвета, например может иметь зеленый оттенок, в зависимости от установок объектива и условий фотографирования. Ниже термином "пурпурная бахрома" называется явление генерирования неправильного цвета, образующееся на кромке с высоким контрастом участка, на котором возникает насыщенность белого цвета, независимо от генерируемого цвета.
Для снижения аберрации цвета используют объективы, в которых применяют стекло, изготовленное из специального материала, такого как флюорит. Однако производство таких объективов связано с высокими затратами, что приводит к повышению их цены. Такие объективы используют в некоторых камерах высокого класса, таких как камеры со сменными объективами, но нельзя сказать, что такие объективы получили широкое применение.
В Патентном документе 1 описан способ снижения образования неправильного цвета из-за хроматической аберрации путем выполнения обработки изображения. При этом выполняется обработка, направленная на подавление цвета, то есть на снижение насыщенности цвета, на участке, в котором присутствует высокий уровень высокочастотных компонентов зеленого канала. В качестве меры для случаев, в которых присутствует насыщенность белого цвета, в Патентном документе 1 также описана конфигурация, направленная на выполнение обработки для снижения насыщенности цвета на участке с насыщенным белым цветом путем фотографирования двух изображений с различной экспозицией и оценки исходной освещенности участка с насыщенным белым цветом.
Однако при обработке, описанной в Патентном документе 1, поскольку уровень неправильного цвета снижают путем уменьшения насыщенности цвета, также снижается насыщенность исходного цвета предмета, что не позволяет достоверно воспроизвести исходный цвет предмета. В результате возникает проблема, состоящая в том, что изображение выглядит неестественно. Кроме того, для оценки освещенности участка с насыщенным белым цветом необходимо снять две фотографии. Когда во время операций съемки двух фотографий происходит движение рук, возникает проблема, состоящая в том, что затрудняется получение правильного результата.
[Патентный документ 1] Публикация находящейся на рассмотрении заявки №2003-60983 на японский патент.
Сущность изобретения
Настоящее изобретение было разработано с учетом проблем, описанных выше, и цель настоящего изобретения состоит в разработке устройства обработки изображения, способа обработки изображения и компьютерной программы, которые позволяют генерировать и выводить данные высококачественного изображения, не влияя на все изображение, уделяя внимание неправильному цвету, такому как пурпурная бахрома, генерируемому вокруг участка с насыщенным белым цветом, эффективно детектируя область неправильного цвета и выполняя частичную коррекцию.
В первом аспекте настоящее изобретение направлено на устройство обработки изображения.
Устройство обработки изображения имеет:
блок детектирования насыщенности белого цвета, предназначенный для детектирования пикселя с насыщенным белым цветом из данных изображения;
блок установки области детектирования пикселя с неправильным цветом, предназначенный для установки области детектирования пикселя с неправильным цветом вокруг пикселя с насыщенным белым цветом, детектированного с помощью блока детектирования насыщенности белого цвета;
блок детектирования неправильного цвета, предназначенный для идентификации пикселей, имеющих цвет, соответствующий неправильному цвету, в качестве пикселей с неправильным цветом, в области, установленной с помощью блока установки области детектирования пикселя с неправильным цветом; и
блок коррекции значения пикселя, предназначенный для выполнения коррекции значения пикселя, на основе значений окружающих пикселей, для пикселей с неправильным цветом, детектированных с помощью блока детектирования неправильного цвета.
Кроме того, в соответствии с одним вариантом выполнения устройства обработки изображения в соответствии с настоящим изобретением блок коррекции значения пикселя имеет блок интерполяции компенсации, предназначенный для выполнения обработки интерполяции компенсации на основе окружающих значений пикселей, для пикселей с неправильным цветом и блок обработки размытости цвета, предназначенный для выполнения обработки размытости цвета для пикселей с неправильным цветом.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением блок коррекции значения пикселя выбирает пиксели, которые не являются пикселями с неправильным цветом, и пиксели с насыщенным белым цветом из пикселей, которые присутствуют вокруг пикселей с неправильным цветом, и выполняет обработку интерполяции компенсации на основе выбранных пикселей.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением блок детектирования неправильного цвета выполнен с возможностью идентификации, в качестве пикселей с неправильным цветом, пикселей, имеющих заданный определенный цвет, в области, установленной блоком установки области детектирования пикселя с неправильным цветом.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением неправильный цвет представляет собой пурпурную бахрому, и блок детектирования неправильного цвета выполнен с возможностью идентификации в качестве пикселей с неправильным цветом пурпурных пикселей в области, установленной блоком установки области детектирования пикселя с неправильным цветом.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением блок установки области детектирования пикселя с неправильным цветом выполнен с возможностью определения области детектирования пикселя с неправильным цветом, установленной вокруг пикселя с насыщенным белым цветом, детектированного с помощью блока детектирования насыщенности белого цвета, в соответствии с, по меньшей мере, одной частью данных о диафрагме, установленной во время фотографирования данных изображения, предназначенных для обработки, информации о фокусном расстоянии и расстояния от оптического центра до пикселя (х, у) с насыщенным белым цветом.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением блок детектирования насыщенности белого цвета выполнен с возможностью выбора пикселя с насыщенным белым цветом, имеющего освещенность, более высокую, чем заданное пороговое значение, или равную ему.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением устройство обработки изображения дополнительно имеет блок преобразования цвета, предназначенный для преобразования данных, для разделения данных входного изображения на данные компонента освещенности изображения и данные компонента цвета изображения, и выполняет обработку коррекции значения пикселя на основе преобразованных данных, генерируемых блоком преобразования цвета.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением блок установки области детектирования пикселя с неправильным цветом имеет блок анализа контрольного изображения, предназначенный для приема контрольного изображения, в котором пиксель в положении, соответствующем пикселю с насыщенным белым цветом в изображении, предназначенном для обработки, не имеет значения освещенности насыщенности, и получения значения освещенности пикселя контрольного изображения, соответствующего пикселю с насыщенным белым цветом в изображении, предназначенном для обработки. Контрольное изображение представляет собой сфотографированное изображение того же предмета, что и изображение, предназначенное для обработки. Блок установки области детектирования пикселя с неправильным цветом, кроме того, имеет блок определения области детектирования пикселя с неправильным цветом, предназначенный для установки области детектирования пикселя с неправильным цветом, в соответствии со значением освещенности соответствующего пикселя контрольного изображения, причем значение освещенности получают с помощью блока анализа контрольного изображения.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением блок определения области детектирования пикселя с неправильным цветом устанавливает область детектирования пикселя с неправильным цветом с использованием справочной таблицы, в которой значение освещенности контрольного изображения и ширина участка генерируемых пикселей с неправильным цветом или область детектирования пикселя с неправильным цветом ассоциированы друг с другом.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением блок определения области детектирования пикселя с неправильным цветом выполнен с возможностью установки более широкой области детектирования пикселя с неправильным цветом, по мере того как увеличивается значение освещенности соответствующего пикселя контрольного изображения.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением, когда в качестве контрольного изображения используют изображение, сфотографированное устройством захвата изображения, которое имеет датчик низкой чувствительности или изображение, сфотографированное в условиях малой экспозиции, меньшей, чем адекватная экспозиция, блок определения области детектирования пикселя с неправильным цветом получает значение освещенности контрольного изображения для участка, соответствующего пикселю с насыщенным белым цветом в изображении, предназначенном для обработки.
Кроме того, во втором аспекте настоящего изобретения предложен способ обработки изображения. Способ обработки изображения включает в себя:
этап детектирования насыщенного белого цвета, состоящий в детектировании пикселя с насыщенным белым цветом из данных изображения;
этап установки области детектирования пикселя с неправильным цветом, состоящий в установке области детектирования пикселя с неправильным цветом вокруг пикселя с насыщенным белым цветом, детектированного на этапе детектирования насыщенности белого цвета;
этап детектирования неправильного цвета, состоящий в идентификации пикселей, имеющих цвет, соответствующий неправильному цвету, в качестве пикселей с неправильным цветом, в области, установленной на этапе установки области детектирования пикселя с неправильным цветом; и
этап коррекции значения пикселя, состоящий в выполнении коррекции значения пикселя, на основе значений окружающих пикселей, по пикселям с неправильным цветом, детектированным на этапе детектирования неправильного цвета.
Кроме того, в соответствии с одним вариантом выполнения настоящего изобретения этап коррекции значения пикселя имеет:
этап интерполяции компенсации, состоящий в выполнении интерполяции компенсации на основе значений окружающих пикселей, для пикселей с неправильным цветом; и этап обработки размытости цвета, состоящий в выполнении обработки размытости цвета по пикселям с неправильным цветом.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением этап коррекции значения пикселей представляет собой этап выбора пикселей, которые не являются пикселями с неправильным цветом и пикселями с насыщенным белым цветом, из пикселей, которые присутствуют вокруг пикселей с неправильным цветом, и выполнения обработки интерполяции компенсации на основе выбранных пикселей.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением этап детектирования неправильного цвета представляет собой этап идентификации в качестве пикселей с неправильным цветом пикселей, имеющих заданный определенный цвет, в области, установленной на этапе установки области детектирования пикселя с неправильным цветом.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением неправильный цвет представляет собой пурпурную бахрому, и этап детектирования неправильного цвета представляет собой этап идентификации в качестве пикселей с неправильным цветом пурпурных пикселей в области, установленной на этапе детектирования пикселя с неправильным цветом.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением этап установки области детектирования пикселя с неправильным цветом представляет собой этап определения области детектирования пикселя с неправильным цветом, установленной вокруг пикселя с насыщенным белым цветом, детектированного на этапе детектирования насыщенного белого цвета, в соответствии с, по меньшей мере, одной частью данных диафрагмы во время фотографирования данных изображения, предназначенного для обработки, информации о фокусном расстоянии и расстояния от оптического центра до пикселя (х, у) с насыщенным белым цветом.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением этап детектирования насыщенного белого цвета представляет собой этап выбора пикселя с насыщенным белым цветом, имеющего более высокую или равную яркость, чем заданное пороговое значение.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением способ обработки изображения дополнительно имеет этап преобразования цвета, состоящий в преобразовании данных для разделения данных входного изображения на данные изображения компонента освещенности и данные изображения компонента цвета и в выполнении обработки коррекции значения пикселя на основе преобразованных данных, сгенерированных блоком преобразования цвета.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением этап установки области детектирования пикселя с неправильным цветом, имеющий этап анализа контрольного изображения, состоящий во вводе контрольного изображения, в котором пиксель в положении, соответствующем пикселю с насыщенным белым цветом на изображении, предназначенном для обработки, не имеет значения освещенности насыщенности, и получении значения освещенности пикселя контрольного изображения, соответствующего пикселю с насыщенным белым цветом на изображении, предназначенном для обработки, при этом контрольное изображение представляет собой сфотографированное изображение того же предмета, что и изображение, предназначенное для обработки; и этап определения установки области детектирования пикселя с неправильным цветом, состоящий в установке области детектирования пикселя с неправильным цветом, в соответствии со значением освещенности соответствующего пикселя контрольного изображения, причем значение освещенности получают на этапе анализа контрольного изображения.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением этап определения области детектирования пикселя с неправильным цветом представляет собой этап установки области детектирования пикселя с неправильным цветом путем использования справочной таблицы, в которой значение освещенности контрольного изображения и ширина участка генерируемых пикселей с неправильным цветом или область детектирования пикселя с неправильным цветом ассоциированы друг с другом.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением этап определения области детектирования пикселя с неправильным цветом представляет собой этап установки более широкой области детектирования пикселя с неправильным цветом при увеличении значения освещенности соответствующего пикселя в контрольном изображении.
Кроме того, в одном из вариантов выполнения устройства обработки изображения в соответствии с настоящим изобретением на этапе определения области детектирования пикселя с неправильным цветом изображение, сфотографированное с помощью устройства захвата изображения, имеющего датчик с низкой чувствительностью, или изображение, сфотографированное в условиях малой экспозиции, меньшей, чем адекватная экспозиция, используют в качестве контрольного изображения и при этом получают значение освещенности контрольного изображения для положения, соответствующего пикселю с насыщенным белым цветом в изображении, предназначенном для обработки.
Кроме того, в третьем аспекте настоящего изобретения предложена компьютерная программа, записанная на носитель записи и обеспечивающая выполнение компьютером обработки изображения, содержащей:
этап детектирования насыщенности белого цвета, состоящий в детектировании пикселя с насыщенным белым цветом из данных изображения;
этап установки области детектирования пикселя с неправильным цветом, состоящий в установке области детектирования пикселя с неправильным цветом вокруг пикселя с насыщенным белым цветом, детектированного на этапе детектирования насыщенного белого цвета;
этап детектирования неправильного цвета, состоящий в идентификации пикселей, имеющих цвет, соответствующий неправильному цвету, в качестве пикселей с неправильным цветом, в области, установленной на этапе установки области детектирования пикселей с неправильным цветом; и
этап коррекции значения пикселя, состоящий в выполнении коррекции значения пикселя, на основе значений окружающих пикселей, по пикселям с неправильным цветом, детектированным на этапе детектирования неправильного цвета.
Кроме того, в соответствии с одним вариантом выполнения настоящего изобретения этап установки области детектирования пикселя с неправильным цветом включает в себя этап анализа контрольного изображения, состоящий во вводе контрольного изображения, в котором пиксель в положении, соответствующем пикселю с насыщенным белым цветом в изображении, предназначенном для обработки, не имеет значения освещенности насыщенности, и получении значения освещенности пикселя контрольного изображения, соответствующего пикселю с насыщенным белым цветом в изображении, предназначенном для обработки, причем контрольное изображение представляет собой сфотографированное изображение того же предмета, что и изображение, предназначенное для обработки; и этап определения области детектирования пикселя с неправильным цветом, состоящий в установке области детектирования пикселя с неправильным цветом, в соответствии со значением освещенности соответствующего пикселя контрольного изображения, причем значение освещенности получают на этапе анализа контрольного изображения.
Компьютерная программа в соответствии с настоящим изобретением может быть передана, например, в компьютерную систему общего назначения, которая позволяет выполнять различные программные коды, с использованием накопителей информации, таких как CD (КД, компакт-диск), FD (ГД, гибкий диск) или МО (МО, магнитооптический диск) в формате, считываемом компьютером, или с использованием среды передачи данных, такой как сеть. Передача такой программы в формате, считываемом компьютером, может обеспечить выполнение с помощью компьютера обработки в соответствии с этой программой.
Другие цели, свойства и преимущества настоящего изобретения будут очевидны из более подробного описания, основанного на описанных ниже вариантах выполнения в соответствии с настоящим изобретением, и на прилагаемых чертежах. Используемый здесь термин "система" относится к логической комбинации множества устройств и не ограничивается системой, в которой индивидуальные устройства включены в один корпус.
В соответствии с конфигурацией настоящего изобретения из данных изображения детектируют пиксель с насыщенным белым цветом, вокруг детектированного пикселя с насыщенным белым цветом устанавливают область детектирования пикселя с неправильным цветом, причем пиксели, имеющие цвет, соответствующий неправильному цвету, такому как пурпурная бахрома, детектируют из установленной области, детектированные пиксели определяют как пиксели с неправильным цветом и для идентифицированных пикселей с неправильным цветом выполняют обработку коррекции на основе значений окружающих пикселей. Таким образом, обеспечивается возможность эффективно детектировать область неправильного цвета, такую как пурпурная бахрома, генерируемую рядом с пикселем с насыщенным белым цветом, и частично корректировать значения пикселей. Также возможно генерировать выходные данные высококачественного изображения без влияния на все изображение.
В соответствии с конфигурацией настоящего изобретения возможно обеспечить выполнение соответствующей коррекции неправильного цвета, такого как пурпурная бахрома, вызываемого хроматической аберрацией, возникающей при фотографировании изображения с помощью камеры, и при этом обеспечивается возможность генерирования выходных данных высококачественного изображения. При использовании обычной камеры существует возможность, что будет снято неестественное изображение, пока не будут отрегулированы установки, такие как диафрагма объектива, в ситуации, в которой генерируется пурпурная бахрома. Однако, когда используют настоящее изобретение, становится возможным эффективно выделять и корректировать неправильный цвет, такой как пурпурная бахрома, содержащийся в сфотографированном изображении, и при этом возможно генерировать и передавать на выход высококачественное изображение. Таким образом, при этом отсутствует необходимость следить за диафрагмой объектива и фокусным расстоянием и при этом не возникает пурпурная бахрома во время фотографирования, что позволяет снимать фотографии с более высокой степенью свободы.
Кроме того, в соответствии с конфигурацией настоящего изобретения выполняют оценку действительной освещенности предмета, соответствующей пикселю с насыщенным белым цветом, на основе контрольного изображения, устанавливают область детектирования неправильного цвета (пурпурную бахрому), соответствующую действительной освещенности предмета, и в установленной области детектируют и корректируют пиксели с неправильным цветом (пурпурную бахрому). При этом можно устанавливать область детектирования неправильного цвета (пурпурная бахрома), соответствующую области, в которой существует вероятность генерирования неправильного цвета (пурпурной бахромы), исключая, таким образом, установку слишком большой или слишком малой области детектирования неправильного цвета (пурпурной бахромы). Пиксели с неправильным цветом (пурпурная бахрома) можно надежно и эффективно детектировать, при этом повышается точность коррекции изображения и увеличивается эффективность.
Краткое описание чертежей
На фиг.1 показана схема, представляющая конфигурацию устройства обработки изображения, в соответствии с настоящим изобретением.
На фиг.2 показана блок-схема последовательности операций, иллюстрирующая всю последовательность обработки способа обработки изображения, в соответствии с настоящим изобретением.
На фиг.3 показана схема, иллюстрирующая конфигурацию данных изображения, предназначенных для корректировки с помощью устройства обработки изображения, в соответствии с настоящим изобретением.
На фиг.4 показана подробная последовательность обработки детектирования области с насыщенным белым цветом, выполняемой при обработке изображения, в соответствии с настоящим изобретением.
На фиг.5 показана блок-схема последовательности операций, иллюстрирующая подробную последовательность обработки установки области детектирования пикселя с неправильным цветом, выполняемой при обработке изображения, в соответствии с настоящим изобретением.
На фиг.6 показана схема, иллюстрирующая пример обработки при обработке установки области детектирования пикселя с неправильным цветом, выполняемой при обработке изображения, в соответствии с настоящим изобретением.
На фиг.7 показана блок-схема последовательности операций, иллюстрирующая подробную последовательность обработки детектирования пикселя с неправильным цветом, выполняемой при обработке изображения, в соответствии с настоящим изобретением.
На фиг.8 показана схема, иллюстрирующая пример обработки (случай, в котором используют схему CIE L*a*b*) при обработке детектирования пикселя с неправильным цветом, выполняемой при обработке изображения, в соответствии с настоящим изобретением.
На фиг.9 показана схема, иллюстрирующая пример обработки (случай, в котором используют схему YCbCr) обработки детектирования пикселя с неправильным цветом, выполняемой при обработке изображения, в соответствии с настоящим изобретением.
На фиг.10 приведены схемы, иллюстрирующие пример обработки при обработке коррекции пикселя с неправильным цветом, выполняемой при обработке изображения, в соответствии с настоящим изобретением.
На фиг.11 показана блок-схема последовательности операций, иллюстрирующая подробную последовательность обработки коррекции пикселя с неправильным цветом, выполняемой при обработке изображения, в соответствии с настоящим изобретением.
На фиг.12 показана блок-схема последовательности операций, иллюстрирующая подробную последовательность обработки коррекции пикселя с неправильным цветом, выполняемой при обработке изображения, в соответствии с настоящим изобретением.
На фиг.13 показана блок-схема последовательности операций, иллюстрирующая подробную последовательность обработки размытости цвета, выполняемой при обработке изображения, в соответствии с настоящим изобретением.
На фиг.14 показана блок-схема, иллюстрирующая функциональную конфигурацию обработки цифрового сигнала, предназначенная для выполнения коррекции неправильного цвета, в соответствии с первым вариантом выполнения, в устройстве обработки изображения, в соответствии с настоящим изобретением.
На фиг.15 показаны графики, иллюстрирующие взаимозависимость действительной освещенности предмета/конфигурации кромки и генерирование неправильного цвета (пурпурной бахромы).
На фиг.16 показаны графики, иллюстрирующие действительную освещенность предмета, конфигурацию кромки, освещенность фотографируемого изображения и генерирование неправильного цвета (пурпурной бахромы).
На фиг.17 приведены графики, иллюстрирующие информацию освещенности контрольного изображения, полученного с использованием, например, датчика низкой чувствительности для оценки действительной освещенности предмета.
На фиг.18 приведены графики, иллюстрирующие взаимозависимость между действительной освещенностью предмета и диапазоном генерирования неправильного цвета (пурпурной бахромы).
На фиг.19 показана блок-схема последовательности операций, иллюстрирующая процедуру обработки для установки области детектирования неправильного цвета во втором варианте выполнения.
На фиг.20 показана таблица, представляющая пример структуры справочной таблицы (СПТ, LUT), используемой при обработке для установки области детектирования неправильного цвета во втором варианте выполнения.
На фиг.21 показана блок-схема, иллюстрирующая функциональную конфигурацию обработки цифрового сигнала, предназначенная для выполнения коррекции неправильного цвета, в соответствии со вторым вариантом выполнения, в устройстве обработки изображения в соответствии с настоящим изобретением.
На фиг.22 показана блок-схема, иллюстрирующая конфигурацию блока установки области детектирования пикселя с неправильным цветом при обработке цифрового сигнала, предназначенная для выполнения коррекции неправильного цвета, в соответствии со вторым вариантом выполнения, в устройстве обработки изображения в соответствии с настоящим изобретением.
Подробное описание изобретения
Подробное описание устройства обработки изображения, способа обработки изображения и компьютерной программы в соответствии с настоящим изобретением будет приведено ниже, со ссылкой на прилагаемые чертежи.
[Первый Вариант выполнения]
Вначале, со ссылкой на фиг.1, будет описан пример конфигурации устройства обработки изображения. Устройство обработки изображения, показанное на фиг.1, имеет блок захвата изображения и представлено в качестве примера устройства, предназначенного для выполнения обработки коррекции данных изображения, захваченного с помощью блока захвата изображения. Однако устройство обработки изображения в соответствии с настоящим изобретением может принимать, например, данные изображения, сохраненные в блоке накопителя, таком как жесткий диск, и может корректировать входное изображение. Устройство обработки изображения может выполнять обработку коррекции не только данных изображения, вводимых через блок захвата изображения, но также входных данных различных типов, таких как данные изображения, вводимые через устройство накопителя или через сеть. На фиг.1 показан один пример конфигурации устройства обработки изображения в соответствии с настоящим изобретением.
Ниже будет описана подробная конфигурация устройства обработки изображения, показанного на фиг.1. Как показано на фиг.1, устройство обработки изображения включает в себя объектив 101, диафрагму 102, твердотельное устройство 103 захвата изображения, коррелированную схему 104 двойной выборки, А/Ц преобразователь 105, блок 106 ЦПС (DSP, цифровой процессор сигналов), генератор 107 тактовой частоты, Ц/А преобразователь 108, видеокодер 109, видеомонитор 110, кодек (CODEC) 111, запоминающее устройство 112, ЦПУ 113, входное устройство 114, устройство 115 управления фотовспышкой и устройство 116 излучения света фотовспышки.
Входное устройство 114 здесь обозначает кнопки управления и так далее, такие как кнопка записи, расположенные на основном блоке камеры. Блок 106 ЦПС представляет собой блок, имеющий процессор сигнала и ОЗУ изображения. Процессор сигнала может выполнять заранее запрограммированную обработку изображения по данным изображения, сохраненным в ОЗУ изображения. Ниже блок ЦПС будет просто называться "ЦПС".
Вся работа настоящего варианта выполнения будет описана ниже.
Падающий свет, который попадает на твердотельное устройство 103 захвата изображения через оптическую систему, вначале поступает на элементы приема света, на первой поверхности захвата изображения и фотоэлектрическим способом преобразуется с помощью элемента приема света в электрический сигнал. Шум электрического сигнала устраняют с помощью коррелированной схемы 104 двойной выборки и полученный в результате сигнал преобразуют с помощью А/Ц преобразователя 105 в цифровой сигнал. После этого цифровой сигнал временно сохраняют в памяти изображения цифрового процессора 106 сигналов (ЦПС). Во время фотографирования, в случае необходимости, возможно излучение света с помощью устройства 116 излучения света фотовспышки с использованием устройства 115 управления фотовспышкой.
Когда происходит захват изображения, генератор 107 тактовой частоты управляет системой обработки сигналов, так что поддерживается захват изображения с постоянной частотой кадров. Поток пикселей также передают в цифровой процессор 106 сигналов (ЦПС), в котором выполняют соответствующую обработку изображения. После этого полученные в результате данные изображения передают или в Ц/А преобразователь 108, или в кодек (CODEC) 111, или в оба эти устройства. Ц/А преобразователь 108 преобразует данные изображения, переданные из цифрового процессора 106 сигналов (ЦПС), в аналоговый сигнал, и видеокодер 109 преобразует аналоговый сигнал в видеосигнал, который затем можно отслеживать на видеомониторе 110. Видеомонитор 110 выполняет функцию видоискателя камеры в соответствии с данным вариантом выполнения. Кодек (CODEC) 111 кодирует данные изображения, переданные из цифрового процессора 106 сигналов (ЦПС), и закодированные данные изображения сохраняют в запоминающем устройстве 112. В данном случае запоминающее устройство 112 может представлять собой, например, устройство-накопитель с использованием полупроводникового, магнитного носителя записи, магнитооптического носителя записи или оптического носителя записи.
Вся система цифровой камеры была описана выше в качестве одного примера устройства обработки изображения в соответствии с данным вариантом выполнения. Обработка изображения в соответствии с настоящим изобретением, то есть обработка для коррекции данных изображения, выполняется с помощью цифрового процессора 106 сигналов (ЦПС). Подробно цифровая обработка изображения будет описана ниже.
Вначале будет описано, как генерируется неправильный цвет (пурпурная бахрома). Неправильный цвет (пурпурная бахрома) обозначает явление, при котором происходит изменение цвета в результате хроматической аберрации, которая заметно проявляется вокруг участков с насыщенным белым цветом, и имеет такую особенность, что, например, генерируется неправильный пурпурный цвет. Размер области, в которой генерируется неправильный цвет вокруг участка с насыщенным белым цветом, связан с типом оптической системы, диафрагмой оптической системы и фокусным расстоянием, а также с разностью освещенности между участком с высокой освещенностью и окружающим его участком, а также изменяется в зависимости от расстояния от оптического центра. Кроме того, большее количество неправильного цвета проявляется в направлении от оптического центра наружу от пикселя с высокой освещенностью, в направлении от пикселя с высокой освещенностью к оптическому центру и так далее. Тенденция проявления изменяется в зависимости от оптической системы, с помощью которой выполняют захват изображения. С учетом описанных выше характеристик настоящее изобретение направлено на способ обработки изображения, предназначенный для уменьшения образования пурпурной бахромы. Пиксель с высокой освещенностью обозначает здесь насыщенный пиксель на изображении и ниже будет называться пикселем с насыщенным белым цветом.
Как описано выше, типичное явление, при котором возникает неправильный цвет, появляющийся в результате аберрации объектива и генерируемый на участке кромки с высоким контрастом, насыщенного белого цвета, который представляет собой состояние с насыщенным уровнем освещенности, называется "пурпурной бахромой". Неправильный цвет не ограничивается пурпурным цветом и может быть цветом с зеленым оттенком. В варианте выполнения, представленном ниже, будет описан пример генерирования пурпурного неправильного цвета, но настоящее изобретение не ограничивает неправильный цвет пурпурным цветом и применимо для обработки, направленной на коррекцию неправильного цвета, имеющего любой цвет, который генерируется рядом с участком с насыщенным белым цветом.
На фиг.2 показана блок-схема последовательности операций, представляющая настоящий вариант выполнения. Вначале вся обработка будет описана схематично, и ниже будет подробно описан каждый процесс. На этапе S101 выполняется обработка преобразования цветового пространства, при которой входное изображение подвергают преобразованию цветового пространства и разделяют на изображение компонента яркости и изображение компонента цвета. Затем на этапе S102 выполняют обработку детектирования области с насыщенным белым цветом, при которой область с насыщенным белым цветом детектируют во входных данных изображения, которые требуется корректировать. На этапе S103 выполняют обработку установки области детектирования пикселя с неправильным цветом, на котором устанавливают область поиска пурпурных пикселей, которые представляют собой пиксели с неправильным цветом, генерируемые вокруг участка с насыщенным белым цветом. После этого на этапе S104 выполняют обработку детектирования пикселя с неправильным цветом, на котором в области поиска детектируют пурпурные пиксели. На этапе S105 выполняют обработку коррекции пикселя с неправильным цветом, на котором корректируют компоненты цвета детектированных пурпурных пикселей. Затем на этапе S106 выполняют обработку размытости цвета (обработку фильтрации), при которой выполняют обработку фильтрации, для получения результата с естественным внешним видом. Наконец, на этапе S107 выполняют обработку обратного преобразования цветового пространства, на которой изображение компонента яркости и изображение компонента цвета скорректированного результата преобразуют и полученное в результате изображение выводят в виде цветного изображения RGB.
Входное изображение представляет собой данные изображения, захваченного с помощью блока захвата изображения, например, в системе, имеющей блок захвата изображения, показанной на фиг.1, и представляет собой данные, вводимые в цифровой процессор 106 сигналов (ЦПС) в качестве цифровых данных. Как описано выше, входные данные изображения могут представлять собой данные изображения, сохраненные на носителе записи, или данные, вводимые из другого устройства через сеть.
В настоящем варианте выполнения входное изображение, предназначенное для обработки, обозначается как RGBin. RGBin представляет собой изображение, имеющее информацию цвета в каждом пикселе и которое было получено путем выполнения обработки разбиения изображения на элементы и обработки баланса белого цвета данных, поступающих с выхода твердотельного устройства захвата изображения камеры. При использовании RGBin в качестве входного изображения, предназначенного для обработки, как показано на фиг.3, количество пикселей (ширина) в направлении X входного изображения RGBin обозначается как w, и количество пикселей (высота) в направлении Y обозначается как h. Каждый этап будет подробно описан ниже.
Вначале при обработке преобразований пространства цвета, на этапе S101, входное изображение RGBin преобразуют и разделяют на изображение Lin компонента освещенности и изображение Сin компонента цвета. То есть входное цветное изображение RGB преобразуют в данные пространства цвета, имеющие компоненты освещенности и данные пространства цвета, имеющие компоненты цвета. Например, для пространства цвета преобразуемых данных можно использовать схемы YCbCr или CIE L*a*b*.
Затем на этапе S102 выполняют обработку детектирования области с насыщенным белым цветом, при этом выполняют обработку детектирования области с насыщенным белым цветом (определение маски насыщенного белого цвета) на основе преобразованных данных изображения. То есть детектируют пиксели с насыщенным белым цветом из данных изображения и генерируют маску S1 насыщенного белого цвета, которая представляет собой двоичное изображение. Подробно обработка детектирования пикселя с насыщенным белым цветом, выполняемая на этапе S102, будет описана со ссылкой на фиг.4.
На этапах S201 и S202 в данных изображения, которые должны быть скорректированы, инициируют положение пикселя для инспектирования. В ходе инициализации положение пикселя для инспектирования устанавливают как х=0 и у=0. На этапе S203 выполняют определение, превышает ли освещенность пикселя (х, у), имеющего изображение Lin компонента освещенности, заданное пороговое значение или равна ему. Когда освещенность выше или равна пороговому значению, процесс переходит на этап S204, на котором устанавливают значение маски S(x,у) насыщенного белого цвета, равное true ("истина", логическое значение). Когда освещенность ниже или равна пороговому значению, процесс переходит на этап S205, на котором значение маски S(x,у) насыщенности белого цвета устанавливают равным false ("ложь", логическое значение).
На этапе S206 положение х пикселя обновляют. На этапе S207 выполняют определение, достигло ли значение х максимального значения (х=w). Когда х не достигло максимального значения, этап S203 и последующие этапы выполняют повторно. Когда х на этапе S207 достигает максимального значения (х=w), процесс переходит на этап S208, на котором обновляют значение положения у пикселя. На этапе S209 определяют, достигло ли значение у максимального значения (у=h). Когда у не достигло максимального значения, этап S202 и последующие этапы выполняют повторно. Когда обработка по всем пикселям (х = от 0 до w, у = от 0 до h) заканчивается, генерирование маски насыщенного белого цвета заканчивается.
В результате генерируют маску насыщенного белого цвета, в которой различаются область пикселей, имеющих уровень освещенности, превышающий пороговое значение, и область пикселей, имеющих уровень освещенности, равный или меньший, чем пороговое значение, для каждого положения пикселя. Когда устанавливают уровни освещенности от 0 (темный) до 255 (светлый), пороговое значение устанавливают равным, например, приблизительно 250, и пиксели, имеющие уровни освещенности, превышающие или равные 250, выделяют в качестве сгенерированных пикселей насыщенного белого цвета и при этом генерируют маску насыщенного белого цвета, в которой отличаются только эти пиксели.
После выполнения описанной выше обработки этап S102, показанный на фиг.2, заканчивается. Затем, на этапе S103, выполняют обработку установки области детектирования пикселя с неправильным цветом. При этой обработке выполняют обработку установки области поиска (расширение) для сгенерированного участка неправильного цвета вокруг участка с насыщенным белым цветом. В этом случае генерируют маску Р, предназначенную для различения области поиска для сгенерированного участка неправильного цвета вокруг участка с насыщенным белым цветом, то есть маска Р представляет область поиска пурпурных пикселей вокруг участка с насыщенным белым цветом. Р представляет собой изображение двоичной маски.
Подробно обработка установки области поиска участка сгенерированного неправильного цвета, выполняемой на этапе S103, будет описана со ссылкой на фиг.5. Вначале, на этапе S301, все пиксели маски Р области неправильного цвета инициализируют со значением false. Затем, на этапах S302 и S303, инициализируют положение пикселя. При инициализации положение пикселя устанавливают равным х=0 и у=0.
После установки положения пикселя, на этапе S304, определяют значение пикселя маски S насыщенного белого цвета для установленного положения пикселя. Когда значение маски S(x,у) насыщенного белого цвета для установленного положения (х, у) пикселя равно false, процесс переходит на этап S314 для обработки следующего пикселя. Если значение маски S(x,у) равняется true, процесс переходит на этап S305. Когда значение маски S(x,у) насыщенного белого цвета для положения (х, у) пикселя равно false, это означает, что значение пикселя в положении (х, у) пикселя обозначает пиксель, в котором нет насыщенного белого цвета. Когда маска S(x,у) насыщенного белого цвета имеет значение true для положения (х, у) пикселя, это означает, что значение пикселя в положении (х, у) пикселя обозначает пиксель с насыщенным белым цветом.
Когда маска S(x,у) насыщенного белого цвета имеет значение true для положения (х, у) пикселя, на этапе S305, определяют область, в которой может быть сгенерирован неправильный цвет вокруг пикселя (х, у) насыщенного белого цвета. Как описано выше, пурпурная бахрома возникает вокруг участка с насыщенным белым цветом, и область, в которой может возникнуть пурпурная бахрома, изменяется в зависимости от типа оптической системы, установки диафрагмы/фокусного расстояния и разности в освещенности между пикселем с высокой освещенностью и окружающими его пикселями. Область, в которой может возникнуть пурпурная бахрома, также изменяется в зависимости от расстояния от оптического центра изображения. Информация по типу и установкам оптической системы может быть сохранена во время фотографирования для ее использования при обработке изображения. Взаимозависимость положений между участком с насыщенным белым цветом и участком оптического центра может быть легко определена.
Например, на основе характеристик оптической системы для системы захвата изображения в настоящем варианте выполнения можно использовать заранее установленную информацию определения области детектирования пикселя с неправильным цветом, например, с использованием справочной таблицы (СПТ), содержащей область детектирования пикселя с неправильным цветом, соответствующую области изображения. Например, справочная таблица (СПТ) имеет структуру, которая позволяет выводить в качестве входных параметров информацию области детектирования неправильного цвета, такую как расстояние от оптического центра изображения до пикселя (х, у) с насыщенным белым цветом, диафрагму во время фотографирования данных изображения и информацию о фокусном расстоянии.
Информацию о диафрагме и фокусном расстоянии во время фотографирования данных изображения получают из информации атрибута данных изображения и информацию о положении пикселя, установленную как информация, предназначенная для инспектирования в этом потоке, используют в качестве расстояния от оптического центра изображения до пикселя (х, у) с насыщенным белым цветом.
Когда информация атрибута, такая как информация о диафрагме и фокусном расстоянии во время фотографирования данных изображения, не может быть получена, область детектирования пикселя с неправильным цветом может быть определена на основе только расстояния от оптического центра изображения до пикселя (х, у) насыщенного белого цвета. Кроме того, определенная область вокруг пикселя (х, у) насыщенного белого цвета может быть автоматически установлена как область детектирования пикселя с неправильным белым цветом, без использования информации, такой как расстояние от оптического центра до пикселя (х, у) с насыщенным белым цветом.
На этапе S305 определяют расстояние области детектирования пикселя с неправильным цветом пикселя вокруг пикселя (х, у) с насыщенным белым цветом как четыре скалярных величины (х0, x1, y0, y1). При этом определении, как показано на фиг.6, определяют прямоугольную область, заданную значениями х0-x1 и у0-y1 вокруг пикселя (х, у) 201 с насыщенным белым цветом, в качестве области 202 детектирования пикселя с неправильным белым цветом. Пиксели 203, обозначенные на фиг.6 пунктирными линиями, представляют собой пиксели 203 с насыщенным белым цветом, которые не являются представляющим интерес пикселем (х, у) 201 с насыщенным белым цветом.
Затем по отношению к определенной области (х0, x1 y0, y1) детектирования пикселя с неправильным цветом устанавливают точку, выраженную как i=x0 и j=y0, в качестве исходной точки (на этапах S306 и S307). На этапах S308-S312 выполняют определение, является ли значение маски S(i,j) насыщенного белого цвета true или false по отношению к каждому пикселю в области (х0, x1, y0, y1) детектирования пикселя с неправильным цветом. В отношении пикселей, включенных в область 202 детектирования пикселя с неправильным цветом, показанных на фиг.6, определение последовательно выполняют для проверки, является ли значение маски насыщенного белого цвета true или false. На фиг.6 по отношению к представляющему интерес пикселю (х, у) 201 с насыщенным белым цветом и пикселям 203 с насыщенным белым цветом определяют, что маска S(i,j) насыщенного белого цвета имеет значение true.
Когда на этапе S308 определяют, что маска S(i,j) насыщенного белого цвета имеет значение true, процесс переходит на этап S310, на котором выполняют обработку следующего пикселя. Когда маска S(i,j) насыщенного белого цвета имеет значение false, процесс переходит на этап S309, на котором значение маски P(i,j) области неправильного цвета устанавливают равным true. После этого процесс переходит на этап S310, на котором выполняют обработку следующего пикселя. Этапы S310-S313 включают в себя обработку для обновления значений i и j и обработку для определения, удовлетворяется ли условие максимальных значений i=x1 и j=y1. Во время последовательного обновления значений i и j определяют значение маски P(i,j) области неправильного цвета, установленной вокруг конкретного пикселя (х, у).
Значение маски P(i,j) неправильного цвета = true обозначает, что рассматриваемый пиксель принадлежит к области детектирования пикселя с неправильным цветом и не является пикселем с насыщенным белым цветом. Маска P(i,j) области неправильного цвета со значением = false обозначает, что рассматриваемый пиксель не принадлежит к области детектирования пикселя с неправильным цветом или является пикселем с насыщенным белым цветом.
Когда на этапе S313 определяют, что обработка всех пикселей (i, j) в области (х0, х1, y0, y1) детектирования пикселя с неправильным цветом закончена, процесс переходит на этап S314. Этапы S314-S317 включают в себя обработку для обновления значений х и у и обработку для определения, удовлетворяется ли максимальное значение x=w и y=j. B то время как последовательно обновляются значения х и у, определяют значения маски P(i,j) области неправильного цвета по отношению ко всем пикселям изображения (х=0-w и у=0-h), предназначенного для обработки, и генерируют маску P(i,j) области неправильного цвета. Когда определяют, что все пиксели (х, у) изображения были обработаны, обработка установки области детектирования пикселя с неправильным цветом на этапе S103, показанном на фиг.2, заканчивается.
Далее будет представлена обработка детектирования пикселя с неправильным цветом на этапе S104, показанном на фиг.2. На этапе S103, хотя неправильный цвет вокруг участка с насыщенным белым цветом, то есть область, в которой в изображении может быть сгенерирована пурпурная бахрома, определяют с использованием маски Р области неправильного цвета, обработку для детектирования пикселя, который, собственно, как предполагается, имеет пурпурную бахрому, выполняют на следующем этапе S104. То есть пиксели, для которых, собственно, предполагается, что они имеют пурпурную бахрому, детектируют среди пикселей в области, которая удовлетворяет условию значения маски Р области неправильного цвета = true.
На этапе S104 маску Р области неправильного цвета обновляют путем перезаписи маски Р области неправильного цвета, рассчитанной на этапе S103, генерируя, таким образом, маску Р области неправильного цвета, которая обеспечивает возможность идентификации только пикселей, окончательно определенных как имеющие неправильный цвет. Подробно обработка детектирования пикселя с неправильным цветом на этапе S104 будет описана со ссылкой на фиг.7.
На этапах S401 и S402 инициализируют положение пикселя данных изображения. Во время инициализации положение пикселя устанавливают в точке х=0 и у=0. На этапе S403 определяют значение маски Р области неправильного цвета для положения (х, у) пикселя. Для значения Р(х,у)=false процесс переходит на этап S406. Для значения Р(х,у)=true процесс переходит на этап S404.
Как описано выше, маска P(i,j) области неправильного цвета со значением = true обозначает, что данный пиксель принадлежит к области детектирования пикселя с неправильным цветом и не является пикселем с насыщенным белым цветом. Маска P(i,j) области неправильного цвета со значением = false обозначает, что данный пиксель не принадлежит к области детектирования пикселя с неправильным цветом или является пикселем с насыщенным белым цветом.
В случае, когда положение (х, у) пикселя удовлетворяет значению маски P(i,j) области неправильного цвета = true, то есть, когда данный пиксель принадлежит к области детектирования пикселя с неправильным цветом и не является пикселем с насыщенным белым цветом, на этапе S404 определяют, является ли цвет изображения Сin компонента цвета в положении (х, у) цветом, соответствующим неправильному цвету. Например, определяют, является ли цвет пурпурным цветом пурпурной бахромы.
Способ определения, является ли изображение Сin (х, у) компонента цвета цветом, соответствующим неправильному цвету, например пурпурному, изменяется в зависимости от преобразованного пространства цвета. Один пример способа определения, когда для пространства цвета используют, например, схему CIE L*a*b*, будет описан со ссылкой на фиг.8. Компоненты цвета определяют с использованием компонента а* и компонента b*. CIE L*a*b* имеет следующие характеристики. Когда значение компонента а* увеличивается, цвет приближается к красному (Red), и когда значение компонента а* уменьшается, цвет приближается к зеленому (Green). Когда значение компонента b* увеличивается, цвет приближается к желтому (Yellow), и когда значение компонента B* уменьшается, цвет приближается к голубому (Blue). To есть, когда значение (а*, b*) находится в четвертом квадранте, оно имеет цвет, близкий к пурпурному (Purple). Определение, является ли цвет пурпурным или нет, выполняют с использованием угла α, формируемого вектором (a*, b*) и осью а*.
Диапазон углов для пурпурного цвета, который определяют как неправильный цвет, соответствующим образом устанавливают в качестве параметра. В качестве альтернативы для диапазона углов используют заданное значение. Насыщенность цвета пикселя участка неправильного цвета (пурпурной бахромы) обычно высока. Таким образом, только когда удовлетворяются описанные выше условия и насыщенность цвета компонента Сin цвета выше или равна, чем заданное пороговое значение, он может быть определен как неправильный цвет (пурпурная бахрома).
Способ определения, является ли изображение Сin (х, у) компонента цвета цветом, соответствующим неправильному цвету, например пурпурному, изменяется в зависимости от преобразованного пространства цвета. Обработка для случая, в котором используется схема YCbCr для пространства цвета, будет описана далее. В этом случае компонент цвета определяют с использованием компонента Cb и компонента Cr. Поскольку Cb=128 и Cr=128 в пространстве YCbCr обозначает ахроматический цвет, цвет, представленный значениями Cb и Cr, выражают как (Cb-128, Cr-128). Например, угол, выраженный как θ, для (Cb-128, Cr-128)=(a×cosθ,a×sinθ) используется в качестве оттенка. Является ли изображение Сin(х,у) компонента цвета цветом, соответствующим неправильному цвету, определяют, например, путем определения, находится ли угол θ в заданном диапазоне.
Обработка для определения, имеет ли Cin(х,у) оттенок, который находится в заранее указанном диапазоне оттенка, то есть имеет оттенок, который находится в диапазоне оттенка, соответствующего неправильному цвету, такому как пурпурная бахрома (ПБ, PF), в конфигурации с использованием YCbCr, описана со ссылкой на фиг.9. На фиг.9 показан график, представляющий диапазон тона пурпурной бахромы (ПБ) в пространстве цвета. Значение CbCr, соответствующее информации цвета, когда используется пространство YCbCr в качестве одного примера пространства цвета, представлено в виде двумерного графика на фиг.9. По горизонтальной оси обозначено значение Cb, и по вертикальной оси обозначено значение Cr. Исходная точка 250 имеет цвет, соответствующий Cb=128 и Cr=128.
В качестве способа определения диапазона оттенка, соответствующего пурпурной бахроме (ПБ), используется способ определения, находится ли данный оттенок в диапазоне оттенков двух цветов. Пурпурная бахрома имеет пурпурный цвет, и этот определенный диапазон оттенка устанавливают в двумерном пространстве координат CbCr, показанном на фиг.9. Область между линией 251 оттенка и линией 252 оттенка, показанная на чертеже, установлена как область, обозначающая диапазон 253 оттенка, соответствующий пурпурной бахроме (ПБ).
Является ли Сin(х,у) цветом, соответствующим неправильному цвету, можно определить на основе того, попадает ли Cin(x,у) в диапазон 253 оттенка, показанный на фиг.9.
Диапазон углов для пурпурного цвета, который определен как неправильный цвет, соответствующим образом установлен в качестве параметра. В качестве альтернативы используют заданное значение для диапазона углов. Насыщенность цвета неправильного цвета (пурпурной бахромы) пикселя данного участка обычно высока. Таким образом, только когда описанные выше условия удовлетворяются и насыщенность цвета компонента Сin цвета выше или равна заданному пороговому значению, его можно определить как неправильный цвет (пурпурную бахрому). Таким образом, когда определяют, что Cin(х,у) представляет собой пиксель неправильного цвета (пурпурную бахрому), процесс переходит на этап S406. Когда определяют, что Cin(х,у) не является неправильным цветом (пурпурной бахромой), процесс переходит на этап S405.
На этапе S405 значение маски Р(х,у) области неправильного цвета устанавливают как false, и процесс переходит на этап S406. То есть пиксель, который был определен как маска Р(х,у) области неправильного цвета = true, как, вероятно, имеющий неправильный цвет в ходе описанной выше обработки на этапе S103 (фиг.2), окончательно определяют, как не имеющий неправильный цвет, и на основе этого окончательного определения его изменяют (обновляют) в маске Р(х,у) области неправильного цвета = false.
Таким образом, при обработке, показанной на фиг.7, только пиксели, которые в ходе определения цвета были окончательно определены как имеющие неправильный цвет, отсортировывают от пикселей, которые были определены как, вероятно, имеющие неправильный цвет, в результате описанной выше обработки, на этапе S103 (фиг.2), и обновляют маску Р(х,у) области неправильного цвета.
Этапы S406-S409 включают в себя обработку для обновления значений х и у и обработку для определения, удовлетворяется ли условие максимальных величин х=w и у=h. Хотя значения х и у последовательно обновляют, значения маски P(i,j) области неправильного цвета определяют по отношению ко всем пикселям изображения (х=0-w и у=0-h), предназначенного для обработки, и генерируют маску P(i,j) области неправильного цвета. Когда определяют, что все пиксели (х, у) изображения были обработаны, обработку детектирования пикселя с неправильным цветом на этапе S104, показанном на фиг.2, заканчивают.
Ниже будет описана обработка коррекции пикселя с неправильным цветом на этапе S105, показанном на фиг.2. На этапе S104, как описано выше, генерируют маску Р области неправильного цвета для идентификации пикселя, определенного как имеющий неправильный цвет (пурпурная бахрома). На следующем этапе S105 выполняют обработку интерполяции цвета пикселя, определенного, как имеющий неправильный цвет (пурпурная бахрома), путем обработки повторения компенсации, на основе значений пикселя для окружающих его пикселей. Обработкой "компенсации" здесь называют последовательное повторение обработки интерполяции пикселя с неправильным цветом на основе значений пикселя для окружающих пикселей.
На фиг.10(А) и 10(В) показаны схемы, иллюстрирующие обработку коррекции пикселя с неправильным цветом, выполняемую на этапе S105, показанном на фиг.2. Как показано на фиг.10(А), все пиксели при обработке до этапа S104 классифицируют на "пиксели 301 насыщенного белого цвета", "пиксели 302 неправильного цвета (пурпурная бахрома)" и "пиксели 303, которые не являются ни пикселями с насыщенным белым цветом, ни пикселями пурпурной бахромы".
На первом этапе обработки повторения компенсации сканируют каждый пиксель изображения. Если пиксель 302 (положение (х, у)) неправильного цвета (пурпурная бахрома) находится рядом с пикселями 303, которые не являются ни пикселями с насыщенным белым цветом, ни пикселями пурпурной бахромы, например, если существуют пиксели 303 в окружающих восьми соседних пикселях, среднее значение компонентов С цвета пикселя для соседних пикселей 303 устанавливают в качестве нового компонента С(х,у) цвета пикселя.
Таким образом выполняют обработку по установке значения пикселя 302 неправильного цвета (пурпурной бахромы) на основе других пикселей 303 для всех пикселей сразу. В результате, как показано на фиг.10(В), компоненты цвета пикселей 302 неправильного цвета (пурпурной бахромы), расположенные рядом с другими пикселями 303, интерполируют и пиксели 302 неправильного цвета (пурпурной бахромы) устанавливают как интерполированные пиксели 304 неправильного цвета (пурпурной бахромы).
Кроме того, при следующей обработке повторения компенсации, компоненты цвета пикселей 302 неправильного цвета (пурпурной бахромы), находящиеся рядом с другими пикселями 303 или пикселями 304 с интерполированным неправильным цветом (пурпурной бахромы), аналогично интерполируют на основе других пикселей 303 и интерполированных пикселей 304 неправильного цвета (пурпурной бахромы). Такую обработку повторения повторяют фиксированное количество раз. При такой обработке пиксели 302 неправильного цвета (пурпурной бахромы) последовательно устанавливают как пиксели 304 интерполированного неправильного цвета (пурпурной бахромы) в направлении, обозначенном стрелками 320, показанными на фиг.10(В). После того как фиксированное количество повторений такой обработки повторения будет выполнено, даже если существуют пиксели 302 неправильного цвета (пурпурной бахромы), компоненты цвета которых не были интерполированы, определяют, что интерполяция цвета с использованием их окружающих пикселей является невозможной, и выполняют обработку по однородному уменьшению насыщенности цвета для цвета этих пикселей.
Таким образом, обработка коррекции пикселя с неправильным цветом на этапе S105, показанном на фиг.2, представляет собой обработку повторения компенсации, то есть обработку по установке значений пикселей для пикселей, определенных как имеющие неправильный цвет (пурпурная бахрома) на этапе S104, на основе пикселей, которые не являются окружающими пикселями насыщенного белого цвета. Обработку снижения насыщенности цвета выполняют для остальных пикселей 302 неправильного цвета (пурпурная бахрома), которые не были интерполированы в ходе описанной выше обработки.
Подробно обработка коррекции пикселя с неправильным цветом на этапе S105 будет описана со ссылкой на блок-схему последовательности операций обработки, показанную на фиг.11 и 12. В блок-схеме последовательности операций обработки, показанной на фиг.11 и 12, обработка, выполняемая на этапах S501-S515, показанная на фиг.11, представляет собой обработку, предназначенную для компенсации компонентов цвета пикселей с неправильным цветом (пурпурная бахрома), и обработка, выполняемая на этапах S516-S523, показанная на фиг.12, представляет собой обработку по уменьшению насыщенности цвета пикселей, которые не были компенсированы.
Далее будет приведено последовательное описание со ссылкой на фиг.11. Вначале на этапе S501 копируют содержание маски Р области неправильного цвета, сгенерированной при обработке детектирования пикселя с неправильным цветом на этапе S104, показанном на фиг.2, в двоичную маску Р", которая имеет, по существу, тот же размер. Примеры включают в себя:
Маска Р области неправильного цвета = true → Двоичная маска Р" = true (1)
Маска Р области неправильного цвета = false → Двоичная маска Р" = false (0)
На этапе S502 значение переменной t, обозначающее количество повторений при обработке компенсации, устанавливают равным 0. На этапе S503 значение двоичной маски Р" копируют в другую двоичную маску Р', которая имеет, по существу, такой же размер. Эти маски Р'' и Р' представляют собой временные изображения маски, используемые для сохранения положения пикселей 302 неправильного цвета (пурпурной бахромы), которые уменьшают путем обработки повторения.
Затем, на этапах S504 и S505, инициализируют переменные х и у, обозначающие координаты положения пикселя, предназначенного для обработки, так чтобы удовлетворялось условие х=0 и y=0. Затем, на этапе S506, определяют значение двоичной маски Р'(х,у). Для двоичной маски Р'(х,у)=false, то есть когда пиксель, предназначенный для обработки, не является пикселем с неправильным цветом, процесс переходит на этап S510. Для двоичной маски Р'(х,у)=true, то есть когда пиксель, предназначенный для обработки, представляет собой пиксель с неправильным цветом, процесс переходит на этап S507.
На этапе S507 определяют, существует ли пиксель, который удовлетворяет значению двоичной маски Р'=false и значению маски S насыщенного белого цвета = false среди пикселей, находящихся рядом с пикселями (х, у). То есть определяют, существует ли пиксель, который не является ни пикселем с неправильным цветом, ни пикселем с насыщенным белым цветом. Когда определяют, что пиксель, который удовлетворяет таким условиям, не существует среди пикселей, находящихся рядом с пикселем (х, у), процесс переходит на этап S510.
Когда определяют, что существует пиксель, который не является ни пикселем с неправильным цветом, ни пикселем с насыщенным белым цветом, среди пикселей, находящихся рядом с пикселем (х, у), процесс переходит на этап S508. На этапе S508 среднее значение компонентов С цвета одного или больше пикселей, которые удовлетворяют значению двоичной маски Р'=false и маски S насыщенного белого цвета = false, то есть которые не являются ни пикселями неправильного цвета, ни пикселями с насыщенным белым цветом и которые находятся рядом с пикселем (х, у), определяют и устанавливают для компонента С(х, у) цвета координаты (х, у). То есть определенное среднее значение устанавливают как значение пикселя для пикселя (х, у). При такой обработке интерполяции устанавливают пиксели 304 с интерполированным неправильным цветом (пурпурная бахрома), показанные на фиг.10(b).
После такой обработки процесс переходит на этап S509. На этапе S509 значение двоичной маски Р''(х, у) устанавливают как false. То есть в двоичной маске Р''(х, y) пиксели, которые изменились с пикселей с неправильным цветом на интерполированные пиксели с неправильным цветом, устанавливают как пиксели, идентифицируемые как не являющиеся пикселями с неправильным цветом.
Этапы S510-S513 включают в себя обработку для обновления координат пикселя, предназначенного для обработки, и обработку по определению максимальных значений. На этапе S510 значение координаты х увеличивают на 1. Затем, на этапе S511, выполняют определение, удовлетворяется ли условие х>w-1 (w представляет собой ширину входного изображения). Когда определяют, что условие х>w-1 удовлетворяется, процесс переходит на этап S512. Когда определяют, что условие х>w-1 не удовлетворяется, процесс переходит на этап S506.
На этапе S512 координату у увеличивают на 1. Затем, на этапе S513, координату у сравнивают со значением h-1, которое представляет собой максимальное значение координаты у (h представляет собой высоту входного изображения). Когда определяют, что условие у>h-1 удовлетворяется, процесс переходит на этап S514. Когда определяют, что условие у>h-1 не удовлетворяется, процесс переходит на этап S505.
На этапе S514 значение t, обозначающее количество повторений, увеличивают на 1. На этапе S515 выполняют определение, равно ли число t повторений заданному значению tmax или больше него. Одновременно в отношении изображения Р'' маски выполняют определение, равно ли 0 количество пикселей, имеющих значение true. To есть определяют, равно ли 0 количество пикселей с неправильным цветом, которые не были полностью интерполированы в результате обработки интерполяции компенсации. Когда определяют, что любое из описанных выше двух условий имеет значение true, процесс переходит на этап S516. Когда определяют, что оба эти условия имеют значение false, процесс возвращается на этап S503, и обработку компенсации выполняют снова.
На этапе S515, когда определяют значение true либо при обработке по определению, равно ли количество t повторений заданному значению tmax или больше него, либо при обработке по определению, равно ли 0 количество пикселей с неправильным цветом, которые не были полностью интерполированы в результате обработки интерполяции компенсации, процесс переходит на этап S516, показанный на фиг.12.
На этапах S516 и S517 переменные х и у, обозначающие координаты пикселя, предназначенные для обработки, инициализируют так, что удовлетворяется условие х=0 и y=0. Затем, на этапе S518, выполняют определение, является ли значение двоичной маски Р'' для (х, у) true. To есть выполняют определение, является ли пиксель, предназначенный для обработки, пикселем с неправильным цветом. Для двоичной маски Р''(х,у)=true, то есть для пикселя с неправильным цветом, процесс переходит на этап S519. Для двоичной маски Р''(х,у)=false, то есть для пикселя, который не является пикселем с неправильным цветом, процесс переходит на этап S520.
Когда пиксель, предназначенный для обработки, представляет собой пиксель неправильного цвета, обработку по уменьшению насыщенности цвета, предназначенную для уменьшения насыщенности цвета для компонента С(х,у) цвета пикселя (х, у), выполняют на этапе S519. Например, когда используют систему цвета L*a*b*, насыщенность цвета может быть однородно уменьшена путем умножения значения каждого из компонентов а* и b* на постоянную величину в диапазоне от 1,0 до 0,0. Когда обработку уменьшения насыщенности цвета, выполняемую на этапе S519, заканчивают, процесс переходит на этап S520. На этапе S520 значение координаты х увеличивают на 1. Затем, на этапе S521, выполняют определение, удовлетворяется ли условие х>w-1. Когда определяют, что условие х>w-1 удовлетворяется, процесс переходит на этап S522. Когда определяют, что условие х>w-1 не удовлетворяется, процесс переходит на этап S518, и аналогичную обработку повторяют для соседнего пикселя, для которого была обновлена координата х.
На этапе S521, когда определяют, что условие х>w-1 удовлетворяется, достигают максимального значения координаты х, и, таким образом, процесс переходит на этап S522, на котором координату у увеличивают на 1. На следующем этапе S523 координату у сравнивают со значением h-1, которое представляет собой максимальное значение координаты у. Когда условие у>h-1 не удовлетворяется, процесс переходит на этап S517, и аналогичную обработку повторяют для пикселя, имеющего обновленную координату у. Когда на этапе S523 определяют, что условие у>h-1 удовлетворяется, обработка коррекции пикселя с неправильным цветом заканчивается. При описанной выше обработке обработка коррекции пикселя с неправильным цветом на этапе S105, показанном на фиг.2, заканчивается.
Когда обработка коррекции пикселя с неправильным цветом на этапе S105 заканчивается, далее выполняют обработку размытости цвета (фильтрации) на этапе S106. На этапе S105 цвет пикселей с неправильным цветом (пурпурная бахрома) был интерполирован путем повторения обработки компенсации, и пиксели неправильного цвета (пурпурная бахрома), которые не были компенсированы, подвергают обработке по уменьшению насыщенности цвета. Однако на участке неправильного цвета (пурпурная бахрома), подвергаемом обработке на этапе S105, может существовать область, цвет которой относительно быстро изменяется. При обработке размытости цвета (фильтрация) на этапе S106 выполняют обработку по применению фильтра размытости, для уменьшения быстрого изменения цвета.
Подробное описание обработки (фильтрации) размытости цвета на этапе S106 будет приведено со ссылкой на блок-схему последовательности операций, показанную на фиг.13. Вначале, на этапе S601, значение переменной t, обозначающее количество повторений обработки размытости цвета (фильтрации) устанавливают равным 0. Затем, на этапе S602, компонент цвета изображения С, обновленный с помощью обработки коррекции пикселя с неправильным цветом на этапе S105, описанный выше, копируют в изображение С компонента цвета, имеющее, по существу, тот же размер.
Затем, на этапах S603 и S604, переменные х и у, обозначающие координаты пикселя, предназначенного для обработки, инициализируют так, чтобы удовлетворялось условие х=0 и y=0. Затем, на этапе S605, определяют значение маски Р(х,у) области неправильного цвета. Для маски Р(х,у) области неправильного цвета = false, то есть для не пикселя с неправильным цветом процесс переходит на этап S607. Для маски Р(х,у) области с неправильным цветом = true, то есть для пикселя с неправильным цветом процесс переходит на этап S606.
Маска Р(х,у) области неправильного цвета представляет собой маску, установленную в значение true для пикселя, определенного как пиксель, имеющий неправильный цвет, на основе определения цвета (значение пикселя) при обработке детектирования пикселя с неправильным цветом (соответствует последовательности операций обработки, показанной на фиг.7) на этапе S104, описанном выше. Маска Р(х,у) области неправильного цвета представляет собой данные маски, которые сохраняют значение "true" для области пикселя с неправильным цветом, скорректированной в ходе обработки пикселей по коррекции пикселя с неправильным цветом на этапе S105, описанном выше. Поскольку маску Р(х,у) области неправильного цвета используют для обработки размытости (фильтрации) цвета, для обработки коррекции пикселя с неправильным цветом на этапе S105 используют копию маски Р" для маски Р(х,у) области неправильного цвета.
Далее продолжается описание обработки размытости (фильтрации) цвета со ссылкой на фиг.13. Когда маска Р(х,у) неправильного цвета имеет значение true на этапе S605, то есть когда рассматриваемый пиксель представляет собой пиксель с неправильным цветом, процесс переходит на этап S606. На этапе S606 фильтр размытости добавляют к компонентам цвета. Эта обработка предназначена для обновления значения С(х,у) пикселя, обозначающего компоненты цвета для пикселя (х, у) в изображении С компоненте цвета, в соответствии со значением С пикселя, обозначающим компоненты цвета окружающих пикселей. Например, определяют среднее значение компонентов С цвета девяти пикселей, включая пиксель (х, у), который предназначен для обработки, и окружающие его восемь пикселей, и перемещаемый усредненный фильтр применяют так, что среднее значение устанавливают как обновленное значение С(х,у) пикселя для обрабатываемого пикселя (х, у).
После того как обработка применения светофильтра размытости на этапе S606 будет закончена, координаты пикселя, предназначенного для обработки, обновляют и проверяют максимальные значения на этапах S607-S610. На этапе S607 значение координаты х увеличивают на 1. Затем на этапе S608 определяют, удовлетворяется ли условие х>w-1. Когда определяют, что условие х>w-1 удовлетворяется, процесс переходит на этап S608. Когда определяют, что условие х>w-1 не удовлетворяется, процесс возвращается на этап S604, и аналогичную обработку выполняют для пикселя, координата х которого была обновлена, и при этом выполняют обработку размытости, если это необходимо.
Когда определяют, что условие х>w-1 удовлетворяется, на этапе S608, процесс переходит на этап S609, на котором координату у увеличивают на 1. На следующем этапе S610 координату у сравнивают со значением h-1, которое представляет собой максимальное значение для координаты у. Когда определяют, что условие у>h-1 не удовлетворяется, процесс переходит на этап S603, и аналогичную обработку выполняют для пикселя, имеющего обновленную координату у и, в случае необходимости, выполняют обработку размытости.
Когда на этапе S610 определяют, что условие у>h-1 удовлетворяется, процесс переходит на этап S611. На этапе S611 выполняют обработку по увеличению количества t повторений обработки (фильтрации) размытости цвета на 1. На этапе S612 определяют, равно ли количество t повторений заданному пороговому значению t'max или больше него. При условии t<t'max процесс возвращается на этап S602, и при условии t>t'max обработку (фильтрацию) размытости цвета заканчивают.
После описанной выше обработки обработку размытости цвета (фильтрацию) на этапе S106, показанном на фиг.2, заканчивают. Когда обработка (фильтрация) размытости цвета на этапе S106 заканчивается, на следующем этапе S107 компонент яркости изображения Lin исходного изображения и компонент цвета изображения С, полученный в результате описанной выше обработки, преобразуют и полученное в результате изображение RGBout выводят как цветное изображение RGB, заканчивая, таким образом, всю обработку.
Хотя в приведенном выше примере обработки был описан пример, при котором неправильный цвет определяют как пурпурный, на этапе S404, показанном на фиг.7, цвет неправильного цвета не ограничивается пурпурным и может быть, например, цветом с оттенком зеленого. В таком случае неправильный цвет устанавливают как другой цвет на этапе S404, и маску Р(х,у) области неправильного цвета для определения пикселя, имеющий этот цвет, в качестве неправильного цвета, конфигурируют так, что обеспечивается возможность обработки произвольного цвета.
Когда корректируют множество других цветов, например множество цветов, включая пурпурный и зеленый, обработка, показанная на фиг.2, для различных цветов может быть выполнена множество раз, или она может быть выполнена с использованием конфигурации, в которой для маски Р(х,у) области неправильного цвета, значение которой определено как true, установлены значения пикселей для множества цветов, включая пурпурный и зеленый. Это позволяет корректировать неправильный цвет, содержащий множество цветов.
На фиг.14 показана блок-схема, представляющая функциональную конфигурацию цифрового процессора сигналов (ЦПС) (соответствующего ЦПС 106, показанному на фиг.1) в устройстве обработки изображения в соответствии с настоящим изобретением, которое выполняет описанную выше обработку. Обработка, выполняемая цифровым процессором 106 сигналов (ЦПС), будет описана со ссылкой на блок-схему, показанную на фиг.14, при сравнении с блок-схемой последовательности операций, показанной на фиг.2.
Функционально, как показано на фиг.14, цифровой процессор 106 сигналов (ЦПС) имеет блок 401 преобразования цвета, блок 402 детектирования насыщенного белого цвета, блок 403 установки области детектирования пикселя с неправильным цветом, блок 404 детектирования неправильного цвета (пурпурной бахромы), блок 410 коррекции значения пикселя и блок 405 обратного преобразования цвета. Блок 410 коррекции значения пикселя включает в себя блок 411 интерполяции компенсации неправильного цвета (пурпурной бахромы) и блок 412 обработки размытости неправильного цвета (пурпурной бахромы).
Цифровой процессор 106 сигналов (ЦПС) принимает данные изображения (RGBin) из запоминающего устройства 420 кадра входного изображения, и блок 401 обработки преобразования цвета выполняет преобразование пространства цвета входного изображения RGB и разделяет его на компонент яркости и компонент цвета. Обработка, выполняемая блоком 401 обработки преобразования цвета, соответствует обработке, выполняемой на этапе S101 в блок-схеме последовательности операций, показанной на фиг.2. Входное изображение RGBin преобразуют и разделяют на изображение Lin компонента яркости и изображение Сin компонента цвета. То есть входное изображение цвета RGB преобразуют в цветовое пространство, имеющее компоненты яркости, и цветовое пространство, имеющее компоненты цвета. В качестве пространства цвета можно использовать схему YCbCr, CIE L*a*b* или подобную.
Затем на основе на данных, преобразованных с помощью блока 401 обработки преобразования цвета, блок 402 детектирования насыщенного белого цвета детектирует область с пикселем, который имеет насыщенный белый цвет. Эта обработка соответствует этапу S102 в блок-схеме последовательности операций, показанной на фиг.2. В частности, как описано со ссылкой на блок-схему последовательности операций, показанную на фиг.4, детектируют пиксель, имеющий яркость, которая больше или равна заданному пороговому значению яркости, и выполняют обработку генерирования маски (х, у) насыщенного белого цвета для идентификации пикселя насыщенного белого цвета.
Блок 403 установки области детектирования пикселя с неправильным цветом выполняет обработку по установке области детектирования пикселя с неправильным цветом и участков вокруг пикселя с насыщенным белым цветом, детектированного с помощью блока 402 детектирования насыщенного белого цвета. Такая обработка установки области для определения области, в которой может быть сгенерирован неправильный цвет вокруг пикселя (х, у) с насыщенным белым цветом, которая удовлетворяет значению маски S(x,у) насыщенного белого цвета = true, и в связи с этим используется информация определения области детектирования пикселя с неправильным цветом. Эта обработка соответствует этапу S103 в блок-схеме последовательности операций, показанной на фиг.2, и ее выполняют в соответствии со схемой обработки, показанной на фиг.5.
Например, используя справочную таблицу (СПТ), имеющую информацию области детектирования пикселя с неправильным цветом, ассоциированную с расстоянием от оптического центра изображения до пикселя (х, у) насыщенного белого цвета, а также информацию о диафрагме и фокусном расстоянии, во время фотографирования данных изображения, блок 403 установки области детектирования пикселя с неправильным цветом устанавливают в область детектирования пикселя с неправильным цветом вокруг каждого пикселя (х, у) насыщенного белого цвета. Когда информация о диафрагме и фокусном расстоянии и так далее во время фотографирования данных изображений не доступна, область детектирования пикселя с неправильным цветом может быть определена на основе только расстоянии от оптического центра изображения до пикселя (х, у) насыщенного белого цвета. Кроме того, определенная область вокруг пикселя (х, у) насыщенного белого цвета всегда может быть установлена как область детектирования пикселя с неправильным цветом, без использования такой информации, как расстояние от оптического центра до пикселя (х, у) с насыщенным белым цветом.
Как описано выше со ссылкой на фиг.6, блок 403 установки области детектирования пикселя с неправильным цветом определяет для четырех скалярных значений (х0, x1, у0, у1) ширину участка области детектирования пикселя с неправильным цветом вокруг пикселя (х, у) 201 с насыщенным белым цветом и, кроме того, генерирует маску Р области неправильного цвета, которую получают путем удаления пикселей с насыщенным белым цветом из этой области.
Блок 404 детектирования неправильного цвета (пурпурной бахромы) использует маску Р области неправильного цвета, установленную блоком 403 установки области детектирования пикселя с неправильным цветом, и дополнительно выполняет обработку по детектированию пикселей, определенных как имеющие неправильный цвет (пурпурная бахрома), с помощью обработки определения цвета для каждого пикселя. То есть маску Р области неправильного цвета обновляют для генерирования маски Р области неправильного цвета, которая позволяет идентифицировать пиксели с неправильным цветом, предназначенные для коррекции. Такая обработка соответствует этапу S104 в блок-схеме последовательности операций, показанной на фиг.2, и ее выполняют в соответствии с потоком обработки, показанным на фиг.7. Как описано выше, цвет, который следует определить как неправильный цвет, является произвольным, и, таким образом, возможна конфигурация, в которой только пурпурный цвет, имеющий определенное значение цвета, установлен как неправильный цвет, или конфигурация, в которой множество цветов, такие как зеленый и пурпурный, установлены в качестве неправильного цвета.
Блок 411 интерполяции компенсации неправильного цвета (пурпурной бахромы) выполняет обработку коррекции пикселя, определенного как имеющий неправильный цвет, с помощью блока 404 детектирования неправильного цвета (пурпурной бахромы). Эта обработка соответствует этапу S105 в блок-схеме последовательности операций, показанной на фиг.2, и ее выполняют в соответствии со схемами обработки, показанными на фиг.11 и 12. Такая обработка коррекции значения пикселя включает в себя обработку интерполяции компенсации (см. фиг.10 и 11), выполняемую для пикселя, определенного как имеющий неправильный цвет (пурпурная бахрома), на основе значений пикселей, которые не являются пикселями, окружающими пиксели с неправильным цветом, и пикселями с насыщенным белым цветом, и обработку уменьшения насыщенного белого цвета (см. фиг.12) для пикселей с неправильным цветом (пурпурная бахрома), которые не были скорректированы в результате заданного количества повторений обработки интерполяции компенсации.
Блок 412 обработки размытости неправильного цвета (пурпурная бахрома) выполняет обработку размытости для данных, скорректированных в результате обработки, выполняемой блоком 411 интерполяции компенсации неправильного цвета (пурпурная бахрома). Эта обработка соответствует этапу S106 в блок-схеме последовательности операций, показанной на фиг.2, и ее выполняют в соответствии со схемой обработки, показанной на фиг.13.
Блок 412 обработки размытости неправильного цвета (пурпурная бахрома) выделяет пиксель, определенный как имеющий неправильный цвет, с помощью блока 404 детектирования неправильного цвета (пурпурная бахрома) и применяет фильтр размытости к компонентам цвета. Например, блок 412 обработки размытости неправильного цвета (пурпурный) определяет среднее значение девяти пикселей, включающих пиксель (х, у), который предназначен для обработки, и окружающие его восемь пикселей, и выполняет обработку перемещаемого усредненного фильтра для установки среднего значения в качестве обновленного значения пикселя для пикселя (х, у), который предназначен для обработки.
Блок 405 обратного преобразования цвета преобразует изображение Lin компонента яркости исходного изображения и изображение С компонента цвета, полученное в результате описанной выше обработки, и получает в результате изображение RGBout, используемое в качестве изображения цвета RGB.
При использовании настоящего изобретения возможно выполнять соответствующую коррекцию неправильного цвета, такого как пурпурная бахрома, возникающего в результате хроматической аберрации при фотографировании изображения камерой, и при этом возможно обеспечить генерирование выходных данных высококачественного изображения. При использовании обычной камеры возможно получение неестественного изображения, если только не будут отрегулированы параметры установки, такие как диафрагма объектива, в ситуации, в которой возникает пурпурная бахрома. Однако при использовании обработки изображения в соответствии с настоящим изобретением можно выполнять коррекцию, в результате которой сфотографированное изображение выглядит более естественным. Таким образом, не требуется уделять внимание диафрагме объектива и фокусному расстоянию, поскольку пурпурная бахрома не возникает во время фотографирования, что обеспечивает возможность фотографировать с более высокой степенью свободы.
[Второй вариант выполнения]
Ниже будет описана конфигурация второго варианта выполнения настоящего изобретения. Как подробно описано со ссылкой на схему последовательности операций, показанную на фиг.5, для первого варианта выполнения, при обработке установки области детектирования пикселя с неправильным цветом на этапе S103 в схеме, показанной на фиг.2, когда значение пикселя в положении (х, у) обозначает пиксель с насыщенным белым цветом, на этапе S304 по фиг.5, область детектирования пикселя с неправильным цветом (х0, x1, y0, y1) устанавливают вокруг пикселя с насыщенным белым цветом, на этапе S305, и выполняют обработку (этап S104 по фиг.2 и схема последовательности операций, показанная на фиг.7), предназначенную для детектирования пикселей с неправильным цветом из области (х0, х1, y0, y1) детектирования пикселя с неправильным цветом.
При обработке в соответствии с описанным выше первым вариантом выполнения используют обработку, в которой используется заданная информация определения области детектирования изображения неправильного цвета, такая как справочная таблица (СПТ), в которой область детектирования пикселя с неправильным цветом, соответствующая области изображения, установлена на основе характеристик оптической системы захвата изображения для установки области (х0, x1, y0, y1) детектирования изображения неправильного цвета вокруг пикселя с насыщенным белым цветом.
Как описано выше, пиксели с насыщенным белым цветом, включенные в сфотографированные изображения, представляют собой пиксели с высокой яркостью, то есть представляют собой насыщенные пиксели изображения. Например, для данных изображения, значение яркости которых может быть установлено в диапазоне от 0 до 255, все пиксели, превышающие значение 250, определены как пиксели с насыщенным белым цветом, и область (х0, x1, y0, у1) детектирования пикселя с неправильным цветом установлена вокруг пикселей с насыщенным белым цветом на основе справочной таблицы. Однако не все пиксели с насыщенным белым цветом, то есть пиксели с высокой яркостью в сфотографированном изображении, генерируются на основе предмета, имеющего одинаковое значение яркости, но предмет, имеющий яркость, более высокую или равную определенной яркости, приводит к получению пикселей с насыщенным белым цветом. То есть все участки предмета, имеющие яркость от несколько более высокого до очень высокого уровня яркости, выглядят, как пиксели с насыщенным белым цветом в сфотографированном изображении.
При этом область, в которой пурпурная бахрома появляется вокруг пикселя с насыщенным белым цветом, изменяется в зависимости от изменения уровня яркости предмета, то есть разности в яркости на участке кромки. Даже для одинаковых пикселей с насыщенным белым цветом в данных сфотографированного изображения пиксель насыщенного белого цвета, имеющий большую разность яркости на участке кромки, соответствующую разности уровня яркости между пикселем насыщенного белого цвета и его соседними пикселями, приводит к образованию большой области пурпурной бахромы, а пиксель с насыщенным белым цветом, имеющий малую разность яркости на участке кромки, приводит к образованию малой области пурпурной бахромы. Таким образом, обычно для пикселя с насыщенным белым цветом, который имеет высокий уровень яркости предмета (действительная яркость), область генерирования пурпурной бахромы обычно невелика, и для пикселя с насыщенным белым цветом, который имеет очень высокий уровень яркости предмета (действительная яркость), область генерирования обычно увеличивается.
Таким образом, даже для одинаковых пикселей с насыщенным белым цветом в данных сфотографированного изображения, изменение и установка области (х0, x1, у0, у1) детектирования пикселя с неправильным цветом в соответствии с действительной яркостью предмета позволяет обеспечить надежное и эффективное детектирование пикселей с неправильным цветом. Во втором варианте выполнения детектируют или оценивают действительную яркость (действительную освещенность) предмета, и область детектирования пикселя с неправильным цветом устанавливают в соответствии с действительной освещенностью предмета.
Как описано выше, пиксель с насыщенным белым цветом, имеющий большую разность освещенности на участке кромки, соответствующую разности уровня освещенности между пикселем с насыщенным белым цветом и его соседними пикселями, приводит к получению большой области образования пурпурной бахромы, и пиксель с насыщенным белым цветом, имеющий малую разность освещенности на участке кромки, приводит к образованию малой области генерирования пурпурной бахромы. Таким образом, необходимо учитывать разность яркости на участке кромки для определения ширины генерируемой пурпурной бахромы. В принципе, пурпурная бахрома возникает в результате разности рассеяния точки в зависимости от длины волны. Разность рассеяния точки из-за длины волны зависит от типа объектива, установок фокусного расстояния, диафрагмы и так далее и положения на изображении. Поэтому, если рассеяние точки немного изменяется от длины волны, неправильный цвет теоретически генерируется даже на участке кромки, на котором отсутствует существенная разность яркости, но неправильный цвет, воспринимаемый человеком, не генерируется, когда разность рассеяния точки очень невелика. Однако, даже когда разность рассеяния точки из-за длины волны очень невелика, если различие в освещенности на кромке будет настолько большим, что область с высокой освещенностью становится насыщенной, небольшие различия усиливаются, и воспринимаемый неправильный цвет генерируется на большой площади. В соответствии с этим для точного определения области, в которой может генерироваться пурпурная бахрома, необходимо учитывать разность в освещенности на участке кромки, а также тип объектива, установки и положение пикселя.
В данном варианте выполнения эти проблемы преодолеваются и обеспечивается способ более точного детектирования и коррекции пурпурной бахромы, генерируемой вокруг пикселя с высокой освещенностью. Как и в первом варианте выполнения, конфигурация, показанная на фиг.1, применима для конфигурации устройства обработки изображения в соответствии с данным вариантом выполнения. Вся последовательность обработки также выполняется, как и обработка в соответствии с блок-схемой последовательности операций, показанной на фиг.2, таким же образом, как и в первом варианте выполнения.
Различие второго варианта выполнения от первого варианта выполнения состоит в обработке, выполняемой на этапе S305, в блок-схеме последовательности операций, показанной на фиг.5, причем эта обработка соответствует обработке установки области детектирования пикселя с неправильным цветом на этапе S103, на схеме выполнения операций, показанной на фиг.2. То есть отличается обработка по установке области (х0, х1, y0, y1) детектирования пикселя с неправильным цветом. Другая обработка, то есть вся обработка, кроме этапа S103 в блок-схеме последовательности операций, показанной на фиг.2, в соответствии с первым вариантом выполнения, аналогична обработке, выполняемой в первом варианте выполнения.
В настоящем варианте выполнения обработку установки области (х0, x1, у0, y1) детектирования пикселя с неправильным цветом на этапе S305 в блок-схеме последовательности операций, показанной на фиг.5, выполняют как обработку по установке оптимальной области детектирования пикселя с неправильным цветом, соответствующей яркости (действительной освещенности) предмета. Подробно обработка по установке области детектирования пикселя с неправильным цветом в соответствии с настоящим вариантом выполнения будет описана ниже со ссылкой на фиг.15 и на последующие чертежи.
Принцип генерирования неправильного цвета (пурпурной бахромы) будет описан со ссылкой на фиг.15. На фиг.15(a) и фиг.15(b) показаны графики, на которых по вертикальной оси отмечена яркость (действительная освещенность) предмета и по горизонтальной оси отмечено положение пикселя данных сфотографированного изображения. На фиг.15(a) представлена яркость (действительная освещенность) предмета = 500, и эта область выглядит на сфотографированном изображении, как насыщенные пиксели, то есть пиксели с насыщенным белым цветом. Линия 510 порогового значения насыщенности на фиг.15(a) и на фиг.15(b) представляет пороговое значение насыщенности устройства захвата изображения по отношению к количеству падающего света. То есть, когда падает количество света, большее или равное линии 510 порогового значения насыщенности, изображение становится насыщенным и представляет собой изображение насыщенного белого цвета.
На фиг.15(a) показан случай, в котором предмет имеет соседнюю область, яркость которой резко изменяется между яркостью предмета (действительной освещенностью), равной 500, и яркостью (действительной освещенностью), равной 10, то есть предмет, действительная освещенность которого изменяется от 500 до 10, фотографируется. На фиг.15(b) показан случай, в котором фотографируют предмет, действительная освещенность которого изменяется от 5000 до 10. На фиг.15(a) область, имеющая действительную освещенность 500, расположена на линии 510 порогового значения насыщенности или выше нее, и эта область становится участком с насыщенным белым цветом. На фиг.15(b) область, имеющая действительную освещенность 5000, расположена на линии 510 порогового значения насыщенности или выше нее, и эта область становится пикселями с насыщенным белым цветом, которые выражены как одинаковые пиксели с насыщенным белым цветом на сфотографированном изображении.
На фиг.15(a) сплошной линией (G) представлена линия (G) 511 количества света зеленого канала, которая обозначает величину света зеленого канала, падающего на устройство захвата изображения, и пунктирной линией (В) показана линия (В) 512 количества света синего канала, обозначающая количество света синего канала, падающего на устройство захвата изображения. На фиг.15(b) аналогично сплошной линией (G) обозначена линия (G) 521 количества света зеленого канала, обозначающая количество света зеленого канала, падающего на устройство захвата изображения, и пунктирной линией (В) обозначена линия 522(В) количества света синего канала, обозначающая количество света синего канала, падающего на устройство захвата изображения.
На фиг.15(a) и 15(b) представлены состояния, в которых один и тот же объектив использовали для фотографирования. Поскольку для фотографирования использовали один и тот же объектив, конфигурации рассеяния точек зеленого канала и синего канала здесь совершенно одинаковы. Однако действительная освещенность предмета на фиг.15(b) и действительная освещенность предмета на фиг.15(a) отличаются друг от друга, и количество света, падающего на устройство захвата изображения, когда фотографируют предмет по фиг.15(b), гораздо больше, чем количество света, падающего на устройство захвата изображения, когда фотографируют предмет на фиг.15(a).
Когда количество падающего света велико, на фотографируемом изображении проявляется существенный уровень различия между зеленым и синим. Пурпурная бахрома образуется на участках, когда уровень различия между зеленым и синим в фотографируемом изображении велик. То есть на фиг.15(а) область размером приблизительно 10 пикселей с правой стороны от пикселя с белым насыщенным цветом представляет собой область, в которой весьма вероятно образование пурпурной бахромы, и на фиг.15(b) область размером приблизительно 20 пикселей с правой стороны от пикселя с белым насыщенным цветом представляет собой область, в которой весьма вероятно образование пурпурной бахромы. Участки с высокой освещенностью на фиг.15(a) и 15(b) также имеют область, в которой уровень различия между зеленым и синим становится существенным, и эта область выглядит, как пиксели с насыщенным белым цветом на сфотографированном изображении, и на нем не возникают пиксели пурпурной бахромы.
Таким образом, пурпурная бахрома часто образуется вокруг участка с высокой освещенностью, который приводит к насыщенности белого цвета, и область, в которой образуется пурпурная бахрома, зависит от различий освещенности на участке кромки. Величины освещенности и области генерирования пурпурной бахромы на фотографируемых изображениях предметов, имеющие действительные значения освещенности, соответствующие фиг.15(a) и 15(b), будут описаны со ссылкой на фиг.16. На фиг.16(a) и 16(b) представлены графики, соответствующие фиг.15(a) и 15(b). Фиг.16(a) соответствует предмету, действительная освещенность которого изменяется от 500 до 50, и фиг.16(b) соответствует предмету, действительная освещенность которого изменяется от 5000 до 50. Распределение значения освещенности данных изображения, полученных, когда эти два изображения фотографируют с использованием одного и того же объектива, становится таким, как показано на фиг.16(c).
На фиг.16(с) по вертикальной оси обозначено значение освещенности данных сфотографированного изображения (то есть значение освещенности сфотографированного изображения) и по горизонтальной оси обозначено положение пикселя. В данных изображения уровень освещенности, равный 255, представляет собой уровень освещенности насыщенности, и оба значения действительной освещенности, равной 500, и действительной освещенности, равной 5000, приводят к получению пикселей, имеющих уровень освещенности насыщенности, превышающей приблизительно 255, то есть представляют собой пиксели с насыщенным белым цветом цвета на сфотографированном изображении. Пурпурная бахрома появляется на участке, расположенном рядом с пикселем с насыщенным белым цветом. Область, в которой может образоваться пурпурная бахрома, соответствует участку размером приблизительно 10 пикселей в области А, показанной на фиг.16(c), для предмета, имеющего действительную освещенность 500, показанную на фиг.16(a), и соответствует участку размером приблизительно 20 пикселей в области В, показанной на фиг.16(c), для предмета, имеющего действительную освещенность 5000, показанного на фиг.16(b).
Таким образом, пурпурная бахрома образуется вокруг участка с высокой освещенностью, которая приводит насыщенности белого цвета, и область, в которой образуется пурпурная бахрома, зависит от различия освещенности на участке кромки. Исходную освещенность без насыщенности не требуется определять для определения различия освещенности на участке кромки. В качестве одного способа решения такой проблемы возможен способ, в котором используется изображение, сфотографированное с использованием устройства захвата изображения, имеющего датчик с низкой чувствительностью.
В частности, устройство захвата изображения, в котором установлено множество датчиков, имеющих различную чувствительность, используется для съемки пикселя в одном и том же положении. Например, устанавливают два типа датчиков, то есть датчик с нормальной чувствительностью и датчик с низкой чувствительностью. Изображение, сфотографированное с датчиком с нормальной чувствительностью, используется в качестве сфотографированного изображения, и исходная освещенность предмета (действительная освещенность) на участке, который становится пикселями с насыщенным белым цветом изображения, сфотографированного с использованием датчика с нормальной чувствительностью, определяют на основе изображения, сфотографированного с использованием датчика с низкой чувствительностью. Даже для предмета, имеющего высокую освещенность, съемка которого приводит к получению насыщенного белого цвета при использовании датчика с нормальной чувствительностью, изображение, сфотографированное с использованием датчика с низкой чувствительностью, не приводит к насыщенности белого цвета на сфотографированном изображении из-за низкой чувствительности датчика, и его выводят как пиксели, имеющие значения освещенности, которые не достигли значения насыщенности. Таким образом, для предмета, имеющего действительную освещенность, равную 500, показанную на фиг.16(a), и предмета, имеющего действительную освещенность 5000, показанную на фиг.16(b), можно получать изображения в виде данных изображения, имеющих, соответственно, разные значения освещенности сфотографированного изображения.
Обработка для оценки действительной освещенности предмета на основе сфотографированного изображения с использованием датчика с низкой чувствительностью будет описана со ссылкой на фиг.17. На фиг.17(a) и 17(b) показаны графики, соответствующие фиг.15(a) и 15(b) и фиг.16(a), и 16(b). Фиг.17(а) соответствует предмету, действительная освещенность которого изменяется от 500 до 50, и фиг.17(b) соответствует предмету, действительная освещенность которого изменяется от 5000 до 50. Распределения значений освещенности данных изображения, полученные, когда эти два изображения фотографируют с использованием датчика с низкой чувствительностью, становятся такими, как показано на фиг.17(р) и 17(g). Распределения значения освещенности данных изображения, полученные, когда эти два изображения фотографируют с использованием датчика с нормальной чувствительностью, становятся такими, как показано на фиг.17(r). На фиг.17(r) показан график, аналогичный представленному на фиг.16(c). Для любого случая значений действительной освещенности 500 и 5000 значение освещенности сфотографированного изображения получают, по существу, равным 255, то есть выводят как пиксели с насыщенным белым цветом.
Однако, как показано на фиг.17(р) и 17(q), в распределении значений освещенности данных изображения, полученных, когда фотографии сняли с использованием датчика с низкой чувствительностью, область изображения, в которой возникла насыщенность белого цвета, для изображения, сфотографированного с нормальной чувствительностью, не становится пикселями с насыщенным белым цветом и выводится, как пиксели, имеющие значение освещенности, которое меньше, чем насыщенное значение пикселей. В представленных примерах данные, показанные на фиг.17(р), которые представляют собой данные изображения предмета, имеющего действительную освещенность, равную 500, показанную на фиг.17(а), область изображения, имеющую действительную освещенность 500, выводят как данные изображения, имеющие освещенность сфотографированного изображения, равную 5, и в данных, показанных на фиг.17(q), которые представляют собой данные изображения предмета, имеющего действительную освещенность, равную 5000, показанную на фиг.17(b), область изображения, имеющую действительную освещенность 5000, выводят как данные изображения, имеющие значение освещенности сфотографированного изображения, равное 50. Таким образом, даже при съемке с использованием датчика с низкой чувствительностью области, которая приводит к появлению насыщенности белого цвета при использовании нормального датчика, из-за значительного количества падающего света, насыщенности белого цвета не происходит, и на выходе эта область представляет собой пиксель, имеющий значение меньшего уровня, чем значение освещенности насыщенности. То есть данные изображения предмета, обладающего определенной яркостью, и очень яркого предмета могут быть получены, как данные изображения, имеющие разные значения освещенности. В настоящем варианте выполнения данные изображения, сфотографированные в таких условиях, отличаются от нормальной фотографической обработки, и их используют в качестве контрольного изображения для определения и оценки действительной освещенности предмета для участка пикселя с насыщенным белым цветом на нормальном сфотографированном изображении и, основываясь на результате оценки, устанавливают область образования неправильного цвета (пурпурной бахромы).
Выше были описаны примеры, в которых используют датчик низкой чувствительности для получения контрольного изображения, для определения действительной освещенности предмета. В качестве другого примера можно использовать такую конфигурацию, в которой съемку выполняют с темной экспозицией путем увеличения скорости оптического затвора для получения контрольного изображения. Даже когда на нормальном снятом изображении возникает насыщенность белого цвета, то есть на изображении, сфотографированном с адекватной экспозицией, результат фотографии с темной экспозицией будет таким, что насыщенность белого цвета не будет возникать, и будут получены значения пикселей, меньшие, чем значения освещенности насыщенности. Таким образом, изображение, снятое с увеличенной скоростью оптического затвора, также можно использовать как контрольное изображение. Например, когда изображение фотографируют со временем экспозиции, составляющим приблизительно 1/30 от адекватной экспозиции, для получения контрольного изображения, возможно сделать оценку действительной освещенности предмета для пикселей, которые становятся насыщенными при адекватной экспозиции.
Как описано выше, изображение, сфотографированное в условиях низкой экспозиции, так же, как и изображение, сфотографированное с использованием датчика с низкой чувствительностью, или изображение, сфотографированное с высокой скоростью оптического затвора, используют в качестве контрольного изображения, при этом выполняют оценку действительной освещенности предмета на основе значения освещенности контрольного изображения для участка, соответствующего пикселю с насыщенным белым цветом, для данных нормально снятого изображения, и оптимальную область детектирования пикселя с неправильным цветом (пурпурной бахромы) устанавливают на основе оценки действительной освещенности.
На фиг.18 показан один пример взаимозависимости между действительной освещенностью предмета (истинной освещенностью пикселя с насыщенным белым цветом) и шириной участка (расстояние от пикселя с насыщенным белым цветом) генерируемого неправильного цвета (пурпурной бахромы). График, показанный на фиг.18, соответствует примеру, показанному на фиг.17, и представляет, что, когда действительная освещенность предмета равна 500, ширина участка (расстояние от пикселя с насыщенным белым цветом) генерируемого неправильного цвета (пурпурной бахромы) составляет 10 пикселей от пикселя с насыщенным белым цветом, и когда действительная освещенность предмета равна 5000, ширина участка (расстояние от пикселя с насыщенным белым цветом) генерируемого неправильного цвета (пурпурной бахромы) составляет 20 пикселей от пикселя с насыщенным белым цветом. Пример, представленный на чертеже, представляет собой один пример, и заранее измеренные данные используют для определения взаимозависимости между действительной освещенностью предмета и шириной участка генерируемого неправильного цвета (пурпурной бахромы) на основе характеристик оптической системы захвата изображения.
Процедура для обработки установки области детектирования пикселя с неправильным цветом в соответствии с настоящим вариантом выполнения будет описана со ссылкой на блок-схему последовательности операций, показанную на фиг.19. Блок-схема последовательности операций, показанная на фиг.19, представляет собой одну часть схемы, представленной на фиг.5 для первого варианта выполнения, описанного выше. То есть схема последовательности операций, показанная на фиг.19, представляет обработку на этапах S304 и S305 по фиг.5, то есть обработку для определения, является ли пиксель, представляющий интерес, пикселем с насыщенным белым цветом, и для установки, когда он является пикселем с насыщенным белым цветом, области (х0, x1, y0, y1) детектирования пикселя с неправильным цветом вокруг этого пикселя. Во втором варианте выполнения обработку этой части выполняют как обработку, отличающуюся от первого варианта выполнения.
Последовательность обработки в соответствии со вторым вариантом выполнения будет описана в соответствии с блок-схемой последовательности операций по фиг.19. На этапе S304 выполняют обработку, аналогичную первому варианту выполнения, и определяют значение пикселя маски S насыщенного белого цвета в установленном положении пикселя. В установленном положении (х, у) пикселя для маски S(x,у) насыщенного белого цвета = false процесс переходит на этап S314 (см. фиг.5) для обработки следующего пикселя. Если S(x,у) имеет значение true, процесс переходит на этап S305a. Когда маска S(x,у) насыщенного белого цвета имеет значение false для положения (х, у) пикселя, это означает, что значение пикселя в положении (х, у) пикселя обозначает пиксель, который не является пикселем с насыщенным белым цветом. Когда значение маски S(x,у) насыщенного белого цвета равно true для положения (х, у) пикселя, это означает, что значение пикселя в положении (х, у) пикселя обозначает пиксель с насыщенным белым цветом.
Когда маска S(x,у) насыщенного белого цвета имеет значение true для положения (х, у) пикселя, на этапе S305а, получают значение пикселя контрольного изображения, соответствующего положению (х, у) пикселя с насыщенным белым цветом. Контрольное изображение соответствует, например, изображению, сфотографированному с использованием описанного выше датчика с низкой чувствительностью, или изображению, сфотографированному в условиях малой экспозиции, например изображению, сфотографированному с высокой скоростью оптического затвора и с адекватной экспозицией или меньшей. На основе контрольного изображения получают значение пикселя для пикселя контрольного изображения, соответствующего пикселю (х, у), определенному как пиксель с насыщенным белым цветом, в нормально сфотографированном изображении, которое предназначено для обработки.
После этого, на этапе S305b, на основе значения пикселя контрольного изображения определяют область (х0, x1, y0, у1) детектирования пикселя с неправильным цветом с использованием справочной таблицы (СПТ). На фиг.20 показан пример структуры данных справочной таблицы (СПТ), используемой в настоящем изобретении. Справочная таблица (СПТ), показанная на фиг.20, имеет структуру таблицы, в которой "освещенность контрольного изображения", "действительная освещенность предмета" и "ширина участка генерируемого пикселя с неправильным цветом (ПБ: пурпурная бахрома)" ассоциируют друг с другом. Эта таблица показана как таблица, соответствующая примеру, описанному выше, со ссылкой на фиг.15-17.
Например, показано, что, когда освещенность контрольного изображения равна "5", действительная освещенность предмета составляет "500", и "ширина участка генерируемого пикселя с неправильным цветом (ПБ: пурпурная бахрома)" в этом случае представляет собой ширину участка, равную 10 пикселей от пикселя с насыщенным белым цветом. Аналогично показано, что, когда освещенность контрольного изображении равна "50", действительная освещенность предмета равна "5000", и "ширина участка генерируемого пикселя с неправильным цветом (ПБ: пурпурная бахрома)" в этом случае представляет собой ширину участка 20 пикселей от пикселя с насыщенным белым цветом.
На этапе S305b, показанном на фиг.19, например, "ширину участка генерируемого пикселя с неправильным цветом (ПБ: пурпурная бахрома)", установленную в соответствии с освещенностью контрольного изображения, определяют по таблице, показанной на фиг.20, и, основываясь на этом результате, определяют область (х0, x1, y0, у1) детектирования пикселя с неправильным цветом как область, включающую в себя ширину участка генерируемого пикселя с неправильным цветом (ПБ: пурпурная бахрома).
Хотя таблица, показанная на фиг.20, имеет структуру, содержащую данные действительной освещенности предмета, эти данные являются несущественными. Достаточно, если таблица выполнена так, что обеспечивается возможность определения области (х0, x1, y0, y1) детектирования пикселя с неправильным цветом на основе освещенности контрольного пикселя, соответствующего пикселю с насыщенным белым цветом на изображении, предназначенном для обработки, то есть на нормально снятом изображении. То есть таблица может быть выполнена как справочная таблица (СПТ), в которой "освещенность контрольного изображения" и "ширина участка генерируемого пикселя с неправильным цветом (ПБ: пурпурная бахрома)" или область (х0, x1, y0, у1) детектирования пикселя с неправильным цветом ассоциированы друг с другом.
Функциональная конфигурация цифрового процессора сигналов (ЦПС) (соответствует ЦПС 106, показанному на фиг.1) в устройстве обработки изображения в соответствии с данным вариантом выполнения, который выполняет описанную выше обработку, будет описана со ссылкой на фиг.21 и 22.
На фиг.21 показана схема, соответствующая конфигурации ЦПС, описанного выше со ссылкой на фиг.14 для первого варианта выполнения, и на фиг.22 показана схема, представляющая конфигурацию блока 403 установки области детектирования пикселя с неправильным цветом, показанного на фиг.21. Как показано на фиг.21, как и в первом варианте выполнения, цифровой процессор (ЦПС) сигнала в соответствии с данным вариантом выполнения имеет блок 401 преобразования цвета, блок 402 детектирования насыщенного белого цвета, блок 403 установки области детектирования пикселя с неправильным цветом, блок 404 детектирования неправильного цвета (пурпурная бахрома), блок 410 коррекции значения пикселя и блок 405 обратного преобразования цвета. Блок 410 коррекции значения пикселя включает в себя блок 411 интерполяции компенсации неправильного цвета (пурпурной бахромы) и блок 412 обработки размытости неправильного цвета (пурпурной бахромы).
Цифровой процессор 106 сигналов (ЦПС) принимает данные изображения (RGBin) из памяти 420 кадра входного изображения и блок 401 обработки преобразования цвета преобразует пространство цвета входного изображения RGB и разделяет его на компонент освещенности и компонент цвета. Обработка, выполняемая блоком 401 обработки преобразования цвета, соответствует обработке, выполняемой на этапе S101 в блок-схеме последовательности операций, показанной на фиг.2. Входное изображение RGBin преобразуют и разделяют на изображение Lin компонента освещенности и изображение Сin компонента цвета. То есть входное цветное изображение RGB преобразуют в пространство цвета, имеющее компонент освещенности, и пространство цвета, имеющее компонент цвета. Такие схемы, как YCbCr, CIE L*a*b* или подобные, можно использовать в качестве пространства цвета.
Далее, на основе данных, преобразованных блоком 401 обработки преобразования цвета, блок 402 детектирования насыщенного белого цвета детектирует область пикселя, в котором происходит насыщенность белого цвета. Такая обработка соответствует этапу S102 в блок-схеме последовательности операций, показанной на фиг.2. В частности, как описано со ссылкой на блок-схему последовательности операций, показанную на фиг.4, детектируют пиксель, имеющий освещенность, более высокую или равную заданному пороговому значению освещенности, и генерируют, таким образом, маску S(x,у) насыщенного белого цвета для идентификации пикселя насыщенного белого цвета.
Блок 403 установки области детектирования пикселя с неправильным цветом выполняет обработку для установки области детектирования пикселя с неправильным цветом на участках вокруг пикселя насыщенного белого цвета, детектированного с помощью блока 402 детектирования насыщенного белого цвета. Эта обработка установки области представляет собой обработку для определения области, в которой может быть сгенерирован неправильный цвет вокруг пикселя (х, у) с насыщенным белым цветом, который удовлетворяет маске S(x,у) насыщенного белого цвета, имеющей значение true, и, как описано выше, оптимальную обработку по установке области детектирования пикселя с неправильным цветом выполняют с использованием контрольного изображения.
Функциональная конфигурация блока 403 установки области детектирования пикселя с неправильным цветом будет описана со ссылкой на фиг.22. Как показано на фиг.22, блок 403 установки области детектирования пикселя с неправильным цветом имеет блок 711 анализа контрольного изображения, блок 712 содержания справочной таблицы и блок 713 обработки по определению области детектирования пикселя с неправильным цветом. Блок 711 анализа контрольного изображения получает из блока 402 детектирования насыщенного белого цвета положение пикселя насыщенного белого цвета в изображении, предназначенном для обработки, и получает значение освещенности пикселя контрольного изображения, соответствующего положению пикселя с насыщенным белым цветом. Контрольное изображение представляет собой изображение, снятое с того же предмета, что и изображение, предназначенное для обработки, но представляет собой изображение, снятое с использованием датчика с низкой чувствительностью, или изображение, снятое с экспозицией, которая меньше, чем адекватная экспозиция, например, при установке высокой скорости оптического затвора.
Блок 713 обработки определения области детектирования пикселя с неправильным цветом принимает из блока 711 анализа контрольного изображения значение освещенности пикселя контрольного изображения, соответствующее положению пикселя насыщенного белого цвета, предназначенного для обработки изображения. Основываясь на полученном значении, блок 713 обработки определения области детектирования пикселя с неправильным цветом определяет область детектирования пикселя с неправильным цветом путем обращения к справочной таблице (СПТ), сохраненной в блоке 712 содержания справочной таблицы. Например, как описано выше, со ссылкой на фиг.20, справочная таблица (СПТ) представляет собой справочную таблицу (СПТ), в которой "освещенность контрольного изображения" и "ширина генерируемого пикселя с неправильным цветом (ПБ: пурпурная бахрома)" или "область (х0, x1, y0, y1) детектирования пикселя с неправильным цветом" ассоциированы друг с другом.
В соответствии со значением освещенности пикселя контрольного изображения, соответствующего положению пикселя с насыщенным белым цветом на изображении, предназначенном для обработки, блок 713 обработки определения области детектирования пикселя с неправильным цветом определяет область (х0, х1, y0, y1) детектирования пикселя с неправильным цветом. Блок 713 обработки определения области детектирования пикселя с неправильным цветом определяет в качестве четырех скалярных величин (х0, х1, y0, y1), ширину области детектирования пикселя с неправильным цветом вокруг пикселя (х, у) насыщенного белого и, кроме того, генерирует маску Р области неправильного цвета, которую получают путем удаления пикселей насыщенного белого цвета из области (см. схему обработки, показанную на фиг.5 и 19). Такая обработка позволяет устанавливать область детектирования пикселя с неправильным цветом с учетом действительной освещенности предмета (действительная освещенность), обеспечивая, таким образом, оптимальную установку области. Описание настоящего варианта выполнения будет продолжено со ссылкой снова на фиг.21.
В блоке 404 детектирования неправильного цвета (пурпурной бахромы) используют маску Р неправильного цвета, установленную блоком 403 установки области детектирования пикселя с неправильным цветом, и дополнительно выполняют обработку для детектирования пикселей, определенных как имеющие неправильный цвет (пурпурная бахрома), с использованием обработки определения цвета для каждого пикселя. То есть маску Р области неправильного цвета обновляют для генерирования маски Р области неправильного цвета, которая позволяет идентифицировать только пиксели неправильного цвета, которые должны быть скорректированы. Такая обработка соответствует этапу S104 в блок-схеме последовательности операций, показанной на фиг.2, и ее выполняют в соответствии со схемой обработки, показанной на фиг.7. Как описано выше, цвет, который будет определен как неправильный цвет, может быть произвольным, и, таким образом, возможна конфигурация, в которой только пурпурный цвет, имеющий определенное значение цвета, установлен в качестве неправильного цвета, или конфигурация, в которой в качестве неправильного цвета установлено множество цветов, таких как зеленый и пурпурный.
Блок 411 интерполяции компенсации неправильного цвета (пурпурная бахрома) выполняет обработку для коррекции пикселя, определенного как пиксель, имеющий неправильный цвет, с использованием блока 404 детектирования неправильного цвета (пурпурной бахромы). Эта обработка соответствует этапу S105 в блок-схеме последовательности операций, показанной на фиг.2, и ее выполняют в соответствии со схемами обработки, показанными на фиг.11. и 12. Такая обработка коррекции значения пикселя включает в себя обработку интерполяции компенсации (см. фиг.10 и 11), выполняемую для пикселя, определенного как пиксель, имеющий неправильный цвет (пурпурная бахрома), на основе значений пикселей, которые не являются окружающими его пикселями с неправильным цветом и с насыщенным белым цветом, и обработку (см. фиг.12) для уменьшения пикселей с насыщенным цветом или неправильным цветом (пурпурная бахрома), которые не были скорректированы в результате заданного количества повторений обработки интерполяции компенсации.
Блок 412 обработки размытости неправильного цвета (пурпурной бахромы) выполняет обработку размытости по данным, скорректированным в результате обработки, выполняемой блоком 411 интерполяции компенсации неправильного цвета (пурпурной бахромы). Такая обработка соответствует этапу S106 в блок-схеме последовательности операций, показанной на фиг.2, и ее выполняют в соответствии со схемой обработки, показанной на фиг.13.
Блок 412 обработки размытости неправильного цвета (пурпурной бахромы) выделяет пиксель, определенный как пиксель, имеющий неправильный цвет, блоком 404 детектирования неправильного цвета (пурпурной бахромы) и применяет фильтр размытости к компонентам цвета. Например, блок 412 обработки размытости неправильного цвета (пурпурной бахромы) определяет среднее значение девяти пикселей, включая пиксель (х, у), предназначенный для обработки, и окружающие его восемь пикселей, и выполняет обработку перемещения усредненного фильтра для установки среднего значения в качестве обновленного значения пикселя для пикселя (х, у), предназначенного для обработки.
Блок 405 обратного преобразования цвета преобразует изображение Lin компонента освещенности исходного изображения и изображение С компонента цвета, которые были получены в результате описанной выше обработки, и выводит полученное в результате RGBout изображение, в качестве цветного изображения RGB.
При использовании настоящего варианта выполнения возможно выполнять соответствующую коррекцию неправильного цвета, такого как пурпурная бахрома, образованного в результате хроматической аберрации, возникающего на изображении, снимаемом с помощью камеры, и при этом возможно обеспечить генерирование и вывод данных высококачественного изображения.
Кроме того, в соответствии со вторым вариантом выполнения производят оценку действительной освещенности предмета, соответствующей пикселю с насыщенным белым цветом, по контрольному изображению, устанавливают область детектирования неправильного цвета (пурпурная бахрома), соответствующую действительной освещенности предмета, и в установленной области детектируют и корректируют пиксели неправильного цвета (пурпурная бахрома). Таким образом, можно установить область детектирования неправильного цвета (пурпурная бахрома), соответствующую области, в которой существует вероятность возникновения неправильного цвета (пурпурная бахрома), при этом установленная область детектирования неправильного цвета (пурпурная бахрома) не становится слишком большой или слишком малой. Пиксели с неправильным цветом (пурпурная бахрома) могут быть надежно и эффективно детектированы, при этом повышается точность коррекции изображения и увеличивается эффективность.
Настоящее изобретение было подробно описано выше со ссылкой на конкретные варианты его выполнения. Однако очевидно, что специалисты в данной области техники могут выполнить модификации и замену вариантов выполнения в пределах его объема, без отхода от сущности настоящего изобретения. То есть настоящее изобретение было раскрыто на примере, и при этом его не следует рассматривать как ограничение. Для понимания сущности настоящего изобретения следует рассматривать объем формулы изобретения.
Последовательности обработки, описанные здесь, могут быть выполнены с использованием аппаратных, программных средств или с использованием их комбинированной конфигурации. Когда обработку выполняют с использованием программных средств, она может быть выполнена путем загрузки программы, в которой последовательность обработки записана в компьютерную память, встроенную в специализированные аппаратные средства, или путем установки программы на компьютер общего назначения, который позволяет выполнять различные типы обработки.
Например, программа может быть заранее записана на носитель записи, такой как жесткий диск, или в ПЗУ (постоянное запоминающее устройство). В качестве альтернативы программа может быть временно или постоянно сохранена (записана) на сменном носителе записи, таком как гибкий диск, CD-ROM (постоянное запоминающее устройство на компакт-диске), МО (магнитооптический) диск, DVD (цифровой универсальный диск), магнитный диск или полупроводниковая память. Такой съемный носитель записи можно поставлять в виде так называемого "упакованного программного продукта".
В дополнение к установке на компьютер программы из описанного выше съемного носителя записи программа может быть передана в компьютер по беспроводному каналу из сайта загрузки или может быть передана в компьютер с использованием кабельного соединения через сеть, такую как ЛВС (локальная вычислительная сеть) и/или Интернет, так что программа, переданная таким образом, будет принята на компьютере и будет сохранена на носителе записи, таком как встроенный жесткий диск.
Различные описанные здесь типы обработки не только включают в себя обработку, которая выполняется последовательно во времени в соответствии с описанной последовательностью, но также включают в себя обработку, которая выполняется одновременно или отдельно в соответствии с производительностью устройства, которое выполняет обработку, или в соответствии с потребностью. Термин "система", используемый здесь, относится к логической комбинации множества устройств и не ограничивается системой, в которой отдельные устройства размещены в одном корпусе.
Промышленная применимость
Как описано выше, в соответствии с конфигурацией настоящего изобретения пиксель с насыщенным белым цветом детектируют из данных изображения, при этом область детектирования пикселя с неправильным цветом устанавливают вокруг детектированного пикселя с насыщенным белым цветом, пиксели, имеющие цвет, соответствующий неправильному цвету, такие как пурпурная бахрома, детектируют из установленной области, при этом детектируемые пиксели определены как пиксели с неправильным цветом, и обработку коррекции, основанную на значениях окружающих пикселей, выполняют по идентифицированным пикселям неправильного цвета. Таким образом, возможно эффективно детектировать область неправильного цвета, такую как пурпурная бахрома, сгенерированную рядом с пикселем с насыщенным белым цветом, и частично корректировать значения пикселей. При этом также возможно сгенерировать выходные данные высококачественного изображения, не затрагивая все изображение.
В соответствии с конфигурацией настоящего изобретения обеспечивается возможность выполнять соответствующую коррекцию неправильного цвета, такого как пурпурная бахрома, образующегося в результате хроматической аберрации, возникающей в изображении, снятом с помощью камеры, и при этом возможно обеспечить генерирование и вывод данных высококачественного изображения. При использовании обычной камеры существует вероятность того, что будет сфотографировано неестественное изображение, если только не будут отрегулированы установки, такие как диафрагма объектива, в ситуации, в которой образуется пурпурная бахрома. Однако, когда используют настоящее изобретение, становится возможным эффективно выделять и корректировать неправильный цвет, такой как пурпурную бахрому, содержащуюся в сфотографированном изображении, и при этом возможно сгенерировать и выводить высококачественное изображение. Таким образом, не требуется уделять внимание диафрагме объектива и ее фокусному расстоянию, и при этом пурпурная бахрома не возникает на фотографии, что позволяет выполнять фотографирование с более высокой степенью свободы.
Кроме того, в соответствии с конфигурацией настоящего изобретения действительную освещенность предмета, соответствующую пикселю с насыщенным белым цветом, оценивают на основе контрольного изображении, при этом устанавливают область детектирования неправильного цвета (пурпурная бахрома), соответствующую действительной освещенности предмета, и пиксели неправильного цвета (пурпурную бахрому) детектируют и корректируют в установленной области. Таким образом, может быть установлена область детектирования неправильного цвета (пурпурная бахрома), соответствующая области, в которой, вероятно, возникает неправильный цвет (пурпурная бахрома), и при этом область детектирования неправильного цвета (пурпурная бахрома) не становится слишком большой или слишком малой. Пиксели неправильного цвета (пурпурная бахрома) могут быть надежно и эффективно детектированы, при этом повышается точность коррекции изображения и увеличивается эффективность.
Изобретение относится к устройству обработки изображения для генерирования данных изображения путем коррекции данных изображения, в котором генерируется неправильный цвет, например, из-за аберрации объектива. Техническим результатом является разработка устройства обработки изображения, которое позволяет эффективно детектировать область неправильного цвета, такую как пурпурная бахрома, образовавшаяся рядом с пикселем насыщенного белого цвета, при этом могут быть частично скорректированы значения пикселей, а данные высококачественного изображения могут быть сгенерированы и выведены, не затрагивая все изображение. Предложены устройство и способ, предназначенные для эффективного выполнения коррекции неправильного цвета, такого как пурпурная бахрома, образующегося в результате хроматической аберрации, и для генерирования и вывода данных высококачественного изображения. Пиксель с насыщенным белым цветом детектируют из данных изображения, при этом в области вокруг детектированного пикселя с насыщенным белым цветом устанавливают пиксель неправильного цвета, и пиксели, имеющие цвет, соответствующий неправильному цвету, такой как пурпурная бахрома, детектируют из указанной области. Детектированные пиксели определяют как пиксели неправильного цвета и обработку коррекции на основе значений окружающих пикселей выполняют по детектированным пикселям неправильного цвета. 3 н. и 23 з.п. ф-лы, 22 ил.
| JP 11313336 А, 09.11.1999 | |||
| US 6697522 В1, 24.02.2004 | |||
| УСТРОЙСТВО ДЛЯ ИЗМЕНЕНИЯ НАСЫЩЕННОСТИ ЦВЕТОВ | 1991 |
|
RU2012161C1 |
| JP 2003060983 А, 28.02.2003 | |||
| JP 2000244939 А, 08.09.2000 | |||
| JP 2003348367 А, 05.12.2003 | |||
| JP 2002112048 А, 12.04.2002. | |||
