УСТРОЙСТВО ЗАХВАТА ИЗОБРАЖЕНИЙ, СИСТЕМА ЗАХВАТА ИЗОБРАЖЕНИЙ И СПОСОБ ЗАХВАТА ИЗОБРАЖЕНИЙ Российский патент 2018 года по МПК H04N5/232 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству захвата изображений, системе захвата изображений и способу захвата изображений.

Уровень техники

В последние годы, оцифровка развилась значительно также в области устройств захвата изображений за счет развития оцифровки информации. Особенно, в устройствах захвата изображений, представленных цифровыми камерами, что касается поверхности захвата изображений, традиционная пленка заменяется твердотельным узлом захвата изображений. CCD-датчик (узел с зарядовой связью), CMOS-датчик (комплементарный металл-оксидный полупроводник) или т.п. используется в качестве твердотельного узла захвата изображений (далее в данном документе просто называемого "узлом захвата изображений").

Таким образом, устройство захвата изображений, использующее узел захвата изображений, получает свет от субъекта через оптическую систему, извлекает свет, преобразуя его в электрические сигналы посредством твердотельного узла захвата изображений. Примеры такого устройства захвата изображений включают в себя видеокамеру, считыватель штрихкодов, мобильный телефон, переносной информационный терминал (PDA: персональный цифровой помощник) и промышленную камеру, в дополнение к цифровой камере.

Вышеупомянутое устройство захвата изображений включает в себя то, что называется камерой с расширенной глубиной резкости (EDoF: расширенная глубина резкости), которая расширяет глубину резкости с помощью оптической системы. Глубина резкости указывает диапазон расстояний в направлении оптической оси линзы, в которой приемлемо расценивать субъект на расстоянии от линзы камеры как находящийся в фокусе.

Конкретное описание предоставляется для пояснения расширения глубины резкости посредством оптической системы. Линза и фазовая пластина, которые включены в оптическую систему, функционируют, чтобы обеспечивать аберрацию и добавлять функцию рассеяния точки (PSF: функция рассеяния точки) свету субъекта, падающему на узел захвата изображений. Например, линза обеспечивает сферическую аберрацию, в качестве аберрации, свету субъекта, падающему на узел захвата изображений. Оптическая система вынуждает изображение, захватываемое посредством узла захвата изображений, размываться посредством аберрации, но делает размытость постоянной в широкой глубине резкости. Следовательно, изображение, размытое посредством оптической системы, нуждается в корректировке таким образом, чтобы получать предварительно определенное значение MTF (модуляционная передаточная функция). MTF указывает оцифрованное значение, изображающее степень точности, чтобы воспроизводить контраст субъекта, другими словами, воспроизводимость контраста. В этом случае, процесс обратного преобразования функции рассеяния точки выполняется по изображению, размытому посредством оптической системы, чтобы восстанавливать изображение в изображение высокого разрешения. Процесс обратного преобразования реализуется посредством корректировки размытости изображения посредством выполнения процесса фильтрации с помощью фильтра обратного преобразования по информации каждого пиксела, формирующего изображение, размытое посредством оптической системы (далее в данном документе просто называемого пикселом).

Кроме того, изображение, захваченное посредством узла захвата изображений, как правило, включает в себя шум. Соответственно, требуется также процесс снижения шума. В качестве устройства, которое снижает шум такого захваченного изображения и корректирует размытость для восстановления, предлагается устройство, включающее в себя блок обработки шума, который формирует изображение с обработанным шумом, выполняя обработку шума для снижения шума по входному изображению, и блок обработки восстановления, который выполняет процесс восстановления для уменьшения размытости по изображению с обработанным шумом (патентная литература 1). Блок обработки шума конфигурируется, чтобы выполнять обработку шума на основе характеристик процесса восстановления.

Однако, устройство, описанное в патентном документе 1, имеет проблему в том, что устройство предотвращает ухудшение изображения вследствие того, что влияние блока обработки шума усиливается, и не может фундаментально предотвращать усиление шума. Кроме того, разрешение и количество шума находятся в компромиссном соотношении. Следовательно, также существует проблема в том, что, если разрешение линзы в значительной степени компенсируется, количество шума увеличивается.

Ввиду вышеизложенного, существует необходимость предоставлять устройство захвата изображений, систему захвата изображений и способ захвата изображений, которые восстанавливают размытость, которая является оптической аберрацией, в то же время подавляя шум.

Сущность изобретения

Устройство захвата изображений включает в себя: оптическую систему, которая обеспечивает аберрацию для падающего света; узел захвата изображений, который преобразует свет, который прошел через оптическую систему, в пикселы и захватывает изображение; и блок обратного преобразования, который получает первый фильтр обратного преобразования для восстановления аберрации для каждой предварительно определенной части захваченного изображения, захваченного посредством блока захвата изображений, и выполняет первый процесс обратного преобразования по захваченному изображению посредством первого фильтра обратного преобразования.

Краткое описание чертежей

Фиг. 1 - это схема, иллюстрирующая пример полной конфигурации системы захвата изображений согласно первому варианту осуществления.

Фиг. 2 - это схема, иллюстрирующая пример конфигурации устройства обработки информации первого варианта осуществления.

Фиг. 3 - это схема, иллюстрирующая пример конфигурации устройства захвата изображений согласно первому варианту осуществления.

Фиг. 4 - это схема, иллюстрирующая пример конфигурации блока обработки изображений устройства захвата изображений согласно первому варианту осуществления.

Фиг. 5 - это схема, иллюстрирующая пример изображения, обнаруженного посредством узла захвата изображений.

Фиг. 6 - это схема, иллюстрирующая пример конфигурации блока буферизации изображений блока обработки изображений.

Фиг. 7 - это временная диаграмма, иллюстрирующая операцию ввода пикселов, выведенных из узла захвата изображений, в блок буферизации изображений.

Фиг. 8 - это схема, объясняющая, что спектры мощности различаются между областями обнаруженного изображения.

Фиг. 9 - это схема, объясняющая спектр мощности и оптимальный фильтр во всем обнаруженном изображении.

Фиг. 10 - это схема, объясняющая спектр мощности и оптимальный фильтр в области плоского фрагмента обнаруженного изображения.

Фиг. 11 - это схема, объясняющая спектр мощности и оптимальный фильтр в области текстурного фрагмента обнаруженного изображения.

Фиг. 12 - это схема, объясняющая пример конфигурации и работу блока обработки фильтра блока обработки изображений первого варианта осуществления.

Фиг. 13 - это схема, объясняющая пример конфигурации и работу блока обработки фильтра блока обработки изображений второго варианта осуществления.

Фиг. 14 - это схема, иллюстрирующая пример конфигурации фильтра обратного преобразования.

Фиг. 15 - это схема, объясняющая выполнение процесса фильтрации по изображению посредством фильтра обратного преобразования.

Фиг. 16 - это схема, объясняющая операцию сканирования целевого частичного изображения, намеченного для процесса фильтрации фильтра обратного преобразования в изображении.

Описание вариантов осуществления

Далее в данном документе предоставляется подробное описание вариантов осуществления устройства захвата изображений, системы захвата изображений и способа захвата изображений согласно настоящему изобретению, со ссылкой на чертежи. Кроме того, настоящее изобретение не ограничивается последующими вариантами осуществления, и компоненты в последующих вариантах осуществления включают в себя компонент, который может быть легко понят специалистами в области техники, является практически таким же компонентом и является тем, что находится в диапазоне так называемых эквивалентов. Кроме того, различные допущения, замены и изменения компонентов могут быть выполнены в диапазоне, в котором они не отступают от духа последующих вариантов осуществления.

(Первый вариант осуществления)

<Полная конфигурация системы захвата изображений>

Фиг. 1 - это схема, иллюстрирующая пример полной конфигурации системы захвата изображений согласно первому варианту осуществления. Конфигурация системы 500 захвата изображений варианта осуществления описывается со ссылкой на фиг. 1.

Как иллюстрировано на фиг. 1, система 500 захвата изображений варианта осуществления включает в себя устройство 1 захвата изображений и PC 2. Устройство 1 захвата изображений и PC 2 соединяются посредством кабеля 3 связи, такого как Ethernet- кабель (зарегистрированная торговая марка), таким образом, чтобы иметь возможность связываться друг с другом.

Устройство 1 захвата изображений преобразует свет, испускаемый от субъекта 4, в электрические сигналы, чтобы захватывать изображение субъекта 4, выполняет различные процессы обработки информации о захваченном изображении (далее в данном документе просто называемом изображением) и передает обработанное изображение в PC 2 через кабель 3 связи. PC 2 выполняет предварительно определенный процесс по изображению, принятому от устройства 1 захвата изображений.

Например, устройство 1 захвата изображений захватывает изображение штрих-кода, присоединенного к изделию, переносимому по производственной линии, и передает изображение штрих-кода в PC 2. PC 2 считывает информацию о штрихкоде из принятого изображения и анализирует информацию.

Как иллюстрировано на фиг. 1, система 500 захвата изображений является системой в способе проводной связи, в которой устройство 1 захвата изображений и PC 2 обмениваются данными через кабель 3 связи, но не ограничивается этим. Например, устройство 1 захвата изображений и PC 2 могут быть способны обмениваться данными друг с другом способом беспроводной связи, таким как Wi-Fi (зарегистрированная торговая марка) (беспроводная достоверность).

Кроме того, если система 500 захвата изображений используется на производственной линии, PC 2 может быть сконфигурирован, чтобы соединяться с PLC (программируемый логический контроллер) и/или т.п. таким образом, чтобы иметь возможность обмениваться данными. В этом случае, примеры операций системы 500 захвата изображений включают в себя следующую операцию. Устройство 1 захвата изображений захватывает изображение штрихкода, присоединенного к изделию, переносимому по производственной линии, и передает изображение штрих-кода в PC 2. PC 2 определяет номер изделия для изделия, переносимого по производственной линии, из принятого изображения штрих-кода. Если определенный номер изделия не совпадает с номером изделия, заданным на производственной линии, PC 2 передает, в PLC, сигнал, указывающий, что изделие, для которого номер изделия был определен, является изделием, имеющим другой номер изделия. При приеме, от PC 2, сигнала, указывающего, что изделие является изделием, имеющим другой номер изделия, PLC убирает изделие с производственной линии или управляет работой производственной линии, чтобы включать предупреждающую лампу и останавливать производственную линию.

<Конфигурация устройства обработки информации>

Фиг. 2 - это схема, иллюстрирующая пример конфигурации устройства обработки информации первого варианта осуществления. Конфигурация PC 2, который является примером устройства обработки информации, описывается со ссылкой на фиг. 2.

Как иллюстрировано на фиг. 2, PC 2, который является примером устройства обработки информации, включает в себя блок 21 связи, операционный блок 22, блок 23 отображения, блок 24 хранения, внешнее запоминающее устройство 25 и блок 26 управления. Вышеупомянутые блоки соединяются посредством шины 27 и могут передавать и принимать данные к и от друг друга.

Блок 21 связи является устройством, которое связывается с устройством 1 захвата изображений через кабель 3 связи. Блок 21 связи реализуется посредством устройства связи, такого как NIC (карта сетевого интерфейса). Протокол связи блока 21 связи реализуется, например, посредством TCP (протокола управления передачей)/IP (протокола Интернета) или UDP (протокола пользовательских дейтаграмм)/IP.

Операционный блок 22 является устройством, которое предоставляет возможность пользователю выполнять операции ввода, чтобы инструктировать блоку 26 управления выполнять предварительно определенный процесс. Операционный блок 22 реализуется посредством функции операции ввода, например, мыши, клавиатуры, числовой кнопочной панели, сенсорной панели или сенсорного экрана.

Блок 23 отображения является устройством, которое отображает изображение приложения, которое выполняется посредством блока 26 управления, и т.п. Блок 23 отображения реализуется, например, посредством CRT-дисплея (катодно-лучевая трубка), жидкокристаллического дисплея, плазменного дисплея или органического EL-дисплея (электролюминесцентного).

Блок 24 хранения является устройством, в котором различные программы, выполняемые в PC 2, данные, используемые для различных процессов, выполняемых в PC, и т.п. хранятся. Блок 24 хранения реализуется посредством запоминающих устройств, таких как ROM (постоянное запоминающее устройство) и RAM (оперативное запоминающее устройство).

Внешнее запоминающее устройство 25 является запоминающим устройством, в котором изображение, программа, данные шрифта и т.п. накапливаются и сохраняются. Внешнее запоминающее устройство 25 реализуется посредством запоминающего устройства, такого как HDD (накопитель на жестком диске), SSD (твердотельный накопитель), оптический диск или магнитно-оптический диск (MO: магнитно-оптический диск).

Блок 26 управления является устройством, которое управляет работой каждого блока PC 2. Блок 26 управления реализуется, например, посредством CPU (центрального процессора) и ASIC (специализированной интегральной микросхемы).

<Конфигурация устройства захвата изображений>

Фиг. 3 - это схема, иллюстрирующая пример конфигурации устройства захвата изображений согласно первому варианту осуществления. Конфигурация устройства 1 захвата изображений варианта осуществления описывается со ссылкой на фиг. 3.

Как иллюстрировано на фиг. 3, устройство 1 захвата изображений включает в себя блок 11 линзы, узел 12 захвата изображений, блок 14 обработки изображений и блок 15 связи.

Блок 11 линзы является блоком, который концентрирует свет, испускаемый от субъекта 4, и фокусирует изображение на узле 12 захвата изображений. Блок 11 линзы реализуется посредством оптической системы, включающей в себя одну или более линз. Блок 11 линз включает в себя фазовую пластину 11a и диафрагму 11b. Субъект 4, например, является человеком, объектом, который должен наблюдаться, штрихкодом, двухмерным кодом или строкой символов.

Фазовая пластина 11a имеет функцию обеспечения аберрации для света, падающего на блок 11 линзы. Как следствие, фазовая пластина 11a обеспечивает эффект добавления функции рассеяния точки свету, падающему на узел 12 захвата изображений, и вынуждает изображение, захватываемое посредством узла 12 захвата изображений, размываться, но делает размытость постоянной в широкой глубине резкости.

Диафрагма 11b является элементом, который автоматически регулирует количество света, падающего на блок 11 линзы, и размещается поблизости от фазовой пластины 11a.

Узел 12 захвата изображений является твердотельным узлом захвата изображений, который преобразует свет от субъекта, падающий на блок 11 линзы, в электрические сигналы, чтобы захватывать изображение субъекта 4, и формирует изображение. Узел 12 захвата изображений выводит пикселы, составляющие изображение, захваченное посредством блоков обнаружения, составляющих твердотельный узел захвата изображений. Узел 12 захвата изображений реализуется, например, посредством CCD-датчика или CMOS-датчика.

Блок 14 обработки изображений является узлом, который формирует изображение, по которому процесс фильтрации был выполнен, из изображения, выведенного из узла 12 захвата изображений.

Блок 15 связи является узлом, который связывается с PC 2 через кабель 3 связи. Блок 15 связи передает, например, изображение, выводимое из блока 14 обработки изображений, в PC 2. Блок 15 связи реализуется, например, посредством узла связи, такого как NIC. Протокол связи блока 15 связи реализуется, например, посредством TCP/IP или UDP/IP.

<Конфигурация блока обработки изображений>

Фиг. 4 - это схема, иллюстрирующая пример конфигурации блока обработки изображений устройства захвата изображений согласно первому варианту осуществления. Фиг. 5 - это схема, иллюстрирующая пример изображения, обнаруженного посредством узла захвата изображений. Конфигурация блока 14 обработки изображений устройства 1 захвата изображений варианта осуществления описывается со ссылкой на фиг. 4.

Как описано выше, узел 12 захвата изображений является твердотельным узлом захвата изображений, который преобразует свет от субъекта, падающий на блок 11 линзы, в электрические сигналы, чтобы захватывать изображение субъекта 4, и формирует изображение. Далее в данном документе предоставляется описание, предполагающее, что узел 12 захвата изображений формирует и выводит VGA-изображение. В частности, предоставляется описание, предполагающее, что узел 12 захвата изображений обнаруживает обнаруженное изображение 101, которое является изображением, состоящим из пикселов, размещенных в матрице 640×480, с 640 обнаруживающими элементами в X-направлении и 480 обнаруживающими элементами в Y-направлении, как иллюстрировано на фиг. 5.

Размер изображения, обнаруженного посредством узла 12 захвата изображений, устанавливается, чтобы быть VGA-изображением 640×480, но не ограничивается этим. Не говоря уже о том, что размер изображения может быть различным.

Как иллюстрировано на фиг. 4, блок 14 обработки изображений варианта осуществления включает в себя блок 141 буферизации изображений и блок 143 обработки фильтра.

Блок 141 буферизации изображений является узлом, в который пикселы, выводимые из узла 12 захвата изображения, вводятся, в свою очередь, и который буферизует их. Конкретная конфигурация и работа блока 141 буферизации изображения описываются ниже на фиг. 6 и 7.

Блок 143 обработки фильтра выполняет предварительно определенный процесс фильтрации по пикселам, выводимым из блока 141 буферизации изображения, с помощью схемы фильтра, обсуждаемой ниже. В варианте осуществления предоставляется описание, берущее в качестве примера фильтра, используемого для процесса фильтрации, фильтр обратного преобразования для выполнения процесса обратного преобразования корректировки размытости локально (на попиксельной основе), по размытому изображению, к которому функция рассеяния точки была предоставлена посредством действия фазовой пластины 11a. Конкретная конфигурация и работа блока 143 обработки фильтра описываются ниже на фиг. 12.

<Конфигурация и работа блока буферизации изображений>

Фиг. 6 - это схема, иллюстрирующая пример конфигурации блока буферизации изображений блока обработки изображений. Фиг. 7 - это временная диаграмма, иллюстрирующая операцию ввода пикселов, выводимых из узла захвата изображений, в буфер буферизации изображений. Конфигурация и работа блока 141 буферизации изображений блока 14 обработки изображений описывается со ссылкой на фиг. 6 и 7.

Как иллюстрировано на фиг. 6, блок 141 буферизации изображений включает в себя регистры 1411a-1411d и буферы 1412a-1412d строк. Пикселы, выводимые из узла 12 захвата изображений, вводятся в блок 141 буферизации изображений из секции 1410 ввода, и блок 141 буферизации изображений выводит буферизованные пикселы из секций 1413a-1413e вывода. На примере 640×480 пикселов изображения, обнаруженного посредством узла 12 захвата изображения, пиксел в X-м столбце в X-направлении и в Y-ой строке в Y-направлении, как предполагается, является пикселом (X, Y).

Как иллюстрировано на фиг. 6, входная сторона регистра 1411a соединяется с секцией 1410 ввода и секцией 1413a вывода. Выходные стороны регистров 1411a-1411d соединяются с входными сторонами буферов 1412a-1412d строк, соответственно. Выходные стороны буферов 1412a-1412c строк соединяются с входными сторонами регистров 1411b-1411d, соответственно. Выходные стороны буферов 1412a-1412d строк соединяются с секциями 1413b-1413e вывода, соответственно.

Далее, операция вывода изображения, обнаруженного посредством узла 12 захвата изображений, описывается со ссылкой на фиг. 7. Устройство 12 захвата изображений выводит пикселы, включенные в каждую горизонтальную строку, во время сканирования обнаруженных пикселов в единицах одной горизонтальной строки в X-направлении. В частности, узел 12 захвата изображений выводит пикселы, включенные в первую горизонтальную строку, в Y-направлении по очереди с первого пиксела по 640-й пиксел в X-направлении. Узел 12 захвата изображений выполняет вышеописанную операцию, чтобы выводить пикселы, включенные в горизонтальные строки, вплоть до 480-й горизонтальной строки в Y-направлении.

Вышеописанная операция описывается на основе временной диаграммы, иллюстрированной на фиг. 7. Как иллюстрировано на фиг. 7, узел 12 захвата изображений выводит пикселы одного кадра, т.е., одного изображения, когда сигнал действительного кадра включен. В узле 12 захвата изображений сигнал L1 действительной строки, указывающий разрешение выводить пикселы в первой горизонтальной строке в Y-направлении, включается после прохождения начального периода A кадра, после того как сигнал действительного кадра был включен. Узел 12 захвата изображений сканирует первую горизонтальную строку в Y-направлении в течение периода T действительных данных, когда сигнал L1 действительной строки включен, и, по очереди, выводит с первого по 640-й пикселы в X-направлении, включенные в первую горизонтальную строку (пикселы (1, 1)-(640, 1)). После того как пикселы в первой горизонтальной строке в Y-направлении выводятся посредством узла 12 захвата изображений, сигнал L1 действительной строки выключается.

В узле 12 захвата изображений сигнал L2 действительной строки, указывающий разрешение выводить пикселы во второй горизонтальной строке в Y-направлении, включается после прохождения периода B гашения обратного хода строчной развертки, после того как сигнал L1 действительной строки был выключен. Узел 12 захвата изображений сканирует вторую горизонтальную строку в Y-направлении в течение периода T действительных данных, когда сигнал L2 действительной строки включен, и, по очереди, выводит с первого по 640-й пикселы в X-направлении, включенные во вторую горизонтальную строку (пикселы (1, 2)-(640, 2)). После того как пикселы во второй горизонтальной строке в Y-направлении выводятся посредством узла 12 захвата изображений, сигнал L2 действительной строки выключается.

Узел 12 захвата изображений выполняет вышеописанную операцию до вывода с первого по 640-й пикселов в X-направлении, включенных в 480-ю горизонтальную строку в Y-направлении (пикселы (1, 480)-(640, 480)) в течение периода T действительных данных, когда сигнал L480 действительной строки включен. В узле 12 захвата изображения сигнал действительного кадра выключается после прохождения периода C окончания кадра, после того как сигнал L480 действительной строки был выключен. С вышеописанными операциями вывод пикселов одного кадра посредством узла 12 захвата изображений заканчивается. Кроме того, в узле 12 захвата изображений, после прохождения периода D гашения обратного хода кадровой развертки, после того как сигнал действительного кадра был выключен, сигнал действительного кадра включается снова, и вывод пикселов следующего кадра начинается.

Далее, предоставляется описание процесса буферизации пикселов, выводимых из узла 12 захвата изображений, в блоке 141 буферизации изображений, со ссылкой на фиг. 6. Пикселы, выводимые из узла 12 захвата изображений, вводятся в блок 141 буферизации изображений из секции 1410 ввода. В частности, на примере первой горизонтальной строки в Y-направлении, сначала, блок 141 буферизации изображений выводит, из секции 1413a вывода, пиксел (1, 1), введенный из узла 12 захвата изображений, и сохраняет пиксел (1, 1) в регистре 1411a.

Блок 141 буферизации изображений сохраняет пиксел, сохраненный в регистре 1411a, в области 1a хранения буфера 1412a строки в следующий момент. Блок 1411 буферизации изображений затем выводит, из секции 1413a вывода, пиксел (2, 1), введенный следом из узла 12 захвата изображения, и сохраняет пиксел (2, 1) в регистре 1411a.

В следующий момент блок 141 буферизации изображений сдвигает пиксел, сохраненный в области 1a хранения, в область 2a хранения буфера 1412a строки, чтобы сохранять его там, и сохраняет пиксел, сохраненный в регистре 1411a, в область 1a хранения. Блок 1411 буферизации изображений затем выводит, из секции 1413a вывода, пиксел (3, 1), введенный следом из узла 12 захвата изображений, и сохраняет пиксел (3, 1) в регистре 1411a.

Блок 141 буферизации изображений повторяет вышеописанные операции, чтобы выводить, из секции 1413a вывода, пикселы первой горизонтальной строки в Y-направлении, введенные из узла 12 захвата изображений. В то же время, блок 141 буферизации изображений сохраняет с первого по 639-й пикселы первой горизонтальной строки в Y-направлении в областях 639a-1a хранения буфера 1412a строки, соответственно, и 640-й пиксел в регистре 1411a.

Далее, блок 141 буферизации изображений сдвигает пикселы, сохраненные в областях 1a-639a хранения буфера 1412a строки, в области 2a-640a хранения, чтобы сохранять их там, и сохраняет пиксел, сохраненный в регистре 1411a, в области 1a хранения. Блок 141 буферизации изображений выводит пиксел (1, 1), сохраненный в области 640a хранения, из секции 1413b вывода и сохраняет пиксел (1, 1) в регистре 1411b. На примере второй горизонтальной строки в Y-направлении, блок 141 буферизации изображений выводит, из секции 1413a вывода, пиксел (1, 2), введенный из узла 12 захвата изображений, и сохраняет пиксел (1, 2) в регистре 1411a. Другими словами, блок 141 буферизации изображений выводит пикселы (1, 1) и (1, 2), которые являются пикселами, имеющими то же значение в X-направлении, из секций 1413b и 1413a вывода, соответственно.

Блок 141 буферизации изображений сохраняет пиксел, сохраненный в регистре 1411b, в области 1b хранения буфера 1412ab строки в следующий момент. Блок 141 буферизации изображений сдвигает пикселы, сохраненные в областях 1a-639a хранения буфера 1412a строки, в области 2a-640a хранения, чтобы сохранять их там, и сохраняет пиксел, сохраненный в регистре 1411a, в области 1a хранения. Блок 141 буферизации изображений выводит пиксел (2, 1), сохраненный в области 640a хранения, из секции 1413b вывода и сохраняет пиксел (2, 1) в регистре 1411b. Блок 1411 буферизации изображений затем выводит, из секции 1413a вывода, пиксел (2, 2), введенный следом из узла 12 захвата изображения, и сохраняет пиксел (2, 2) в регистре 1411a.

В следующий момент блок 141 буферизации изображений сдвигает пиксел, сохраненный в области 1b хранения, в область 2b хранения буфера 1412b строки, чтобы сохранять его там, и сохраняет пиксел, сохраненный в регистре 1411b, в область 1b хранения. Блок 141 буферизации изображений сдвигает пикселы, сохраненные в областях 1a-639a хранения буфера 1412a строки, в области 2a-640a хранения, чтобы сохранять их там, и сохраняет пиксел, сохраненный в регистре 1411a, в области 1a хранения. Блок 141 буферизации изображений выводит пиксел (3, 1), сохраненный в области 640a хранения, из секции 1413b вывода и сохраняет пиксел (3, 1) в регистре 1411b. Блок 1411 буферизации изображений затем выводит, из секции 1413a вывода, пиксел (3, 2), введенный следом из узла 12 захвата изображения, и сохраняет пиксел (3, 2) в регистре 1411a.

Блок 141 буферизации повторяет вышеописанные операции, чтобы выводить пикселы, имеющие одинаковое значение в X-направлении среди пикселов в первой и второй горизонтальных строках в Y-направлении, введенные из узла 12 захвата изображений, из секций 1413a и 1413b вывода, в один и тот же момент. В то же самое время, блок 141 буферизации изображений сохраняет с первого по 639-й пикселы в первой горизонтальной строке в Y-направлении в областях 639a-1b хранения буфера 1412b строки, соответственно, и 640-е пикселы в регистре 1411b. Кроме того, блок 141 буферизации изображений сохраняет с первого по 639-й пикселы во второй горизонтальной строке в Y-направлении в областях 639a-1a хранения буфера 1412a строки, соответственно, а 640-й пиксел в регистре 1411a.

Как и в вышеописанных операциях, блок 141 буферизации изображений буферизует пикселы в каждой горизонтальной строке, введенные из узла 12 захвата изображений, в буферах 1412a-1412d строк. В то же самое время, блок 141 буферизации изображений выводит пикселы, имеющие одинаковое значение в X-направлении, другими словами, пикселы (X, Y-4), (X, Y-3), (X, Y-2), (X, Y-1) и (X, Y) из секций 1413a-1413e вывода, соответственно, в один и тот же момент.

Фиг. 6 иллюстрирует пример конфигурации блока 141 буферизации изображений. Блок 141 буферизации изображений не ограничивается этой конфигурацией, а просто должен иметь конфигурацию, которая достигает эффекта, аналогичного вышеупомянутому процессу буферизации блока 141 буферизации изображений.

<Получение частотной характеристики R фильтра обратного преобразования>

Далее предоставляется описание способа получения частотной характеристики фильтра обратного преобразования, используемого для процесса обратного преобразования для восстановления таким образом, чтобы собирать, в одну точку, пятно, размытое посредством блока 11 линзы, который является оптической системой, в предварительно определенной фокусной позиции. Двухмерный линейный фильтр, который также является FIR- фильтром (конечная импульсная характеристика), подходит для получения вышеупомянутой частотной характеристики.

Прежде всего, модель влияния оптической системы на изображение, захваченное посредством узла 12 захвата изображений, выражается посредством уравнения операции двухмерного свертывания (операции свертывания), изображенной в последующем уравнении (1).

Здесь, image_captured является пикселом двухмерного захваченного изображения, обнаруженного посредством оптической системы, image_ideal является пикселом идеального изображения, представляющего сам субъект 4, и h указывает PSF оптической системы.

Далее в данном документе обсуждается происхождение частотной характеристики фильтра обратного преобразования, минимизирующего среднеквадратическую ошибку, для ошибок между каждым пикселом изображения после процесса обратного преобразования и каждым пикселом идеального изображения, рассматривается влияние шума, добавляемого в систему обработки изображений (узел 12 захвата изображений и блок 14 обработки изображений). Среднеквадратическая ошибка выражается следующим уравнением (2).

Здесь, E[] указывает ожидаемое значение (среднее значение), n указывает местоположение на изображении, и указывает пиксел изображения, полученный посредством выполнения процесса обратного преобразования по . Должно учитываться, что содержит шум.

Из теоремы Парсеваля, где общая сумма всей энергии, удерживаемой формой волны x(n) относительно всей области n, равна общей сумме преобразования Фурье энергии формы волны x(n) относительно всех частотных составляющих, уравнение (2) выражается следующим уравнением (3) в качестве среднеквадратической ошибки в частотной области.

Здесь, указывает частотную характеристику для , указывает частотную характеристику для , а указывает пространственную частоту.

При условии, что частотной характеристикой фильтра обратного преобразования является , частотная характеристика , дающая минимальное значение следующего уравнения (4), признана оптимальным фильтром обратного преобразования.

Здесь, является частотной характеристикой .

В уравнении (4), когда выражается, что , и , и дифференцируя уравнение (4) по R*, чтобы получать минимальное значение уравнения (4), может быть получено следующее уравнение (5).

Здесь, является спектром мощности захваченного изображения, включающего в себя шум, а является взаимным спектром мощности захваченного изображения, включающего в себя шум, и идеального изображения.

При условии, что самая правая сторона уравнения (5) равна 0, чтобы получать минимальное значение уравнения (4), может быть получено следующее уравнение (6).

Следующее уравнение (7) может быть получено из уравнения (6).

Фильтр обратного преобразования на основе частотной характеристики , изображенной в уравнении (7), является оптимальным фильтром, который минимизирует среднеквадратическую ошибку, изображенную в вышеупомянутом уравнении (2).

Здесь, когда предполагается, что частотной характеристикой шума является , и частотной характеристикой для h, которая является PSF оптической системы, является , и изображая вышеупомянутое уравнение (1) в частотном пространстве, оно изображается посредством следующего уравнения (8).

При условии, что частотная характеристика шума и частотная характеристика не являются коррелированными, тогда . Следовательно, если уравнение (8) подставляется в числитель с правой стороны вышеупомянутого уравнения (7), может быть получено следующее уравнение (9).

Аналогично, при условии, что частотная характеристика шума и частотная характеристика не являются коррелированными, тогда и . Следовательно, если уравнение (8) подставляется в знаменатель с правой стороны вышеупомянутого уравнения (7), может быть получено следующее уравнение (10).

Частотная характеристика , изображенная в следующем уравнении (11), может быть получена из вышеупомянутых уравнений (7), (9) и (10).

Фильтр обратного преобразования на основе частотной характеристики , изображенной в уравнении (11), является оптимальным фильтром, который минимизирует среднеквадратическую ошибку, изображенную в вышеупомянутом уравнении (2), когда шум системы обработки изображений принимается во внимание. Здесь, является средним значением спектра мощности идеального изображения, является средним значением спектра мощности шума, а является спектром мощности частотной характеристики оптической системы.

Кроме того, если частотная характеристика , изображенная в вышеупомянутом уравнении (11), применяется, когда квадратическая ошибка между каждым пикселом изображения после процесса обратного преобразования и каждым пикселом идеального изображения интегрируется в частотной области, может быть получено следующее уравнение (12) среднеквадратической ошибки MSE (среднеквадратическая ошибка).

В вычислении вышеописанного уравнения (12) отсутствие корреляции между частотной характеристикой шума и частотной характеристикой используется, как описано выше. Первый член на самой правой стороне уравнения (12) указывает величину ошибки, которая может не быть восстановлена, изображения после процесса обратного преобразования. Второй член указывает величину ошибки по шуму.

Частотная характеристика оптической системы принимается так, что интеграл уравнения (12) имеет минимальное значение. Соответственно, представляется возможным получать комбинацию оптической системы и фильтра обратного преобразования, которые минимизируют среднеквадратическую ошибку в частотной области, изображенной в вышеупомянутом уравнении (4). Кроме того, представляется возможным получать комбинацию оптической системы и фильтра обратного преобразования, которые минимизируют среднеквадратическую ошибку в фактическом пространстве, изображенном в вышеупомянутом уравнении (2), на основе теоремы Парсеваля.

<Рассмотрение частотной характеристики R' локального фильтра обратного преобразования>

Фиг. 8 - это схема, объясняющая, что спектры мощности различаются между областями обнаруженного изображения. Фиг. 9 - это схема, объясняющая спектр мощности и оптимальный фильтр во всем обнаруженном изображении. Фиг. 10 - это схема, объясняющая спектр мощности и оптимальный фильтр в области плоского фрагмента обнаруженного изображения. Фиг. 11 - это схема, объясняющая спектр мощности и оптимальный фильтр в области текстурного фрагмента обнаруженного изображения. Предоставляется описание частотной характеристики локального фильтра обратного преобразования, со ссылкой на фиг. 8-11.

Предположим, что частотная характеристика в уравнении (11) для получения вышеупомянутой частотной характеристики фильтра обратного преобразования известна. Другими словами, можно сказать, она должна быть частотной характеристикой всего идеального изображения. Однако, как иллюстрировано на фиг. 8, обнаруженное изображение 101, которое является изображением, фактически захваченным посредством узла 12 захвата фактического изображения, содержит текстурный фрагмент 101a и плоский фрагмент, отличный от текстурного фрагмента 101a. В вышеупомянутом описании было предоставлено описание операции выполнения процесса фильтрации с помощью частотной характеристики фильтра обратного преобразования, иллюстрированной на фиг. 9(b), посредством которой MSE, изображенная в вышеупомянутом уравнении (12), минимизируется на основе известной частотной характеристики всего идеального изображения, иллюстрированной на фиг. 9(a). Когда процесс фильтрации выполняется на основе частотной характеристики , MSE, изображенная в вышеупомянутом уравнении (12), может надежно быть минимизирована во всем обнаруженном изображении 101. Однако, например, в области 102, которая является плоским фрагментом в обнаруженном изображении 101, область пространственной частоты части без спектра также усиливается, так что ненужный шум увеличивается.

Как иллюстрировано на фиг. 10(a), предположим, что частотной характеристикой локальной области, соответствующей области 102 в идеальном изображении, является . Частотная характеристика локального фильтра обратного преобразования, который усиливает только область пространственной частоты , где спектр частотной характеристики существует (область низких частот) и обеспечивает минимальную MSE в области 102, является возможной (см. фиг. 10(b)).

Кроме того, как иллюстрировано на фиг. 11(a), спектр частотной характеристики локальной области, соответствующей области 103 в идеальном изображении, существует вплоть до области высоких частот пространственной частоты , в области 103, включающей в себя текстурный фрагмент 101a. Следовательно, рассматривая частотную характеристику области 103, является возможной частотная характеристика локального фильтра обратного преобразования, который выполняет усиление вплоть до области высоких частот и обеспечивает минимальную MSE в области 103 (см. фиг. 11(b)).

Получая частотную характеристику , которая применяет фильтр обратного преобразования, который локально получается в качестве процесса фильтрации изображения таким образом, представляется возможным пресекать усиление шума и улучшать воспроизводимость текстуры изображения. Далее в данном документе предоставляется описание частотной характеристики локального фильтра обратного преобразования и частотной характеристики , которая получается, чтобы упрощать вычисление процесса фильтрации с помощью частотной характеристики .

Прежде всего, когда частотная характеристика в уравнении, чтобы получать частотную характеристику , изображенную в вышеупомянутом уравнении (11), заменяется частотной характеристикой локальной области идеального изображения, может быть получена частотная характеристика , изображенная в следующем уравнении (13), которая обеспечивает минимальную MSE локальной области.

Получая частотную характеристику для каждого обнаруженного изображения и каждой локальной области (каждого пиксела) обнаруженного изображения, представляется возможным получать минимальную MSE локальной области и пресекать увеличение шума по сравнению с выполнением процесса фильтрации посредством фильтра обратного преобразования на основе частотной характеристики , общей для всего обнаруженного изображения. Локальная область, где частотная характеристика получается, не ограничивается каждым пикселем, а может быть каждой предварительно определенной группой пикселов (предварительно определенной частью) обнаруженного изображения.

Здесь, частотная характеристика в уравнении (13) не может быть получена непосредственно из обнаруженного изображения. Соответственно, вышеупомянутое уравнение (8) используется, чтобы определять среднее значение локального спектра мощности идеального изображения как в следующем уравнении (14).

Здесь, является частотной характеристикой локальной области (пиксела) обнаруженного изображения. Аппроксимация из соотношения выполняется в уравнении (14). Другими словами, составляющие шума захваченного изображения, как предполагается, значительно меньше пиксела. Кроме того, среднее значение более корректно выражается посредством следующего уравнения (15), когда используется частотная характеристика фильтра обратного преобразования, который обеспечивает частотной характеристике минимальную MSE относительно частотной характеристики .

Далее, модель шума рассматривается как следующая: шум захваченного изображения определяется как в последующем уравнении (16), примем во внимание, что шум захваченного изображения включает в себя шум, имеющий постоянную амплитуду независимо от пиксела, и шум, имеющий амплитуду, пропорциональную пикселу.

Здесь, k является константой пропорциональности шума, имеющего амплитуду, пропорциональную пикселу обнаруженного изображения, а c является составляющей шума, имеющей постоянную амплитуду, которая не зависит от пикселов обнаруженного изображения. Когда уравнение (16) преобразуется в частотную область, по теореме Парсеваля предоставляется следующее уравнение (17).

Когда вышеупомянутые уравнения (15) и (16) подставляются в уравнение (13), может быть получено следующее уравнение (18).

Здесь, k и c могут быть получены посредством анализа обнаруженного изображения градационной испытательной таблицы, и с помощью их значений может быть получена частотная характеристика локального фильтра обратного преобразования, которая обеспечивает минимальную MSE.

В фактической реализации схемы представляется возможным реализовывать вышеупомянутый локальный фильтр обратного преобразования, непосредственно вычисляя частотную характеристику локального фильтра обратного преобразования на попиксельной основе, но вычислительная нагрузка получения локального фильтра обратного преобразования является тяжелой. Соответственно, используется следующий способ, чтобы уменьшать вычислительную нагрузку. В последующем, составляющая , которая является шумом, имеющим амплитуду, пропорциональную пикселу обнаруженного изображения, изображенная в уравнении (16), опускается. Однако, тот же результат может быть получен посредством добавления того же члена к спектру мощности шума в полученном уравнении.

Сначала, уравнение (13) преобразуется как в следующем уравнении (19).

При условии, что отношение частотной характеристики локального фильтра обратного преобразования к частотной характеристике фильтра обратного преобразования будет . выражается посредством следующего уравнения (20).

Рассмотрим получение частотной характеристики локального фильтра обратного преобразования из частотной характеристики , которая была получена заранее, и , изображенного в уравнении (20), частотная характеристика может быть получена посредством следующего уравнения (21).

Другими словами, управляя фильтром на основе характеристики (далее в данном документе называемым корректирующим фильтром) последовательно с фильтром обратного преобразования на основе частотной характеристики , которая была получена заранее, процесс фильтрации, эквивалентный локальному фильтру обратного преобразования, основанному на частотной характеристике , может быть выполнен.

определяется, как изображено в последующем уравнении (22), чтобы упрощать уравнение.

Когда уравнение (22) подставляется в вышеупомянутое уравнение (20), частотная характеристика корректирующего фильтра может быть получена посредством следующего уравнения (23).

Предположим, что шум является большим, и составляет и . Уравнение (23) может быть упрощено и выражено как в следующем уравнении (24).

Кроме того, предположим, что типичный спектр субъекта является равномерным распределением и равен , уравнение (24) дополнительно упрощается и выражается как в следующем уравнении (25).

Рассмотрим случай, когда и не поддерживаются на практике, также представляется возможным вводить константу пропорциональности t, как изображено в следующем уравнении (26), и выражать частотную характеристику .

Кроме того, среднее значение локального спектра мощности идеального изображения в уравнениях (23)-(26) для вычисления частотной характеристики корректирующего фильтра может быть получено посредством вышеупомянутого уравнения (15).

Как описано выше, частотная характеристика локального фильтра обратного преобразования может быть получена умножением частотной характеристики фильтра обратного преобразования, которая была получена заранее, и частотной характеристики корректирующего фильтра, вычисленной посредством уравнений (23)-(26). Соответственно, вычислительная нагрузка может быть снижена.

<Конфигурация и работа блока обработки фильтра>

Фиг. 12 - это схема, объясняющая пример конфигурации и работу блока обработки фильтра блока обработки изображений первого варианта осуществления. Конфигурация и работа блока 143 обработки фильтра блока 14 обработки изображений описывается со ссылкой на фиг. 12.

Как иллюстрировано на фиг. 12, блок 143 обработки фильтра включает в себя FT-блок 1431 (преобразование Фурье), умножители 1432_1-1432_50, блок 1433 вычисления K, умножители 1434_1-1434_50 и IFT (обратное преобразование Фурье) блок 1435.

Например, 5х5 пикселов вводятся в FT-блок 1431, и FT-блок 1431 выполняет преобразование Фурье для преобразования в частотную область. Как следствие, FT-блок 1431 преобразует 5х5 пикселов, т.е., 25 частей данных, в 25 комплексных чисел и выводит 25 частей данных фактической части и 25 частей данных мнимой части (совокупно выраженные как X'1-X'50).

Каждый из умножителей 1432_1-1432_50 умножает две части входных данных и выводит результат. То же применяется к умножителям 1434_1-1434_50.

Блок 1433 вычисления K выводит частотную характеристику корректирующего фильтра из умноженного значения входной частотной характеристики и на основе любого из вышеупомянутых уравнений (15) и (23)-(26). Блок 1433 вычисления K может быть сконфигурирован, чтобы обращаться к поисковой таблице, в которой значение частотной характеристики и умноженное значение частотной характеристики и , т.е., частотная характеристика , ассоциируются, и получать частотную характеристику .

IFT-блок 1435 выполняет обратное преобразование Фурье, которое преобразует помноженные значения (значения в частотной области), выводимые из умножителей 1434_1-1434_50, в значение в реальном пространстве и выводит 1х1 пиксел. Пиксел, выводимый из IFT-блока 1435, соответствует пикселу, полученному посредством выполнения процесса фильтрации посредством фильтра обратного преобразования на основе частотной характеристики по 5х5 пикселов обнаруженного изображения.

Далее, описывается ход последовательности операций блока 143 обработки фильтра. Сначала, изображение (обнаруженное изображение), захваченное посредством узла 12 захвата изображений, буферизуется посредством блока 141 буферизации изображений, как описано выше. Пять пикселов выводятся из блока 141 буферизации изображений. Следовательно, 5х5 пикселов, как предполагается, должны быть введены в FT-блок 1431 блока 143 обработки фильтра как единое целое из блока 141 буферизации изображений. FT-блок 1431 выполняет преобразование Фурье на основе введенных 5х5 пикселов для преобразования в частотную область, преобразует их в 25 комплексных чисел и выводит данные X'1-X'50, которые являются 25 частями данных фактической части и 25 частями данных мнимой части.

Далее, данные X'1, выведенные из FT-блока 1431, и коэффициент R1 фильтра, соответствующий данным X'1 и полученный из частотной характеристики фильтра обратного преобразования, вводятся в умножитель 1432_1. Умножитель 1432_1 умножает данные X'1 и коэффициент R1 фильтра и выводит помноженное значение . Аналогично, данные X'2-X'50, выведенные из FT-блока 1431 и коэффициентов R2-R50 фильтра, вводятся в умножители 1432_2-1432_50, и умножители 1432_2-1432_50 выводят свои помноженные значения -.

Далее, блок 1433 вычисления K вычисляет коэффициенты K1-K50 фильтра, которые являются коэффициентами корректирующего фильтра на основе частотной характеристики , из входных помноженных значений -, соответственно, на основе любого из вышеупомянутых уравнений (15) и (23)-(26).

Далее, умножитель 1434_1 умножает помноженное значение , выведенное из умножителя 1432_1, и коэффициент K1 фильтра, выведенный из блока 1433 вычисления K, и выводит данные . Аналогично, умножители 1434_2-1434_50 умножают помноженные значения -, выведенные из умножителей 1432_2-1432_50, и коэффициенты K2-K50 фильтра, выведенные из блока 1433 вычисления K, и выводят данные -, соответственно.

IFT-блок 1435 затем выполняет обратное преобразование Фурье, которое преобразует данные -, выведенные из умножителей 1434_1-1434_50, соответственно, в значение в реальном пространстве, и выводят 1х1 пиксел. Как описано выше, пиксел, выведенный из IFT-блока 1435, соответствует пикселу, полученному посредством выполнения процесса фильтрации по пикселам 5х5 частичного изображения для обнаруженного изображения, с помощью фильтра обратного преобразования на основе частотной характеристики , соответствующей пикселу в центре 5х5 пикселов.

Как описано выше, частотная характеристика фильтра обратного преобразования получается для каждого обнаруженного изображения, захваченного посредством узла 12 захвата изображений, и каждой локальной области (каждого пиксела) обнаруженного изображения. Процесс фильтрации выполняется для каждой локальной области (каждого пиксела) посредством фильтра обратного преобразования на основе частотной характеристики . Соответственно, минимальная MSE (среднеквадратическая ошибка) может быть получена для каждой локальной области, и увеличение шума может быть пресечено по сравнению с тем, когда выполняется процесс фильтрации посредством фильтра обратного преобразования на основе частотной характеристики , общей для всего обнаруженного изображения.

Кроме того, частотная характеристика локального фильтра обратного преобразования определяется как , как изображено в вышеупомянутом уравнении (21). Схема фильтра конфигурируется посредством разделения процесса фильтра обратного преобразования на основе частотной характеристики и процесса корректирующего фильтра на основе частотной характеристики . Кроме того, схема, получающая частотную характеристику , конфигурируется на основе формул, изображенных в вышеупомянутых уравнениях (23)-(26).

Следовательно, представляется возможным уменьшать вычислительную нагрузку и упрощать схему фильтра, которая должна быть реализована, по сравнению со случаем, когда частотная характеристика получается непосредственно на попиксельной основе.

Как описано на фиг. 6 и 12, блок 141 буферизации изображений выводит пять пикселов. 5х5 пикселов вводятся в блок 143 обработки фильтра, и блок 143 обработки фильтра выполняет процесс фильтрации с 5х5 отводами. Однако, число отводов не ограничивается этим. Другими словами, число отводов процесса фильтрации может различаться, например, 3х3, 11х11 или 21х21. В этом случае число отводов фильтра должно быть нечетным числом, так что существует центральный пиксел в группе пикселов, введенной в блок 143 обработки фильтра, намеченных для процесса обратного преобразования посредством фильтра.

(Второй вариант осуществления)

Описываются система захвата изображений и устройство захвата изображений согласно второму варианту осуществления, фокусируясь на моментах, отличных от конфигураций и операций системы захвата изображений и устройства захвата изображений согласно первому варианту осуществления.

Конфигурация системы захвата изображений согласно варианту осуществления является аналогичной конфигурации системы 500 захвата изображений согласно первому варианту осуществления, иллюстрированной на фиг. 1. Кроме того, конфигурация PC варианта осуществления является аналогичной конфигурации, иллюстрированной на фиг. 2. Кроме того, конфигурация устройства захвата изображений варианта осуществления является аналогичной конфигурации, иллюстрированной на фиг. 3. Однако, в варианте осуществления, блок 143 обработки фильтра блока 14 обработки изображений, иллюстрированный на фиг. 4, заменяется блоком 143a обработки фильтра, описанным ниже и иллюстрированным на фиг. 13.

<Конфигурация и работа блока обработки фильтра>

Фиг. 13 - это схема, объясняющая пример конфигурации и работу блока обработки фильтра блока обработки изображений второго варианта осуществления. Фиг. 14 - это схема, иллюстрирующая пример конфигурации фильтра обратного преобразования. Фиг. 15 - это схема, объясняющая выполнение процесса фильтрации по изображению посредством фильтра обратного преобразования. Фиг. 16 - это схема, объясняющая операцию сканирования целевого частичного изображения, намеченного для процесса фильтрации фильтра обратного преобразования в изображении. Конфигурация и работа блока 143a обработки фильтра блока 14 обработки изображений описываются со ссылкой на фиг. 13-16.

Как иллюстрировано на фиг. 13, блок 143a обработки фильтра включает в себя блок 1436 обработки обратного фильтра, DCT-блок 1431a (Discrete Cosine Transform: дискретное косинусное преобразование), блок 1433a вычисления K, блоки 1437_1-1437_9 битового сокращения, умножители 1434a_1-1434a_9 и IDCT-блок 1435a (Inverse Discrete Cosine Transform: обратное дискретное косинусное преобразование).

Например, 5х5 пикселов вводятся в блок 1436 обработки обратного фильтра, и блок 1436 обработки обратного фильтра выполняет процесс фильтрации (процесс обратного преобразования) посредством фильтра обратного преобразования на основе частотной характеристики , полученной посредством вышеупомянутого уравнения (11).

Например, 3х3 пиксела вводятся в DCT-блок 1431a, и DCT-блок 1431a выполняет дискретное косинусное преобразование, чтобы преобразовывать их в частотную область, для изображения, по которому процесс фильтрации был выполнен посредством блока 1436 обработки обратного фильтра. Как следствие, DCT-блок 1431a преобразует 3х3 пиксела, т.е., девять частей данных в девять значений в частотной области, и выводит их. 3х3 пиксела, вводимые в DCT-блок 1431a, являются пикселами, по которым процесс фильтрации был выполнен посредством фильтра обратного преобразования на основе частотной характеристики блоком 1436 обработки обратного фильтра. Соответственно, в варианте осуществления, девять значений частотной области, выводимые посредством DCT-блока 1431a, обозначаются как помноженные значения -.

Блок 1433a вычисления K выводит частотную характеристику корректирующего фильтра из помноженного значения входной частотной характеристики и на основе любого из вышеупомянутых уравнений (15) и (23)-(26). В частности, блок 1433a вычисления K вычисляет коэффициенты K1-K9 фильтра, которые являются коэффициентами корректирующего фильтра на основе частотной характеристики , из помноженных значений -, соответственно, на основе любого из вышеупомянутых уравнений (15) и (23)-(26). Блок 1433a вычисления K может быть сконфигурирован, чтобы получать частотную характеристику , обращаясь к поисковой таблице, в которой значение частотной характеристики и значения частотной характеристики и ассоциированы.

Блоки 1437_1-1437_9 битового сокращения уменьшают скорости передачи битов дискретизации для коэффициентов K1-K9 фильтра, соответственно, выводимых из блока 1433a вычисления K. Это обусловлено тем, что коэффициенты K1-K9 фильтра едва ли имеют влияние на ухудшение изображения, даже если скорости передачи битов дискретизации уменьшаются, и процесс фильтрации посредством корректирующего фильтра выполняется. Следовательно, скорости передачи битов дискретизации коэффициентов K1-K9 фильтра уменьшаются посредством блоков 1437_1-1437_9 битового сокращения, и соответственно вычислительная нагрузка посредством находящихся ниже по потоку умножителей 1434a_1-1434a_9 может быть уменьшена.

Каждый из умножителей 1434a_1-1434a_9 умножает две части входных данных и выводит результат.

IDCT-блок 1435a выполняет обратное дискретное косинусное преобразование, которое преобразует помноженные значения (значения в частотной области), выводимые из умножителей 1434a_1-1434a_9, в значение в реальном пространстве и выводит 1х1 пиксел. Пиксел, выводимый из IDCT-блока 1435a, соответствует пикселу, полученному посредством выполнения процесса фильтрации по 5х5 пикселов обнаруженного изображения посредством фильтра обратного преобразования на основе частотной характеристики .

Далее, описывается ход последовательности операций блока 143a обработки фильтра. Сначала, изображение (обнаруженное изображение), захваченное посредством узла 12 захвата изображений, буферизуется посредством блока 141 буферизации изображений, как описано выше. Пять пикселов выводятся из блока 141 буферизации изображений. Следовательно, 5х5 пикселов, как предполагается, должны быть введены в блок 1436 обработки обратного фильтра блока 143a обработки фильтра как единое целое из блока 141 буферизации изображений. Описание предоставляется в деталях для операции процесса фильтрации посредством фильтра обратного преобразования на основе частотной характеристики в блоке 1436 обработки обратного фильтра, со ссылкой на фиг. 14-16.

Как иллюстрировано на фиг. 14, фильтр, используемый для процесса обратного преобразования, является фильтром 121 обратного преобразования, который является линейным фильтром, имеющим 5х5 отводов, сконфигурированных посредством коэффициентов фильтра a11-a15, a21-a25, a31-a35, a41-a45 и a51-a55. Кроме того, часть изображения, намеченного для процесса обратного преобразования посредством фильтра 121 обратного преобразования, как предполагается, является целевым частичным изображением 131, иллюстрированным на фиг. 15. Целевое частичное изображение 131 является 5х5 частичным изображением, включающим в себя пикселы A11-A15, A21-A25, A31-A35, A41-A45 и A51-A55.

Как иллюстрировано на фиг. 15, процесс фильтрации посредством фильтра обратного преобразования находит значения, полученные посредством выполнения операции свертки по целевому частичному изображению 131 посредством фильтра 121 обратного преобразования, другими словами, вычисленное значение, выраженное в уравнении (27). Вычисленное значение операции свертки является значением, полученным посредством выполнения процесса обратного преобразования по центральным данным, которые являются пикселом, расположенным в центре целевого частичного изображения 131. Другими словами, вычисленное значение свертки является пикселом в местоположении, соответствующем центральным данным изображения перед процессом обратного преобразования, в изображении после процесса обратного преобразования.

Далее, с точки зрения процесса обратного преобразования блока 1436 обработки обратного фильтра, основные принципы операции выполнения процесса обратного преобразования во время сканирования горизонтальной строки в X-направлении в изображении 105 описываются со ссылкой на фиг. 16. Фиг. 16(a) иллюстрирует состояние, когда блок 1436 обработки обратного фильтра выполняет процесс обратного преобразования по пикселу (1, 1) в изображении 105 посредством фильтра 121 обратного преобразования. Как иллюстрировано на фиг. 16(a), целевое частичное изображение 131a, имеющее пиксел (1, 1) в качестве центральных данных и пикселы части, перекрывающейся с изображением 105, требуются, чтобы выполнять операцию свертки с пикселом (1, 1) в качестве центральных данных 135a. Другими словами, пикселы, соответствующие пикселам A33-A35, A43-A45 и A53-A55 целевого частичного изображения 131, иллюстрированного на фиг. 15, требуются в целевом частичном изображении 131a.

С этой целью пикселы, соответствующие пикселам A33-A35, A43-A45 и A53-A55, должны быть выведены из секций 1413a-1413c вывода блока 141 буферизации изображений. В целевом частичном изображении 131a, пикселы в части, которая не перекрывается с изображением 105, предположительно обрабатываются как "0".

В вышеописанном состоянии блок 1436 обработки фильтра выполняет операцию свертки по целевому частичному изображению 131a посредством фильтра 121 обратного преобразования аналогично операции свертки, иллюстрированной на фиг. 15. Блок 1436 обработки обратного фильтра выводит значение, полученное посредством выполнения операции свертки для пиксела (1, 1), который является центральными данными 135a целевого частичного изображения 131a для изображения 105, в качестве пиксела (1, 1) изображения после процесса обратного преобразования.

Далее, как иллюстрировано на фиг. 16(b), блок 1436 обработки обратного фильтра изменяет целевой пиксел операции свертки, сдвигаясь на единицу в X-направлении, и выполняет процесс обратного преобразования по пикселу (2, 1), который является центральными данными 135b целевого частичного изображения 131b. Блок 1436 обработки обратного фильтра затем повторяет операцию свертки, в то же время сдвигаясь по горизонтальной строке в X-направлении, и выполняет процесс обратного преобразования по пикселу (640, 1), который является последним пикселом в горизонтальной строке в X-направлении, как иллюстрировано на фиг. 16(c). Как иллюстрировано на фиг. 16(c), пиксел (640, 1) является центральными данными 135c целевого частичного изображения 131c.

Как описано выше, блок 1436 обработки обратного фильтра повторяет операцию свертки, в то же время сдвигаясь по горизонтальной строке в X-направлении. Когда процесс обратного преобразования по последнему пикселу в горизонтальной строке заканчивается, блок 1436 обработки обратного фильтра аналогично выполняет процесс обратного преобразования по следующей горизонтальной строке в Y-направлении.

Фиг. 16(d)-16(f) иллюстрируют состояние, когда блок 1436 обработки обратного фильтра выполняет процесс обратного преобразования по пикселам в четвертой горизонтальной строке в Y-направлении в изображении 105. Фиг. 16(d) иллюстрирует состояние, когда блок 1436 обработки обратного фильтра выполняет процесс обратного преобразования по пикселу (1, 4) в изображении 105 посредством фильтра 121 обратного преобразования. Как иллюстрировано на фиг. 16(d), целевое частичное изображение 131d, имеющее пиксел (1, 4) в качестве центральных данных, и пикселы в части, которая перекрывается с изображением 105, требуются, чтобы выполнять операцию свертки с пикселом (1, 4) в качестве центральных данных 135d. В целевом частичном изображении 131d пикселы в части, которая не перекрывается с изображением 105, предположительно обрабатываются как "0", как в вышеприведенном описании.

Фиг. 16(e) иллюстрирует состояние, когда блок 1436 обработки обратного фильтра выполняет процесс обратного преобразования по пикселу (5, 4) в изображении 105 посредством фильтра 121 обратного преобразования. Как иллюстрировано на фиг. 16(e), все целевое частичное изображение 131e, имеющее пиксел (5, 4) в качестве центральных данных 135e, перекрывается с изображением 105, и, соответственно, блок 1436 обработки обратного фильтра может выполнять процесс обратного преобразования с использованием всех пикселов, включенных в целевое частичное изображение 131e.

Блок 1436 обработки обратного фильтра затем повторяет операцию свертки, в то же время сдвигаясь по горизонтальной строке в X-направлении, и выполняет процесс обратного преобразования по пикселу (640, 4), который является последним пикселом в горизонтальной строке в X-направлении, как иллюстрировано на фиг. 16(f). Как иллюстрировано на фиг. 16(f), пиксел (640, 4) является центральными данными 135f целевого частичного изображения 131f.

Как описано выше, пикселы в части, которая не перекрывается с изображением 105, устанавливаются в "0" в целевом частичном изображении для изображения 105, целевое частичное изображение намечается для операции свертки посредством фильтра 121 обратного преобразования, но не ограничиваются этим. Например, в качестве пикселов в части целевого частичного изображения, которая не перекрывается с изображением 105, пикселы случая складывающихся поверх пикселов в части целевого частичного изображения, которая перекрывается с изображением 105 относительно центральных данных целевого частичного изображения в качестве точки отсчета, могут быть использованы.

В частности, предоставляется описание, берущее целевое частичное изображение 131a на фиг. 16(a) в качестве примера. Предположим, что названия пикселов целевого частичного изображения 131a аналогичны названиям пикселов целевого частичного изображения 131, иллюстрированного на фиг. 15. В этом случае, пикселы в части, которая не перекрывает изображение 105 целевого частичного изображения 131a, являются пикселами A11-A15, A21-A25, A31, A32, A41, A42, A51 и A52. Кроме того, пикселы в части, которая перекрывает изображение 105 целевого частичного изображения 131a, являются пикселами A33-A35, A43-A45 и A53-A55.

В это время, для пикселов A31, A32, A41, A42, A51 и A52 значения пикселов A35, A34, A45, A44, A55 и A54, соответственно, могут быть использованы посредством складывания поверх пикселов в части, которая перекрывает изображение 105 целевого частично изображения 131a относительно центральных данных в качестве ориентира. Кроме того, для пикселов A13-A15 и A23-A25 значения пикселов A53-A55 и A43-A45, соответственно, могут быть использования посредством складывания поверх пикселов в части, которая перекрывается с изображением 105 целевого частичного изображения 131a относительно центральных данных в качестве ориентира. Для пикселов A11, A12, A21 и A22, значения пикселов в точечно симметричном позиционном соотношении между пикселами в части, которая перекрывается с изображением 105 целевого частичного изображения 131a относительно центральных данных в качестве точки отсчета, другими словами, A55, A54, A45 и A44 могут быть использованы. В таком способе, который описан выше, каждый пиксел целевого частичного изображения может быть определен.

Далее, на примере изображения, по которому процесс фильтрации был выполнен посредством блока 1436 обработки обратного фильтра, как описано выше, 3х3 пиксела вводятся в DCT-блок 1431a, DCT-блок 1431a выполняет дискретное косинусное преобразование, чтобы преобразовывать их в частотную область, и выводит помноженные значения -, которые являются девятью значениями в частотной области. Таким образом, в то время как число частей выходных данных после преобразования в частотную область посредством FT-блока 1431, иллюстрированного на фиг. 12 в первом варианте осуществления, является удвоенным числом частей входных данных, число частей выходных данных является таким же, что и число частей входных данных в преобразовании в частотную область посредством DCT-блока 1431a. Следовательно, схема после DCT-блока 1431a может быть упрощена. Естественно, FT-блок и IFT-блок могут быть использованы аналогично блокам, иллюстрированным в первом варианте осуществления, вместо DCT-блока 1431a и IDCT-блока 1435a.

Далее, блок 1433a вычисления K вычисляет коэффициенты K1 по K9 фильтра, которые являются коэффициентами корректирующего фильтра на основе частотной характеристики , из входных помноженных значений -, соответственно, на основе любого из вышеупомянутых уравнений (15) и (23)-(26).

Далее, блоки 1437_1-1437_9 битового сокращения уменьшают скорости передачи битов дискретизации для коэффициентов K1-K9 фильтра, соответственно, выводимых из блока 1433 вычисления K, и выводят коэффициенты K1-K9 фильтра, соответственно, имеющие уменьшенные скорости передачи битов дискретизации.

Далее, умножители 1434a_1-1434a_9 умножают помноженные значения -, выводимые из DCT-блока 1431a, и коэффициенты K1-K9 фильтра, выводимые из блоков 1437_1-1437_9 битового сокращения, соответственно, и выводят данные -, соответственно.

IDCT-блок 1435a затем выполняет обратное дискретное косинусное преобразование, которое преобразует данные -, выводимые из умножителей 1434a_1-1434a_9, соответственно, в значение в реальном пространстве и выводит 1х1 пиксел. Как описано выше, пиксел, выведенный из IDCT-блока 1435a, соответствует пикселу, полученному посредством выполнения процесса фильтрации по пикселам 5х5 частичного изображения для обнаруженного изображения, с помощью фильтра обратного преобразования на основе частотной характеристики , соответствующей пикселу в центре 5х5 пикселов.

Как описано выше, с помощью конфигурации, иллюстрированной на фиг. 13 в качестве конфигурации блока 143a обработки фильтра блока 14 обработки изображений, может быть получен результат аналогичный результату первого варианта осуществления.

Кроме того, в блоке 143a обработки фильтра, иллюстрированном на фиг. 13, после того как процесс фильтрации выполняется по 5х5 пикселам обнаруженного изображения посредством фильтра обратного преобразования на основе частотной характеристики посредством блока 1436 обработки обратного фильтра, процесс фильтрации посредством корректирующего фильтра после DCT-блока 1431a выполняется по 3х3 пикселам, полученным посредством уменьшения числа пикселов из отфильтрованного изображения. Другими словами, число отводов корректирующего фильтра устанавливается, чтобы быть меньше числа отводов фильтра обратного преобразования на основе частотной характеристики . Это обусловлено тем, что, даже если число частей данных, вводимых в блок 1433a вычисления K, уменьшается, чтобы вычислять коэффициенты фильтра для корректирующего фильтра посредством блока 1433a вычисления K, практически не существует какого-либо влияния на ухудшение изображения. Следовательно, схема фильтра, которая должна быть реализована, может быть дополнительно упрощена.

Скорости передачи битов дискретизации для коэффициентов фильтров, выводимых посредством блока 1433a вычисления K, уменьшаются посредством блоков 1437_1-1437_9 битового сокращения. Однако, это не является обязательным. Не является обязательным предоставление блоков 1437_1-1437_9 битового сокращения. Кроме того, также представляется возможным применять блоки битового сокращения к блоку 143 обработки фильтра первого варианта осуществления и помещать их после блока 1433 вычисления K в блоке 143 обработки фильтра.

Вариант осуществления может восстанавливать размытость, которая является оптической аберрацией, в то же время пресекая шум.

Хотя изобретение описано относительно конкретных вариантов осуществления для полной и понятной сущности, прилагаемая формула изобретения не должна быть ограниченной таким образом, а должна рассматриваться как осуществляющая все модификации и альтернативные структуры, которые могут быть очевидными специалистам в данной области изобретения в рамках базовых методик, изложенных в данном документе.

Список номеров ссылок

1 Устройство захвата изображений

2 PC

3 Кабель связи

4 Субъект

11 Блок линзы

11a Фазовая пластина

11b Диафрагма

12 Узел захвата изображений

14 Блок обработки изображений

15 Блок связи

21 Блок связи

22 Операционный блок

23 Блок отображения

24 Блок хранения

25 Внешнее запоминающее устройство

26 Блок управления

27 Шина

101 Обнаруженное изображение

101a Текстурный фрагмент

102, 103 Область

105 Изображение

121 Фильтр обратного преобразования

131, 131a-131f Целевое частичное изображение

135a-135f Центральные данные

141 Блок буферизации изображений

143, 143a Блок обработки фильтра

500 Система захвата изображений

1410 Блок ввода

1411a-1411d Регистр

1412a-1412d Буфер строки

1413a-1413e Секция вывода

1431 FT-блок

1431a DCT-блок

1432_1-1432_50 Умножитель

1433, 1433a Блок вычисления K

1434_1-1434_50 Умножитель

1434a_1-1434a_9 Умножитель

1435 IFT-блок

1435a IDCT-блок

1436 Блок обработки обратного фильтра

1437_1-1437_9 Блок битового сокращения

A Период начала кадра

B Период гашения обратного хода строчной развертки

C Период окончания кадра

D Период гашения обратного хода кадровой развертки

T Период действительных данных

Список библиографических ссылок

Патентные документы

1. Патентный документ 1. Японская выложенная патентная заявка № 2012-54795.

Изобретение относится к устройствам захвата изображений. Техническим результатом является обеспечение устройства захвата изображений, которое восстанавливает размытость, которая является оптической аберрацией, в то же время подавляя шум. Результат достигается тем, что устройство захвата изображений включает в себя оптическую систему, которая обеспечивает аберрацию для падающего света; узел захвата изображений, который преобразует свет, который прошел через оптическую систему, в пикселы и захватывает изображение; и блок обратного преобразования, который получает первый фильтр обратного преобразования для восстановления аберрации для каждой предварительно определенной части захваченного изображения, захваченного посредством блока захвата изображений, и выполняет первый процесс обратного преобразования по захваченному изображению посредством первого фильтра обратного преобразования. 3 н. и 14 з.п. ф-лы, 16 ил.

1. Устройство захвата изображений, содержащее:

оптическую систему, которая обеспечивает аберрацию падающего света;

блок захвата изображений, который преобразует свет, который прошел через оптическую систему, в пикселы и захватывает изображение; и

блок обратного преобразования, выполненный с возможностью вычисления частотной характеристики первого фильтра обратного преобразования для восстановления аберрации для каждой предварительно определенной части захваченного изображения, захваченного посредством блока захвата изображений с использованием частотной характеристики локальной части идеального изображения, причем локальная часть соответствует предварительно определенной части, и выполнения первого процесса обратного преобразования по захваченному изображению посредством первого фильтра обратного преобразования.

2. Устройство захвата изображений по п. 1, в котором первый фильтр обратного преобразования является фильтром, полученным на основе аберрации оптической системы и частотной характеристики пиксела в каждой предварительно определенной части захваченного изображения.

3. Устройство захвата изображений по п. 2, в котором первый фильтр обратного преобразования является фильтром, который минимизирует среднеквадратическую ошибку между частотной характеристикой пиксела каждой предварительно определенной части идеального изображения субъекта и частотной характеристикой пиксела каждой предварительно определенной части выходного изображения, по которому первый процесс обратного преобразования был выполнен посредством блока обратного преобразования.

4. Устройство захвата изображений по п. 2 или 3, в котором первый фильтр обратного преобразования является фильтром для восстановления аберрации для каждого захваченного изображения и для каждого пиксела захваченного изображения как предварительно определенной части захваченного изображения.

5. Устройство захвата изображений по любому из пп. 1-3, в котором частотная характеристика R' первого фильтра обратного преобразования вычисляется посредством следующего уравнения (1):

(R': частотная характеристика первого фильтра обратного преобразования,

S': частотная характеристика каждой локальной части идеального изображения,

W: частотная характеристика шума,

H: частотная характеристика функции рассеяния точки оптической системы и

: пространственная частота).

6. Устройство захвата изображений по любому из пп. 1-3, в котором частотная характеристика первого фильтра обратного преобразования является произведением частотной характеристики второго фильтра обратного преобразования для восстановления аберрации для всего захваченного изображения и частотной характеристики корректирующего фильтра для корректировки частотной характеристики второго фильтра обратного преобразования.

7. Устройство захвата изображений по п. 6, в котором частотная характеристика K корректирующего фильтра вычисляется посредством следующего уравнения (2):

(K: частотная характеристика корректирующего фильтра,

S: частотная характеристика всего идеального изображения,

S': частотная характеристика каждой локальной части идеального изображения,

W: частотная характеристика шума,

H: частотная характеристика функции рассеяния точки оптической системы и

: пространственная частота).

8. Устройство захвата изображений по п. 6, в котором частотная характеристика K корректирующего фильтра вычисляется посредством следующего уравнения (3):

(K: частотная характеристика корректирующего фильтра,

S: частотная характеристика всего идеального изображения,

S': частотная характеристика каждой локальной части идеального изображения и

: пространственная частота).

9. Устройство захвата изображений по п. 6, в котором частотная характеристика K корректирующего фильтра вычисляется посредством следующего уравнения (4):

(K: частотная характеристика корректирующего фильтра,

t: константа пропорциональности,

S': частотная характеристика каждой локальной части идеального изображения и

: пространственная частота).

10. Устройство захвата изображений по п. 6, в котором идеальное изображение является изображением, по которому второй фильтр обратного преобразования для восстановления аберрации для всего захваченного изображения функционирует по захваченному изображению.

11. Устройство захвата изображений по п. 6, в котором частотная характеристика корректирующего фильтра получается из поисковой таблицы, в которой частотная характеристика корректирующего фильтра ассоциируется с частотной характеристикой пиксела каждой предварительно определенной части идеального изображения.

12. Устройство захвата изображений по п. 6, в котором процесс фильтрации посредством корректирующего фильтра включает в себя процесс выполнения дискретного косинусного преобразования по данным, по которым первый процесс обратного преобразования был выполнен.

13. Устройство захвата изображений по п. 6, в котором число отводов корректирующего фильтра меньше числа отводов второго фильтра обратного преобразования.

14. Устройство захвата изображений по п. 6, в котором блок обратного преобразования выполняет второй процесс обратного преобразования на основе второго фильтра обратного преобразования посредством вычисления значений в реальном пространстве.

15. Устройство захвата изображений по п. 6, в котором блок обратного преобразования выполняет второй процесс обратного преобразования на основе второго фильтра обратного преобразования посредством вычисления значений в частотной области.

16. Система захвата изображений, содержащая:

устройство захвата изображений по любому из пп. 1-15 и

устройство обработки информации, включающее в себя

блок связи, который принимает от устройства захвата изображений выходное изображение, по которому первый процесс обратного преобразования был выполнен, и

блок отображения, который отображает выходное изображение.

17. Способ захвата изображений, содержащий этапы, на которых:

обеспечивают аберрацию падающего света;

преобразуют свет, которому аберрация была обеспечена, в пикселы, захватывают изображение и

рассчитывают частотную характеристику первого фильтра обратного преобразования для восстановления аберрации для каждой предварительно определенной части захваченного изображения с использованием частотной характеристики локальной части идеального изображения, причем локальная часть соответствует предварительно определенной части, и выполняют первый процесс обратного преобразования по захваченному изображению посредством первого фильтра обратного преобразования.