КАМЕРА, СИСТЕМА, СОДЕРЖАЩАЯ КАМЕРУ, СПОСОБ РАБОТЫ КАМЕРЫ И СПОСОБ ОБРАЩЕНИЯ СВЕРТКИ ЗАПИСАННОГО ИЗОБРАЖЕНИЯ Российский патент 2014 года по МПК H04N5/232 

Область техники

Изобретение относится к камере, содержащей объектив и датчик изображения, в которой отношение расстояния между датчиком и объективом вдоль оптической оси и фокусного расстояния объектива изменяется в течение времени экспозиции изображения. Изобретение также относится к способу обращения свертки данных изображения, захваченных датчиком изображения.

Уровень техники

Традиционные датчики изображения, например, датчики на основе КМОП и ПЗС, интегрируют весь свет, падающий на них в течение времени экспозиции. Это обеспечивает резкие изображения неподвижных объектов, но приводит к пространственному размытию для объектов, которые движутся, пока затвор открыт. Объекты, которые не находятся в фокусе, также размыты. Так называемое размытие вследствие движения пропорционально времени экспозиции и скорости объекта. Первое доставляет особые неудобства, когда камера работает в условиях низкой освещенности. В таких обстоятельствах желательно продолжительное время экспозиции для достижения достаточно высоких уровней сигнал/шум, чтобы можно было адекватно отображать темные области сцены. По этой причине, многие камеры страдают от классического противоречия между размытием вследствие движения и динамическим диапазоном. Время экспозиции необходимо увеличивать, чтобы улавливать достаточно света, но необходимо уменьшать для снижения размытия вследствие движения. В рамках изобретения понятие «камера» содержит камеры для фотосъемки, а также камеры для видеосъемки.

Камера и способ, наподобие описанных в первом абзаце, известны из статьи Нагахары и др. "Flexible Depth of Field Photography", H. Nagahara, S. Kuthirummal, C. Zhou, and S.K. Nayar, European Conference on Computer Vision (ECCV), октябрь, 2008.

В статье Нагахары и др. показана камера для фотосъемки, в которой расстояние между датчиком и объективом с фиксированным фокусным расстоянием изменяется. Датчик качается в пределах расстояния в течение времени экспозиции. Расстояние качания задано так, чтобы охватывать диапазон из диапазонов глубины сцены для увеличения глубины резкости. Традиционная камера, раскрытая в статье Нагахары и др., снижает размытие вследствие расфокусировки. Для снижения размытия вследствие расфокусировки, датчик качается вдоль оптической оси, охватывая определенные диапазоны глубины.

Качание датчика обеспечивает составное изображение, в сущности, являющееся комбинацией нескольких изображений на различных глубинах фокуса. Можно вычислить функцию рассеяния точки (PSF). Функция рассеяния точки является, в сущности, изображением точки объекта, зарегистрированной на датчике. Для объекта, находящегося полностью в фокусе, рассеяние точки будет нулевым, и, таким образом, PSF будет функцией Дирака. Преобразование Фурье этой функции даст постоянную величину для всех частот. Для точки, находящейся не в фокусе, PSF является функцией расплывания, для объекта, находящегося в движении относительно неподвижной камеры, PSF будет расплываться в пределах некоторого расстояния вследствие движения. Из PSF можно вычислить обратную функцию рассеяния точки (IPSF). Обращение свертки в отношении составного изображения позволяет получить резкое изображение и позволяет получить увеличенную глубину резкости. Дело в том, что, как показывает Нагахара, при качании датчика, PSF для неподвижных объектов на различных расстояниях становится в значительной степени одинаковой. Таким образом, обращение свертки в отношении исходного изображения с одной и той же IPSF позволяет получить резкое изображение на всех расстояниях или, по меньшей мере, в увеличенном диапазоне расстояний, а также получить увеличенную глубину резкости для неподвижных объектов.

Хотя размытие вследствие расфокусировки и его снижение может иметь место и является важной задачей, основная проблема, как объяснено выше, существует для движущихся объектов, а именно размытие вследствие движения, в особенности при увеличении времени экспозиции.

Нагахара уже упоминает проблемы, связанные с размытием вследствие движения, но не дает решения.

Известное решение для снижения размытия вследствие движения состоит в перемещении датчика перпендикулярно оптической оси. Это решение известно, например, из статьи Левина и др. “Motion-Invariant Photography”, A. Levin, P. Sand, T. S. Cho, F. Durand, W. T. Freeman. SIGGRAPH, ACM Transactions on Graphics, август 2008. В сущности, это решение предполагает перемещение датчика слева направо (или наоборот) в течение экспозиции для снижения размытия вследствие движения благодаря горизонтальному движению.

Помимо решения, предложенного в статье Левина и др., размытие вследствие движения можно инвертировать посредством видеообработки. Это достигается оценкой движения и обратной фильтрацией вдоль траектории движения. Это известно, например, из US 6930676. Однако на практике, такая процедура страдает от неточных векторов движения, особенно для областей затемнения. Чтобы иметь возможность осуществить обратную фильтрацию, необходимо знать траекторию движения и вывести из нее векторы движения. Во многих автономных камерах, используемых в профессиональных целях, векторы движения могут быть вовсе недоступны. Например, записи с многих камер, используемых для наблюдения или мониторинга активности, обеспечивают всего лишь ввод в процедуры анализа на основе компьютерного зрения (например, автоматического обнаружения подозрительных объектов, обнаружения падения пожилых людей, и т.д.). В этих сценариях, качество необработанных входных кадров является определяющим фактором производительности системы обнаружения. Достаточно точные векторы движения могут быть недоступны оперативно в камере, и последующая обработка записанного видео не является возможностью системы слежения в реальном времени. Для камеры, которая делает один снимок, принципиально невозможно точно определить векторы движения. В областях затемнения оценка движения также чрезвычайно затруднена и неточна, если вообще возможна. В условиях низкой освещенности проблемы возникают вследствие недостатка света.

Во-вторых, большинство традиционных камер отличается наличием регулируемого затвора и апертуры, которая ограничивает свет, поступающий через объектив, во временном и пространственном измерениях. Их обычно можно описать как фильтры с прямоугольными характеристиками пропускания (т.е. обладающие постоянной чувствительностью в пределах конечного интервала), соответствующие sinc-модуляции в соответствующих временных и пространственно-частотных областях. В результате, некоторые высокие частоты полностью подавляются при получении и не могут быть восстановлены в ходе обратной КИХ-фильтрации даже при наличии полной информации движения. На практике, обратную фильтрацию следует производить с величайшей осторожностью во избежание усиления шума и внесения артефактов. В итоге можно сказать, что в современной технике неизвестны эффективные и простые средства для снижения размытия вследствие движения.

Сущность изобретения

Задачей изобретения является снижение размытия вследствие движения.

Для этого камера, согласно изобретению, отличается тем, что камера выполнена с возможностью работы так, что сохраняется следующее:

V_sweep*A/b²>0,25 с^-1,

где V_sweep - движение датчика и/или объектива вдоль оптической оси и/или изменение фокусного расстояния объектива, A - апертура объектива и b - расстояние между объективом и датчиком.

V_sweep, A и b выражаются через одну и ту же единицу расстояния.

“Выражаются через одну и ту же единицу расстояния” означает, что все они выражаются, например, в мм/с и мм либо в см/с и см.

На первый взгляд в этом можно усмотреть противоречие: размытие вследствие движения вызвано перемещением объекта в направлении перпендикулярном оптической оси, например, в горизонтальном или вертикальном направлении, тогда как датчик движется вдоль оптической оси. Захваченное изображение демонстрирует размытие вследствие движения, например, в горизонтальном или вертикальном направлении, в зависимости от направления движения объекта, и поэтому не кажется логичным выбором снижение размытия вследствие движения перемещением датчика вдоль оптической оси, и кажется логичным выбором перемещение датчика перпендикулярно оптической оси, как в статье Левина и др.

Однако авторы изобретения поняли, что движение датчика по отношению к фокальной плоскости вдоль оптической оси можно фактически использовать для эффективного противодействия размытию вследствие движения, при выполнении определенных условий. Благодаря качанию датчика вдоль оптической оси, ядро размытия вследствие движения становится в высокой степени одинаковым для диапазона скоростей объекта. PSF является в высокой степени одинаковой для диапазона скоростей объекта. Это позволяет формировать изображение, инвариантное относительно движения, используя IPSF, которая обеспечивает резкое изображение для диапазона скоростей объекта.

Авторы изобретения поняли, что максимальная скорость объекта, т.е. диапазон скоростей объекта, в котором можно осуществлять формирование изображения, инвариантное относительно движения или почти инвариантное относительно движения, зависит от ряда факторов, в том числе

- скорости движения датчика или частоты качания фокуса,

- апертуры главной линзы и

- среднего расстояния между датчиком и объективом.

Среднее расстояние можно определять для вариантов осуществления, в которых датчик перемещается, как половину расстояния, пройденного за одно качание.

Обращаясь к вышесказанному, с позиции настоящего изобретения, можно вычислить, что в статье Нагахары и др. до определенной скорости можно осуществлять формирование изображения, инвариантное относительно движения, но этот диапазон для всех практических целей незначителен, неадекватен и малозначим, будучи диапазоном от 0 км/ч до 0,1 км/ч. На практике это означает, в соответствии с утверждениями, приведенными в статье Нагахары, что никакого эффективного формирования изображения, инвариантного относительно движения, невозможно добиться камерой и способом, раскрытыми в статье Нагахары. Нагахара, таким образом, был прав, заявив, что размытие вследствие движения представляет проблему. Используя идею Нагахары и др., разные PSF должны быть использованы для разных скоростей, и формирование изображения, инвариантного относительно движения, по этой причине невозможно.

Примечательно, что Нагахара и др. не раскрывает наличия какой-либо возможности формирования изображения, инвариантного относительно движения.

Движение датчика, предложенное Нагахарой, и причина этого движения, раскрытая и рассмотренная в статье Нагахары, состоит в прохождении по различным глубинам фокусировки. Глубина фокусировки это признак, который имеет протяженность вдоль той же оси, что и движение датчика, т.е. и движение и причина движения датчика параллельны, фактически совпадают, с оптической осью.

Авторы изобретения поняли, что проблему, связанную с явлением, обусловленным движением объекта перпендикулярно оптической оси, фактически можно уменьшить посредством движения датчика вдоль оптической оси, при соблюдении определенных условий.

Минимальное значение (0,25 с^-1) для параметра V_sweep*A/b², позволяющее осуществлять формирование изображения, инвариантное относительно движения, для практических скоростей объектов и расстояний, по меньшей мере, на один порядок величины выше, чем известно из статьи Нагахары.

Примечательно, что движение датчика, с точки зрения изобретения, рассматривается как 'движение' датчика относительно фокусного расстояния. Такое движение можно осуществлять, перемещая датчик, перемещая объектив или поочередно, изменяя фокусное расстояние объектива. Во всех этих вариантах датчики проходят диапазон фокальных плоскостей. Естественно, возможно комбинированное движение, в котором датчик перемещается и одновременно изменяется фокусное расстояние. В дальнейшем, для простоты такие 'перемещения или движения' датчика, независимо от осуществления, будем называть “перемещениями датчика”. Тот факт, что датчик или объектив перемещается вдоль оптической оси (или изменяется фокусное расстояние) не исключает возможности одновременного перемещения датчика в направлениях перпендикулярно оптической оси.

Предпочтительно, параметр V_sweep*A/b² составляет более чем 0,5 с^-1, наиболее предпочтительно, более чем 1 с^-1.

Предпочтительно, параметр V_sweep*A/b² составляет менее, чем 15 с^-1, наиболее предпочтительно, менее чем 5 с^-1. Слишком большой параметр требует весьма высоких скоростей качания или очень малого расстояния до датчика.

Предпочтительно, время экспозиции находится между 0,005 и 0,05 секундами, наиболее предпочтительно, между 0,01 и 0,05 секундами.

Слишком большое время экспозиции потребовало бы весьма существенного перемещения датчика, возможно выходящего за пределы диапазона допустимых перемещений датчика.

В предпочтительном диапазоне времен экспозиции, перемещение датчика находится в допустимых пределах, тем не менее, обеспечивая весьма длительные времена экспозиции. Кроме того, в этом диапазоне времен экспозиции можно создавать видеопоследовательности.

В вариантах осуществления, изменение отношения таково, что датчик достигает позиций за пределами диапазона, в котором любые объекты находятся в фокусе.

С точки зрения изобретения, в вариантах изобретения выгодно быстро перемещать датчик по большому диапазону позиций или быстро изменять фокусное расстояние, выходить за пределы позиций, в которых любая часть изображения находится в фокусе. Таким образом, качание датчика выходит за пределы диапазона всевозможных глубин резкости. Такие позиции предоставляют информацию, которая дает возможность снизить размытие вследствие движения. Расширение диапазона перемещений датчика за пределы диапазона, необходимого для глубины резкости, помогает при формировании изображения, инвариантного относительно движения.

В вариантах осуществления, качание сделано зависимым, по меньшей мере, в верхнем диапазоне времен экспозиции, от времени экспозиции. Тогда, время экспозиции определяет величину предполагаемого перемещения датчика.

В статье Нагахары, смещение датчика ограничено прохождением через фокальный диапазон. В изобретении, скорость перемещения датчика является определяющим фактором, поэтому в предпочтительных вариантах осуществления для разных времен экспозиции смещение датчика изменяется с временем экспозиции.

При условии, что в настоящем изобретении скорость является определяющим фактором, для больших времен экспозиции смещение датчика сравнительно велико, тогда как для меньших времен экспозиции перемещение можно сделать сравнительно меньшим, но позволяющим эффективно снижать размытие вследствие движения.

В пределах вариантов осуществления для нижнего диапазона времен экспозиции скорость перемещения может не зависеть от времен экспозиции. Для таких времен экспозиции, скорость перемещения можно выбирать так, чтобы можно было эффективно снижать размытие вследствие движения.

Изобретение также относится к системе для записи изображений, содержащей камеру, дополнительно содержащую блок обращения свертки для обращения свертки записанного изображения.

Изобретение дополнительно относится к способу работы камеры, содержащей объектив и датчик изображения, в котором отношение расстояния между датчиком изображения и объективом и фокусного расстояния изменяется вдоль оптической оси в течение времени экспозиции изображения, при котором сохраняется следующее:

V_sweep*A/b² >0,25 с^-1,

где V_sweep - движение датчика и/или движение объектива вдоль оптической оси и/или изменение фокусного расстояния в секунду, A - апертура и b - расстояние между объективом и датчиком.

Краткое описание чертежей

Эти и другие задачи, и преимущественные аспекты станут очевидными из примерных вариантов осуществления, которые будут описаны, используя следующие фигуры.

Фиг. 1 иллюстрирует различные варианты осуществления изобретения.

Фигуры 2A-2C иллюстрируют действие затвора, происходящее за бесконечно малое время, т.е. описываемое функцией Дирака.

Фигуры 3A-3C иллюстрируют нормальное действие затвора.

Фигуры 4A-4C иллюстрируют действие, описанное в статье Левина и др.

Фигуры 5A-5C иллюстрируют действие, описанное в статье Нагахары и др.

Фигуры 6A-6C иллюстрируют настоящее изобретение.

Фигуры 7A-7C иллюстрируют обратную фильтрацию функции PSF фиг. 6C.

Фиг. 8 иллюстрирует алгоритм, систему и способ фильтрации записанного изображения.

Фиг. 9 иллюстрирует перемещение датчика.

Фиг. 10 - пример оптимизированной апертуры при наличии дополнительной информации о появлении скоростей объектов в сцене.

Фиг. 11 показывает интегрирование двойного конуса для общей системы, не оптимизированной по скорости, когда объект перемещается.

Фиг. 12 показывает вариант осуществления с датчиком, ортогонально сдвинутым на расстояние d_sensor.

Фигуры изображены с нарушением масштаба. В целом, идентичные компоненты обозначены на фигурах одинаковыми ссылочными позициями.

Подробное описание предпочтительных вариантов осуществления

Изобретение основано на понимании того, что, изменяя параметры камеры в течение времени экспозиции, можно изменять характеристики записываемого изображения. Этот факт используется для конструирования камеры, в которой размытие вследствие движения, в практическом диапазоне скоростей, почти не зависит от движения объектов и, предпочтительно, частотная характеристика одного из них такова, что записанный сигнал лучше подходит для обратной фильтрации. Это позволяет генерировать резкие изображения из записей с более длительным временем экспозиции без необходимости в оценивании движения. Другими словами, камера, отвечающая изобретению, может обеспечивать резкие изображения с высоким SNR даже в очень сложных оптических условиях формирования изображения: объекты, перемещающиеся с различными, неизвестными скоростями при низких уровнях освещенности. Для этого датчик и/или объектив, в течение времени экспозиции, перемещается вдоль оптической оси или попеременно или дополнительно, фокусное расстояние объектива изменяется в течение времени экспозиции. Изменение фокусных характеристик объектива для изменения фокусного расстояния оказывает такое же влияние, как перемещение датчика к объективу или от него или перемещение объектива к датчику или от него. Общей чертой этих различных вариантов осуществления является то, что отношение расстояния между датчиком и объективом вдоль оптической оси (b) и фокусного расстояния (f) изменяется в течение экспозиции.

Фиг. 1 иллюстрирует различные варианты осуществления изобретения.

Объект 1 фокусируется через объектив 2. Сфокусированное изображение изображено на фиг. 1 точкой пересечения световых лучей, идущих от объекта. В верхней части фиг. 1 камера имеет подвижный датчик 3. Датчик 3, в течение времени экспозиции, перемещается вдоль оптической оси. В верхней части фиг. 1 это показано пунктирными линиями. Движение датчика можно выразить расстоянием, проходимым за секунду. Эта скорость качания обозначается ниже как V_sweep. В нижней части фиг. 1 показан другой вариант предполагаемого движения датчика 3 и объектива относительно друг друга. В этом варианте осуществления датчик 3' неподвижен, а характеристики объектива 2' изменяются, например, путем изменения формы объектива или показателя преломления объектива. Также может перемещаться сам объектив. Вследствие изменения характеристик объектива, фокальная плоскость перемещается, оказывая такое же влияние, как перемещение датчика, показанное в верхней части фиг. 1. Предполагаемое перемещение датчика относительно объектива, согласно изобретению, осуществляется любым из вышеуказанных способов или любой комбинацией вышеуказанных способов. Комбинация, например, предусматривает, что часть перемещения осуществляется путем перемещения датчика, и часть перемещения, например, для точной настройки скорости или расширения возможного диапазона относительных перемещений, путем изменения фокусного расстояния объектива 2. Скорость качания V_sweep для подвижного датчика является просто величиной смещения датчика в секунду. Для подвижного объектива, скорость качания V_sweep является смещением объектива в секунду. Если движутся оба, скорость качания равна изменению расстояния между ними в секунду.

В случае, когда датчик и объектив неподвижны, и изменяется фокусное расстояние f объектива, что оказывает такое же влияние, как перемещение датчика и/или объектива, скорость качания можно вычислить следующим образом:

Выполняется соотношение:

1/b=1/f-1/v,

таким образом, f(t)=1/(1/v+1/(b(t)), где b(t) обозначает позицию плоскости изображения.

Изменение фокусного расстояния как функции времени, таким образом, меняет фокальную плоскость следующим образом:

f(t)=(v/(v+b(t))*b(t)

в приближении первого порядка, при условии, что v почти всегда намного больше, чем b:

df(t)/dt=db(t)/dt

В этом случае V_sweep определяется как изменение фокусного расстояния в секунду.

Другими словами, перемещение датчика к объективу и от него при постоянном фокусном расстоянии эквивалентно нахождению датчика и объектива в фиксированной позиции при увеличении и уменьшении фокусного расстояния объектива, и скорости качания являются в приближении первого порядка эквивалентными параметрами.

Для комбинированного действия, в котором движется как датчик, так и/или объектив, и изменяется фокусное расстояние f, частота качания задается суммой двух эффектов.

Во всех примерах отношение расстояния между объективом и датчиком (b) и фокусного расстояния f изменяется в ходе качания. Изменять b можно, либо перемещая датчик или объектив или их обоих, либо изменяя f, или производя обе операции одновременно или даже последовательно.

Перейдем к объяснению принципов изобретения со ссылкой на фигуры.

Для простоты, в дальнейшем будем рассматривать формирование изображения как 2D (двухмерный) процесс (во временном и одном пространственном измерениях, последнее представлено на фигуре осью x). Однако принципы, рассмотренные в этом документе, распространяются на два ортогональных пространственных измерения (x, y).

Чтобы лучше понять принцип формирования изображения, инвариантного относительно движения, полезно сначала обратиться к характеристикам пространственно-временной дискретизации традиционных камер. В традиционной системе оптического формирования изображения, такой как фотоаппарат, камера фокусируется на объект, представляющий интерес, фиксируя смещение между датчиком и объективом на соответствующем расстоянии. В этом случае, высокой резкости неподвижного и движущегося изображения можно добиться, когда пространственно-временное действие затвора бесконечно мало в пространстве и времени (функция Дирака δ(x,t), т.е. особая точка в пространстве и времени), как показано на фигурах 2A-2C. Фиг. 2A соответствует дискретизации света в пространстве-времени. На фиг. 2B показан соответствующий пространственно-временной амплитудный спектр, и на фиг. 2C показаны поперечные сечения 2D амплитудного спектра, соответствующие неподвижному (сплошная линия) и движущемуся (прерывистая линия) объекту. В пространстве-времени (фиг. 2A), неподвижный объект остается в своей позиции все время и, таким образом, представлен на фиг. 2A линией в фиксированной позиции x₀ все время, т.е. вертикальной линией. По вертикальной оси отложено нормализованное время, где 0 обозначает момент времени, и 1 обозначает момент времени, хотя 1 обозначает другой, более поздний момент времени. Движущийся объект, перемещающийся слева направо, изменяет позицию в течение экспозиции, перемещаясь вправо. Малый квадрат в середине представляет экспозицию. Экспозиция бесконечно мала во времени и пространстве, что выражается бесконечно малой точкой в пространстве и времени. Для этой идеализированной гипотетической конфигурации затвора, датчик записывает все частоты с одинаковой интенсивностью, что приводит к идентичным частотным характеристикам для разных движений. На фиг. 2B представлено преобразование Фурье полученного сигнала. Это функция, равная 1 для всех значений. Для функции Дирака, все частоты выбираются одинаково, и амплитуда при всех волновых числах одинакова. На фиг. 2C представлена функция рассеяния точки (PSF), в которой амплитуда отложена по вертикальной оси в логарифмической шкале, для различных волновых чисел, отложенных по горизонтальной оси. На фиг. 2B показано, что преобразование Фурье функции Дирака дает постоянную величину. При условии, что все частоты выбираются одинаково, амплитуда при всех волновых числах при всех возможных скоростях одинакова, т.е. функция PSF является константой. Таким образом, функции PSF также равны. Равенство функций PSF означает, что при всех скоростях объекта изображение является одинаково резким и может быть реконструировано обращением свертки изображения. Таким образом, дираковский затвор позволяет получить резкое изображение на всех скоростях. Однако совершенный дираковский затвор невозможно сконструировать, и его реалистические приближения улавливают недостаточно света для создания надлежащего изображения. Изображение может быть резким для всех скоростей объекта в изображении, но улавливается недостаточно света, чтобы объекты были видимы, что, мягко выражаясь, весьма непрактично. На практике, время срабатывания затвора (и апертура) регулируется в соответствии с локальными условиями освещенности, и более протяженные времена экспозиции требуются для улавливания достаточного света в темных окружающих обстановках для поддержания адекватного отношения сигнал/шум. Один подход к решению проблем состоит в разработке датчиков, более чувствительных к свету, которые позволяют сократить время экспозиции и достичь более точного приближения к функции Дирака. Однако в реальности на чувствительность датчика накладываются ограничения.

Большинство традиционных камер отличается наличием регулируемого затвора и апертуры, которая ограничивает свет, поступающий через объектив, во временном (т.е. в течение времени экспозиции) и пространственном измерениях. Их обычно можно охарактеризовать как фильтры с прямоугольными характеристиками пропускания (т.е. обладающие постоянной чувствительностью в пределах конечного интервала) в реальных временном и пространственном измерениях, соответствующие sinc-модуляции в соответствующих временных и пространственно-частотных областях. В результате, некоторые высокие частоты полностью подавляются при получении и не подлежат восстановлению в ходе обратной КИХ-фильтрации даже при наличии полной информации движения. На практике, обратную фильтрацию следует производить с величайшей осторожностью во избежание усиления шума и внесения артефактов. Это проиллюстрировано на фигурах 3A-3C. На фиг. 3A показан свет, падающий на датчик. Реальный затвор имеет конечную протяженность, таким образом, прямоугольник имеет ширину в направлении x. Прямоугольник представляет свет на датчике, поэтому ширина представляет световое пятно на датчике. Затвор открыт в течение времени t срабатывания затвора, причем это время t срабатывания затвора отложено по вертикальной оси, начиная от 0, начала экспозиции, до 1, окончания экспозиции.

Во временной области (фиг. 3B) и пространственно-частотной области (фиг. 3C) некоторые высокие частоты подавляются, что показано провалами на фигуре. Из-за этого утрачиваются некоторые детали и возникают некоторые артефакты. Кроме того, показаны три разные функции PSF, иллюстрирующие три разные функции PSF, типичные для объектов, движущихся внутри изображения при 0,50 и 100 км/ч приблизительно в 10 метрах от объектива. Эти функции PSF представлены линиями 31, 32 и 33 соответственно. Можно видеть, что три функции PSF сильно отличаются. Поскольку функции PSF различны для разных скоростей, для обращения свертки записанного изображения нельзя пользоваться единой IPSF. На практике и в теории это означает, что невозможно согласованно осуществить обращение свертки некоторой обратной фильтрацией трех изображений. Короче говоря, формирование изображения, инвариантного относительно движения, невозможно.

Для глобального движения, размытие вследствие движения можно предотвратить отслеживанием движения камерой. Альтернативно, этого можно добиться перемещением датчика относительно главной линзы с нужной скоростью вдоль поперечной траектории (перпендикулярно оптической оси) в течение времени экспозиции. Однако в записанном изображении будут резкими только объекты, движущиеся с целевой скоростью, тогда как все другие области сцены останутся размытыми или станут еще более размытыми, чем в случае, когда никаких действий не предпринимается.

Левин и др. предложили путь решения этой проблемы. Это изображено на фигурах 4A-4C. Левин и др. предлагают перемещать датчик в поперечном направлении по параболической траектории в пространстве-времени. На фигурах 4A-4C проиллюстрировано предложение Левина и др. В пространстве-времени (фиг. 4A) позиция света, падающего на датчик, следует параболической траектории в течение времени экспозиции. Параболическая траектория создает одинаковое размытие вследствие движения для диапазона скоростей вплоть до максимальной скорости перемещения датчика. Это проиллюстрировано на фиг. 4C тем фактом, что различные функции PSF для трех скоростей почти одинаковы. Эффективное ядро размытия можно установить путем интегрирования по времени, и для параболической траектории ядро размытия пропорционально 1/sqrt(x). Хотя записанные изображения окажутся сильно размытыми даже для неподвижных объектов, размытие можно устранить с использованием фиксированного, независимого от движения, ядра обратного фильтра. Поскольку три функции PSF почти одинаковы, то и операция обратная PSF, т.е. обращение свертки изображения, может обеспечивать резкие изображения для всех скоростей. Однако Левин и др. верно замечают, что их подход применим только к одномерному движению (например, чисто горизонтальному движению). Кроме того, функции PSF показывают, что для нескольких длин волны амплитуда равна нулю вследствие конечных размеров апертуры, из-за чего некоторые детали будут безвозвратно утеряны. Поэтому, хотя Левин и др. предлагают путь уменьшения проблем, их решение работает лишь частично и только если направление движения известно, и только пока упомянутое движение совершается параллельно движению датчика. Для любого другого движения или любой составляющей движения, не параллельной движению датчика, никакого решения не предложено, и ситуация столь плоха, как показано на фигурах 3A-3C.

Нагахара и др. предложили решение другой проблемы, а именно ограничения по DOF, т.е. глубине резкости. Благодаря перемещению датчика вдоль оптической оси, датчик проходит по всевозможным фокальным плоскостям, и это позволяет, посредством обращения свертки записанных изображений, получать изображение с гораздо большей глубиной резкости. Нагахара и др. показывают, что функцию PSF для неподвижных объектов на различных расстояниях от объектива можно сделать почти одинаковой. Таким образом, для обращения свертки изображения различных неподвижных объектов на разных расстояниях от объектива можно использовать единую IPSF, что приводит к увеличению глубины резкости.

На фигурах 5A-5C показан случай типичной установки, приведенной в примерах Нагахары, в отсутствие неподвижных объектов, но рассматриваются объекты с различными скоростями объектов. Функции PSF 31, 32, 33 (фиг. 5C) для различных скоростей объектов, в этом случае 0,50 и 100 км/ч, как на фигурах 4A-4C, сильно отличаются. Поскольку функции PSF сильно отличаются, применение единой обратной функции PSF не позволит обеспечить резкое изображение для указанных скоростей. Таким образом, хотя Нагахара и др. увеличивают глубину резкости (DOF), размытие вследствие движения остается проблемой. Быстро движущиеся объекты дают размытое изображение.

Таким образом, ни один из документов или подходов, отвечающих уровню техники, не позволяет эффективного снижения размытия вследствие движения, если движение или направление движения заранее не известно, или камера не движется, или нельзя определить векторы движения, что часто имеет место.

Фигуры 6A-6C иллюстрируют изобретение. Датчик перемещается вдоль оптической оси, причем сохраняется следующее условие:

V_sweep*A/b²>0,25 с^-1

В примере, показанном на фигурах 6A-6C, выполняются следующие условия:

V_sweep = 22,4 мм/с

A = 2 мм

B = 4,002 мм

расстояние от объекта до объектива = 10 метров

время экспозиции = 0,02 с

V_sweep*A/b²=2,8 с^-1

В пространстве-времени (фиг. 6A) график имеет форму диаболо (двух конусов, соединенных в вершинах); важный аспект состоит в том, что функции PSF для различных скоростей 0,50 и 100 км/ч почти одинаковы (фиг. 6C).

Поскольку функции PSF почти одинаковы, то обращение свертки записанных изображений с использованием единой функции IPSF возможно, что позволяет получить резкое изображение для всех объектов с указанными скоростями, т.е. формирование изображения, инвариантного относительно движения, или формирование изображения, почти инвариантного относительно движения, возможно для любой скорости до 100 км/ч. Очень важное отличие от решения, предложенного Левином и др., состоит в том, что для любой скорости в любом направлении, перпендикулярном оптической оси, до 100 км/ч на расстоянии 10 метров, возможно формирование изображения, инвариантного относительно движения. Таким образом, ограничение конкретным направлением скорости, присущее подходу Левина и др., преодолено. Кроме того, функции PSF не демонстрируют провалов, как у Левина и др. (и у Нагахары), что, в принципе, позволяет реконструировать больше деталей. Таким образом, благодаря перемещению датчика вдоль оптической оси, появляется возможность формирования изображения, инвариантного относительно движения, без ограничения по направлению, и с более высокой степенью сохранения деталей, при выполнении условий. Очень важное отличие от решения Нагахары состоит в том, что три функции PSF почти одинаковы, что дает возможность формирования изображения, инвариантного относительно движения для указанных скоростей, чего не позволяет решение Нагахары и др.

Примечательно, что в данном примере предполагается, что объект находится в фокусе в середине периода экспозиции. На фиг. 6A это проиллюстрировано тем, что верхняя часть диаболо такая же большая, как нижняя часть. Было обнаружено, что даже если это не так, то формирование изображения, инвариантного относительно движения, вполне возможно. Если объект находится в фокусе не в середине периода экспозиции, а несколько раньше или позже, то захватывается наибольшая часть информации, поскольку наибольшая часть информации присутствует в окрестности точки пересечения диаболо, то и возможно очень хорошее формирование изображения, инвариантного относительно движения. Ниже будет объяснено, что, с пониманием, возможна некоторая точная настройка.

В рамках изобретения, согласно вариантам осуществления, датчик выходит за пределы возможных фокальных диапазонов. Это гарантирует, что наибольшая часть информации будет захвачена для любого объекта на любом расстоянии от объектива. В таких вариантах осуществления возможно более надежное формирование изображения, инвариантного относительно движения.

Примечательно, что, в рамках изобретения, “формирование изображения, инвариантного относительно движения” не следует интерпретировать строго в том смысле, что для любой скорости на любом уровне детализации не будет разницы в формировании изображения; задачей изобретения является сокращение несовпадения вследствие движения, т.е. размытия вследствие движения в практических пределах; совершенное решение является идеалом, недостижимым в реальности.

Авторы изобретения поняли, что максимальная скорость объекта, для которого функции PSF объекта, зарегистрированного на датчике, в основном, такие же, как для неподвижного объекта, и, таким образом, возможно формирование изображения, инвариантного относительно движения, зависит от следующих параметров:

A: параметров объекта, а именно, скорости объекта по отношению к расстоянию от объекта до объектива. Объект, более удаленный от объектива, легче захватывать при той же скорости, чем и объект, приближенный к объективу. Этот параметр, в основном, обеспечивает меру того, насколько быстро объект перемещается по изображению, формируемому датчиком.

B: параметров камеры или системы камеры:

B1: частоты качания датчика, чем больше частота качания, тем выше максимальная скорость объекта, при которой возможно формирование изображения, инвариантного относительно движения

B2: апертуры, чем больше апертура, тем выше максимальная скорость объекта, при которой возможно формирование изображения, инвариантного относительно движения

B3: расстояния между объективом и датчиком.

Соответствующим параметром камеры является B1*B2/(B3)², т.е. V_sweep*A/b².

Авторы изобретения смоделировали различные установки, в том числе, приведенные в примерах Нагахары, и определили максимальную скорость объекта для объекта, при которой возможно инвариантное формирование изображения.

Результаты приведены в нижеследующей таблице 1; в первом столбце приведено краткое описание источника, где в первых двух строках указаны примеры, приведенные в статье Нагахары, в последних пяти строках приведены примеры настоящего изобретения; другие столбцы обеспечивают различные параметры:

Таблица 1   Расстояние
до объекта
(м) Фокусное
расстояние (мм) Апертура (мм) Скорость датчика
(мм/с) Время
экспози-
ции (с) Инвариант-ный
диапазон
глубины
(м) Инвариантный
диапазон
скорости
(км/ч) V_sweep*A/b²                   Нагахара 2 9 6,2 0,23 0,360 1-∝ 0-0,0128 0,0176 Нагахара 2 12,5 8,9 0,44 0,360 1-∝ 0-0,171 0,025 Пример 1 2 9 4,5 250 0,360 0,01-∝ 0-100 13,8

Пример 2 2 12,5 4,5 352 0,360 0,01-∝ 0-100 10,14 Пример 3 2 9 4,5 25 0,036 0,07-∝ 0-10 1,38 Пример 4 10 4 2 22,4 0,02 0,07-∝ 0-100 2,8 Пример 5 5 4 2 2,24 0,2 0,07-∝ 0-5 0,28

Очевидно, что примеры Нагахары не обеспечивают сколько-нибудь примечательного формирования изображения, инвариантного относительно движения. Хотя, с помощью понимания настоящего изобретения, можно вычислить, что с помощью устройств Нагахары возможно формирование изображения, инвариантного относительно движения, для скоростей до около 0,15 км/ч для объекта на расстоянии 2 метров, это не имеет практического применения и фактически малозначимо. Инвариантные диапазоны скоростей для примеров с 1 по 5 изобретения являются практическими диапазонами скоростей, от скорости шагающего человека или человека, бегущего трусцой, до скорости автомобиля.

Примечательно также то, что, согласно вышеприведенной таблице, примеры Нагахары используют f/1,4, часто наибольшую возможную апертуру, тогда как в примерах с 1 по 5 изобретения используется более умеренная величина f/2. Если использована одна и та же величина f/#, то различие в отношении диапазона инвариантных скоростей и V_sweep*A/b² оказывается даже в 1,4 раза больше. Для апертуры f/2 в некоторых примерах Нагахары, для правильного сравнения с изобретением, диапазон инвариантных скоростей для Нагахары оказывается даже в 1,4 раза меньше, чем указано в таблице, т.е. около 0,1 км/ч.

Если взять, например, камеру наблюдения, то приемлемый нижний практический предел для диапазона инвариантных скоростей является скоростью 5 км/ч, скоростью шагающего человека на расстоянии 5 метров, приемлемым расстоянием для камеры наблюдения. Это обеспечивает нижний предел для V_sweep*A/b², равный 0,25 с^-1.

Предпочтительно, параметр V_sweep*A/b² составляет более чем 0,5 с^-1, наиболее предпочтительно, более чем 1 с^-1.

Предпочтительно, параметр V_sweep*A/b² составляет менее чем 15 с^-1, наиболее предпочтительно, менее чем 5 с^-1. Слишком большой параметр требует весьма высоких скоростей качания или очень малого расстояния до датчика.

Предпочтительно, время экспозиции составляет между 0,005 и 0,05 секундами, наиболее предпочтительно между 0,01 и 0,05 секундами. В частности, в условиях низкой освещенности, этот диапазон времен экспозиции позволяет формировать изображения хорошего качества, инвариантные относительно движения. Этот диапазон также позволяет формировать видеоизображения.

Слишком большое время экспозиции также потребовало бы весьма существенного перемещения датчика, возможно выходящего за пределы диапазона допустимых перемещений датчика.

В предпочтительном диапазоне времен экспозиции, перемещение датчика находится в допустимых пределах, тем не менее, обеспечивая весьма длительные времена экспозиции. Кроме того, в этом диапазоне времен экспозиции между 0,01 и 0,05 секундами можно создавать видеопоследовательности.

Предпочтительно, движение датчика является линейным. На фиг. 6A это проиллюстрировано тем фактом, что диаболо заключено между двумя прямыми линиями. По аналогии с параболической траекторией, предложенной Левиным, это обеспечивает дискретизацию с равным весом в диапазоне движений. Посредством интегрирования по времени, авторы изобретения установили, что функция рассеяния точки (PSF) этой картины пространственно-временной дискретизации пропорциональна 1/log(x), что позволяет легко найти обратную функцию. Сравнение фиг. 3B, 4B, 5B с 6B иллюстрирует то, что веерная дискретизация (фиг. 6B) лучше сохраняет высокие частоты, чем параболическая траектория (фиг 4B) и в меньшей степени страдает от sinc-модуляций в пространственно-временной частотной области. В результате, полученные изображения лучше подходят для обратной фильтрации. Наконец, фазовые характеристики веероподобной дискретизации лучше, чем достигаемые при параболической поперечной дискретизации.

На фиг. 7A-7C показана обратная фильтрация функции PSF фиг. 6C. Фиг. 6C повторяется на фиг. 7A.

Другие кадры, фиг. 7B и 7C, соответствуют (среднему) обратному фильтру и свертке обратной и прямой PSF.

На фиг. 7A и 7B показаны пространственная PSF и соответствующий обратный фильтр. Следует отметить, что обратный фильтр имеет короткую конечную пространственную сигнатуру, которая означает, что он вычислительно эффективен для реализации. Для подтверждения, на фиг. 7C показана свертка прямого и обратного ядра размытия, которая, при желании, может быть единичным импульсом.

После обратной фильтрации, все объекты повторно устанавливаются в местоположение, где они находились, когда датчик пересекал соответственное фокусное расстояние (точку пересечения диаболо), таким образом, демонстрируя зависимости фазы от глубины (фазовый сдвиг равен нулю для пересечения в середине экспозиции). Однако параболическая поперечная дискретизация, предложенная в статье Левина и др., страдает зависимыми от движения фазовыми сдвигами, так что после обратной фильтрации все объекты будут выглядеть резкими, но в местоположениях, через которые они прошли в немного разные моменты времени. Это приводит к небольшим несогласованностям, в частности, на границах движения и в областях затемнения. По сравнению с решением Левина и др., это обеспечивает важное преимущество изобретения.

Предпочтительно, эффективное ядро пространственного размытия линейно изменяется со временем. Это можно совершать линейным изменением расстояния между датчиком и главной линзой вдоль оптической оси. Это вызвано тем, что степень размытия вследствие расфокусировки пропорциональна смещению датчика. Такое движение уже осуществляется в большинстве камер с автофокусировкой, хотя и до фотографирования, или при закрытом затворе. В результате, возможно, что в некоторых камерах механизм автофокусировки можно с легкостью использовать для выполнения желаемой дискретизации, осуществляя движение в ходе фотографирования, при условии, что движение и затвор можно с достаточной точностью контролировать и синхронизировать.

Примечательно, что в случае, когда V_sweep*A/b² изменяется в течение экспозиции, соответствующим параметром является среднее по времени от V_sweep*A/b² на протяжении времени экспозиции. Как было объяснено в связи с фиг. 1, альтернативный вариант осуществления необходимой пространственно-временной дискретизации предусматривает фиксацию смещения датчик-объектив и качание фокусного расстояния главной линзы в течение времени экспозиции (нижняя часть фиг. 1). Очевидно, что для этого требуется переключаемая оптика, такая как жидкостные собирающие линзы или двулучепреломляющие ЖК материалы. Переключаемые ЖК линзы применяются в 3D (трехмерных) экранах, где они используются для перехода между 2D (без линзового эффекта) и 3D режимами. Показатель преломления может изменяться только в одном направлении (только цилиндрические линзы). Переменного фокусного расстояния также можно добиться с помощью мембраны, наполненной жидкостью, которая может деформироваться под действием давления жидкости. Опять же, предпочтительно, чтобы плоскость изображения качалась линейно со временем: b=b₀+c₀t. Поскольку расстояние до плоскости изображения связано с расстоянием до объекта и фокусным расстоянием объектива уравнением линзы:

1/f=1/v+1/b,

Из этого следует, что предпочтительно, чтобы фокусное расстояние изменялось со временем согласно:

f(t)=1/(1/v+1/(b₀+c₀t)),

где f(t) обозначает фокусное расстояние объектива как функцию времени и c₀ - константа.

Можно использовать также их комбинацию, например, для ограничения физического движения датчика или его скорости качания, с одновременным увеличением степени пространственно-временной дискретизации (т.е. протяженности диаболо на фиг. 6A), или увеличения скорости качания.

На фиг. 8 показаны способ обращения свертки записанного изображения и система для записи данных изображения и обращения свертки записанных данных изображения. Изображение записывается камерой, содержащей объектив 2 и подвижный датчик 3. Данные датчика считываются считывающим устройством. Соответствующее изображение 81 схематично показано размытым. Записанное изображение подвергается обращению свертки в блоке 82 обращения свертки. Таким образом, система содержит блок обращения свертки для осуществления обращения свертки данных изображения. Способ осуществляет обращение свертки записанных данных изображения. Блок обращения свертки осуществляет операцию обращения свертки в отношении записанного изображения. Для облегчения понимания, алгоритм и способ показан в виде ряда этапов. Первый этап состоит в вычислении функции рассеяния точки. В простом варианте осуществления функция рассеяния точки зависит от параметров V_sweep *A/b. В простых вариантах осуществления функция PSF вычисляется для неподвижного объекта в середине диапазона качания. Поскольку, как объяснено выше, для большого диапазона скоростей функции PSF почти не зависят от скорости для вариантов осуществления изобретения, IPSF для неподвижного объекта в середине диапазона качания будет хорошим приближением первого порядка для оптимальной PSF для всех скоростей. В более продвинутых вариантах осуществления расстояние до объекта используется для точной настройки PSF и, таким образом, IPSF. Расстояние до объекта может, например, записываться камерой. Большинство камер имеют какую-либо разновидность автофокусировки, которая позволяет определять расстояние до объекта. Как объяснено выше, было обнаружено, что даже если объект не находится в фокусе в середине качания, формирование изображения, инвариантного относительно движения, вполне возможно. Если объект находится в фокусе не в середине периода экспозиции, а несколько раньше или позже, то захватывается наибольшая часть информации, поскольку наибольшая часть информации присутствует в окрестности точки пересечения диаболо, то и возможно очень хорошее формирование изображения, инвариантного относительно движения. Однако, хотя использование функции PSF для неподвижного объекта в середине диапазона качания даст хорошие результаты, несколько улучшенные результаты можно получить путем точной настройки PSF, сделав PSF зависимой от расстояния до объекта и, возможно, других параметров. Это обеспечит несколько асимметричную и сдвинутую PSF. Конечным результатом будет несколько более резкое изображение для движущегося объекта на конкретном расстоянии от объектива, ценой несколько менее резкого изображения на других расстояниях. Примечательно, что расстояние до объекта также можно использовать для определения, в вариантах осуществления изобретения, частоты качания. Как объяснено выше, определяющим фактором является скорость объекта, деленная на его расстояние до объектива. Таким образом, для объектов на расстоянии 2 метров при данной скорости, по сравнению с объектами на расстоянии 10 метров при той же скорости, будет выгодно использовать увеличенную скорость качания, т.е. увеличить V_sweep. В вариантах осуществления способов работы камеры, отвечающей изобретению, измеряется, по меньшей мере, один или более из группы параметров, состоящей из расстояния от объекта до объектива, скорости объекта, направления скорости объекта, а скорость качания задается в зависимости от измеренного параметра. Это, в свою очередь, будет оказывать влияние на параметры для PSF.

Скорость объекта также может служить входными данными для блока 82 обращения свертки. Опять же, хотя изобретение позволяет использовать единую функцию PSF для всех скоростей, все же возможны некоторые эффекты второго порядка, в которых PSF можно точно настраивать на конкретную скорость. Возможной областью применения является камера измерения скорости; которые уже обеспечивают хорошую оценку направления и скорости объекта.

Расчеты показали, что в PSF может присутствовать небольшая, второго порядка, зависимость от направления движение. В вариантах осуществления, вычисляется оптимальная PSF для диапазона направлений, и используемая PSF является выбором в этом диапазоне в зависимости от входных данных направления. Выбор может быть, например, максимальным, минимальным, серединным, взвешенно средним и т.д.

Время качания также может быть входными данными.

Короче говоря, блок обращения свертки может получать входные данные для точной настройки для использования PSF. На фиг. 8 показаны различные параметры, причем наиболее важными из которых являются частота качания, расстояние до объекта и скорость объекта и направление скорости.

Подвергнутое обращению свертки и резкое изображение 83 показано справа на фиг. 8.

Для облегчения понимания, способ, система и алгоритм представлены в виде различных этапов, начиная с PSF, и затем вывода обратной PSF из PSF. Конечно, поскольку IPSF является важной функцией в обращении свертки, и IPSF является функцией, обратной к PSF и наоборот, можно начать прямо с IPSF, и различные входные данные могут с таким же успехом быть входными данными, после надлежащего преобразования для использования в IPSF, для определения IPSF, подлежащей использованию в обращении свертки.

Предпочтительно, чтобы в ходе записи движение датчика осуществлялось только в одном направлении, например, только по направлению к объективу. Хотя в приближении первого порядка, изображение, подвергнутое обращению свертки, так же не зависит от направления качания датчика, т.е. не зависит от того, движется ли он по направлению к объективу или от него, в приближении второго порядка это справедливо строго для объектов, которые находятся в фокусе в середине качания датчика. Для объектов, более удаленных или приближенных к объективу, существует небольшое различие в конечном результате, в частности, в отношении позиции объекта в изображении, подвергнутом обращению свертки. В единичном изображении это различие незаметно или почти незаметно, но в видеопоследовательности может возникать дрожание позиции объектов. Во избежание возникновения этого эффекта, предпочтительно, чтобы движение датчика в течение экспозиции было односторонним, т.е. только в одном направлении. Конечно, датчик затем должен переместиться обратно к начальной позиции, прежде чем можно будет записывать следующие данные. В этом варианте осуществления будет присутствовать дополнительное ограничение по времени экспозиции, чтобы датчик мог переместиться обратно к начальной позиции.

На фиг. 9 показано перемещение датчика. Линия 91 представляет расстояние, пройденное датчиком, линия 92 - скорость датчика. В течение первого периода времени датчик набирает скорость, что иллюстрирует линия 92 тем фактом, что скорость возрастает от 0 до фиксированной скорости, которая поддерживается некоторое время. После этого датчик останавливается и быстро возвращается в свою исходную позицию. Возврат датчика означает, что данные можно записывать только часть времени, в этом примере, например, только приблизительно 50-70% времени. При перемещении датчика назад и вперед, что возможно, например, при выполнении одиночного снимка, датчик не должен возвращаться в свою исходную позицию. Как объяснено выше, перемещение может осуществляться двумя разными способами или их комбинацией, либо физическим перемещением датчика или объектива, либо изменением характеристики объектива.

Для малых времен экспозиции или быстрого перемещения датчика предпочтительно использовать, по меньшей мере, для части перемещения, изменение характеристики объектива.

Короче говоря, камера, инвариантная относительно движения, отвечающая изобретению, обеспечивает резкие высококачественные видеосъемки или изображения, в частности, в условиях низкой освещенности. Будучи преимуществом для большинства камер и систем оптического формирования изображения, в том числе бытовых камер и видеокамер, это особенно ценно для некоторых профессиональных применений для слежения и мониторинга. Например, камерам наблюдения в охранных системах часто приходится работать в условиях темноты. Современные камеры наблюдения отличаются дорогостоящими решениями, такими как система охлаждения датчика, для достижения желаемых уровней SNR. Настоящее изобретение можно использовать либо для обеспечения экономичной альтернативы камере с высоким динамическим диапазоном, либо для дальнейшего повышения динамического диапазона современных датчиков. Следует отметить, что это изобретение описывает новый подход к дискретизации света и поэтому может быть реализовано с использованием любой существующей технологии фотодатчиков.

Изобретение может быть описано в виде камеры и системы, содержащей камеру, в которой, в течение экспозиции, отношение расстояния между объективом и датчиком и фокусного расстояния изменяется. Задается такая частота изменения, которая позволяет достигать формирования изображения, инвариантного относительно движения, для практических диапазонов скоростей, т.е. скорости, по меньшей мере, до 5 км/ч на расстоянии 2 метров от объектива, путем обращения свертки составного изображения. Предпочтительно, чтобы достижимый диапазон скоростей был, по меньшей мере, вдвое выше. Предпочтительным является линейное движение датчика.

Следует отметить, что, хотя вышеописанные способы и устройства могут работать вслепую, не располагая информацией о скоростях возникающих объектов в сцене и, следовательно, на датчике, наличие такой информации позволяет достичь повышенной точности реконструкции (т.е. более резких/качественных окончательных изображений). Это можно делать либо статически (например, зная, какие скорости обычно имеют место, например, в применении машинного зрения, где известна скорость ленты транспортера, на которой перемещаются анализируемые объекты), либо динамически, когда система (например, периодически) измеряет скорости объектов в сцене и оптимально регулирует параметры согласно описанным ниже альтернативным вариантам осуществления.

Первое усовершенствование состоит в выборе (кодированной) апертуры, приспособленной к скоростями возникающих объектов, что можно осуществлять, например, с помощью жидкокристаллического элемента, находящегося перед объективом или между объективом и датчиком и т.д. Например, имея типичную скорость объекта (например, среднее движение доминирующего объекта сцены) v_average и ее отклонения от скоростей других объектов (например, люди на поезде, машущие руками) C_max, можно выбрать круглую подобласть исходной апертуры, например, согласно:

,

где , и x - расстояние от объекта (изображаемой точки) до объектива, f - фокусное расстояние объектива, и V_L - скорость смещения вдоль оптической оси датчика. d_max это параметр неопределенности, относящийся к позиции изображения объекта на плоскости изображения (т.е. центральные лучи через центр объектива от точки объекта в позициях на датчике на расстоянии d от центра датчика, должны иметь расстояния d<d_max). Это соответствует кругу со смещением равным α умноженной на v_average, и радиусом 1,25*α*C_max+d_max.

Конечно, можно оптимально определять апертуры более сложных форм, например, в форме кольца для вращающихся объектов.

Другой вариант осуществления для улучшения изображения, дающий информацию о типичных скоростях объектов (например, объекта, движущегося со скоростью v_obj и неподвижного фона), предусматривает перемещение датчика не только вдоль оптической оси, но и перпендикулярно к ней (создавая сложное диагональное движение).

Отслеживание движения объекта можно производить перемещением камеры целиком в панорамирующем движении, или, альтернативно, прямолинейным перемещением датчика перпендикулярно оптической оси.

Согласно этому настоящему варианту осуществления, можно сочетать отслеживание движения с принципом качания фокуса, создавая систему, которая перемещает плоскость формирования изображения под углом к оптической оси. Способ или устройство варианта осуществления разлагает движение датчика на два ортогональных вектора: V_sweep вдоль оптической оси и V_TR перпендикулярно ей.

Прямолинейное перемещение датчика вдоль V_TR создает сдвиг интегрирования двойного конуса (конусов, которые возникают вследствие размытия, зависящего от времени, посредством качания датчика) с таким углом, который компенсирует среднюю скорость объекта . Когда ничего не делается, ядра размытия в DCI будут симметричны относительно вертикали для неподвижных объектов, но движущиеся объекты создают сдвинутую версию этого конуса. Можно (частично) сдвигать его назад, при наличии обратного поступательного движения V_TR.

Вместо центрирования по нулевому движению, диапазон инвариантных скоростей теперь центрируется по скорости слежения . Для движения вдоль оптической оси, вариант осуществления может создавать инвариантность движения, задавая оптимальную скорость качания и диапазон в зависимости от средней скорости, например:

,

где a -апертура системы.

Т.е. скорость качания выбирается так, чтобы охватить заранее заданный диапазон инвариантных скоростей:

.

Заметим, что для генерации резкого изображения скорость объекта не должна строго совпадать. Пока скорость объекта попадает в инвариантный диапазон (т.е. охватывающий в примере как скорость движения объекта v_obj, так и нулевую статическую скорость), резкая реконструкция возможна.

Т.е. можно заменить более точным слежением меньшее качание, или наоборот, отслеживать (по меньшей мере, некоторые объекты) неточно, но иметь более широкий конус DCI, т.е. большее качание датчика. Предпочтительно совместно оптимизировать скорость качания и прямолинейное перемещение так, чтобы можно было правильно реконструировать как неподвижные, так и движущиеся объекты.

Еще один вариант осуществления повышает качество формирования изображения путем смещения датчика перпендикулярно оптической оси. Поскольку движение объекта сцены на датчике является как функцией геометрической проекции через систему формирования изображения, так и движением самого датчика:

,

где v - объект изображения, y - расстояние между объективом и плоскостью изображения теоретической резкости (которая обычно находится в средней точке качания датчика), d - расстояние от центра датчика изображаемой точки и V_L - скорость качания датчика.

Согласно настоящему варианту осуществления, желательно сделать эту скорость на датчике малой, чтобы снизить размытие вследствие движения, что можно делать, например, выбирая смещение датчика:

При смещении датчика со скоростью

получается типичное оптимальное смещение:

.

Заметим, что для трех вышеописанных вариантов осуществления можно выбрать несколько оптимальных значений параметра (например, несколько форм апертуры, например, размеров, несколько ортогональных движений и несколько смещений датчика, поскольку они не только зависят от желаемой точности реконструкции и, например, от сложности обратной фильтрации, а также могут в разной степени комбинировать вышеозначенные три принципа и, например, уменьшать качание вдоль оптической оси и/или ортогональное движение, выбирая более оптимальное смещение датчика (в среднем).

Изобретение относится к камере и системе, содержащей камеру, в которой отношение расстояния между объективом и датчиком и фокусным расстоянием изменяется в течение экспозиции. Изобретение также относится к способу обращения свертки данных изображения. Задается такая частота изменения, которая позволяет достигать формирования изображения, инвариантного относительно движения. Технический результат - снижение размытия вследствие движения. 4 н. и 13 з.п. ф-лы, 24 ил., 1 табл.

1. Камера для записи изображения, содержащая объектив (2), датчик (3) изображения, причем отношение расстояния между датчиком изображения и объективом вдоль оптической оси и фокусного расстояния изменяется в течение времени экспозиции изображения, отличающаяся тем, что камера выполнена с возможностью изменять отношение так, что сохраняется следующее:
V_sweep*A/b²>0,25 с^-1,
где V_sweep - движение датчика и/или движение объектива вдоль оптической оси и/или изменение фокусного расстояния в секунду, A - апертура объектива и b - расстояние между объективом и датчиком.

2. Камера по п.1, в которой V_sweep*A/b² больше чем 0,5 с^-1.

3. Камера по п.1, в которой V_sweep*A/b² меньше чем 15 с^-1.

4. Камера по п.1, в которой камера устроена так, что время экспозиции находится между 0,005 и 0,05 секундами.

5. Камера по п.1, в которой V_sweep является линейной.

6. Камера по п.1, в которой изменение отношения таково, что датчик достигает позиций за пределами диапазона всевозможных глубин резкости.

7. Камера по п.1, в которой смещение датчика по отношению к фокальной плоскости вдоль оптической оси сделано зависимым, по меньшей мере, в верхнем диапазоне времен экспозиции, от времени экспозиции.

8. Камера по п.1, в которой, по меньшей мере, одна характеристика объектива изменяется.

9. Камера по п.1, содержащая средство для измерения расстояния до объекта, причем V_sweep установлена в зависимости от измеренного расстояния.

10. Камера по п.1, в которой камера является видеокамерой, отличающаяся тем, что перемещение в течение экспозиции осуществляется только в одном направлении.

11. Система для записи изображений, содержащая камеру по любому из предыдущих пунктов, дополнительно содержащая блок обращения свертки для обращения свертки изображения, записанного камерой, с использованием обратной функции рассеяния точки для обращения свертки.

12. Система по п.11, в которой блок обращения свертки имеет вход для ввода одного или более из группы параметров, состоящей из расстояния от объекта до объектива, скорости объекта, направления скорости объекта, частоты качания, A, b, расстояния качания, времени экспозиции.

13. Система по п.12, в которой, по меньшей мере, одним из группы входных параметров является расстояние от объекта до объектива.

14. Способ записи изображения с использованием камеры, содержащей объектив и датчик изображения, в котором отношение расстояния между датчиком изображения и объективом и фокусного расстояния изменяется вдоль оптической оси в течение времени экспозиции изображения, причем в ходе записи изображения сохраняется следующее:
V_sweep*A/b²>0,25 с^-1,
где V_sweep - движение датчика и/или движение объектива вдоль оптической оси и/или изменение фокусного расстояния в секунду, A - апертура и b - расстояние между объективом и датчиком.

15. Способ по п.14, в котором, измеряется, по меньшей мере, один или более из группы параметров, состоящей из расстояния от объекта до объектива, скорости объекта, направления скорости объекта, и V_sweep задается в зависимости от измеренного параметра.

16. Способ обращения свертки изображения, записанного с использованием способа по п.14 или 15, в котором обращение свертки осуществляется с использованием обратной функции рассеяния точки.

17. Способ обращения свертки по п.16, в котором обратная функция рассеяния точки задается в зависимости от входных данных, причем входные данные являются одним или более из группы параметров, состоящей из расстояния от объекта до объектива, скорости объекта, направления скорости объекта, частоты качания, A, b, расстояния качания, времени экспозиции.