СПОСОБ ПОЛУЧЕНИЯ ФОТО- ИЛИ ВИДЕОИЗОБРАЖЕНИЯ ПО МЕНЬШЕЙ МЕРЕ ОДНОГО ОБЪЕКТА СЪЕМКИ Российский патент 2018 года по МПК G02B7/36 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области цифровой фото- и видеосъемки, и может быть использовано для съемки и мониторинга удаленных объектов, например, таких как лесные массивы.

ОПРЕДЕЛЕНИЯ

Для целей изложения настоящей заявки в дальнейшем будут применяться следующие понятия и определения, являющиеся известными и широкоупотребимыми в научной и специализированной литературе.

Объект съемки - предмет или его часть или несколько предметов, находящиеся в поле видимости фото- или видеокамеры, и представляющие непосредственный интерес при проведении съемки. В случае камеры с изменяемым направлением обзора, в качестве объекта съемки можно рассматривать также предметы, попадающие в поле видимости при различных направлениях обзора..

Фон - часть изображения, не являющаяся объектом съемки. В общем случае фоном может быть: небо, земля, другие природные объекты, часть конструкции и т.д.

Резкость (четкость) - качество, характеризующее различимость деталей на изображении. Изображение (или его часть) считается резким (четким), если на нем в достаточной для конкретного приложения степени различимы детали изображения, то есть объекты съемки или их части. При проведении съемки объект съемки должен быть резким.

Фокусировка - настройка (выбор) параметров объектива камеры, при которых изображение объекта съемки становится наиболее резким.

Объект фокусировки - частный случай объекта съемки, по изображению которого выполнена фокусировка.

Контраст - количественная мера отношения яркости соседних элементов изображения. Если Pf - яркость одного элемента изображения, Po - яркость другого элемента изображения, то контраст количественно может быть определен как абсолютная величина (модуль) отношения (Pf-Po)/(Pf+Ро). Чем выше контраст, тем лучше различимы рассматриваемые элементы изображения.

В качестве элементов изображения можно рассматривать объект съемки и фон. Тогда при высоком контрасте объект съемки хорошо отличим от фона. Чем выше контраст между объектом и фоном, тем лучше объект заметен на изображении.

В качестве элементов изображения также можно рассматривать разные части объекта съемки. Чем выше контраст между различными частями объекта съемки, тем объект съемки контрастнее. Контрастные объекты (или контрастные части объектов) следует выбирать в качестве объектов фокусировки. Чем более контрастен объект, тем проще оценить различимость его деталей, а значит оценить его резкость на изображении [1].

Глубина резко изображаемого пространства, Глубина резкости (ГРИП) - расстояние вдоль оптической оси объектива между двумя плоскостями в пространстве предметов, в пределах которого объекты отображаются в сопряженной фокальной плоскости субъективно резко. Непосредственно зависит от важнейших характеристик оптической системы: главного фокусного расстояния и относительного отверстия, а также от дистанции фокусировки. Причем

R₁ - передняя граница резко изображаемого пространства;

R₂ - задняя граница резко изображаемого пространства;

R - расстояние в метрах, на которое производится наводка на резкость;

f - фокусное расстояние объектива, в метрах;

Κ - знаменатель геометрического относительного отверстия объектива или диафрагменное число;

z - диаметр кружка нерезкости или допустимый кружок рассеяния, например для негативов форматом 24×36 мм равный 0,03-0,05 мм (в формулу подставляется значение в метрах). Для современных цифровых камер равен размеру пикселя матрицы (для различных матриц различны, в т.ч. есть равные 0,003 мм). Допустимый диаметр кружка нерезкости определяется требованиями к четкости изображения и может зависеть от решаемых задач.

Глубина резко изображаемого пространства P определяется разностью между задней и передней границами резкости: P=R₂-R₁.

Камера - цифровая фото- или видеокамера. При современном развитии индустрии оптических электронных устройств общие принципы реализации фото- и видеокамер являются очень близкими, поэтому в дальнейшем под термином "камера" будем подразумевать одно из этих устройств, но чаще всего видеокамеру.

УРОВЕНЬ ТЕХНИКИ

Современные фото- и видеокамеры могут оснащаться поворотным механизмом и часто снабжаются механизмом изменения фокусного расстояния (трансфокатором), что позволяет с помощью одной камеры снимать объекты съемки в разных направлениях с различной детализацией. Такие камеры могут применяться для съемки объектов на удаленном расстоянии и мониторинга больших территорий. Например, поместив камеру на природном или искусственном высотном объекте, можно осматривать большую площадь прилегающих территорий с целью обнаружения пожаров, в том числе лесных.

Реализация применяемой совокупности устройств, включающей саму камеру, поворотное устройство и трансфокатор, предполагает, что камера имеет возможность фокусироваться на объекты, находящиеся на различном расстоянии от точки расположения камеры.

Известны система и способ видеомониторинга леса (патент РФ №2458407, МПК G08B 25/10, опубл. 10.08.2012 г.), а также способ управления системой мониторинга и система для его реализации (патент РФ №2504014, МПК G08B 17/00, G08B 25/10, опубл. 13.06.2012 г.) в которых применяются подобные камеры.

Фокусировка (настройка резкости) камеры может осуществляться несколькими способами. Например, ручным, при котором оператор производит фокусировку, добиваясь оптимального качества изображения на видоискателе или экране. Или автоматическим способом, при котором в камере реализованы алгоритмы и механизмы, позволяющие ей самостоятельно оценивать текущие параметры фокусировки и подстраивать их до оптимального значения. Зачастую используется контрастная или фазовая автофокусировка, описанные в многочисленной литературе и сети Интернет (https://ru.wikipedia.org/wiki/Aвтoфoкyc). Также такие способы описаны, например, в патентах РФ №2456654, 2389050, 2528582.

Очевидно, что при использовании управляемых камер, размещаемых на высотных объектах для осуществления видеонаблюдения, мониторинга, контроля лесных массивов у оператора нет возможности настраивать параметры фокусировки в ручном режиме при изменении направления обзора. Практически во всех таких камерах, представленных производителями в настоящий момент, реализован принцип автоматической фокусировки. Качество работы алгоритма автоматической фокусировки и качество итогового изображения у них разное.

Одной из проблем автоматической фокусировки является высокая сложность, и зачастую невозможность фокусировки при съемке сцен с низкой контрастностью, т.е. в случае наличия малого количества деталей, обладающих достаточной резкостью, в кадре изображения.

Такая ситуация возникает, например, при съемке удаленных объектов в свободном пространстве. В этом случае на качество изображения объектов влияет прозрачность (мутность) атмосферы, которая уменьшает контраст и четкость удаленных объектов, что оказывает существенное влияние на качество фокусировки, например в случае наличия тумана, задымленности, а также недостаточной освещенности.

Это приводит к тому, что при осуществлении съемки, например по маршруту патрулирования удаленного лесного массива (последовательность точек с различными углами наклона, поворота и приближения в которых камера осуществляет съемку), алгоритм автоматической фокусировки камеры зачастую может не справиться с определением оптимального значения параметров фокусировки, и камера произведет съемку размытого изображения, что, в свою очередь, скажется на качестве выполнения системой видеонаблюдения своей основной функции. Например, при мониторинге лесных массивов пользователь из-за расфокусировнности изображения, получаемого с камеры, может не заметить очаг возникновения пожара, что приведет к несвоевременному получению пользователем информации о наличии возгорания и распространению пожара на широкой территории.

Ряд современных камер обладает возможностью установить фокусировку в виде конкретного значения и запоминать параметры фокусировки для каждого конкретного маршрута съемки, или набора маршрутов, это так называемая абсолютная фокусировка. Но это существенно усложняет конструкцию камеры и уменьшает ее надежность. Кроме того, в этом случае пользователю придется в ручном режиме настраивать фокусировку для каждого объекта съемки (т.к. при описанных выше неблагоприятных условиях съемки автоматический алгоритм камеры с этой задачей не справится), что требует большого времени, и может привести к ошибкам, связанным с человеческим фактором.

Известен способ получения цифрового изображения объекта (патент РФ №2429584, опубл. 20.09.2011 г., МПК H04N 5/235), выбранный в качестве ближайшего аналога, заключающийся в формировании серии цифровых изображений одного и того же объекта, полученных при разных уровнях экспозиции, для каждого пикселя каждого цифрового изображения рассчитывают или измеряют значение параметра, определяющего эффективность фотосъемки, используя информацию от совокупности пикселей участка изображения, содержащей требуемый пиксель и отстоящих от него на заданном расстоянии, после чего попиксельно строят результирующее изображение, при этом в каждый пиксель результирующего изображения заносят информацию из сопряженного ему пикселя цифрового изображения, для которого ранее полученное значение параметра, определяющего эффективность фотосъемки, имеет оптимальное значение.

Недостатком известного способа, направленного на повышение качества изображения объекта съемки, является то, что он не позволяет гарантированно получать кадры с оптимальными или близкими к оптимальным параметрами фокусировки при съемке удаленных объектов, в том числе при средних и ниже среднего показателях прозрачности атмосферы.

СУЩНОСТЬ ПРЕДЛАГАЕМОГО СПОСОБА.

При съемке каждой сцены при конкретных условиях съемки существует понятие «глубина резкости» (ГРИП) величина которой зависит как от конкретных условий и параметров съемки, так и от характеристик камеры. Значение этой величины изменяется при изменении фокусного расстояния, открытия диафрагмы, конкретного расстояния до объекта съемки. При этом существует общее правило - чем больше расстояние до объекта съемки или фокусное расстояние, тем больше глубина резкости, поэтому для достаточно больших расстояний фокусировки и больших фокусных расстояний глубина резкости достаточно большая.

Этим свойством камеры можно воспользоваться, когда стоит задача видеосъемки и наблюдения за удаленными объектами, например за близкими к горизонту объектами при максимальном приближении камер, что необходимо при мониторинге леса для выявления лесных пожаров. В этом случае объекты съемки, в особенности при неблагоприятных погодных условиях, обладают низким контрастом, что затрудняет работу автоматической системы фокусировки камер.

Задача, на решение которой направлено изобретение, состоит в совершенствовании способа получения фото- или видеоизображения объекта.

Технический результат направлен на повышение качества фокусировки получаемых изображений.

Технический результат достигается за счет того, что в способе получения фото- или видеоизображения по меньшей мере одного объекта съемки, в котором изображение объекта съемки получают с помощью оптического электронного устройства, для по меньшей мере одного объекта съемки предварительно выбирают соответствующий ему объект фокусировки, отвечающий следующим условиям:

- изображение объекта фокусировки является более контрастным по отношению к объекту съемки;

- объект съемки находится внутри границ глубины резко изображаемого пространства;

затем получают изображение по меньшей мере одного объекта съемки, при котором

производят фокусировку оптического электронного устройства на объекте фокусировки, соответствующем объекту съемки,

фиксируют параметры фокусировки

и используют эти параметры для получения изображения объекта съемки..

Предпочтительно в качестве оптического электронного устройства использовать цифровую видеокамеру, например с дистанционным управлением и изменяемым направлением обзора, снабженную устройством автоматической фокусировки, и размещать ее на высотном объекте.

При получении фото- или видеоизображений в качестве объекта фокусировки предпочтительно выбирать наиболее контрастный по отношению к объекту съемки объект, находящийся в поле зрения оптического электронного устройства, таким образом, чтобы он находился в одном кадре с объектом съемки или в разных с ним направлениях обзора камеры. В большинстве случаев в качестве объекта фокусировки предпочтительно выбирать более близкий по отношению к объекту съемки объект, т.к. его контрастность выше в силу меньшего влияния атмосферы. Таким объектом может являться искусственный объект - сооружение, конструкция, обладающие, чаще всего, бОльшим контрастом по отношению к природным объектам.

Фокусировку оптического электронного устройства на объекте фокусировки предпочтительно осуществляют способом автоматической фокусировки, а в качестве объекта съемки выбирают участок или участки леса.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На фиг. 1 показан кадр видеосъемки удаленного объекта с низкой резкостью изображения (Пример 1).

На фиг. 2 показан кадр видеосъемки в момент фокусировки на объекте фокусировки (Пример 1).

На фиг. 3 показан кадр видеосъемки с близкой к максимально возможной резкостью изображения для существующих условий съемки (Пример 1).

ПОДРОБНОЕ РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

В заявленном способе получения фото- или видеоизображений по меньшей мере одного объекта съемки, например видеоизображений, изображения объектов съемки получают с помощью оптического электронного устройства, например цифровой видеокамеры, являющейся, например, частью системы видеомониторинга леса, описанной в патенте РФ №2458407. Используют видеокамеру с дистанционным управлением, снабженную устройством автофокусировки, с возможностью изменения направления обзора и закрепляют ее на высотном объекте, например на мачте. В качестве объекта съемки выбирают, например, удаленный участок леса.

При реализации способа предварительно выбирают объект фокусировки, например, отдельно стоящий дом, отвечающий следующим условиям:

- изображение дома должно быть более контрастным, например наиболее контрастным, по отношению к участку леса;

- участок леса находится внутри границ глубины резко изображаемого пространства.

При этом выбранный в качестве объекта фокусировки дом может находиться как в одном кадре с участком леса, так и в другом по отношению к нему направлении обзора видеокамеры.

Выбор объекта фокусировки может быть осуществлен оператором или пользователем системы в ручном режиме или автоматически. При работе в ручном режиме при помощи камеры осматривают территорию предпочтительно ближе объекта съемки для поиска контрастного объекта. Это может сделать оператор системы визуально путем решения зрительной задачи. Выявив наиболее контрастный объект, оператор выбирает его в качестве объекта фокусировки. Автоматический выбор объекта фокусировки осуществляют с использованием алгоритмов компьютерного зрения (см., например, [2]).

Одновременно с выбором объекта фокусировки экспериментально или путем математических расчетов устанавливают факт нахождения объекта съемки внутри границ глубины резко изображаемого пространства при фокусировки на доме.

Эксперимент проводят в хорошую погоду, когда и объект фокусировки и дом хорошо видны, и зрительно можно определить, находится ли объект съемки в границах глубины резкости. Для этого направляют камеру на дом и производят фокусировку видеокамеры в автоматическом режиме. После этого отключают на видеокамере режим автоматической фокусировки, фиксируют параметры фокусировки и не меняют, то есть используют эти параметры при получении изображения объекта съемки.

Если резкость изображения объекта съемки - высокая и устраивает пользователя, то при данных параметрах камеры и объектива объект съемки находится в глубине резкости, если нет, то надо выбрать другой объект фокусировки, например подальше от камеры - т.е. поближе к объекту съемки.

Математическое определение факта нахождения дома внутри границ глубины резко изображаемого пространства можно проводить в любую погоду. При этом кроме расстояния до объекта фокусировки оператору должны быть известны характеристики объектива, указанные в формулах определения границ ГРИП, приведенные в разделе "Определения" настоящего описания.

После выбора объекта фокусировки, отвечающего заданным условиям, и фокусировки на нем камеры получают изображение объекта съемки. При необходимости получения изображений нескольких объектов съемки, особенно в случае, когда изображения этих объектов получают с установленной периодичностью, можно заранее для каждого из них определить объект фокусировки и осуществлять съемку без этапа определения объекта фокусировки, отвечающего заданным условиям, а только лишь в режиме "фокусировка на объекте фокусировки - фиксация параметров фокусировки - получение изображения объекта съемки". Такая же схема работы справедлива при съемке одного и того же объекта с разными величинами фокусного расстояния. При этом в управляющем работой камеры приложении целесообразно сохранить параметры ее ориентации на объект или объекты фокусировки после их определения и в дальнейшем осуществлять процедуру фокусировки в автоматическом режиме. Также в таких случаях целесообразно сохранять параметры ориентации камеры на объект (объекты) съемки.

Если в границы глубины резко изображаемого пространства попадает не один участок леса, то без дополнительных процедур фокусировки могут быть получены изображения всех из них. Например, можно без дополнительной фокусировки производить круговую или секторальную съемку удаленных участков леса, когда маршрут съемки камеры проходит по одинаково удаленной территории.

В случае если во время съемки расстояние до объектов съемки меняется, и происходит их выход за границы резко изображаемого пространства, необходимо проводить фокусировку по объекту фокусировки заново, или менять объект фокусировки. Тоже самое необходимо делать если изменяют фокусное расстояние т.е. визуально приближают или отдаляют объект съемки.

Пример 1.

Для получения видеоизображений использовали систему видеомониторинга леса, описанную в патенте РФ №2458407, с входящей в нее камерой AXIS Q6032E производства шведской компании AXIS, являющейся представителем семейства управляемых камер IP PTZ (pan, tilt, zoom). Такие камеры кроме стандартных элементов - оптического устройства и электронной матрицы - включают устройство, обеспечивающее возможность изменение направления обзора камеры и трансфокатор. Кроме того такие камеры имеют возможность подключения в сеть интернет и имеют интерфейс взаимодействия, через который с помощью цифровых команд можно управлять камерой. В качестве протокола, обеспечивающего управление, использовали протокол ONVIF: http://www.onvif.org/Documents/Specifications.aspx.

Камера была закреплена на высоте 70 м на вышке оператора связи, расположенной на расстоянии 5 км от объекта мониторинга (съемки) - лесного массива с размерами: 10 км по горизонту × 3 км. Камеру привели в рабочее состояние. Погодные условия - температура - "+25", сухо, небольшое задымление, вызванное торфяными пожарами без открытого горения и явно выраженного очага.

Удаленный оператор, находящийся в специализированном центре контроля и мониторинга, вывел изображение, транслируемое с камеры, на экран монитора. Посредством специального программного интерфейса он дистанционно обладал возможностью управления камерой, в том числе: направлением обзора, кратностью трансфокатора.

Оператор в ручном режиме навел камеру на целевой лесной массив. По причине некоторой задымленности окружающего пространства и объекта съемки, а также большого расстояния до лесного массива, камере не удалось в автоматическом режиме сфокусироваться на объекте съемки (см. фото 1).

Оператор применил способ, являющийся предметом настоящего изобретения. Для этого он в ручном режиме выбрал визуально наиболее контрастный из доступных объект фокусировки - лесополосу, находящуюся приблизительно в 300 м от места расположения камеры. Негативный эффект от задымления в этом случае - невысокий.

Путем предварительных математических вычислений оператор определил границы ГРИП для текущей ситуации и имеющихся параметров камеры.

Значение величины R₁, равное 72,8 м, означает, что ближняя граница резко изображаемого пространства находится ближе объекта съемки.

Величина R₂ является отрицательной. Это значит, что дальняя граница резко изображаемого пространства бесконечно удалена, то есть объект съемки попадает в зону ГРИП.

Камера в автоматическом режиме сфокусировалась на лесополосе (см. фото 2), и оператор отключил режим автофокусировки. Зафиксировали параметры фокусировки.

Т.к. в границах глубины резко изображаемого пространства лежал весь участок леса, то меняя направление обзора камеры по горизонтали, оператор проводил его съемку (мониторинг) не меняя параметров фокусировки. Получили изображение с близкими к максимальным по качеству параметрам резкости для существующих условий съемки (см. фото 3).

Автоматический выбор объекта фокусировки может быть реализован программными методами. Производят панорамную съемку местности, расположенной предпочтительно ближе к месту расположения камеры, чем объект или объекты съемки, включающей потенциальные объекты фокусировки. Съемку производят на небольшом приближении, например ×1,5 (в этом случае проблем с фокусировкой нет) с использованием программы управления камерой. Далее программно анализируют четкость и контраст отдельных участков (объектов) итоговой панорамы и оценивают, какие из этих объектов являются наиболее контрастными и четкими. На основе данных об угле наклона камеры и высоте ее размещения определяют расстояние до этого объекта. На основании полученных данных при известных параметрах объектива камеры определяют ГРИП. На основании критериев, приведенных в настоящей заявке в отношении объекта фокусировки, выбирают по меньшей мере один объект фокусировки.

Таким образом, предлагаемый способ получения фото- или видеоизображений позволяет получать изображения объектов съемки с повышенным качеством за счет повышения качества фокусировки изображений.

[1] Шаронов, В.В. Измерение и расчет видимости далеких предметов / В.В. Шаронов. - М. - Л.: ОГИЗ Гостехиздат. - 1947. - 284 с. [2]) Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход (2004. - 928 с.)

Изобретение относится к области цифровой фото- и видеосъемки и может быть использовано для съемки и мониторинга удаленных объектов, например, таких как лесные массивы. Способ получения фото- или видеоизображения по меньшей мере одного объекта съемки заключается в том, что изображение объекта съемки получают с помощью оптического электронного устройства, при этом для по меньшей мере одного объекта съемки предварительно выбирают соответствующий ему объект фокусировки, отвечающий следующим условиям: изображение объекта фокусировки является более контрастным по отношению к объекту съемки, а объект съемки находится внутри границ глубины резко изображаемого пространства. После этого получают изображение по меньшей мере одного объекта съемки, при котором производят фокусировку оптического электронного устройства на объекте фокусировки, соответствующем объекту съемки, фиксируют параметры фокусировки и используют эти параметры для получения изображения объекта съемки. Технический результат – повышение качества фокусировки получаемых изображений. 14 з.п. ф-лы, 3 ил.

1. Способ получения фото- или видеоизображения по меньшей мере одного объекта съемки, заключающийся в том, что изображение объекта съемки получают с помощью оптического электронного устройства, снабженного устройством автоматической фокусировки, отличающийся тем, что

для по меньшей мере одного объекта съемки предварительно выбирают соответствующий ему объект фокусировки, отвечающий следующим условиям:

- изображение объекта фокусировки является более контрастным по отношению к объекту съемки;

- объект съемки находится внутри границ глубины резко изображаемого пространства, которая определяется значением величины задней границы резкости и значением величины передней границы резкости;

получают изображение по меньшей мере одного объекта съемки, при котором производят автоматическую фокусировку оптического электронного устройства на объекте фокусировки, соответствующем объекту съемки; фиксируют параметры фокусировки;

используют эти параметры для получения изображения объекта съемки с выключенным режимом автоматической фокусировки на оптическом электронном устройстве.

2. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что в качестве оптического электронного устройства используют цифровую видеокамеру.

3. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что в качестве оптического электронного устройства используют камеру с дистанционным управлением.

4. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что в качестве оптического электронного устройства используют камеру с изменяемым направлением обзора.

5. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что в качестве оптического электронного устройства используют камеру, снабженную устройством автоматической фокусировки.

6. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что оптическое электронное устройство размещают на высотном объекте.

7. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что объект фокусировки выбирают в условиях хорошей видимости объекта съемки.

8. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что объект фокусировки выбирают таким образом, что он находится в одном кадре с объектом съемки.

9. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что в качестве объекта фокусировки выбирают наиболее контрастный по отношению к объекту съемки объект, находящийся в поле зрения оптического электронного устройства.

10. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что объект фокусировки выбирают таким образом, что объект фокусировки и объект съемки находятся в разных направлениях обзора оптического электронного устройства.

11. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что фокусировку оптического электронного устройства на объекте фокусировки осуществляют способом автоматической фокусировки.

12. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что в качестве объекта съемки выбирают участок или участки леса.

13. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что в качестве объекта съемки выбирают участки леса, лежащие в разных направлениях обзора оптического электронного устройства.

14. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что в качестве объекта съемки выбирают протяженный объект, а изображение объекта съемки получают с изменением направления обзора оптического электронного устройства.

15. Способ получения фото- или видеоизображения по п. 1, отличающийся тем, что оптическое электронное устройство снабжено трансфокатором, а фокусировку на объекте фокусировки и получение изображения объекта съемки производят с фиксированным значением фокусного расстояния.