СПОСОБ, ОСНОВАННЫЙ НА АНАЛИЗЕ ИЗОБРАЖЕНИЙ АВТОМАТИЧЕСКОЙ ЭКСПОКОРРЕКЦИИ Российский патент 2016 года по МПК H04N5/235 

Изобретение относится к основанной на анализе изображений автоматической экспокоррекции в отношении видеоинформации или сигналов изображения, поступающих в домашние системы связи.

В домашних системах связи при передаче изображения, заснятого камерой дверной станции, на устройство отображения по меньшей мере одной квартирной станции является общепринятым осуществлять автоматическую настройку экспозиции на основе средней яркости по всему изображению, чтобы таким образом компенсировать различия в яркости, возникающие в различное время суток и при различных погодных условиях (утро, полуденное солнце, легкая/сильная облачность, вечер, ночь). Светочувствительность вычисляется при базовой предпосылке, что все изображение имеет определенную среднюю яркость, например яркость, составляющую 18%. При вычислении учитывается вся область изображения с одинаковым весовым коэффициентом.

Базовая предпосылка, что оптимальная настройка экспозиции для съемки может осуществляться на основе средней яркости по всей области изображения, не подходит в случае стандартных применений дверных станций (внешних станций) домашних систем связи. К таким ситуациям относятся, например, ситуации, когда человек находится перед внешней станцией близко к стене дома в затененной области, а фон изображения, напротив, прямо освещается и на изображении является значительно более светлым. Также часто возникают и ситуации съемки против света, которые приводят к сходному эффекту. Из-за таких сильно различающихся условий освещения для переднего плана - с человеком - и заднего фона общепринятая автоматическая настройка экспозиции приводит на практике к неудовлетворительным результатам. Результатом является заметное снижение контрастности при отображении человека на передаваемом видеоизображении общеизвестных дверных станций.

В основе изобретения лежит задача создания оптимизированного способа основанной на анализе изображений автоматической экспокоррекции в отношении видеоинформации, получаемой в домашних системах связи.

Эта задача в соответствии с изобретением решается способом автоматической экспокоррекции, основанной на анализе изображений, в домашней системе связи, которая в качестве компонентов системы содержит дверную станцию и по меньшей мере одну подключенную к ней посредством шины квартирную станцию,

- причем камера дверной станции регистрирует изображения людей, находящихся перед дверной станцией,

- причем эти изображения отображаются на устройстве отображения квартирной станции,

- причем сгенерированный камерой аналоговый или цифровой сигнал изображения оценивается с помощью детектора областей, который идентифицирует одну или несколько релевантных областей изображения,

- причем датчик измеряемой яркости определяет качество экспозиции по меньшей мере одной представляющей интерес области изображения на основе результатов детектора областей,

- причем блок регулирования на основе заданного номинального значения и фактического значения, сгенерированного и выданного датчиком измеряемой яркости, определяет управляющие параметры, которые итерационно оптимизируют параметры экспозиции камеры во время регистрации изображения.

Достигаемые с помощью изобретения преимущества заключаются, в частности, в улучшении качества изображения посредством простого и удобного способа настройки яркости. Из MPEG кодирования, обычно необходимого для передачи отображаемых данных, могут быть, например, легко получены данные, необходимые для настройки локальной яркости посредством детектора областей, при этом не требуется большого дополнительного объема вычислений. Предложенный способ экспокоррекции обеспечивает, в частности, при различных условиях освещения для переднего плана (с находящимся перед дверной станцией человеком) и заднего фона улучшенные результаты, то есть более четкое отображение человека на видеоизображении, передаваемом от дверной станции к квартирной станции. Если, например, человек находится в затененной области, в то время как задний фон ярко освещен, то предложенный способ экспокоррекции приводит к осветлению изображения человека. То же самое происходит и в ситуации съемки против света.

При этом управляющие параметры, определенные с помощью блока регулирования, могут непосредственно подаваться на камеру, то есть в этом случае предпринимается глобальная настройка яркости в камере. В этой связи согласно усовершенствованному варианту выполнения дополнительные данные об областях от детектора областей могут непосредственно передаваться на камеру, то есть в этом случае в камере предпринимается локальная настройка яркости.

В отличие от этого, определенные с помощью блока регулирования управляющие параметры подаются на устройство обработки изображения, которое на стороне входа принимает сгенерированный камерой сигнал изображения, то есть в этом случае предпринимается глобальная настройка яркости в устройстве обработки изображения. В этой связи, согласно усовершенствованному варианту выполнения, данные об областях могут дополнительно передаваться от детектора областей на устройство обработки изображения, то есть в этом случае предпринимается настройка локальной яркости в устройстве обработки изображения.

Дополнительно во всех формах выполнения изобретения блок оценки освещения может принимать, с одной стороны, фактическое значение, сгенерированное и выданное датчиком измеряемой яркости, и, с другой стороны, управляющий параметр блока регулирования и на основе этих данных управлять источником света для улучшения ситуации освещения (освещения дверной станции или находящегося перед ней человека).

Детектор областей может для идентификации релевантных областей изображения предпочтительным образом

- применять способ распознавания человека, например детектирования зоны головы-плеч, или детектирования лица, или

- применять способ вычитания фона, основанный на анализе изображений или

- применять способ распознавания движения, причем исходят из предпосылки, что находящемуся перед дверной станцией человеку по сравнению с фоном свойственна характерная подвижность, например, в отличие от фона он не находится в состоянии полной неподвижности.

В домашней системе связи, в которой блок регулирования, и/или детектор областей, и/или датчик измеряемой яркости вне дверной станции встроен в по меньшей мере один другой компонент системы (квартирную станцию), предпочтительным образом по меньшей мере один выходной параметр, такой как управляющий параметр, и/или данные об областях, и/или фактическое значение подается по шине.

Изобретение поясняется ниже с помощью примеров выполнения, изображенных на чертежах, на которых показано:

Фиг.1 - общий вид домашней системы связи,

Фиг.2 - первая форма выполнения дверной станции с глобальной настройкой яркости в камере,

Фиг.3 - вторая форма выполнения дверной станции с локальной настройкой яркости в камере,

Фиг.4 - третья форма выполнения дверной станции с глобальной обработкой яркости в устройстве обработки изображения,

Фиг.5 - четвертая форма выполнения дверной станции с локальной настройкой яркости в устройстве обработки изображения.

На фиг.1 показан общий вид домашней системы связи. В качестве компонентов системы показаны:

- квартирная станция 1, содержащая устройство 2 отображения,

- дверная станция 4, содержащая камеру 5, громкоговоритель 6 и по меньшей мере одну кнопку 7 звонка.

В рассматриваемой домашней системе связи может предусматриваться только одна единственная квартирная станция, однако также могут иметься две, три или более квартирных станций в качестве компонентов системы, причем число кнопок звонков дверной станции определяется числом квартирных станций. Шина 15 служит для соединения дверной станции 4 с квартирной станцией 1 или квартирными станциями.

На фиг.2 показана первая форма выполнения дверной станции с глобальной настройкой яркости в камере. Показана камера 5, аналоговые или цифровые сигналы BS изображения которой подаются на устройство 9 обработки изображения, а также на детектор 10 областей. Устройство 9 обработки изображения на стороне выхода соединено с шинным интерфейсом 13, к которому подключена шина 15. Выходные сигналы детектора 10 областей подаются на датчик 11 измеряемой яркости. На стороне выхода датчик 11 измеряемой яркости выдает фактическое значение IW в качестве выходной величины на опциональный блок 12 оценки освещения, а также на блок 8 регулирования. В блоке 8 регулирования, с другой стороны, имеется заданное значение SW. На стороне выхода блок 8 регулирования выдает управляющий параметр SG в качестве выходной величины на опциональный блок 12 оценки освещения. Опциональный блок 12 оценки освещения управляет на выходе опциональным источником 17 света. Этот вариант выполнения согласно фиг.2 также применим для других вариантов выполнений согласно фиг.3, 4, 5.

Особенность варианта выполнения согласно фиг.2 состоит в том, что блок 8 регулирования передает управляющий параметр SG дополнительно на камеру 5.

На фиг.3 показан второй вариант выполнения дверной станции с локальной настройкой яркости в камере. Особенность варианта выполнения согласно фиг.3 состоит в том, что, с одной стороны, блок 8 регулирования выдает управляющий параметр SG дополнительно на камеру 5 и что, с другой стороны, детектор 10 областей передает на камеру 5данные RI об областях в качестве выходной величины.

На фиг.4 показан третий вариант выполнения дверной станции с глобальной обработкой яркости в устройстве обработки изображения. Особенность варианта выполнения согласно фиг.4 состоит в том, что блок 8 регулирования передает управляющий параметр SG дополнительно на устройство 9 обработки изображения.

На фиг.5 показан четвертый вариант выполнения дверной станции с локальной настройкой яркости в устройстве обработки изображения. Особенность варианта выполнения согласно фиг.5 состоит в том, что, с одной стороны, блок 8 регулирования передает управляющий параметр SG дополнительно на устройство 9 обработки изображения и что, с другой стороны, детектор 10 областей передает данные RI об областях на устройство 9 обработки изображения.

После вышеизложенного описания схемотехнических сходств и различий различных вариантов выполнения ниже следуют пояснения предложенного способа основанной на анализе изображений автоматической экспокоррекции.

Для улучшения качества изображения при съемке камерой 5 оптимизируются параметры экспозиции в отношении областей изображения, представляющих интерес в данном сценарии, особенно тех областей изображения, которые связаны, как правило, с плохо освещенным человеком на переднем плане изображения.

Сигнал BS изображения с камеры 5 с этой целью на первом этапе оценивается детектором 10 областей, который идентифицирует одну или несколько релевантных областей изображения, относящихся к человеку или людям на переднем плане. На основе результатов детектора 10 областей датчик 11 измеряемой яркости определяет качество экспозиции этих представляющих интерес областей изображения. Это происходит посредством применения общеизвестных способов автоматической настройки экспозиции на основе средней яркости, однако не всего изображения, как обычно, а представляющих интерес областей изображения или областей изображения с высокими весовыми коэффициентом, определенных на первом этапе.

В последующем блок 8 регулирования может итерационно оптимизировать параметры экспозиции камеры 5 посредством различных управляющих параметров SG во время съемки изображения (см. варианты выполнения согласно фиг.2 и 3, см. ветвь с управляющим параметром SG от блока 8 регулирования к камере 5) или также улучшать ситуацию освещения посредством опционального блока 12 оценки освещения, предназначенного для управления источником 17 света (см. варианты выполнения согласно фиг.2, 3, 4, 5, см. ветвь с управляющим параметром SG от блока 8 регулирования к блоку 12 оценки освещения, включая управление источником 17 света в зависимости от сравнения параметров IW/SG).

Если встроена камера 5, которая позволяет осуществлять локальные настройки экспозиции, то способ может быть усовершенствован в том отношении, что посредством описанного процесса параметры съемки для различных областей изображения (передний план и фон) оптимизируются отдельно друг от друга. В этом случае данные RI об областях, определенные детектором 10 областей, дополнительно передаются от детектора 10 областей на камеру 5, -см. ветвь с данными RI об областях от детектора 10 областей к камере 5 согласно фиг.3.

Для камер 5, для которых невозможно или не требуется производить изменения настроек экспозиции, оптимизация качества изображения осуществляется в устройстве 9 обработки изображения перед передачей данных на шинный интерфейс 13. Аналогично обоим вышеописанным способам оптимизация в данном случае может осуществляться опционально:

- глобальным образом, как это показано на фиг.4, - см. ветвь с параметром SG регулирования от блока 8 регулирования к устройству 9 обработки изображения, или

- локальным образом, как это показано на фиг.5, - см. ветвь с управляющим параметром SG от блока 8 регулирования к устройству 9 обработки изображения, а также ветвь с данными об областях от детектора 10 областей к устройству 9 обработки изображения.

Для распознавания релевантных областей изображения с помощью детектора 10 областей могут применяться различные способы:

- способ распознавания человека (например, детектирования зоны головы-плеч, детектирования лица),

- способ вычитания фона, основанный на анализе изображений,

- способ распознавания движения. Наряду с вышеописанными способами, может осуществляться распознавание движения также на основе уже неявно представленных данных о движение в MPEG-кодированном видеопотоке. Это обеспечивает возможность использования описанного способа экспокоррекции также во встроенных системах с ограниченными ресурсами аппаратных средств и без дополнительных аппаратных средств.

В известных способах сжатия динамических изображений (например, MPEG) для сокращения объема данных применяются различные типы изображения. С регулярными интервалами кодируются полные изображения (I-кадры), они содержат отображаемую информацию полного содержания кадра. Чтобы соответственно уменьшить скорость передачи данных, между полными изображениями кодируются только разностные изображения (Р-кадры или В-кадры). Эти изображения содержат по существу только разности предшествующих и поступающих кадров.

В соответствии с изобретением исходят из того, что лицо/верхняя часть туловища человека во время разговора, осуществляемого от внешнего переговорного пункта к внутреннему переговорному пункту, не является полностью неподвижной, а по сравнению с фоном обладает характерной подвижностью. Эти данные о движениях содержатся в разностных изображениях (в векторах последовательности движений). Оценка этих векторов позволяет осуществить точное определение релевантных областей изображения, по отношению к которым в первую очередь должна осуществляться настройка яркости.

В качестве альтернативы, в более простом подходе, можно отказаться от точного определения релевантных областей изображения за счет того, что определяется только центр вектора. Настройка яркости в данном случае осуществляется соответственно в определяемой круговой или овальной окрестности вокруг центра.

Перечень ссылочных позиций

1 квартирная станция

2 устройство отображения

4 дверная станция

5 камера

6 громкоговоритель

7 кнопки звонка

8 блок регулирования

9 устройство обработки изображения

10 детектор областей

11 датчик измеряемой яркости

12 блок оценки освещения

13 шинный интерфейс

15 шина

17 источник света

BS сигнал изображения

IW фактическое значение

RI данные об области

SG управляющий параметр

SW заданное значение

Изобретение относится к основанной на анализе изображений автоматической экспокоррекции в отношении видеоинформации или сигналов изображения, поступающих в домашние системы связи. Техническим результатом является выполнение автоматической экспокоррекции, основанной на анализе изображений. Результат достигается тем, что домашняя система связи содержит дверную станцию (4) и по меньшей мере одну квартирную станцию (1), подключенную к ней через шину (15), причем камера (5) дверной станции (4) регистрирует изображения персон, которые находятся перед дверной станцией, сгенерированный камерой (5) аналоговый или цифровой сигнал (BS) изображения оценивается с помощью детектора (10) областей, который идентифицирует одну или несколько релевантных областей изображения, при этом датчик (11) измеряемой яркости определяет качество экспозиции по меньшей мере одной представляющей интерес области изображения на основе результатов детектора (10) областей, далее блок (8) регулирования из заданного номинального значения (SW) и сформированного и выданного датчиком (11) измеряемой яркости фактического значения (IW) определяет управляющие параметры (SG), которые итерационно оптимизируют параметры экспозиции камеры (5) во время регистрации изображения. 9 з.п. ф-лы, 5 ил.

1. Способ автоматической экспокоррекции, основанной на анализе изображений, в домашней системе связи, которая в качестве компонентов системы содержит дверную станцию (4) и по меньшей мере одну подключенную к ней посредством шины (15) квартирную станцию (1),
- причем камера (5) дверной станции (4) регистрирует изображения людей, которые находятся перед дверной станцией,
- причем эти изображения отображаются на устройстве (2) отображения квартирной станции (1),
- причем сгенерированный камерой (5) аналоговый или цифровой сигнал (BS) изображения оценивается с помощью детектора (10) областей, который идентифицирует одну или несколько релевантных областей изображения,
- причем датчик (11) измеряемой яркости определяет качество экспозиции по меньшей мере одной представляющей интерес области изображения на основе результатов детектора (10) областей,
- причем блок (8) регулирования на основе заданного номинального значения (SW) и фактического значения (IW), сформированного и выданного датчиком (11) измеряемой яркости, определяет управляющие параметры (SG), которые итерационно оптимизируют параметры экспозиции камеры (5) во время регистрации изображения.

2. Способ по п.1, отличающийся тем, что управляющие параметры (SG) непосредственно подаются на камеру (5).

3. Способ по п.2, отличающийся тем, что на камеру (5) дополнительно передаются данные (RI) об областях от детектора (10) областей.

4. Способ по п.1, отличающийся тем, что управляющие параметры (SG) подаются на устройство (9) обработки изображения, которое на стороне входа принимает сформированный камерой (5) сигнал (BS) изображения.

5. Способ по п.4, отличающийся тем, что дополнительно данные (RI) об областях передают от детектора (10) областей на устройство (9) обработки изображения.

6. Способ по п.1, отличающийся тем, что блок (12) оценки освещения принимает фактическое значение (IW), сгенерированное и выданное датчиком (11) измеряемого значения яркости, и управляющий параметр (SG) блока (8) регулирования, и на основе этих данных управляет источником (17) света для улучшения освещения.

7. Способ по п.1, отличающийся тем, что детектор (10) областей применяет способ распознавания человека, такой как детектирование зоны головы-плеч или детектирование лица.

8. Способ по п.1, отличающийся тем, что детектор (10) областей применяет основанный на анализе изображений способ вычитания фона.

9. Способ по п.1, отличающийся тем, что детектор (10) областей применяет способ распознавания движения, причем исходят из предпосылки, что находящийся перед дверной станцией (4) человек по сравнению с фоном обладает характерной подвижностью.

10. Способ по п.1, отличающийся тем, что блок (8) регулирования, и/или детектор (10) областей, и/или датчик (11) измеряемой яркости вне дверной станции (4) встроен в по меньшей мере один другой компонент системы, причем по меньшей мере один выходной параметр, такой как управляющий параметр (SG), и/или данные (RI) об областях, и/или фактическое значение (IW) подают по шине (15).