СПОСОБ ДИСТАНЦИОННОГО УПРАВЛЕНИЯ Российский патент 2002 года по МПК G06F3/00 

Изобретение относится к области компьютерной техники, а более конкретно - к системам управления, использующим видеокамеру в качестве входного устройства.

Известны способы дистанционного управления движущимися объектами, использующие сегментацию движущихся объектов от неподвижного фона, выявление характерных признаков объектов, сопоставление выявленных признаков с признаками, хранящимися в памяти компьютера, и выработку управляющих команд на основе анализа признаков движения (см., например, A. Cai and J.K. Aggarwal. Tracking Human Motion in Structured Environments Using a Distributed-Camera System, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 2, 1999, p.1241-1247).

Наиболее близким по технической сущности способом является способ, предусматривающий цветовую сегментацию и вычитание изображений в двух последовательных во времени кадров и получение таким образом информации о форме движущихся объектов в поле зрения видеокамер (см., например, A.Baumberg and D. Hogg. An efficient method for contour tracking using active shape models. In IEEE Workshop on Motion of Non-Rigid and Articulated Objects, p.194-199, Aqustin, 1994).

Недостатками известных способов являются:
- низкая точность распознавания движения из-за неустойчивости к изменениям;
- высокие требования к оборудованию для реализации способа;
- низкое быстродействие.

В изобретении ставятся задачи повышения устойчивости к шумам, уменьшение стоимости оборудования для реализации способа дистанционного управления и увеличение быстродействия. Эти задачи решены в способе дистанционного управления, включающем обнаружение и выделение движущегося объекта на сложном неподвижном фоне, выработку управляющих команд на основе поведения движущегося объекта, дискретную передачу информации о поведении движущегося объекта посредством оптического потока в виде последовательных во времени кадров, прием и преобразование информации посредством оптического датчика в цифровой электрический сигнал, его обработку с последующей генерацией управляющих воздействий на объект управления, в котором при обработке изображения движущийся объект определяют, используя результаты сравнения двух последних во времени кадров по яркостно-контрастным характеристикам, определяя геометрическое место точек изображения в последнем кадре, характеризующихся максимальным изменением интенсивности светового потока за время между упомянутыми кадрами и отфильтровывая шумовые компоненты, после этого в упомянутом черно-белом изображении определяют координату верхней точки границы движущегося объекта по координате самой верхней световой точки, далее путем подсчета сумм белых точек промежуточного черно-белого изображения с одинаковыми значениями координат по горизонтальной оси по обе стороны от упомянутой верхней точки определяют координаты левой и правой границ области движущегося объекта.

Отличие предложенного способа заключается в том, что при обработке изображения движущийся объект определяют путем формирования промежуточного черно-белого изображения движущегося объекта на изображении, используя результаты сравнения двух последних во времени кадров, по яркостно-контрастным характеристикам, определяя геометрическое место точек изображения в последнем кадре, характеризующихся максимальным изменением интенсивности светового потока за время между упомянутыми кадрами и отфильтровывая шумовые компоненты, после этого в упомянутом черно-белом изображении определяют координату верхней точки границы движущегося объекта по координате по крайней мере одной самой верхней световой точки, далее путем подсчета сумм белых точек промежуточного черно-белого изображения с одинаковыми значениями координат в проекции на горизонтальную ось по обе стороны от упомянутой верхней точки определяют координаты левой и правой границ области движущегося объекта.

Отличие второго варианта способа дистанционного управления заключается в том, что в качестве движущегося объекта используют, по крайней мере, одну часть тела человека-оператора.

Отличие третьего варианта способа дистанционного управления заключается в том, что наличие движения в поле зрения оптического датчика распознают путем оценки временной изменчивости формы и взаимного расположения подвижных частей тела оператора, параметры движения определяют путем анализа совместно движущихся компактно расположенных точек изображения, принадлежащих, по крайней мере, одной из подвижных частей тела оператора.

Отличие четвертого варианта способа дистанционного управления заключается в том, что в качестве подвижной части тела оператора используют его голову.

Отличие пятого варианта способа дистанционного управления заключается в том, что обработке подвергают лишь верхние 50% изображения.

Отличие шестого варианта способа дистанционного управления заключается в том, что промежуточное черно-белое изображение получают путем выделения движущихся контуров.

Отличие седьмого варианта способа дистанционного управления заключается в том, что при обработке изображения дополнительно используют сегментацию и признаки цветности.

Отличие восьмого варианта способа дистанционного управления заключается в том, что для определения вертикальных границ используют подсчет сумм белых точек промежуточного изображения с одинаковыми значениями координат вдоль вертикальной оси в проекции выделенной горизонтальной области.

Предложенный способ иллюстрируется приведенными чертежами.

На фиг.1 приведена блок-схема способа дистанционного управления.

На фиг. 2 приведен алгоритм анализа яркостно-контрастных характеристик выявления контурной информации.

Предложенный способ дистанционного управления включает:
1 - выработку управляющих команд на основе поведения движущегося объекта;
2 - дискретную передачу информации о поведении движущего объекта посредством оптического потока в виде последовательных во времени кадров;
3 - прием и преобразование информации посредством оптического датчика в цифровой электрический сигнал;
4 - анализ яркостно-контрастных характеристик изображения и формирование движущегося двумерного цифрового сигнала;
5 - задержку двумерного цифрового электронного сигнала, содержащего яркостно-контрастные характеристики;
6 - сравнение двумерных цифровых электронных сигналов, соответствующих изображениям двух смежных во времени кадров;
7 - фильтрацию шумов;
8 - определение координат области движения;
9 - выработку команды на обработку изображения следующего кадра.

Конкретный алгоритм анализа яркостно-контрастных характеристик изображения на основе выделения контурной информации содержит следующие операции: преобразование цветного изображения в полутоновое, например, методом главных компонент (11); устранение шумов оптического датчика (12), например, посредством усреднения значений интенсивностей сигнала по некоторой окрестности пиксела; выделение контуров объектов анализируемого изображения в кадре (13), например, методом поиска точек локального максимума абсолютных величин разностей соседних значений по каждому из четырех направлений; пороговая бинаризация изображения (14).

Предложенный способ может быть использован, например, для дистанционного управления горизонтальным и вертикальным перемещением экранного объекта компьютера.

Оператор располагается в поле зрения оптического датчика с учетом возможной амплитуды управляющих движений в условиях освещенности естественным светом и совершает движения, кодирующие команды, управляющие движением экранного объекта. Например, движение слева направо руки оператора может соответствовать команде перемещения экранного объекта сверху вниз.

Оптический датчик по заданной программе формирует в дискретные моменты времени последовательные кадры с цифровым изображением оператора на сложном неподвижном фоне. При совершении определенных движений, по крайней мере, одной части тела оператора происходит изменение формы и взаимного расположения подвижных частей тела оператора.

Производят сравнение цифровой информации, соответствующей двум смежным во времени кадрам. Для каждого кадра процесс обработки включает следующие этапы:
1 - получаемая от оптического датчика информация об изображении обращается в полутоновое или путем усреднения интенсивности сигнала по цветам, или методом главных компонент, или выбором одной из цветовых компонент;
2 - устранение шумов, например, посредством усреднения интенсивностей по некоторой окрестности пикселя;
3 - поиск точек локального максимума абсолютных величин разностей соседних значений по каждому из четырех направлений (горизонтали, вертикали и двум диагоналям) в соответствии с заданным порогом (например, определенным, исходя из уровня шумов);
4 - пороговой бинаризации изображения, при которой всем точкам локального максимума присваивается значение 255 (белый), а остальным - 0 (черный).

Далее для смежных во времени кадров, обработанных изложенным выше способом, производят попиксельное вычитание. В результате этого сравнения получают черно-белое изображение совместно движущихся компактно расположенных точек изображения, принадлежащих, по крайней мере, одной из подвижных частей тела оператора. Путем подсчета сумм белых точек черно-белого изображения в проекции на вертикальную ось строят гистограмму. По построенной гистограмме определяют самую верхнюю белую точку, которая соответствует верхней точке границы подвижной части тела оператора. Далее путем подсчета сумм белых точек черно-белого изображения в проекции на горизонтальную ось строят гистограмму, по которой с учетом координат верхней точки (по обе стороны от нее) определяют соответствующие левую и правую границы подвижной части тела оператора.

Для оценки движения вдоль горизонтальной оси используют направление смещения центра масс движущихся точек внутри интервала горизонтальной гистограммы, ограниченного определенными левой и правой границами.

Для оценки движения вдоль вертикальной оси используют направление смещения верхней точки, определенной по вертикальной гистограмме.

В соответствии с определенными направлениями, скоростями и ускорениями специальной подпрограммой вырабатываются управляющие команды для управления горизонтальным и вертикальным смещениями экранного объекта.

Дистанционное управление экранным объектом может найти широкое применение в игровых компьютерных приложениях, в беспультовом дистанционном управлении электронными бытовыми приборами, например телевизионным приемником, в системах мониторинга, где существует необходимость в локализации объекта интереса.

Кроме дистанционного управления экранными объектами, предложенный способ может быть использован в системах виртуальной реальности.

Изобретение относится к области вычислительной техники и может быть использовано в системах управления. Техническим результатом является повышение точности. Способ основан на том, что по яркостно-контрастным характеристикам определяют геометрическое место точек изображения в последнем кадре, по координате самой верхней световой точки определяют координату верхней точки границы движущегося объекта, далее путем подсчета сумм белых точек промежуточного черно-белого изображения с одинаковыми значениями координат по горизонтальной оси по обе стороны от упомянутой верхней точки определяют координаты левой и правой границ области движущегося объекта. 7 з.п.ф-лы, 2 ил.

1. Способ дистанционного управления, включающий обнаружение и выделение движущегося объекта на сложном неподвижном фоне, выработку управляющих команд на основе поведения движущегося объекта, дискретную передачу информации о поведении движущегося объекта посредством оптического потока в виде последовательных во времени кадров, прием и преобразование информации посредством оптического датчика в цифровой электрический сигнал, его обработку с последующей генерацией управляющих воздействий на объект управления, отличающийся тем, что при обработке изображения движущийся объект определяют, используя результаты сравнения двух последних во времени кадров, по яркостно-контрастным характеристикам, определяя геометрическое место точек изображения в последнем кадре, характеризующихся максимальным изменением интенсивности светового потока за время между упомянутыми кадрами и отфильтровывая шумовые компоненты, после этого в упомянутом черно-белом промежуточном изображении по координате самой верхней световой точки определяют координату верхней точки границы движущегося объекта, далее путем подсчета сумм белых точек промежуточного черно-белого изображения с одинаковыми значениями координат по горизонтальной оси по обе стороны от упомянутой верхней точки определяют координаты левой и правой границ области движущегося объекта. 2. Способ дистанционного управления по п. 1, отличающийся тем, что в качестве движущегося объекта используют, по крайней мере, одну часть тела человека-оператора. 3. Способ дистанционного управления по п. 1, отличающийся тем, что наличие движения в поле зрения оптического датчика распознают путем оценки временной изменчивости формы и взаимного расположения подвижных частей тела оператора, параметры движения определяют путем анализа совместно движущихся компактно расположенных точек изображения, принадлежащих, по крайней мере, одной из подвижных частей тела оператора. 4. Способ дистанционного управления по п. 1, отличающийся тем, что в качестве подвижной части тела оператора используют его голову. 5. Способ дистанционного управления по п. 1, отличающийся тем, что обработке подвергают лишь верхние 50% изображения. 6. Способ дистанционного управления по п. 1, отличающийся тем, что промежуточное черно-белое изображение получают путем выделения движущихся контуров. 7. Способ дистанционного управления по п. 1, отличающийся тем, что при обработке изображения дополнительно используют сегментацию и признаки цветности. 8. Способ дистанционного управления по п. 1, отличающийся тем, что для определения верхней границы движущегося объекта используют подсчет суммы белых точек промежуточного изображения с одинаковыми значениями координат вдоль вертикальной оси в плоскости выделенной горизонтальной области.