СПОСОБ И УСТРОЙСТВО ДЛЯ ИДЕНТИФИКАЦИИ И ЛОКАЛИЗАЦИИ В РЕАЛЬНОМ МАСШТАБЕ ВРЕМЕНИ ЗОНЫ С ОТНОСИТЕЛЬНЫМ ПЕРЕМЕЩЕНИЕМ В СЦЕНЕ И ДЛЯ ОПРЕДЕЛЕНИЯ СКОРОСТИ И НАПРАВЛЕНИЯ ПЕРЕМЕЩЕНИЯ Российский патент 2003 года по МПК G06T7/20 

Изобретение относится к способу и устройству для идентификации и локализации зоны с относительным перемещением в сцене и для определения скорости и ориентированного направления этого относительного перемещения в реальном масштабе времени.

Относительное перемещение означает движение упомянутой зоны (которая может состоять из "объекта" в самом широком смысле этого термина, включая живое существо или часть живого существа, например, руку) в практически неподвижной окружающей среде или более или менее полную неподвижность указанной зоны (или "объекта") в окружающей среде, которая, по меньшей мере, частично находится в движении.

Изобретение относится к обработке цифрового выходного видеосигнала системы наблюдения, содержащей оптическую входную систему (или объектив), выполненную с возможностью формирования изображения наблюдаемой сцены, и оптоэлектронную преобразующую систему или датчик, выполненный с возможностью преобразования принимаемого изображения в цифровой выходной сигнал.

Система наблюдения состоит в основном из видеокамеры (или камескопа), которая наблюдает контролируемую сцену (и тогда указанный цифровой выходной сигнал представляет собой цифровой видеосигнал, выдаваемый камерой с цифровым выходом, или выходной сигнал аналого-цифрового преобразователя, вход которого соединен с выходом камеры, выдающей аналоговый видеосигнал).

Система наблюдения может также содержать объектив оптического прибора (бинокль, визирующий преломляющий прибор, видоискатель), из выходного оптического сигнала которого осуществляют выборку и с помощью фотоэлектронного датчика, например, на приборе с зарядовой связью (ПЗС) или на комплементарной структуре "металл-окисел-проводник" (КМОП-структуры) с соответствующей электронной системой осуществляют прием изображения указанной части светового луча и преобразование ее посредством этой электронной системы в цифровой выходной видеосигнал.

Изобретение относится главным образом к обработке цифрового выходного видеосигнала из системы наблюдения, в частности видеокамеры с цифровым выходом для определения сигналов, указывающих наличие и локализацию зоны с относительным движением в указанной сцене, и скорости и ориентированного направления перемещения, если указанная зона действительно перемещается в указанной сцене относительно практически неподвижной окружающей среды, в реальном масштабе времени.

Наилучшей системой для идентификации и локализации объекта, находящегося в относительном движении, и для определения его скорости и ориентированного направления перемещения являются органы зрения животного или человека, например охотника, определяющего из своего укрытия перемещение животного и направление и скорость этого перемещения.

Известны устройства наблюдения типа искусственных сетчаток, либо аналоговые (см. Giocomo Indivery, MicroNeuro'96, p.p. 15-22), либо цифровые (Pierre-Francois Ruedi, MicroNeuro'96, p. р. 23-29). В первой работе речь идет о детекторах и аналоговых модулях со сложными конструкциями, а во второй работе - о средствах идентификации краев объекта.

В описанных известных устройствах используются весьма быстродействующие и обладающие большой емкостью запоминающие устройства для работы в реальном масштабе времени, и получается ограниченная информация о движущихся зонах или объектах.

Было предложено запоминать выходной сигнал кадра видеокамеры или аналогичного прибора, состоящий из последовательности данных, связанных с элементами изображения, представляющими сцену, наблюдаемую камерой в момент t₀, в первой двумерной памяти, а затем - видеосигнал для следующего соответствующего кадра, представляющего указанную сцену в момент t₁, во второй двумерной памяти. Если объект переместился в промежутке между t₀ и t₁, то определяются, с одной стороны, расстояние d, на которое переместился объект в сцене между t₀ и t₁, а с другой стороны - время Т=t₁-t₀ между началами двух последовательных кадров, связанными с одинаковыми элементами изображения. Тогда скорость перемещения равна d/T.

Система этого типа требует памяти очень большой общей емкости, если требуется получить точные данные скорости и ориентированного направления, характеризующие перемещение. Помимо этого, существует некоторая задержка получения данных скорости и направления перемещения; эта информация отсутствует до наступления момента t₁+R, где R - время, необходимое для вычислений на протяжении периода t₁-t₀. Эти два недостатка (необходимость памяти большой емкости и задержка при получении требуемой информации) ограничивают использование системы этого типа.

Кроме того, в патенте Франции 2611063, один из авторов которого является автором настоящего изобретения, описаны способ и устройство для обработки в реальном масштабе времени потока последовательных данных, состоящего, в частности, из выходного сигнала камескопа, для осуществления сжатия данных. Согласно этому известному патенту, формируют гистограмму уровней сигнала с помощью закона классификации для первой последовательности, запоминают характерную функцию Гаусса, связанную с этой гистограммой, и выделяют из нее максимальный и минимальный уровни, сравнивают уровни следующей последовательности или второй последовательности с указанными уровнями сигнала для первой последовательности, запомненной с неизменной постоянной времени, идентичной для каждого элемента изображения, генерируют двоичный сигнал классификации, который характеризует следующую указанную последовательность со ссылкой на закон классификации, генерируют вспомогательный сигнал из этого двоичного сигнала, представляющий длительность и положение диапазона значимых величин, и наконец, используют указанный вспомогательный сигнал для генерирования сигнала, локализующего диапазон с наибольшей длительностью, называемый доминирующим диапазоном, и повторяют эти операции для последующих последовательностей упорядоченного сигнала. Этот способ и это устройство классификации обеспечивают сжатие данных с сохранением только полезных параметров в обрабатываемом потоке упорядоченных данных. В частности, этот способ дает возможность обработки цифрового видеосигнала, представляющего видеоизображение, для выделения и локализации, по меньшей мере, одной характеристики, по меньшей мере, одной зоны в указанном изображении. Таким образом, можно классифицировать уровни яркости и/или цветности сигнала и характеризовать и локализовать объект в изображении.

В патенте США 5488430 раскрыты обнаружение и оценка перемещения путем определения по отдельности горизонтальных и вертикальных изменений в изображении наблюдаемой зоны. Для обнаружения движений справа налево или слева направо в горизонтальном и вертикальном направлениях, соответственно, используют разностные сигналы, во-первых, посредством выполнения логической операции "ИСКЛЮЧАЮЩЕЕ ИЛИ" над разностными сигналами вертикальных/горизонтальных изменений и разностными сигналами кадров, а во-вторых - посредством использования отношения сумм сигналов вертикальных/горизонтальных изменений и сумм разностных сигналов кадров применительно к окну Кх3. В этом патенте США 5488430 вычисленные значения изображения вдоль двух ортогональных горизонтального и вертикального направлений используются с идентичной повторяющейся разностью К в этих двух ортогональных направлениях, причем эта разность К определяется как функция определяемых скоростей перемещения.

Устройство, соответствующее этому патенту США, определяет направление движений вдоль каждого из двух ортогональных направлений путем применения набора вычислительных операций, указанных в столбцах 12 (в начале и в конце) и 13 (в начале), к разностным сигналам, что требует очень сложных (а значит - и трудно реализуемых) электронных вычислительных модулей, выполняющих, в частности, деление, умножение и суммирование. Кроме того, необходимы дополнительные сложные вычислительные модули для получения скорости и ориентированного направления перемещения (извлечения квадратного корня для получения амплитуды скорости и вычисления функции арктангенса для получения ориентированного направления), начиная с проекций на горизонтальную и вертикальную оси. И наконец, в патенте США 5488430 отсутствуют средства сглаживания величин элементов изображения с помощью постоянной времени, переменной для каждого элемента изображения, чтобы скомпенсировать излишне быстрые изменения этих величин.

В отличие от этого способ, соответствующий изобретению, осуществляют путем использования устройства цифрового типа, являющегося объектом изобретения, которое имеет относительно простую конструкцию и память относительно малой емкости, с помощью которого можно быстро получить требуемую информацию с широким диапазоном результатов и приложений (соответственно полному полуизображению для кадров с чередованием или полному изображению, в зависимости от конкретных условий применения).

В работе Alberto Tomita (Rokuya Ishii "Hand Shape Extraction from a Sequence of Digitized Gray-Scale Images"), JEEE, vol. 3, 1994, р.р. 1925-1930, описан способ обнаружения движения путем вычитания последовательных изображений с последующим формированием гистограмм, основанных на форме человеческой руки, чтобы выделить форму человеческой руки в сцене, преобразованной в цифровую форму. Анализ гистограмм основан на диапазоне полутонов, присущем человеческой руке. Это не предусматривает применение каких-либо средств формирования гистограмм в координатах плоскости. По существу в указанной работе решается задача обнаружения перемещений человеческой руки, например, для замены обычного манипулятора типа "мышь" рукой, перемещения которой идентифицируются, для ввода данных в компьютер.

В отличие от этого, настоящее изобретение не сводится к обнаружению перемещения руки, а дает возможность обнаружения относительного перемещения любого объекта (в самом широком смысле этого термина) в сцене, и в нем используются не гистограммы, основанные на значениях полутонов руки, а гистограммы некоторых конкретных цифровых переменных, представляющих перемещение (если оно есть), и гистограммы в плоских координатах.

В соответствии с настоящим изобретением:
- обрабатывают цифровой выходной видеосигнал системы наблюдения, причем этот сигнал составлен известным способом из последовательности кадров (соответствующей полуизображению в случае двух чередующихся кадров на изображение, или полному изображению в случае одного кадра на изображение), каждый из которых состоит из заданного числа последовательных строк и заданного числа элементов изображения или точек изображения в каждой из этих строк,
- для получения с использованием памяти относительно малой емкости сигналов, обеспечивающих указание зоны с относительным перемещением в наблюдаемой сцене, и, при наличии такой зоны, для определения местоположения, скорости и ориентированного направления указанной зоны, если она действительно перемещается относительно окружающей ее среды,
- путем генерирования двух цифровых сигналов, один из которых является характеристикой значимого изменения или отсутствия изменения сигнала элемента изображения для местоположения одного и того же элемента изображения соответственно двум последовательным кадрам, а другой является характеристикой амплитуды этого изменения, если оно есть, и путем осуществления матричного распределения этих двух сигналов для элементов изображения в части кадра в тот же момент.

Задачей настоящего изобретения является создание способа идентификации и локализации в реальном масштабе времени зоны с относительным перемещением в сцене, наблюдаемой системой наблюдения с выходным сигналом, состоящим из цифрового видеосигнала такого типа, который содержит последовательность соответствующих кадров, каждый из которых состоит из последовательности строк, каждая из которых состоит из последовательности элементов изображения, и для определения скорости и ориентированного направления перемещения, причем указанный способ отличается тем, что заключается в выполнении следующей последовательности операций над цифровым выходным видеосигналом:
- обработки сглаживания указанного цифрового выходного видеосигнала с использованием цифровой постоянной времени, численное значение которой можно изменять независимо для каждого элемента изображения указанного выходного сигнала,
- запоминания, с одной стороны, кадра указанного выходного сигнала после сглаживания и, с другой стороны, постоянной времени сглаживания, связанной с указанным кадром,
- временной обработки для каждого положения элемента изображения, заключающейся в определении, во-первых, наличия, а во-вторых - амплитуды значимого изменения в амплитуде сигнала элемента изображения между текущим кадром и непосредственно предыдущим сглаженным и запомненным кадром, и в генерировании двух цифровых сигналов, при этом первый сигнал является двоичным, или однобитовым, сигналом с двумя возможными значениями, одно из которых представляет наличие, а другое представляет отсутствие значимого изменения между двумя последовательными кадрами, причем значение указанного двоичного сигнала изменяет запомненное значение указанной постоянной времени, чтобы уменьшить его, если указанный сигнал представляет значимое изменение, и чтобы увеличить его, если указанный сигнал не представляет такое изменение, при этом уменьшение или увеличение осуществляются количественно, тогда как второй цифровой сигнал, т.е. сигнал амплитуды, является многобитовым сигналом с ограниченным числом битов, количественно определяющих амплитуду этого изменения; и
- пространственной обработки, состоящей из следующих этапов для каждого кадра цифрового выходного видеосигнала:
распределяют только значения части элементов изображения в кадре в заданный момент наблюдения (части, которую сканируют по указанной матрице в течение всей длительности кадра), во-первых, указанного двоичного сигнала, а во-вторых - указанного цифрового сигнала амплитуды, в матрицу с числом рядов и столбцов, которое мало по сравнению с числом строк и числом элементов изображения в строке в видеосигнале, соответственно, чтобы охарактеризовать значения элементов изображения,
определяют в этом двойном мгновенном матричном представлении конкретную зону, в которой указанный двоичный сигнал имеет искомое значение, представляющее наличие или отсутствие значимого изменения, а указанный цифровой сигнал амплитуды изменяется или не изменяется на значимую величину для соседних элементов изображения в матрице вдоль ориентированного направления, начиная с исходного элемента изображения, в той же самой части кадра и, следовательно, в тот же самый момент наблюдения, и
генерируют сигналы, представляющие наличие и местоположение зоны с относительным перемещением, и относительную межкадровую скорость и ориентированное направление этого перемещения, если оно есть, относительно окружающей ее среды, исходя из мгновенного матричного распределения этих двух цифровых сигналов - двоичного сигнала и сигнала амплитуды.

Способ, соответствующий изобретению, предпочтительно отличается тем, что он также включает:
формирование, во-первых, гистограмм значений сигналов, распределенных в матрицах, а во-вторых, гистограмм наклонов двух координатных осей с изменяемым наклоном в плоскости,
идентификацию области, в которой происходит значимое изменение обрабатываемых значений в каждой сформированной гистограмме, и
для каждой идентифицированной области установление наличия зоны с относительным перемещением и, в случае наличия, ее локализации, скорости и ориентированного направления.

В конкретных вариантах осуществления:
- указанная матрица является квадратной матрицей с одинаковым нечетным числом рядов и столбцов (2l+1), причем учитывают вложенные матрицы, содержащие 3х3, 5х5, 7х7,... (2l+1)х(2l+1) элементов, центрированные по центру этой квадратной матрицы, чтобы определить наименьшую вложенную матрицу, в которой указанный цифровой сигнал изменяется вдоль ориентированного направления, начиная от указанного центра, при этом значение указанного двоичного сигнала показывает, что превышен пороговый предел вдоль этого направления,
указанная матрица является шестиугольной матрицей, причем учитывают вложенные шестиугольные матрицы увеличивающегося размера, центрированные по центру этой шестиугольной матрицы, чтобы определить наименьшую вложенную матрицу, в которой указанный цифровой сигнал изменяется вдоль ориентированного направления,
указанная матрица является инвертированной L-образной матрицей с одним рядом и одним столбцом, причем учитывают вложенные матрицы, содержащие 3х3 элементов изображения, 5х5 элементов изображения, 7х7 элементов изображения, (2l+1)х(2l+1) элементов изображения, для одного ряда и одного столбца, чтобы определить наименьшую вложенную матрицу, в которой указанный цифровой сигнал изменяется вдоль ориентированного направления, а именно - линии с самым большим наклоном и постоянной квантификацией.

Указанную постоянную времени преимущественно представляют в виде 2^p, где р - число меньше 16, и ее, следовательно, можно выразить не более чем в 4-х битах, причем эту постоянную времени можно уменьшать или увеличивать, вычитая или прибавляя одну единицу к р.

В этом случае, если потребуется, рассматривают последовательно уменьшающиеся части полных кадров, используя алгоритм временного масштаба Мэллета (Mallat), и выбирают наибольшую из этих частей, для которой данные перемещения, скорости и ориентации совместимы со значением р.

Другой задачей изобретения является создание устройства для идентификации и локализации в реальном масштабе времени зоны с относительным перемещением в сцене, наблюдаемой системой наблюдения с выходным сигналом, состоящим из цифрового видеосигнала, включающего последовательность соответствующих кадров, последовательные строки в каждом соответствующем кадре и последовательные элементы изображения в каждой строке, и для определения скорости и ориентированного направления перемещения путем использования вышеописанного способа, причем указанное устройство принимает выходной видеосигнал в качестве входного сигнала и отличается тем, что оно содержит:
средство для сглаживания цифрового выходного видеосигнала, использующее цифровую постоянную времени, численное значение которой может изменяться независимо для каждого из элементов изображения выходного сигнала;
средство для запоминания, во-первых, кадра выходного сигнала после сглаживания и, во-вторых, постоянной времени сглаживания, связанной с указанным кадром,
модуль временной обработки для анализа изменений во времени амплитуды сигнала элемента изображения, для положения одного и того же элемента изображения, между текущим кадром и непосредственно предыдущим сглаженным и запомненным кадром цифрового сигнала, при этом указанный модуль содержит запоминающее устройство, выполненное с возможностью приема, хранения и поиска информации о соответствующем предыдущем сглаженном кадре, чтобы вместе со средством сравнения определить, превышает или не превышает абсолютное значение разности между текущим сигналом элемента изображения и характерным значением сигнала элемента изображения для положения одного и того же элемента изображения в предыдущем кадре, хранимом в указанном запоминающем устройстве, порог, для каждого положения элемента изображения в кадре входного видеосигнала, путем генерирования двоичного, или однобитового, сигнала с двумя значениями, причем одно из этих двух значений показывает, что порог превышен, а другое показывает, что он не превышен, и вычислительное средство, выполненное с возможностью определения многобитового цифрового сигнала амплитуды с малым числом битов, значение которого зависит от амплитуды изменения в значении одного и того же элемента изображения между текущим кадром и непосредственно предыдущим, сглаженным и запомненным кадром цифрового видеосигнала; и
модуль пространственной обработки, в которой введены выходы указанных последовательных двоичного сигнала и цифрового сигнала амплитуды для элементов изображения в заданном кадре, выработанных модулем временной обработки, при этом указанный модуль пространственной обработки содержит средство для характеристики значений амплитуды элементов изображения, причем это средство распределяет только указанные двоичный сигнал и цифровой сигнал амплитуды, связанные с одним и тем же моментом, т.е. с одним кадром, в матрицу с числом рядов и столбцов, меньшим, чем число строк и число элементов изображения в строке, соответственно, в кадре указанного цифрового видеосигнала, причем этот кадр сканируют по указанной матрице в течение длительности кадра, средство выделения участков для определения зоны элементов изображения в пределах указанной матрицы, в которой в данный момент двоичный сигнал имеет искомое значение, и средство для определения зоны элементов изображения в указанной матрице, в которой в этот же момент цифровой сигнал амплитуды для соседних элементов изображения изменяется на значимую величину, и средство, которое, в ответ на результаты двух предыдущих средств, генерирует сигналы, представляющие данную зону элементов изображения, и, следовательно, наличие и местоположение зоны с относительным перемещением в пределах наблюдаемой сцены и относительную межкадровую скорость и ориентированное направление этой зоны, когда она действительно перемещается относительно окружающей ее среды.

Модуль пространственной обработки предпочтительно включает в себя выход для выдачи задержанного цифрового видеосигнала, состоящего из входного цифрового видеосигнала с задержкой, равной длительности рядов матрицы минус длительность одного ряда, для обеспечения выдачи выходного сигнала одновременно с анализом матрицы в указанном модуле временной обработки.

Модуль пространственной обработки устройства, соответствующего изобретению, предпочтительно включает в себя каскадно соединенные средства задержки, каждое из которых вводит задержку, равную разнице во времени между началом двух последовательных строк, и каскадно соединенные средства задержки для каждой строки, каждое из которых вводит задержку, равную разнице во времени между двумя последовательными элементами изображения в строке, причем выходы всех регистров и вход в первые регистры в каждой строке выдают в заданный момент значения указанного двоичного сигнала и указанного цифрового сигнала амплитуды одновременно в указанное средство идентификации.

Устройство, соответствующее изобретению, предпочтительно содержит также средство для формирования гистограмм выходных значений из модуля пространственной обработки и гистограмм наклонов двух имеющих изменяемый наклон координатных осей в плоскости, средство для идентификации области на каждой гистограмме, в которой имеется значимое изменение в обрабатываемом значении, для подтверждения этой области на его выходе и для определения для всех гистограмм выходных сигналов, которые идентифицируют и локализуют зону относительного перемещения в наблюдаемой сцене, если она есть, и скорость и ориентированное направление этого перемещения, если указанная зона действительно перемещается относительно окружающей ее среды.

Если необходимо обнаружить перемещения объекта в практически неподвижной окружающей среде, то необходимо определить часть матрицы, в которой значение двоичного сигнала показывает, что превышен предел, и в то же время цифровой сигнал амплитуды изменяется на значимую величину между соседними элементами изображения в кадре.

Наоборот, если необходимо обнаружить неподвижный объект в окружающей среде, которая действительно перемещается, то необходимо определить часть матрицы, в которой значение двоичного сигнала показывает, что предел не превышен, и в то же время цифровой сигнал амплитуды не изменяется между соседними элементами изображения в кадре.

Предпочтительно, в устройстве для идентификации, локализации и определения скорости и ориентированного направления перемещения зоны с относительным перемещением в сцене, реализующем вышеупомянутый способ:
- указанное средство сглаживания включает в себя вход для приема цифрового видеосигнала и обеспечивает выработку для каждого последующего элемента изображения в кадре указанного видеосигнала сглаженный сигнал, в котором временные изменения входного цифрового видеосигнала уменьшены с использованием порогового сигнала, принимаемого на другой вход, и постоянной времени, связанной с положением каждого элемента изображения в кадре, значение которой изменяется последовательно, так что сглаживание поддерживает, хотя и со снижением, тенденцию в изменениях поступающего цифрового видеосигнала, причем указанное средство сглаживания работает во взаимодействии с запоминающим устройством, которое принимает, хранит и обеспечивает поиск обновленных значений сглаженного сигнала и постоянной времени для каждой части элементов изображения в кадре и выдает для положения каждого элемента изображения, по меньшей мере, последовательность значений обновленной постоянной времени и значений двоичного сигнала, который показывает, превышен ли указанный порог абсолютным значением разности между значением элемента изображения и его сглаженным значением; при этом указанный узел пространственной обработки осуществляет матричное распределение вдоль строк и столбцов в уменьшенном количестве выходных сигналов из средства сглаживания, а именно последовательных значений постоянной времени и двоичного сигнала;
- предусмотрено средство для идентификации при указанном матричном распределении зоны элементов изображения, в которой одновременно:
либо значение двоичного сигнала соответствует превышенному порогу, и постоянная времени изменяется между соседними элементами изображения на значимую величину в одном направлении и во время получения выходных сигналов, указывающих местоположение указанной зоны и скорость и ориентированное направление перемещения в этой зоне;
либо значение двоичного сигнала соответствует непревышенному пределу, и указанная постоянная времени не изменяется между соседними элементами изображения и во время получения выходных сигналов, указывающих местоположение указанной зоны.

В предпочтительных конкретных вариантах осуществления:
- указанное средство сглаживания включает в себя, в сочетании с запоминающим устройством для хранения видеоданных или запоминающим устройством с выборкой магнитным полем, которое хранит последовательные значения для каждого элемента изображения в кадре указанной постоянной времени и сглаженного цифрового видеосигнала, средство для вычисления для каждого элемента изображения абсолютного значения разности между значением цифрового видеосигнала с выхода камеры и значением ранее сглаженного цифрового видеосигнала, средство для сравнения указанной разности с порогом и для генерирования двоичного сигнала, одно из двух значений которого указывает, что указанный предел превышен, а другое значение указывает, что он не превышен; средство для обновления постоянной времени, принимающее непосредственно предыдущее значение постоянной времени из указанного запоминающего устройства и уменьшающее его, если оно принимает двоичный сигнал, показывающий, что предел превышен, или увеличивает его, если значение двоичного сигнала указывает, что он (предел) не превышен, причем уменьшение или увеличение, однако, не осуществляется, если оно может привести, соответственно, к отрицательному значению или значению, превышающему пороговое значение, и средство для обновления сглаженного значения цифрового видеосигнала, которое алгебраически суммирует с предыдущим значением сглаженного сигнала, принятого из запоминающего устройства, частное от деления разности между цифровым видеосигналом с выхода камеры и предыдущим сглаженным цифровым видеосигналом из запоминающего устройства на коэффициент, равный значению предыдущей постоянной времени, полученной из запоминающего устройства;
- указанная постоянная времени представлена в виде 2^p, где р - целое число меньше 16, и ее, следовательно, можно представить не более чем четырьмя битами, причем уменьшение или увеличение этой постоянной времени можно осуществлять путем вычитания или прибавления одной единицы к р;
- указанное средство матричного распределения включает в себя в сочетании со средством задержки, вводящим последовательные задержки, равные длительности одной строки видеосигнала, в цифровой видеосигнал с выхода камеры, для выдачи на последовательные выходы данного видеосигнала, задержанного на один период задержки, два периода задержки и так далее до числа периодов задержки, равного числу рядов в матрице пространственного распределения минус единица, средство для осуществления матричного распределения вдоль соответствующих рядов матрицы, принимающее, во-первых, цифровой видеосигнал с камеры без задержки и этот сигнал с нарастанием задержки, выдаваемый с выходов средств задержки, а во-вторых, значения постоянной времени и указанного двоичного сигнала, принимаемого от средства сглаживания в порядке для получения матричного распределения в рядах и столбцах указанных значений в данный момент постоянной времени и двоичного сигнала для элементов изображения в части кадра цифрового видеосигнала с тем же размером, что и матрица;
- средство матричного распределения содержит группу проводников цифрового сигнала по одному на каждый ряд в матрице распределения, каждый - с каскадно соединенными регистрами сдвига, каждый из которых вводит задержку, равную разнице во времени между двумя последовательными элементами изображения в строке цифрового видеосигнала, при этом положение элемента изображения, распределенного в матрице, определяется точкой в матрице, находящейся перед регистром задержки, число которых в строке равно числу столбцов в матрице минус единица, и точкой, находящейся ниже регистра, самого последнего по направлению обхода;
- указанное средство обнаружения перемещающейся зоны в указанной матрице путем обнаружения одновременного наличия значения двоичного сигнала, указывающего, что предел превышен, и путем изменения в значении постоянной времени, включает в себя средства для определения вдоль дискретных преобразованных в цифровую форму ориентированных направлений, наклона изменения в значении постоянной времени рядом с элементом изображения в центре указанной матрицы, формирования исходной точки для указанных направлений, и средство для выбора самого большого наклона этого изменения рядом с этим центром - исходной точкой и определения ориентированного направления с учетом критерия выбора для выбора направления, если имеется более одного направления с одинаковым максимальным наклоном этого изменения, причем это последнее средство выдает сигналы, характеризующие скорость и ориентированное направление смещения в перемещающейся зоне, с сигналом подтверждения, указывающим, что эти сигналы скорости и направления действительны, вместе со значением постоянной времени.

Предпочтительно, средство для формирования гистограмм, входящее в состав устройства согласно изобретению, включает в себя:
входы для приема сигнала, из которого формируется гистограмма, и сигнала подтверждения от средства матричного распределения, и
средство для определения двух линейных одномерных гистограмм для двух плоских координат и для объединения этих двух линейных гистограмм в поверхностную гистограмму, характеризующую зону, в которой имеется значимое изменение во входном сигнале, и
выход для выдачи сигнала, представляющего указанную зону.

Кроме того, средство для формирования гистограмм включает в себя:
средство для вычисления эталонного изменения, на входы которого подается сигнал последовательности строк, сигнал последовательности столбцов и синхросигнал элемента изображения, а выходной сигнал которого представляет эталонное изменение,
два средства для формирования гистограмм для двух осей для приема двух эталонных сигналов и формирования гистограмм этих осей, и
средство зоны, в которое вводятся выходные сигналы из двух средств формирования гистограмм для двух осей, и которое выдает сигнал, содержащий глобальную информацию о наклоне для двух осей.

В некоторых применениях указанная постоянная времени может состоять из порядкового числа интервалов в ограниченном количестве и с постепенно возрастающей величиной, на которые делится абсолютное значение разности между значением текущего элемента изображения и непосредственно предыдущим значением этого же элемента изображения после сглаживания, для положения каждого элемента изображения.

Для определения двоичного сигнала при наличии или отсутствии превышения порогового значения абсолютное значение разности между значением текущего входного элемента изображения и непосредственно предыдущим сглаженным значением того же элемента изображения из запоминающего устройства преимущественно сравнивается с пороговым значением для положения каждого элемента изображения.

Что касается цифрового сигнала амплитуды, его предпочтительно формируют в виде целого числа, представляющего тенденцию сближения значения текущего элемента изображения с непосредственно предыдущим сглаженным значением этого элемента изображения, для положения каждого элемента изображения.

Одна из характеристик изобретения заключается в том факте, что для определения двоичного сигнала и цифрового сигнала амплитуды в качестве значения непосредственно предыдущего элемента изображения используют его сохраненное сглаженное значение, чтобы уменьшить любые избыточные изменения сигнала этого элемента изображения во времени, которые могут существовать в цифровом входном видеосигнале с видеокамеры или любого другого устройства наблюдения с цифровым выходом.

Известно, что влияние операции сглаживания заключается в постепенной замене цифрового сигнала с большими изменениями амплитуды во времени сигналом с меньшими изменениями и, следовательно, квантуемым меньшим числом шагов и, следовательно, битов, с получением сглаженного цифрового сигнала амплитуды.

Ниже описан предпочтительный вариант осуществления устройства, соответствующего изобретению, реализующего способ, соответствующий изобретению, со ссылками на прилагаемые чертежи.

Фиг.1 - схема системы, соответствующей изобретению, с ее входами и выходами и входной сигнал для этой системы.

Фиг. 2 - представление в виде функциональных блоков основных модулей в устройстве, соответствующем изобретению, образующих узел временной и пространственной обработки.

Фиг. 3 и 4 - функциональные схемы узла временной обработки вычислений и узла пространственной обработки матричного распределения, соответственно, образующих часть устройства, показанного на фиг.2.

Фиг.5 - схематичное представление временной обработки и пространственной обработки в системе, соответствующей изобретению.

Фиг. 6 - числовые значения, соответствующие коду Фримена (Freeman), дискретных направлений, начинающихся из исходного центра в матрице, показанной на фиг.4.

Фиг. 7 - две малые вложенные матрицы внутри матрицы временного распределения.

Фиг. 8 и 9 - матрицы двух других типов, а именно шестиугольная и обращенная L-образная матрицы, соответственно.

Фиг. 10 - схематичное представление узла устройства, показанного на фиг. 2, вдоль линии Z-Z¹, с дополнительным узлом в соответствии с предпочтительным вариантом осуществления изобретения.

Фиг. 11 - схематичное представление дополнительного узла, показанного на фиг.10, в виде блоков, причем фиг.2 и фиг.11 соединяются вдоль линии Z-Z¹ по пунктирным и штриховым линиям, показанным на фиг.2 и 10.

Фиг.12 - иллюстрация формирования двух одномерных гистограмм и на основе этих гистограмм двумерной гистограммы перемещающейся зоны для входного сигнала.

Фиг. 13 - более подробное изображение блока формирования гистограмм и обработки и связанного с ним блока линейного объединения.

Фиг.14 - одномерная гистограмма.

Фиг.15 и 16 - иллюстрация изменения в наблюдаемом наклоне сцены.

Фиг. 17, 18 и 19 - иллюстрации других возможных применений устройства, соответствующего изобретению, причем фиг. 17 относится к телеконференции, фиг.18 - к оперативному контролю шоссе, автострад и основных дорог, а фиг.19 - к оператору, управляющему машиной движениями руки.

Фиг. 20 и 21 - схематичное представление применения изобретения к оперативному контролю за засыпающим водителем автомобиля.

Фиг.22 - преобразованное изображение, соответствующее схеме Мэллета.

Согласно фиг.1, в предпочтительном варианте осуществления устройство 11, соответствующее изобретению, содержит вход 12, который принимает цифровой видеосигнал S с видеокамеры или камескопа 13 с одним или несколькими ПЗС-датчиками КМОП-типа, имеющей прямой цифровой выход или аналоговый выход, преобразуемый цифроаналоговым преобразователем в цифровой выход. Этот сигнал S составлен известным способом из последовательности пар чередующихся кадров, например - TR₁ и TR'₁, TR₂ и TR'₂, каждый из которых состоит из последовательности строк горизонтальной развертки, причем каждая строка (например, l_1.1, l_1.2, ... l_1.17 в TR₁ и l_2.1 в TR₂) состоит из последовательности элементарных сигналов элементов изображения или точек изображения PI, представляющих точки (например a_1.1, a_1.2 и a_1.3 для строки l_1.1; а_2.1, а_2.2 для строки l_1.2; al_17.1 и a_17.2 для строки l_1.17; al_1.1 и a_1.2 для строки l_2.1) сцены 13а, контролируемой камерой 13. На чертеже показан сигнал S(PI), представляющий сигнал S, состоящий из элементов изображения PI.

Сигнал S(PI) содержит сигналы (ST) синхронизации кадровой развертки в начале каждого кадра и сигналы (SL) синхронизации строчной развертки в начале каждой строки.

Можно заметить, что сигнал S(PI) состоит из:
- последовательности последовательностей (последовательных кадров) в пределах структуры некоторой временной области и
- в каждой последовательности (в каждом кадре) - из ряда субпоследовательностей (строк, элементов изображения) в пределах структуры некоторой пространственной области.

Во временной области выражение "последовательные кадры" будет употребляться для обозначения последовательных кадров одного и того же вида (например, таких нечетных кадров, как TR₁, или таких четных кадров, как TR'₁) в таких парах кадров, как TR₁-TR'₁, образующих последовательные изображения цифрового видеосигнала S(PI), а выражение "последовательные элементы изображения в одном и том же положении" будет обозначать последовательные значения элементов изображения (PI) в одном и том же месте в последовательных кадрах одного и того же вида, например a_1.1 строки l_1.1 в кадре TR₁ и a_1.1 строки l_2.1 в следующем соответствующем кадре TR₂.

Кроме того, устройство 11 также включает в себя выходы 14, выдающие некоторое число вырабатываемых им цифровых сигналов, которые используются для указания наличия зоны или "объекта" (описанного выше в более общем смысле), совершающего относительное перемещение, и его локализации, наряду с его скоростью и направлением перемещения, если оно значимо, в действительно неподвижной окружающей среде, в частности, выдающие сложный сигнал ZH, условно группирующий сигналы, указывающие наличие и локализацию этой зоны или объекта, скорость V и ориентированное направление DI перемещения и, возможно, входной цифровой видеосигнал S, задержанный для синхронизации его с предыдущими сигналами, чтобы учесть время вычисления, причем этот задержанный сигнал SR используется для отображения изображения, воспринимаемого камерой 13, на мониторе или телевизионном экране 10 в момент, когда имеется информация, относящаяся к зоне с относительным перемещением (если оно есть), а именно - сигнал ZH, (V, DI), который можно использовать в узле 10а обработки и проверки.

Со ссылками на фиг.2 ниже описана конструкция первой части устройства 11, показанного на фиг.1, причем эта часть представлена внутри блока 11а на фиг.2.

Основными составными частями узла 11а являются, во-первых, модуль 15 временной обработки со связанным с ним запоминающим устройством 16, а во-вторых, модуль 17 пространственной обработки со связанными с ним модулем задержки 18 и упорядочивающим модулем 19, и генератором 20 синхроимпульсов элементов изображения, задающий ритм для модуля 15 временной обработки и упорядочивающего модуля 19.

Модуль 15 временной обработки, который, помимо других функций, сглаживает видеосигнал:
- использует цифровой видеосигнал S с видеокамеры 13, состоящий из последовательности значений PI элементов изображения, и импульсы HP, генерируемые генератором 20 синхроимпульсов (начиная от сигнала S) с частотой элементов изображения в кадре (в частности, 13,5 МГц), для генерирования некоторого числа сигналов, как описано ниже со ссылками на фиг.3, и обменивается с запоминающим устройством 16 значениями двух этих сигналов, а именно - сглаженными значениями L цифрового видеосигнала и значениями С постоянной времени сглаживания, причем за значениями L и С следует буква О для значений, хранящихся в запоминающем устройстве 16 из модуля 15, или буква I для значений, извлекаемых из запоминающего устройства 16 и подаваемых на модуль 15, и
- формирует двоичный выходной сигнал DP, устанавливающий, превышен ли предел, и цифровой сигнал СО, указывающий обновленное вычисленное значение постоянной времени, а именно - значение СО, посылаемое в запоминающее устройство 16.

Блоки вычисления и/или сравнения, образующие модуль 15 временной обработки, подробно показаны на фиг.3; модуль 15 содержит четыре блока 15а, 15b, 15с, 15d.

Первый блок 15а модуля 15, использующий:
- входной цифровой видеосигнал S, состоящий из последовательности сигналов PI элементов изображения, и
- сглаженное значение LI этого сигнала S для непосредственно предыдущего соответствующего кадра, вычисленное заранее модулем 15 как LО и временно хранящееся в запоминающем устройстве 16 (как поясняется ниже),
вычисляет абсолютное значение АВ разности между входными значениями PI и LI для положения одного и того же элемента изображения (например, a_1.1 строки l_1.1 в кадре TR1 и строки l_2.1 в кадре TR₂)
AB = |PI-LI|
с частотой, задаваемой синхросигналами HP генератора 20 синхросигналов.

Второй блок 15b является тестирующим блоком:
- этот блок принимает вышеупомянутый цифровой сигнал АВ из блока 15а и цифровой сигнал порогового значения SE, который должен быть постоянным, но который обычно зависит от значения элемента изображения, поэтому он делается изменяющимся в том же смысле, что и указанное значение, так что создает гамма-коррекцию (известное средство изменения SE для осуществления гамма-коррекции представлено дополнительным блоком 15е, показанным пунктирными линиями); и
- он сравнивает эти два цифровых сигнала, представляющие АВ и SE, чтобы определить двоичный сигнал DP, иными словами - сигнал, который может быть равен одному из двух значений 1 и 0, чтобы указать, соответственно, что АВ превышает или не превышает указанный порог SE:
- если АВ больше, чем SE, сигналу DP будет присвоено значение 1 в блоке 15b, чтобы показать, что порог превышен;
- если АВ меньше или равно SE, сигналу DP будет присвоено значение 0 в блоке 15b, чтобы показать, что порог не превышен.

Фактически, когда DP= 1, разность между PI и LI, иными словами - между входным цифровым видеосигналом и предыдущим сглаженным цифровым видеосигналом, слишком велика, и эту разность приходится уменьшать путем уменьшения постоянной времени сглаживания, и наоборот, если DP=0, эту постоянную времени приходится увеличивать.

Третий блок 15с вносит требуемое изменение в значение постоянной времени в зависимости от значения DP:
- если DP=1, блок 15с уменьшает постоянную времени на значение U единицы: СО (новое значение этой постоянной)=CI (старое значение постоянной)-U;
- если DP=0, блок 15с увеличивает постоянную времени на то же значение U единицы: СО-CI+U.

Следовательно, блок 15с принимает вышеупомянутый двоичный сигнал DP из блока 15b на одном входе и сигнал CI, который является значением предыдущей постоянной времени, хранящимся в запоминающем устройстве 16, на другом входе и уменьшает или увеличивает на значение U единицы входную постоянную времени CI, которая становится значением СО, посылаемым в указанное запоминающее устройство 16 взамен CI.

Постоянную времени, от которой зависит сходимость сглаживания (как функция времени, необходимого для достижения сглаженным значением входного значения цифрового видеосигнала), преимущественно представляют в виде степени двойки, а именно в виде значения 2^p, и именно это целое число р является числом, которое будет уменьшаться или увеличиваться на одну единицу, иными словами - на 1, в блоке 15с; в этом случае U=1 для р на фиг.3,
- если DP= 1, блок 15с вычитает единицу (1) из показателя степени р в постоянной времени 2^p, которая становится равной 2^p-1,
- если DP= 0, блок 15с прибавляет единицу (1) к показателю степени р в постоянной времени 2^p, которая становится равной 2^p+1.

Выбор постоянной времени типа 2^p имеет два преимущества, во-первых, он соответствует физиологии органов зрения человека, а во-вторых, он облегчает вычисления и таким образом упрощает конструкцию блока 15с.

Блок 15с должен также удовлетворять двум условиям, а именно СО должно поддерживаться между двумя следующими значениями: СО не должно становиться отрицательным (СО≥0) и оно не должно превышать предел N (СО≤N). В особом случае, когда CI и СО представлены в виде 2^p, верхний предел N представлен целым числом n, которое является максимальным значением для р.

Верхний предел N (или n) может быть либо постоянным, либо переменным. Если он переменный, то дополнительный блок 15f (показанный пунктирными линиями) осуществляет это изменение N (или n), например - в порядке, указанном пользователем. Последовательность увеличения N предназначена для увеличения чувствительности обнаружения перемещения, тогда как уменьшение N улучшает обнаружение высоких скоростей.

И, наконец, четвертый блок 15d принимает на первом входе значение СО новой постоянной времени, генерируемое блоком 15с, и на втором входе - поступающий цифровой видеосигнал S в виде информации PI о значении элемента изображения, а на третьем входе - сглаженное значение предыдущего поступающего цифрового видеосигнала, а именно - LI, из запоминающего устройства 16, и этот блок вычисляет значение
LО=LI+(PI-LI)/СО,
которое подается на его выход.

Фактически, составляющая (PI-LI) представляет изменение, внесенное в сглаженное значение цифрового видеосигнала, с учетом измененного значения СО постоянной времени, пропорциональное алгебраической разности между действующим значением текущего элемента изображения PI, поступающего из камеры 13, и его предыдущим сглаживающим значением LI и обратно пропорциональное СО.

Если СО=2^p, то
LО=LI+(PI-LI)2^p0,
где используется р₀ - значение р, вычисленное в блоке 15с, которое заменяет предыдущее значение p_i для р в запоминающем устройстве 16.

Следовательно, модуль 15 временной обработки с четырьмя блоками 15а, 15b, 15с, 15d:
- принимает S(PI) из видеокамеры 13, синхроимпульсы HP для управления частотой операций и сигналы SE и N (или n) пороговых значений;
- начиная с поступающих сигналов LI и CI из связанного с ним запоминающего устройства 16, определяет обновленные сигналы LО и СО, которые посылаются в указанное запоминающее устройство для замены LI и CI, соответственно, и которые представляют новые вычисленные значения сглаженного цифрового видеосигнала и постоянной времени, соответственно, и
- подает вышеупомянутый сигнал СО и двоичный сигнал DP превышения порога, вычисленные, исходя из PI, LI и SE, в модуль 17 пространственной обработки через модуль задержки 18.

Назначение операции сглаживания состоит в том, чтобы нормировать изменения цифрового значения вводимого видеосигнала для каждого элемента изображения или точки изображения, а именно изменение каждого PI путем уменьшения разностей изменений и замены для каждого элемента изображения последовательных значений PI реальных переменных в этой точке изображения сглаженными значениями LО, которые изменяются меньше, чем значения PI.

Таким образом, для каждого поступающего PI модуль 15 временной обработки совместно с запоминающим устройством 16 заменяет сглаженное значение LО уменьшенными изменениями путем использования двоичного сигнала DP превышения или отсутствия превышения порога, и сигнала СО постоянной времени, которые обновляются и передаются в модуль пространственной обработки, изображенный на фиг.4.

Каждый элемент изображения внутри зоны кадра можно идентифицировать двумя координатами (обычно - ортогональными) по абсциссе и ординате, а именно - x и y, присваивая два индекса элементу изображения, а именно - i (номер строки) для координаты у и j (номер элемента изображения в строке) для координаты x. Каждый элемент изображения с индексами i и j имеет видеозначение (значение амплитуды видеосигнала) PI_ij.

Если теперь рассмотреть изменение во времени t значений PI_ij для последовательных соответствующих кадров в моменты t₀, t₁, t₂, t₃,..., разделенные периодом Т, соответствующим периоду изображения (обычно равному двум периодам кадра), который может составлять 0,04 с, если частота сигнала видеоизображения составляет 25 Гц, или 0,0333 с, если частота сигнала видеоизображения составляет 33 Гц, или 50 Гц для датчиков с постепенно увеличивающимся изображением (1 кадр на 1 изображение), сигнал элемента видеоизображения с индексами локализации i и j имеет последовательные значения, обозначаемые как РI_ijt0, PI_ijt1, PI_ijt2, PI_ijt3... в эти моменты t₀, t₁, t₂, t₃...

В рамках объема изобретения PI_ij заменяются на последовательные сглаживающие значения LО_ijt, а именно - LО_ijt0, LО_ijt1, LО_ijt2, LО_ijt3 в модуле 15 временной обработки.

Для каждого из последовательных элементов изображения или точек изображения с координатами i, j в момент t, иными словами - PI_ijt, его фактическое значение PI_ijt заменяется сглаженным значением, задаваемым формулой
LО_ijt=LI_ijt(t+1)+(PI_ijt-LI_ij(t-l))/СО_ijt.

Постоянная времени предпочтительно представлена в виде 2^pijt.

Вычисления, выполняемые в модуле 15, а конкретно - в блоке 15d, для каждого временного интервала Т, отделяющего t₁ от t₀, t₂ от t₁, t₃ от t₂ и т.д. , обеспечивают сходимость значения LО_ijt к значению PI_ijt со скоростью, зависящей от постоянной времени, которая изменяется в пространстве (а значит - зависит от i и j) и во времени (а значит - зависит от t) и которая может быть записана в виде СО_ijt.

Во всех случаях сходимость LО_ijt медленнее, когда CO_ijt больше. Если СО_ijt=1, то никакого сглаживания больше нет.

Очевидно, что в вышеуказанных формулах можно было бы заменить декартовы координаты x и y индексами i и j, задающими порядковый номер строки и номер элемента изображения в строке.

Блок 15а вычисляет AB = |PI-LI|, при этом индексы i, j и t не определяются в явном виде, а величина АВ представляет мгновенную изменяемость цифрового видеосигнала S(PI) относительно сглаженного сигнала LI для каждой тройки i, j, t.

Одна из характеристик устройства, соответствующего изобретению, заключается в осуществлении в модуле 15 временной обработки сглаживания значений элементов изображения, чтобы определить для каждого элемента изображения последовательные значения постоянной времени сглаживания и двоичный сигнал, устанавливающий, превышен ли порог, с помощью абсолютного значения разности между значением элемента изображения и сглаженным значением этого элемента изображения для двух последовательных соответствующих кадров, чтобы распределить в плоской матрице численные значения в этот же момент постоянной времени и двоичного сигнала для элементов изображения в ограниченной части кадра, причем эта часть сканирует кадр, чтобы локализовать на основании локальных изменений этих двух значений в этот момент зону с относительным перемещением и чтобы определить скорость и (ориентированное) направление действительного перемещения как функцию этого распределения, причем это осуществляется модулем пространственной обработки, описанным ниже со ссылками на фиг.4.

Сходимость сглаживания обеспечивается вычислительными блоками 15b и 15с, которые определяют изменение значения новой поступающей постоянной времени СО (фактически, СО_ijt), чтобы ускорить сходимость. Это осуществляется путем сравнения АВ (фактически, AB_ijt) с пороговым значением SE, которое может быть постоянной величиной или, предпочтительно, является переменной, и если оно является переменной, то может быть функцией значения элемента изображения, чтобы осуществить гамма-коррекцию: если значение элемента изображения увеличивается, то предел увеличивается, и наоборот. Результат сравнения АВ с пороговым значением SE (фактически, SE_ijt, если указанное значение изменяется как функция значения элемента изображения, то это изменение осуществляется в необязательном вычислительном блоке 15е) обеспечивает генерирование в блоке 15b двоичного сигнала DP перемещения с двумя возможными значениями 1 и 0, как описано выше.

Двоичный сигнал DP поступает в блок 15с для изменения значения постоянной времени. Следовательно, вычислительный блок 15с также принимает значение CI поступающей постоянной времени из запоминающего устройства 16 и обновляет его, используя новое значение CI постоянной времени, которое (помимо всего прочего) посылается в запоминающее устройство 16, где заменяет прежнее значение CI; фактически, для двух значений CI и СО используются: CI_ij и СО_ij в двух последовательных моментах, например - t₀ и t₁, разделенных интервалом Т между двумя последовательными соответствующими кадрами (либо нечетными, либо четными).

Блок 15с, который принимает сигналы DP и CI, прибавляет или вычитает значение (U) единицы к значению CI постоянной времени или одну единицу к р, когда СО представлено в виде 2^p, в зависимости от того, определяет ли двоичный сигнал DP, что пороговое значение превышено (DP=1) или не превышено (DP=0).

Если порог превышен, значение этой постоянной слишком велико, и его уменьшают, и наоборот.

Блок 15с также гарантирует, что новое значение СО постоянной времени, полученное из CI путем прибавления или вычитания единицы, поддерживается между 0 (СО неотрицательно) и пороговым значением N (СО не превышает N). Если эти два условия не удовлетворены, блок 15с не изменяет значение CI (которое фактически лежит в интервале от 0 до N, включая оба эти предела), и тогда СО=CI.

Верхнее граничное значение N (или n) может быть постоянным или переменным; если оно переменно, то оно не должно превышать граничное значение N max (или n max); изменение, если оно есть, вносится блоком 15f под действием органа управления, имеющегося в распоряжении пользователя.

Как вариант, N или n можно сделать зависимым от PI (где значениям N, n и PI фактически присвоены индексы i, j, t), чтобы гарантировать регулирование изменения LO (которое вычисляется в блоке 15d) как функцию уровня PI, что можно выразить так: "N_ijt или n_ijt является функцией от PI_ijt", причем определение N_ijt или n_ijt=F(PI_ijt) осуществляется в вычислительном блоке, замененном на изображенный блок 15f, в который, помимо N, видеокамера 13 подает значение PI.

Постоянная времени С (фактически - каждое C_ijt) преимущественно может быть установлена для удовлетворения условию равенства численному значению, которое либо кратно двойке, либо равно степени двойки, безотносительно значений i, j и t; в этом конкретном случае C_ijt=2^p(ijt), где р - малое целое число, которое является функцией от i, j и t и может быть представлено малым числом разрядов. Это условие обеспечивает дополнительные преимущества, упомянутые выше:
- закон сходимости сглаживания соответствует физиологическим законам органов зрения человека;
- электронная схема блоков 15с и 15d упрощается; в частности, в блоке 15d, который предназначен для определения изменения в значении постоянной времени для каждой пары i, j по следующей формуле
LO=LI+(PI-LI)/CO,
вычисления упрощаются, если СО представлено в виде 2^p (где р - малое целое число), причем величина порогового значения n числа р сама является малым целым числом, представляемым ограниченным числом битов.

Во всех случаях новое значение сглаживания LO поступающего цифрового видеосигнала S подается в запоминающее устройство 16, где оно заменяет LI (для каждой пары индексов U).

Согласно фиг. 2 и 3, модуль 15 временной обработки, который содержит вычислительные блоки 15а, 15b, 15с и 15d и, возможно, блок 15е и/или блок 15f, и который взаимодействует с запоминающим устройством 16, определяет и выдает в качестве выходных сигналов, как пояснялось выше, следующие значения для каждой тройки индексов i, j, t:
- во-первых, обновленное сглаженное значение LO, которое передается в запоминающее устройство 16 для замены предыдущего сглаженного значения LI;
- во-вторых, два цифровых сигнала, а именно:
двоичный сигнал DP, который указывает, что заданный порог либо превышен (DP= 1), либо не превышен (DP=0), по изменению в абсолютном значении поступающего сигнала элемента изображения с видеокамеры и сравниваемого с предыдущим сглаженным сигналом элемента изображения для той же точки; и
- цифровой сигнал амплитуды, состоящий из значения СО обновленной постоянной времени;
эти цифровые сигналы DP и СО принимаются через модуль задержки 18 модулем 17 пространственной обработки, который будет описан позже, причем сигнал СО также вводится в запоминающее устройство 16, где значение СО заменяет предыдущее значение CI для того же элемента изображения.

Следовательно, можно заметить, что емкость запоминающего устройства 16 для хранения, во-первых, последовательных значений сглаженного сигнала элемента изображения, а во-вторых, постоянной времени, в предположении, что в кадре имеется R элементов изображения, а значит - 2R элементов изображения на полное изображение, должна составлять, по меньшей мере, 2R(e+f) бит, где е и f - количества битов, отводимых сигналу элемента изображения и постоянной времени, соответственно. Фактически, емкость запоминающего устройства не должна быть значительно больше; она просто должна превышать 2R(e+f) на количество битов, необходимое для правильной работы запоминающего устройства, в частности - для адресации и извлечения битов из сглаженных сигналов элементов изображения и битов постоянной времени как функции индексов i и j. Если каждое видеоизображение состоит из одного кадра, то достаточно использовать R(e+f) битов вместо 2R(e+f) битов.

Сигналы DP_ij и СО_ij, выходящие из узла 15 временной обработки в момент t, анализируются и используются в узле пространственной обработки, изображенном на фиг.4, причем узел, являющийся сборкой узлов, показанных на фиг.3 и 4, изображен на фиг.2.

Фактически, узел 15 временной обработки обрабатывает сигналы кадров, тогда как узел 17 пространственной обработки, показанный на фиг.4, обрабатывает субпоследовательности строк и элементов изображения в кадре.

Фиг.5 схематически изображает временную обработку последовательных соответствующих кадровых последовательностей TR₁, TR₂, TR₃ и пространственную обработку в первом из этих кадров, иными словами - TR₁, иллюстрирующем декартовы координаты x и y и элемент изображения PI с координатами y, x, иными словами - с индексами i, j в момент t; последовательные элементы изображения с теми же индексами i, j в трех кадрах TR₁, TR₂, TR₃ обозначены индексами ijt₁, ijt₂, ijt₃, соответственно, и имеют значения PIijt₁, PIijt₂, PIijt₃ элементов изображения, соответственно. Плоскость на фиг.5 соответствует пространственной обработке кадра, тогда как суперпозиция кадров соответствует временной обработке (где время t является переменной).

Модуль 17 пространственной обработки, с которым связан модуль задержки 18 (который также показан на фиг.4), взаимодействует с модулем управления 19, управляемым генератором 20 синхроимпульсов, который выдает синхроимпульс HP на каждый последовательный сигнал элемента изображения (см. фиг.2 для иллюстрации узла).

Сигналы DP_ij и СО_ij, выходящие из модуля 15 временной обработки, распределяются узлом 17 в матрицу 21 уменьшенного размера, содержащую некоторое число рядов и столбцов, меньшее, чем число L строк и число М элементов изображения в строке, соответственно, в DP_ij и CO_ij в заданный момент t. В частности, матрица может включать в себя 2l+1 строк вдоль оси x и 2m+1 столбцов вдоль оси у (в декартовых координатах), где l и m - малые целые числа. Преимущественно, l и m выбирают равными степеням двойки, где, например, l равно 2^a, а m равно 2^b, причем а и b - целые числа, например - от 2 до 5. Чтобы упростить чертеж и пояснение, примем m равным l в качестве примера (хотя оно может быть и другим), и m=l=2³=8; в этом случае матрица 21 будет иметь 2х8+1=17 рядов и 17 столбцов.

На фиг. 4 показана часть из 17-ти рядов Y₀, Y₁,...Y₁₅, Y₁₆ и часть из 17-ти столбцов Х₀, X₁,... X₁₅, X₁₆, образующих матрицу 21 узла 17.

Задача состоит в том, чтобы распределить в матрицу 21 с l+1 рядами, в частности с 17-ю рядами, и m+1 столбцами, в частности с 17-ю столбцами, входящие потоки DP_ijt и СО_ijt, иными словами - двоичные сигналы DP превышения порога и цифровые сигналы амплитуды, представляющие постоянную времени СО, которая поступает из модуля 15 временной обработки, обеспечивая их широкое матричное распределение для кадра, состоящего из L (в частности - 312,5) строк и М элементов изображения в строке, в частности - порядка 250-800, в зависимости от используемого стандарта телевизионных сигналов.

Чтобы отличить две матрицы, т.е. матрицу видеосигнала размером LхМ и матрицу размером lхm модуля 17, которой присвоена позиция 21, будут использованы индексы i и j для двух координат первой матрицы (которые будут видны лишь при отображении цифрового видеосигнала на телевизионном экране или мониторе) и индексы x и y для двух координат последней матрицы (показанной на фиг. 4); в заданный момент времени элемент изображения с мгновенным значением PI_ijt характеризуется на входе модуля 17 пространственной обработки двумя цифровыми сигналами DP_ijt и CO_ijt. Матрица LхМ этих двух сигналов перемещается при сканировании по гораздо меньшей матрице 21 размером (2l+1)х(2m+1), как пояснялось со ссылками на фиг.4, причем матрица 21 материализует (2l+1)х(2m+1) элементов изображения, соответствующих этому же кадру.

В этой матрице 21 каждый элемент изображения определяется порядковым номером ряда между 0 и 16 (включительно) для рядов Y₀-Y₁₆, соответственно, и порядковым номером столбца между 0 и 16 (включительно) для столбцов X₀-X₁₆, соответственно, в случае, когда l=m=8, а именно 2l+1=2m+1=17. В этом случае матрица 21 будет создавать представление 17х17=289 элементов изображения в плоскости, тогда как матрица видеосигнала будет включать в себя несколько десятков или сотен тысяч элементов изображения или еще больше.

На фиг. 4 удлиненные горизонтальные прямоугольники Y₀-Y₁₆ (из которых представлены лишь четыре под названиями Y₀, Y₁, Y₁₅ и Y₁₆) и вертикальные линии X₀-X₁₆ (из которых представлены лишь четыре под названиями Х₀, X₁, X₁₅ и Х₁₆) использованы для иллюстрации этой матрицы 21 (узла 17) с 17х17 точками изображения или элементами изображения, имеющими индексы, определяемые в пересечении ряда ординаты и столбца абсциссы. Например, положение Р₈₈ элемента изображения находится на пересечении столбца 8 и ряда 8, как показано на чертеже в точке , которая является центром матрицы 21.

Чтобы осуществить последовательное пространственное распределение частей этой матрицы размером LхM внутри этой матрицы 21 размером (2l+1)х(2m+1), модуль 17 соединен с модулем задержки 18, который принимает, во-первых, сигналы DP и СО (которым присвоены индексы ijt), а во-вторых - поступающий сигнал S элемента изображения, иными словами - PI (также с присвоенными индексами ijt), а также сигнал HP из генератора 20 синхроимпульсов и сигналы SL последовательности чередования строк и сигналы SC последовательности чередования столбцов (фиг.2 и 4).

Как показано на фиг.1, сигнал S(PI) включает в себя не только сигналы значений элементов изображения, например - a_1.1, a_1.2, составляющие временную последовательность (последовательные кадры) и пространственные последовательности (элементы изображения в строке в каждом кадре), но и синхросигналы ST, SL, исходя из которых генератор 20 синхроимпульсов задает синхросигнал, например - на частоте 13,5 МГц, а именно - один маркерный импульс для каждого элемента изображения в видеокадре, а также сигналы гашения BL, которые переводят модуль 19 в нерабочее состояние в течение вышеупомянутых синхросигналов.

В ответ на эти сигналы HP и BL из генератора 20 синхросигналов (фиг.2) модуль 19 управления частотой выдает сигнал SL последовательности строк с частотой, равной частному от деления 13,5 МГц на число столбцов в кадре (например - 400), вместе с сигналом SC последовательности кадров, частота которого равна вышеупомянутому частному 13,5/400 МГц, деленному на число рядов в видеоизображении, например - 312,5, и синхросигнал HP.

Модуль 18 использует эти сигналы SL и SC и синхросигнал HP для управления построчным пространственным распределением в матрице 21.

В результате этого последовательные ряды Y₀-Y₁₆ принимают сигналы DP и СО:
- незадержанные (ряд Y₀);
- задержанные на один период ТР, равный длительности строки кадра (ряд Y₁);
- задержанные на 2 ТР (ряд Y₂); и так далее до
- задержанных на 16 ТР (ряд Y₁₆).

Последовательные задержки, имеющие длительность ряда кадра, а именно - ТР, реализуются в каскадном соединении шестнадцати схем задержки r₁, r₂,... r₁₆, которые обслуживают ряды Y₁, Y₂,... Y₁₆, причем ряд Y₀ обслуживается непосредственно сигналами DP и СО, поступающими без задержки из узла 15.

Все схемы r₁, r₂,... r₁₆ могут быть построены на одной линии задержки с шестнадцатью выходами, причем задержка, накладываемая любым участком этой линии между двумя последовательными выходами, постоянна и равна ТР.

Модуль 19 управления частотой управляет сканированием всей матрицы кадров LхM по матрице 21 размером (2l+1)х(2m+1), осуществляя при повороте для последовательных рядов последовательных кадров использование сигналов SL последовательности чередования рядов с помощью следующей процедуры.

Циклический сдвиг элементов изображения в ряду матрицы кадров на матрице 17х17, например - от Х₀ до X₁₆ по ряду Y₀, осуществляется каскадным соединением шестнадцати регистров сдвига d в каждом из 17 рядов от Y₀ до Y₁₆ (что дает всего 16х17=272 регистра сдвига), размещенных в каждом ряду между двумя последовательными положениями элементов изображения, а именно регистр d₀₁ между положениями PI₀₀ и PI₀₁, регистр d₀₂ между положениями PI₀₁ и Р1₀₂ и т.д. Каждый регистр вводит задержку TS, равную разнице во времени между двумя последовательными элементами изображения в ряду или строке с помощью сигналов SC последовательности чередования столбцов.

Отметим, что ввиду того что ряды l₁, l₂...l₁₇ в кадре TR₁ (фиг.1) для S(PI) и для DP и СО достигают модуля 18 сдвинутыми на ТР (полная длительность ряда) один за другим, и ввиду того что модуль 18 распределяет их с постепенно увеличивающимися задержками величиной ТР в ряды Y₀, Y₁... Y₁₇, эти ряды отображают сигналы DP и СО в заданный момент для рядов l₁, l₂... l₁₇ в той же части кадра.

Аналогично, в заданном ряду, например - l₁, последовательные сигналы a_1.1, a_1.2. . . элементов изображения приходят сдвинутыми на TS, и регистры сдвига d накладывают задержку, также равную TS; поэтому результат таков, что сигналы DP и СО для элементов изображения в заданном ряду от Y₀ до Y₁₆, т.е. для элементов изображения, присутствующих в этом ряду, являются одновременными, иными словами, они соответствуют одной и той же части кадра.

Следовательно, и для строк, и для элементов изображения в этих строках в некоторой части кадра задача состоит в том, чтобы выполнить чисто пространственную обработку, поскольку матрица 21 содержит в своих 17х17 положениях элементов изображения значения DP и СО для 17 элементов изображения в каждом из 17-ти рядов в матрице одного и того же цифрового видеосигнала S(PI), хотя эти элементы изображения, например - a_1.1, поступают последовательно строка за строкой и элемент изображения за элементом изображения в каждом из последовательных рядов (фиг.1) в модуль 18 с соответствующими сигналами DP и СО, которые отображаются.

Сигналы, представляющие одновременные сигналы СО и DP матрицы 21, присутствуют в заданный момент на 16х17=272 выходах регистров сдвига, а также перед 17-ю регистрами, перед 17-ю рядами, т.е. регистрами d_0.1, d_1.1... d_16.1, что дает всего 16х17+17= 17х17 выходов для 17х17 положений Р_0.0, р_0.1... Р_8.8,..., P_16.16.

Внутри матрицы 21, вокруг ее центра имеющего координаты x=8, y=8 (вследствие чего число рядов и число столбцов в матрице 21 предпочтительно нечетное, 2l+1 и 2m+1, соответственно), можно рассмотреть, в частности, малую матрицу, содержащую 3 ряда и 3 столбца, в которой центральным элементом из ее 9-ти элементов действительно является элемент изображения с координатами x=8, y=8. Пусть этой малой матрицей будет матрица

в которой центральный элемент подчеркнут.

Этой матрице из 3х3 элементов, содержащей положения а, b, с, d, f, g, h и i вокруг центрального элемента или положения соответствуют восемь ориентированных направлений, каждое из которых начинается из центрального положения и проходит до одного из других восьми положений.

С этой целью восемь направлений можно идентифицировать с помощью кода Фримена, изображенного на фиг.6, причем направления кодируются цифрами от 0 до 7, начиная от оси x, с шагами 45^o. В коде Фримена 8 возможных ориентированных направлений под номерами от 0 до 7 можно представить трехразрядным числом, поскольку 2³=8, что дает восемь возможных вариантов.

Для вышеупомянутой малой матрицы М3 8 направлений, соответствующих коду Фримена, начиная от центрального положения принимают следующий вид:

как показано на фиг.6.

С учетом показанной на фиг.4 матрицы 21 с 17х17 точками изображения или элементами изображения ниже будет описано, как идентифицировать зону с относительным перемещением относительно практически неподвижной окружающей среды в сцене, наблюдаемой видеокамерой 13 и, следовательно, представленной в виде цифрового видеосигнала S, состоящего из элементов изображения PI_ijt, и как определить скорость и ориентированное направление действительного перемещения относительно практически неподвижной окружающей среды.

Между двумя последовательными кадрами, например - TR₁ и TR₂ (фиг.5), элементы изображения PI_ij в сигнале S будут характеризоваться применительно к их изменению между моментом t₁ (первый кадр) и моментом t₂ (второй кадр) двумя сигналами DP_ij и СО_ij (распределенными путем сканирования в матрице 21).

Значимое изменение значения элемента изображения в некоторой точке в этой матрице существует, если DP=1 для этой точки. Следовательно, зона, которая действительно движется, идентифицируется матричной зоной, в которой DP=1 для каждой точки.

Фактически, вычислительный модуль 17а используется для проверки в тот же момент различных вложенных квадратных матриц с центром в и с размерами 15х15, 13х13, 11х11, 9х9, 7х7, 5х5 и 3х3 внутри матрицы 21 с 17х17 положениями, причем матрица 3х3 является вышеупомянутой матрицей М3. Устройство определяет, какая из этих матриц является наименьшей, в которой значения DP равны 1 и ориентированы вдоль прямой линии, которая определяет направление движения зоны, в которой значения DP равны 1, и которая определяет изменение +1 и -1 вокруг СО. Для изменения +1 и -1 вокруг СО DP должно быть равно 1 при каждом значении, если тест должен дать удовлетворительный результат. Выбирается наименьшая матрица, используемая при тестировании (основная линия).

Затем внутри этой перемещающейся зоны в одной из вложенных матриц, например в малой матрице М3 с 3х3 элементами, устройство определяет, изменяется ли СО на каждой стороне центрального положения в заданном направлении, от +1 в некотором ориентированном направлении и до -1 вдоль противоположно ориентированного направления. Например, если мы имеем -1, 0, +1 в (ориентированном) направлении 1, иными словами - в положениях g, e, с, соответственно, в малой матрице М3, то в этой матрице существует перемещение справа налево в (ориентированном) направлении 1 в коде Фримена (фиг.6). Очевидно, что одновременно в этом направлении в малой матрице DP=1. Скорость перемещения выше, когда матрица, находящаяся среди вложенных матриц от 3х3 до 15х15, в которой СО изменяется от +1 или -1 между двумя соседними положениями вдоль некоторого направления, больше. Например, если имеем -1, 0, +1 в ориентированном направлении 1, иными словами - g, e, с - в матрице 9х9, обозначенной как М9, то перемещение будет происходить быстрее, чем в случае для -1, 0, +1 в матрице 3х3, обозначенной как М3 (фиг.7).

Поскольку СО является степенью двойки и представляется этой степенью в предпочтительных вариантах осуществления, можно идентифицировать расширенный диапазон скоростей, используя лишь несколько битов для степени двойки, и в то же время идентифицировать относительно низкую скорость (что можно выбрать путем увеличения изменения или границы для теста, например, наличие -2, 0, +2 в положениях g, e, с в матрице М3 3х3 указывало бы половину той скорости, которая соответствует -1, 0, +1 для тех же положений в матрице М3).

Можно также предусмотреть два теста для исключения неопределенностей:
- с помощью первого теста выбирают наибольшее отклонение, иными словами - наибольшую постоянную времени, если имеются изменения СО вдоль нескольких направлений в одной из вложенных матриц, например в малой матрице М3 с 3х3 элементами;
- с помощью второго теста произвольно выбирают одно из двух (или более) направлений, вдоль которых изменение СО идентично, например, путем выбора наименьшего значения кода Фримена; этот случай обычно возникает, когда фактическое (ориентированное) направление перемещения находится приблизительно между двумя последовательными закодированными направлениями в коде Фримена, например между направлениями 1 и 2, соответствующими (ориентированному) направлению, которое можно обозначить как 1,5 (фиг.6), образующему угол примерно 67,5^o с направлением оси х (направление 0 в коде Фримена).

Определение ориентированного направления и скорости зоны с действительным перемещением, как описано выше, производится вычислительным модулем 17а (фиг.4), который связан с модулем 17 и который принимает вышеупомянутые 17х17 выходных сигналов из матрицы 21 как для СО, так и для DP (показаны два выходных сигнала из матрицы 21, а именно S_0.1 и S_0.16). Блок 17а обрабатывает значения СО и DP для последовательных вложенных матриц и использует эти значения для определения ориентированного направления (в коде Фримена) и скорости перемещения (в зависимости от которой следует выбирать вложенные матрицы), возможно, путем применения вышеупомянутых тестов.

Сканирование всего кадра цифрового видеосигнала по матрице 21 имеет место:
- сначала для группы первых 17 рядов или строк (рядов 1-17) в кадре: слева кадра направо, рассматривая относительное движение, как показано для кадра TR₂ на фиг.5, т.е. от части TM₁ на краю слева, затем - со смещением к ТМ₂ на один столбец относительно TM₁, и до ТМ_М (где М - число элементов изображения в строке или ряду кадра) на краю справа;
- затем - аналогично, слева направо, столбец за столбцом, для строк или рядов 2-18 в кадре; и
- так далее, каждый раз проходя вниз на одну строку, от строки 3 до строки 19... до тех пор, пока не будет достигнута последняя группа внизу кадра, а именно - строки L - 16,...,L (где L - число строк в кадре).

Рассматривая фиг.2 и 4, можно заметить, что сигналами, выдаваемыми модулями 17, 18, 19, иными словами - узлом пространственной обработки, являются следующие:
- сигнал V, представляющий скорость перемещения на основании амплитуды максимального изменения СО в идентифицируемой зоне, значение которого может быть, например, представлено шкалой из восьми целых чисел от 0 до 7, если скорость представлена в виде степеней двойки, и, следовательно, оно содержит 3 разряда;
- сигнал DI, представляющий направление этого перемещения, заданный исходя из направления этого максимального изменения, причем значение DI тоже можно представить одним из восьми значений от 0 до 7 в коде Фримена, и, следовательно, оно содержит 3 бита;
- подтверждающий сигнал VL, указывающий, что результат для скорости и (ориентированного) направления действителен, иными словами, дает возможность отличить действительный выходной сигнал с V=0 и DI=0 от отсутствия выходного сигнала вследствие случайности, причем этот сигнал равен либо 1 (действительный выходной сигнал), либо 0 (отсутствие выходного сигнала), следовательно, для VL нужен только один бит;
- преимущественно, сигнал СО постоянной времени, например, содержащий 3 бита;
- (3 или 4 сигнала V, DI, VL, а может быть, и СО, подаваемые модулем 17 пространственной обработки и связанными с ним электронными блоками);
- задержанный видеосигнал SR, состоящий из входного видеосигнала S, задержанного в модуле задержки 18 на 16 длительностей TR последовательных строк, а значит - на длительность распределения сигнала S в матрице 21 размером 17х17, чтобы получить цифровой видеосигнал одновременно с матричным представлением в матрице 21, причем содержание этого сигнала может быть отображено на экране телевизора или монитора;
- все три сигнала, подаваемые модулем 19, а именно - синхросигнал HP, сигналы SL последовательности строк и SС последовательности столбцов.

Вложенные прямоугольные матрицы, изображенные на фиг.4 и 7, можно заменить вложенными шестиугольными матрицами (фиг.8) или инвертированной L-образной матрицей (фиг.9).

В случае, показанном на фиг.8, вложенные матрицы (из которых показаны только ближайшие к центру матрицы MR1 и MR2) отцентрированы по точке MR0, которая соответствует центральной точке (в которой двоичный сигнал - "0") матриц М3, М9, показанных на фиг.7. Преимущество системы с шестиугольной матрицей заключается в том, что она позволяет использовать, во-первых, наклонные координатные оси x_а, y_а, а во-вторых - разбиение на треугольники с идентичными сторонами для выполнения изотропного расчета скорости.

Матрица, показанная на фиг.9, состоит из одного ряда (L_u) и одного столбца (С_u), начиная от центрального положения MR_u, в котором два сигнала DP и СО соответственно равны "1" для DP и увеличиваются или уменьшаются на одну единицу для СО, если имеет место перемещение.

Таким образом определяют, проходит ли направление (относительного) перемещения:
- в направлении координаты х: сигнал СО идентичен во всех положениях (прямоугольниках) в столбце С_u, а двоичный сигнал DP равен 1 во всех положениях в ряду L_u, начиная от исходного - MR_u со значением СО_u, до положения, в котором СО равно СО_u+1 или -1 включительно;
- в направлении координаты у: сигнал СО идентичен во всех положениях (прямоугольниках) в ряду L_u, а двоичный сигнал DP равен 1 во всех положениях в столбце С_u, начиная от исходного - MR_u со значением СО_u - до положения, в котором СО равно СО_u+1 или -1 включительно;
- или, наконец, наклонно относительно x и y: двоичный сигнал DP равен 1 в положениях (прямоугольниках) L_u и в положениях (прямоугольниках) Сu, причем наклон определяется перпендикуляром к линии, проходящей через два положения, в которых сигнал СО_u изменяется на величину одной единицы, при этом сигнал DP всегда равен 1.

На фиг. 9 показан случай, при котором DP=1, а СО_u изменяет значение на одну единицу в двух конкретных положениях L_u3 и С_u5 и указывает соответствующий наклон P_p.

Во всех случаях скорость перемещения является функцией положения, в котором СО изменяет значение на одну единицу.

Если СО изменяется на одну единицу только в L_u или С_u, это соответствует значению положения изменения СО.

Если СО изменяется на одну единицу в некотором положении в L_u и в некотором положении в С_u, скорость пропорциональна расстоянию между MR_u и Е_х (пересечением строки, перпендикулярной C_u-L_u и проходящей через MR_u).

Систему, описанную со ссылками на фиг.1-9, в предпочтительном варианте можно дополнить дополнительной системой, которая будет описана со ссылками на фиг. 11-16, для получения глобальной системы 22, изображенной на фиг.10, которая представляет, во-первых, узел 11а, показанный на фиг.2, где указаны сигналы V, DI, VL, С и SR и полный сигнал F (HP, SL, SC), передаваемые узлом 11 (который принимает поступающий цифровой видеосигнал S) в узел 22а (который подает полный выходящий сигнал ZH).

Линия соединения Z-Z₁ между узлами 11а и 22а показана на фиг.2, 10 и 11, причем выходы из модуля 11а соединены со входами узла 22а вдоль Z-Z₁ для передачи вышеупомянутых сигналов.

Выходной сигнал, выдаваемый модулем 22а (из глобального устройства 22), состоит из полного сигнала ZH, обеспечивающего требуемую информацию о зоне с относительным перемещением в сцене 13а, контролируемой видеокамерой 13.

Дополнительный модуль 22а, соединенный с выходами модуля 11а, изображен на фиг. 11 в виде функциональных блоков; напомним, что этот чертеж соединяется вдоль линии Z-Z₁ (в верхней части) с фиг.2 вдоль линии Z-Z¹ (в нижней части фиг.2).

Модуль, показанный на фиг.11, состоит по существу из устройства формирования и использования гистограмм и содержит:
- микрошину 23, которая передает ряд цифровых сигналов, подробно описанных ниже;
- шесть обозначенных позициями 24, 25, 26, 27, 28, 29 блоков формирования и обработки гистограмм, предназначенных для получения гистограмм сигналов: задержанного цифрового видеосигнала SR, скоростей V, ориентированных направлений (в кодах Фримена) D₁, постоянных (времени) СО, первых осей x(m) и вторых осей y(m), соответственно;
- шесть блоков 30, 31, 32, 33, 34, 35 линейного объединения, каждый из которых объединяет свои входные сигналы из шины 23 для формирования подтверждающего сигнала V₁, V₂, V₃, V₄, V₅, V₆ для шести блоков 24, 25, 26, 27, 28, 29, соответственно, блока 30, связанного с блоком 24, блока 31, связанного с блоком 25, блока 32, связанного с блоком 26, блока 33, связанного с блоком 27, блока 34, связанного с блоком 28, и блока 35, связанного с блоком 29;
- блок 36 перемещающейся зоны, координирующий выходные сигналы из блоков 28 и 29 для осей x(m) и y(m); и
- блок 37 изменения строки данных, принимающий сигналы ориентации x(m)₀ и y(m)₀ для осей x(m) и y(m), а также синхросигналы HP элементов изображения, сигналы SL последовательности строк и сигналы SC последовательности столбцов (причем эти три сигнала группируются вместе в группе F, как показано на фиг.2, 4, 10 и 11), исходящие из модуля 19, показанного на фиг.2 и 4, и формирующий сигналы x(m)₁ и y(m)₁, посылаемые в блоки 28 и 29, соответственно.

Блоки 24, 25, 26 и 27 посылают каждый свои выходящие сигналы SR, SV, SDI, SDO в шину 23, тогда как каждый из блоков 28 и 29 подает сигналы x(m)₂ и y(m)₂ на входы блока 36 перемещающейся зоны, который объединяет эти два сигнала из блоков 28 и 29 и подает полный сигнал xy(m) на шину 23.

Работа каждого из блоков 24-29 формирования и обработки гистограмм, которые принимают, во-первых, подтверждающий сигнал V₁, V₂, V₃, V₄, V₅, V₆ из связанного с ними блока 30-35 линейного объединения, а во-вторых - сигнал SR, V, DI, CO, x(m)₁ или y(m)₁, обрабатываемый как входной, одинакова, вот почему описывается только работа одного из этих блоков, а именно - блока 25 для формирования и обработки гистограмм скорости V, взятого в качестве примера; единственным различием для других аналоговых блоков 24, 26, 27, 28 и 29 является обрабатываемая переменная; отметим также, что разные поступающие сигналы для шести блоков 24-29 все являются цифровыми сигналами, что обеспечивает аналогичную структуру и работу этих шести блоков.

Фиг. 12 схематически представляет огибающие 38 и 39 гистограмм, соответственно, по x и y (осям декартовой системы координат матрицы 21 из 17х17 элементов, показанной на фиг.4) скоростей V зоны, совершающей перемещение (на фиг. 14 показаны элементы, такие как C₁, C₂, огибающей 38 гистограммы); x_М и y_М представляют координаты x и y максимумов двух огибающих 38 и 39, соответственно, тогда как l_a и l_bдля оси х и l_c и l_d для оси у представляют пределы диапазона значимых (представляющих интерес) скоростей, причем l_a и l_c являются нижними пределами, а l_b и l_d являются верхними пределами значимых участков гистограмм.

Вертикальные линии L_a и L_b абсцисс l_a и l_b и горизонтальные линии L_c и L_d ординат l_c и l_d образуют прямоугольник, который окружает заштрихованную зону 40 значимых скоростей (для всех направлений x и y) с несколькими микрозонами 41 с более низкими скоростями, которые будут проигнорированы, существующими рядом с основной зоной 40.

Следовательно, все, что необходимо для характеристики зоны с наибольшим изменением параметра, показанного на гистограмме, в этом конкретном случае - скорости V, это идентификация координат четырех пределов l_a, l_b, l_с и l_d и двух максимумов х_М и у_М. Блок 25 непрерывно выдает эту информацию, касающуюся V, в микрошину 23.

Аналогичные блоки 24, 26 и 27 непрерывно выдают информацию, касающуюся зоны максимального значения для SR, DI и СО, соответственно, в эту микрошину 23 аналогичным образом.

И наконец, аналогичные блоки 28 и 29 непрерывно выдают информацию, относящуюся к зоне максимального значения x(m)₁ и у(m)₁, соответственно, в блок 36, который объединяет информацию для абсциссы и ординаты, обозначая ее х(m)₂ и у(m)₂, соответственно, в полный сигнал ху(m), который передается через выход блока 36 в шину 23.

В итоге, шина 23 передает информацию для максимальных значений SR, V, DI, СО и ху(m), соответственно, иными словами - x(m)₁ и х(m)₂, для определения того, имеется ли перемещающаяся зона в сцене, наблюдаемой видеокамерой 13, чтобы локализовать эту зону и определить скорость перемещения и (ориентированное) направление.

На фиг. 11 полный выходящий сигнал, присутствующий в шине 23, обозначен как ZH. Вышеупомянутые составляющие этого сигнала ZH, в частности - для V и DI, иными словами - для скорости и ориентированного направления перемещающейся зоны, которые можно отобразить в цифровой или аналоговой форме, могут сформировать световой сигнал и/или зуммер, в частности - если скорость превышает предел, или их можно передавать с помощью кабеля, оптического волокна или по радиоканалу в системах с дистанционной передачей сигналов в модуль управления, например, 10а на фиг.1, размещенный вблизи или на расстоянии от устройства 11, соответствующего настоящему изобретению.

Часть модулей, показанных на фиг.11 над шиной 23, осуществляющих поэлементную обработку всего кадра и связь элементов в кадре, используется для задания внешнего глобального значения, чтобы определить, имеется ли в наблюдаемой области зона с относительным перемещением, и, если имеется, то осуществляется ее локализация, а затем, если эта зона действительно перемещается, то определяется ее скорость и ориентированное направление этого перемещения. Эта зона с относительным перемещением идентифицируется в плоскости наблюдения вдоль двух направлений х, у, которые не обязательно ортогональны (например, как показано на фиг.15 и 16), и формируется частью модулей, показанных на фиг.11 под шиной 23.

Ниже описана структура и работа блока формирования и обработки гистограмм, такого как блок 25, и связанного с ним блока линейного объединения, такого как блок 31, со ссылками на фиг.12, 13 и 14.

Блок 25 (фиг.13) включает в себя часть 25а, формирующую гистограмму, и часть 25b, формирующую классификатор для этой гистограммы, причем эти две части работают при управлении посредством программного обеспечения, материализованного в виде части 25с интегральной схемы, которая определяет пределы l_a, l_b, l_с и l_d гистограммы (фиг.12).

Классификатор 25b, как и классификаторы других блоков 24, 26, 27, 28, 29 формирования и обработки гистограмм (в случае двух последних - через модуль 36 объединения), выдает свою выходную информацию в шину 23, а через указанную шину - в модуль 31 линейного объединения, который, следовательно, принимает информацию параллельно из всех классификаторов модулей 24, 25, 26, 27, 28, 29, и который в зависимости от этой информации выдает или не выдает подтверждающий сигнал V₂ в узел 25.

Используя программное обеспечение 25с, классификатор 25b определяет различные классы (каждый из которых содержит одинаковое число значений скорости в рассматриваемом случае), которые будут определять такую огибающую, как 38 или 39 (фиг.12).

На фиг. 14 показаны последовательные классы C₁, C₂,..., С_n-1, С_n вдоль оси х вместе с их огибающей 38 для скорости V, которые определяются в классификаторе 25b.

Фиг.15 и 16 иллюстрируют часть, использованную для построения гистограмм для х(m) и y(m), формируемых модулями 28 и 29 и объединяемых в узле 31 для получения наклона.

Например, рассмотрен случай наблюдения дороги с помощью видеокамеры с цифровым выходом, размещенной на борту транспортного средства, и связанного с ней устройства, соответствующего изобретению.

На фиг.15 показаны две стороны дороги B_g слева и B_d справа от дороги R, а также варианты наклоны проекции Р_х относительно х(m), задаваемой модулем 28, и проекции Р_у относительно y(m), задаваемой модулем 29, причем наклоны пронумерованы, например, от 0 до 7 (используя порядок, отличающийся от принятого в коде Фримена).

Чтобы задать наибольшую точность по отношению к правой стороне B_d, иными словами - максимальную чувствительность показаний (например, скорости) применительно к этой стороне, проекция Р_х должна иметь наклон, как можно более близкий к оптимальному наклону Р_о, который перпендикулярен B_d, а конкретно - наклон 5. Следовательно, максимальное значение гистограммы скорости будет получено для наклона 5, определенного модулем 28 (фиг.11).

То же обоснование применимо к левой стороне В_g по отношению к проекции Р_у, а значит - к части, учитываемой блоком 29.

Блок 36, объединяющий два оптимальных наклона, подает информацию об оптимизации для двух сторон B_d и B_g.

Фиг. 16 иллюстрирует задачу определения оптимального наклона Р_о проекции Р_х, осуществляемого, например, для обеспечения оптимального вождения транспортного средства Vh в континентальной Европе при езде по правой стороне дороги (случай а) или в Великобритании при езде по левой стороне дороги (случай b), и наконец, летательного аппарата Va для корректного приземления по центру взлетно-посадочной полосы аэропорта (случай с).

Следовательно, для обеспечения вождения наземного транспортного средства (легкового автомобиля, грузовика) по дороге или полета летательного аппарата (самолета, космического корабля многоразового использования) в районе взлетно-посадочной полосы аэропорта устройство, соответствующее изобретению, дополнительно включает в себя средства представления правой и левой сторон B_d и B_g, соответственно, дороги или взлетно-посадочной полосы, а также средства ориентации, по меньшей мере, одной из координатных осей с изменяемым наклоном таким образом, что она остается приблизительно ортогональной соответствующей стороне (положение Р_о).

До сих пор описывались средства определения зоны, действительно совершающей перемещение, путем определения области, в которой DP=1. При определении области, не движущейся в окружающей среде, в которой движется фон (например, потерпевшего аварию транспортного средства или аварии на автостраде), возникает противоположная ситуация, когда нужно локализовать зоны, в которых DP=0, относительно окружающей среды, в которой DP=1. Очевидно, что в этом случае скорости будут нулевыми в одной зоне, так что понятие направления не имеет смысла. Поэтому вычисления в модуле 17а будут другими.

Устройство, соответствующее изобретению, если оно предназначено для использования только для определения неподвижной зоны, можно упростить путем исключения модулей или блоков, обрабатывающих скорости и направления, в частности - блоков 25, 26, 31, 32, а также можно уменьшить число выходов из модуля 11а и входов в модуль 17.

В операционном модуле 10а устройства, соответствующего изобретению, можно предусмотреть средства отображения гистограмм и/или значений сигналов DP и СО на экране монитора.

Сигнал SR, а именно - задержанный цифровой видеосигнал, обычно подается на экран 10 телевизора или монитора для отображения этого сигнала локально или дистанционно на экране одновременно с указанием наличия относительного движения для проверки характера этого относительного движения. Следовательно, нужно лишь взглянуть на экран 10 телевизора или монитора при получении сигнализации о наличии зоны с относительным перемещением, например, посредством блока визуального оповещения и/или зуммера.

Полезно облегчить идентификацию зоны с относительным перемещением на экране путем использования различных цветов для задержанного цифрового видеосигнала SR, причем каждый цвет или цветовой оттенок представляет скорость и/или направление движения.

Различные модули, которые описаны со ссылками на фиг.2, 3, 4, 11 и 13, состоят из электронной схемы известного типа, в частности с микропроцессорами, выполняющими вычисления и/или сравнения или использующими сигналы развертки, запоминающими устройствами, модулями задержки, регистрами сдвига, модулями, формирующими линейные гистограммы и связывающими гистограммы этого типа в плоскости, и микрошинами.

Сочетание этих электронных схем в отдельных модулях 11а и 22а или в узле 22, состоящем из модулей 11а и 22а, можно получить, используя две малые интегральные схемы или одну малую интегральную схему размером порядка 10х10 мм, например, на основе 0,7 мкм-технологии и для создания набора из двух взаимосвязанных интегральных узлов или одной интегральной схемы, соединенной своим входом с цифровым видеовыходом видеокамеры или другого устройства наблюдения, а своими выходами - с одним или несколькими расположенными здесь же или удаленными пользовательскими устройствами. В одном варианте, если в модуле 11а используется только упрощенное устройство, то это устройство, предпочтительно в виде интегральной схемы, размещается между указанным цифровым выходом и одним или несколькими расположенными здесь же или удаленными пользовательскими устройствами.

Ниже приведены примеры, которые не ограничивают дополнительные применения устройства, соответствующего изобретению, в частности - устройства, соответствующего фиг. 1 и 10, иными словами, узла, показанного на фиг.2 и 11, соединяемого вдоль линии Z-Z¹.

Первое дополнительное применение, показанное на фиг.17, заключается в автоматическом кадрировании человека, движущегося в комнате, например, при осуществлении связи в режиме видеоконференции. Автоматическое кадрирование исключает движения человека, движущегося вокруг, что улучшает определение изображения человека, наблюдаемого с помощью видеокамеры с цифровым выходом, а если цифровой видеосигнал сжимается, то процедура сжатия упрощается.

На фиг.17 показана видеокамера 13 вышеупомянутого типа, которая наблюдает за человеком Р, который может двигаться около нее. Цифровой видеосигнал S из видеокамеры передается посредством кабеля, оптического волокна или радиоканала на экран 10b телевизора или монитора, а также принимается устройством 11, соответствующим изобретению, и выходной сигнал ZH этого устройства воздействует на модуль 42, который в ответ на сигналы, принимаемые из устройства 11 и касающиеся положения и движения человека Р, управляет электродвигателями 43 указанной камеры 13, чтобы направить оптическую ось камеры на человека, а конкретно на его лицо, в зависимости от места, скорости и направления его движения, по возможности изменяя установку объектива с переменным фокусным расстоянием, фокусное расстояние и/или фокусировку камеры, если человек Р движется вперед или назад.

Можно также управлять движениями одного или более лучей прожекторов по человеку (актеру, певцу) на сцене, причем устройство, соответствующее изобретению, центрирует человека в центре изображения путем изменения ориентации видеокамеры и управления направлением прожектора, например, с помощью одного или двух поворотных зеркал для каждого прожектора.

Еще один пример применения устройства, соответствующего изобретению, изображен на фиг. 18, где показана камера 13 (или другое устройства наблюдения), которая выдает цифровой видеосигнал S в устройство 11, соответствующее изобретению. При таком применении камера 13 контролирует часть автострады (шоссе), чтобы обнаружить неожиданную остановку транспортного средства, в частности, у жесткого ограждения или случай, когда легковой автомобиль остановился после столкновения.

Следовательно, задача в этом случае состоит в том, чтобы определить, присутствует ли неподвижный объект (транспортное средство) в движущейся окружающей среде (среди других транспортных средств), иными словами - локализовать зону, в которой DP=0 в матрице 21 из 17х17 элементов. Как правило, камера 13 наблюдает поток транспортных средств, который дает отклики DP=1, с получением значений скорости и направления перемещения. Однако, если какое-либо транспортное средство останавливается, оно идентифицируется откликом DP=0 в зоне его наблюдения.

Модуль 44, принимающей оба сигнала ZH и SR, обнаруживает появление зоны, в которой DP=0 в ZH, и выдает сигнал NR ошибки, который, во-первых, запускает зуммер и/или блок визуального оповещения в устройстве 45, а во-вторых, управляет переключателем 46, который подает видеосигнал S (или даже задержанный видеосигнал SR) на экран 10 телевизора или монитора, что позволяет диспетчеру, предупрежденному зуммером или блоком визуального оповещения, наблюдать автостраду, при остановке транспортного средства или в случае столкновения, чтобы принять необходимые меры, например, в зависимости от реакции водителя остановившегося транспортного средства.

С помощью изобретения диспетчер на станции контроля может легко управлять большим количеством сегментов на автостраде (или основной дороге), для каждого из которых есть камера 13 и устройство 11, соответствующее изобретению, причем сигналы ZH и SR из каждого устройства 11 передаются посредством кабеля, оптического волокна или радиоканала на диспетчерскую станцию, где есть общий модуль 44; наблюдателю нужно лишь взглянуть на экран 10 в случае возникновения происшествия или аварии, о которой оповестил сигнал тревоги, поскольку возникновение нескольких происшествий и/или аварий одновременно в разных местах маловероятно.

В частности, модуль 44 может включать в себя на его входе переключатель поворотного типа (не показан), посылающий сигналы ZH (или SR) из различных узлов 13-11, последовательно и циклически размещенных вдоль автострады, в часть этого модуля 44, формирующую сигнал NL.

Та же самая система позволяет обнаружить не только случай, когда транспортное средство останавливается или имеет место столкновение, вызывающее остановку транспортных средств, но и уменьшение скорости потока транспортных средств (для очень медленного движения транспорта) благодаря уменьшению скорости в различных зонах, в которых DP=1, и наоборот, движение транспортного средства с очень высокой скоростью, вследствие чего скорость в наблюдаемой зоне превышает допустимый предел скорости.

И наконец, фиг.19 иллюстрирует еще одну область применения изобретения, а именно - взаимодействие "человек - машина", реализуемое путем движения руки М или, более конкретно, пальцев DG внутри зоны SF, разбитой на прямоугольники системой координат С_х и С_у.

Видеокамеру 13 с цифровым выходом, связанную с устройством 11, соответствующим изобретению, можно использовать для распознавания движения руки М и пальцев DG, а также можно использовать для управления компьютером (например, подобно "мыши") или для управления некоторыми функциями в машине. Например, узел 13-11 мог бы использовать глухонемой человек, пользующийся стандартным языком знаков глухонемых, основанным на движениях рук, чтобы ввести в алфавитно-цифровые данные, а следовательно, и текст, в компьютер без необходимости использования обычной клавиатуры; эта операция, которую, очевидно, может выполнять и говорящий человек, изучивший язык глухонемых, обеспечивает ввод текста в компьютер без необходимости использовании клавиатуры. Система этого типа нечувствительна к изменениям, зависящим от времени, и не требует точной сигнализации о начале и конце жеста.

Фиг. 20 и 21 схематически иллюстрируют применение изобретения для наблюдения за водителей легкового автомобиля, чтобы сигнализировать, если водитель засыпает.

В этом случае видеокамера 13 размещена рядом с конструкцией кузова внутри транспортного средства, например, над зеркалом заднего вида, где она может наблюдать за водителем.

Первая операция заключается в том, чтобы кадрировать водителя таким же образом, как в случае применения, показанного на фиг.17. На фиг.20 схематически показано изображение 1С водителя на видеоэкране. Сначала исключается использование левого и правого участков (как показано горизонтальной штриховкой изображения), сводя таким образом обработку к центральной части изображения между этими двумя участками.

Затем, в этой центральной части, достаточно контролировать не заштрихованную зону АА, показанную на фиг.21 и обрамляющую голову.

Перемещения, о которых идет речь и которые обнаруживаются устройством, соответствующим изобретению, состоят из миганий водителя (о чем сигнализируют вертикальные движения в зоне АА) с частотой, которая измеряется как раз перед тем, когда он засыпает. Если частота или скорость его мигания падает ниже определенного порога, звучит зуммер, и водитель просыпается.

На фиг.22 показано средство расширения ограниченного числа р битов, представляющих постоянную времени СО, когда необходимо учесть более широкий диапазон скоростей перемещения. С этой целью будет использована схема Мэллета (см. S. Mallat "A Theory for multiresolution signal decompositson", IEEE Transactions on Pattern Analysis and Machine Intelligence, July 1989, p.p. 674-693), которая заключается в последовательном разбиении всего видеоизображения на последовательные половины, обозначенные цифрами 1, 2, 3, 4, 5, 6, 7. Это обеспечивает сжатие, при котором обрабатываются только части изображений. Таким образом, при р=4, иными словами - при 2^p=16, мы можем определить скорость в пределах более широкого диапазона.

Если первоначально в контуре всего изображения устройство, соответствующее изобретению, указывает, что скорость подвижного объекта (в широком смысле этого термина) превышает максимальную скорость, определяемую при значении 2^p= 16 для постоянной времени, то требуется использовать частичные наблюдаемые изображения 1, 2, 3, 4,... до тех пор, пока скорость подвижного объекта не перестанет превышать указанную максимальную скорость внутри кадра частичного изображения после сжатия.

Для использования разложения Мэллета необходимо ввести модуль 13А (изображенный на фиг.22) в схему, показанную на фиг.1, чтобы осуществить это сжатие видеосигнала. Например, этот модуль может состоять из элемента, определяемого как "Экономичный многоформатный видеокодек Ди-Ви 601", изготавливаемый американской корпорацией "Analog Devices" ("АНАЛОГОВЫЕ УСТРОЙСТВА") и описанный в документе "ADV 601 Preliminary Data Sheet", январь 1996 г. На фиг.2 показан дополнительный узел 13А сжатия данных этого типа.

И наконец, на фиг.2 и 3 показано количество битов (1, 3 (если р=3), 8, 15), передаваемых по микрошинам, что демонстрирует возможные варианты экономии размеров для различных функциональных блоков, поскольку они обрабатывают уменьшенное количество битов.

Изобретение дает возможность обнаружения относительного движение в сцене, наблюдаемой оптоэлектронным устройством, например видеокамерой, которая передает наблюдаемую сцену в форме цифрового видеосигнала, состоящего из последовательности кадров, которые сами состоят из последовательности строк, состоящих из последовательности элементов изображения, причем этот цифровой сигнал анализируется для идентификации зоны с относительным перемещением, если зона действительно перемещается относительно практически неподвижной окружающей среды.

Учитывая, что устройство, соответствующее изобретению, определяет ориентированное направление и скорость перемещения объекта (в самом широком смысле этого термина), с этим устройством можно объединить некоторые средства, чтобы использовать эти два параметра для задания будущего положения объектов и для направления видеокамеры 13 заранее в направлении этого будущего положения.

Отметим, что результаты, полученные с помощью устройства, соответствующего изобретению, не требуют, чтобы камера была неподвижной, так что камеру и связанное с ней устройство можно установить на борту наземного, воздушного или морского транспортного средства (например, для осуществления способа, проиллюстрированного на фиг.16).

После очень короткого периода инициализации, равного N (порядка 10-ти последовательных кадров), устройство, соответствующее изобретению, определяет параметры относительного перемещения мгновенно после окончания каждого кадра, по которому была проведена временная и пространственная обработка, вследствие рекурсивности вычислений в соответствии с изобретением.

Выше описан предпочтительный вариант осуществления устройства, соответствующего изобретению, и ряд его применений. Очевидно, что этот вариант и эти применения приведены в качестве не ограничительных примеров, и можно предвидеть многочисленные варианты и адаптации, которые будут очевидны для специалиста в данной области техники и осуществимы в рамках объема изобретения, определяемого в нижеследующей формуле изобретения.

Например, можно было бы реализовать способы использования сигналов, выдаваемых на выход узлом 11, показанным на фиг.2, отличающиеся от тех, которые проиллюстрированы на фиг.11, не выходя за рамки объема изобретения.

Что касается применений устройства, соответствующего изобретению, то они ни в коей мере не сводятся к тем, которые приведены в качестве примеров в вышеизложенном описании. Так, схема, аналогичная показанной на фиг.17, может быть связана непосредственно с камескопом или видеокамерой, чтобы стабилизировать ее для компенсации перемещений, вызываемых случайными движениями пользователя.

Можно было бы также использовать одно или, предпочтительно, несколько устройств, соответствующих изобретению, связанных с одним или, предпочтительно, несколькими камескопами или видеокамерами с цифровым видеовыходом, размещенными в комнате в здании, чтобы создать "интеллектуальную комнату" посредством такой системы, способной обнаруживать и определять местоположение и перемещение одного или нескольких человек в комнате, анализировать это движение в целях безопасности или идентификации и/или оказания помощи в решении стоящих проблем, например поиска детей в другой комнате или клиентов в универсальном магазине.

В частности, предполагалось, что видеосигнал используется с частями последовательно чередующихся кадров, в частности, при обсуждении емкости запоминающего устройства 16, с попарной обработкой двух кадров в устройстве, соответствующем изобретению. Однако, можно было бы использовать только один кадр из двух (например, нечетный кадр), уменьшая емкость запоминающего устройства, а также уменьшая скорость, с которой получается информация, наполовину. Можно было бы также использовать видеокамеру или другое устройство наблюдения, для которого цифровой выходной сигнал включает в себя один кадр на изображение.

В некоторых применениях можно соединить специализированные датчики с устройством, соответствующим изобретению, например, чтобы получить возможность обрабатывать дополнительные параметры перемещения.

Очевидно, что изобретение не сводится к описанным конкретным вариантам осуществления или применениям, а включает в себя все варианты и модификации, являющиеся частью обобщенного определения изобретения.

Изобретения относятся к вычислительной технике и могут быть использованы для обработки цифрового видеосигнала системы наблюдения. Техническим результатом является расширение класса решаемых задач. Изобретения основаны на временной обработке видеосигналов для каждого положения элементов изображения, заключающейся в определении разности между амплитудой сигнала элемента изображения в текущем кадре и амплитудой сигнала элемента изображения в предыдущих кадрах, и пространственной обработке, заключающейся для каждого кадра цифрового видеосигнала в его матричном распределении. При отслеживании состояния бодрствования водителя транспортного средства обрабатывают видеосигнал, представляющий последовательные изображения глаз водителя. 3 с. и 11 з.п. ф-лы, 22 ил.

1. Способ осуществления в реальном масштабе времени идентификации и локализации зоны с относительным перемещением в сцене, наблюдаемой системой наблюдения с выходным сигналом, состоящим из цифрового видеосигнала, содержащего последовательность соответствующих кадров, каждый из которых состоит из последовательности строк, каждая из которых состоит из последовательности элементов изображения, и для определения скорости и ориентированного направления перемещения, отличающийся тем, что включает выполнение следующей последовательности операций над цифровым выходным видеосигналом: временную обработку для каждого положения элемента изображения, заключающуюся в определении разности между амплитудой сигнала элемента изображения в текущем кадре и амплитудой сигнала элемента изображения, представляющего ее значения в предыдущих кадрах, и пространственную обработку, заключающуюся для каждого кадра цифрового видеосигнала в распределении по матрице с меньшим числом строк и с меньшим числом столбцов, чем соответственно число строк и число элементов изображения на строку в цифровом видеосигнале, значений, в один и тот же момент наблюдения, для части элементов изображения заданного кадра (части, сканируемой по матрице в течение длительности кадра) сигналов, характеризующих изменения в значениях элементов изображения, и из упомянутых сигналов в заданный момент наблюдения, т. е. для заданного кадра упомянутого видео- или цифрового сигнала, в генерировании сигналов, представляющих по меньшей мере наличие и локализацию зоны относительного перемещения и ориентированное направление этого перемещения при его наличии, и тем, что он включает сглаживание указанного цифрового видеосигнала с использованием цифровой постоянной времени, численное значение которой для каждого из элементов изображения упомянутого цифрового видеосигнала и независимо от каждого из них изменяется в соответствии с изменением во времени или отсутствием такого изменения каждого значения элемента изображения, запоминание, с одной стороны, кадра выходного сигнала после сглаживания и, с другой стороны, упомянутой постоянной времени для каждого положения элемента изображения в упомянутом кадре, упомянутая временная обработка включает для каждого положения элемента изображения определение, во-первых, наличия и, во-вторых, амплитуды возможного значимого изменения в амплитуде сигнала элемента изображения между текущим кадром и непосредственно предыдущим сглаженным и запомненным кадром, и генерирование двух цифровых сигналов, при этом первый сигнал является двоичным, или однобитовым, сигналом с двумя возможными значениями, одно из которых представляет наличие, а другое - отсутствие значимого изменения между обоими упомянутыми кадрами, текущим и непосредственно предыдущим сглаженным, причем значение указанного двоичного сигнала изменяет запомненное значение упомянутой постоянной времени для соответствующего элемента изображения, чтобы уменьшить эту постоянную времени, если указанный двоичный сигнал имеет первое значение, и чтобы увеличить эту постоянную времени, если указанный двоичный сигнал имеет второе значение, при этом уменьшение или увеличение осуществляются количественно, тогда как второй цифровой сигнал, т. е. сигнал амплитуды, является многобитовым сигналом с ограниченным числом битов, количественно определяющих амплитуду этого изменения, а упомянутая пространственная обработка включает для каждого кадра выходного видеосигнала распределение по упомянутой матрице в течение длительности кадра, во-первых, указанного двоичного сигнала, а во-вторых, указанного цифрового сигнала амплитуды, определение в этом двойном мгновенном матричном представлении указанного двоичного сигнала и указанного цифрового сигнала амплитуды для одного и того же элемента изображения конкретной зоны, в которой в одно и то же время указанный двоичный сигнал имеет искомое значение, представляющее наличие или соответственно отсутствие значимого изменения, а указанный цифровой сигнал амплитуды изменяется или соответственно не изменяется на значимую величину между соседними элементами изображения в матрице вдоль ориентированного направления, начиная с исходного элемента изображения, в той же самой части кадра, и поэтому в тот же самый момент наблюдения, и генерирование сигналов, представляющих наличие и локализацию зоны с возможным относительным перемещением и значение относительной межкадровой скорости и ориентированное направление этого возможного относительного перемещения в окружающей его среде, исходя из мгновенного матричного распределения упомянутых двух цифровых сигналов - двоичного сигнала и сигнала амплитуды. 2. Способ по п. 1, отличающийся тем, что он также включает формирование, во-первых, гистограмм значений сигналов, распределенных в матрицы, а во-вторых, гистограмм наклонов двух координатных осей с изменяемым наклоном в плоскости, идентификацию области, в которой происходит значимое изменение обрабатываемых значений в каждой сформированной гистограмме, и для каждой идентифицированной области установление наличия зоны с относительным перемещением и, в случае наличия, ее локализацию и определение скорости и ориентированного направления. 3. Способ по п. 1 или 2, отличающийся тем, что указанная матрица является квадратной матрицей с одинаковым нечетным числом рядов и столбцов (2l+1), при этом используют вложенные матрицы, содержащие 3•3, 5•5, 7•7, . . . (2l+1)•(2l+1) элементов, центрированные по центру этой квадратной матрицы, для определения наименьшей вложенной матрицы, в которой указанный цифровой сигнал изменяется вдоль ориентированного направления, начиная от указанного центра, при этом значение указанного двоичного сигнала показывает, что превышен порог вдоль этого направления. 4. Способ по п. 1 или 2, отличающийся тем, что указанная матрица является шестиугольной матрицей, при этом используют вложенные шестиугольные матрицы увеличивающегося размера, центрированные по центру этой шестиугольной матрицы, для определения наименьшей вложенной матрицы, в которой указанный цифровой сигнал изменяется вдоль ориентированного направления. 5. Способ по п. 1 или 2, отличающийся тем, что указанная матрица является инвертированной L-образной матрицей с одним рядом и одним столбцом, при этом используют вложенные матрицы, содержащие 3•3 элементов изображения, 5•5 элементов изображения, 7•7 элементов изображения, . . . (2l+1)•(2l+1) элементов изображения, для одного ряда и одного столбца для определения наименьшей вложенной матрицы, в которой указанный цифровой сигнал изменяется вдоль ориентированного направления, а именно - линии с самым большим наклоном и постоянным квантованием. 6. Способ по любому из предыдущих пунктов, отличающийся тем, что указанную постоянную времени представляют в виде 2^p, где р - число меньше 16, в результате чего ее представляют с использованием не более чем 4 битов, причем эту постоянную времени уменьшают или увеличивают, вычитая или прибавляя одну единицу к р. 7. Способ по п. 6, отличающийся тем, что используют последовательно уменьшающиеся части полных кадров на основе алгоритма временного масштаба Мэллета и выбирают наибольшую из этих частей, которая дает показания перемещения, скорости и ориентации, совместимые со значением p. 8. Устройство для осуществления в реальном масштабе времени идентификации и локализации зоны с относительным перемещением в наблюдаемой сцене и для определения скорости и ориентированного направления перемещения с использованием способа по п. 1, содержащее систему наблюдения с выходным сигналом, состоящим из цифрового видеосигнала, содержащего последовательность соответствующих кадров, каждый из которых состоит из последовательности строк, каждая из которых включает в себя последовательность элементов изображения, модуль временной обработки для определения для каждого положения элемента изображения разности между амплитудой сигнала элемента изображения в текущем кадре и амплитудой сигнала элемента изображения, характеризующего его значения в предыдущих кадрах, и модуль пространственной обработки, который для каждого кадра цифрового видеосигнала распределяет по матрице с меньшим числом строк и с меньшим числом столбцов, чем соответственно число строк и число элементов изображения на строку в цифровом видеосигнале, значения, в один и тот же момент наблюдения, для части элементов изображения заданного кадра (части, сканируемой по матрице в течение длительности кадра) сигналов, характеризующих изменения элементов изображения, и из упомянутых сигналов в заданный момент наблюдения, т. е. для заданного кадра упомянутого видео- или цифрового сигнала, генерирует сигналы, представляющие по меньшей мере наличие и локализацию зоны в относительном перемещении и ориентированное направление этого перемещения при его наличии, отличающееся тем, что оно содержит средство (15) для сглаживания цифрового выходного видеосигнала с использованием цифровой постоянной времени (СО), численное значение которой для каждого элемента изображения цифрового видеосигнала и независимо для каждого из них изменяется в ответ на изменение во времени или отсутствие такого изменения значения элемента изображения, средство (16) для запоминания, во-первых, кадра выходного сигнала после сглаживания (LI), и во-вторых, упомянутой постоянной времени для каждого положения элемента изображения в упомянутом кадре, а также в модуле (15) временной обработки средство (15) сравнения для определения, во-первых, наличия и, во-вторых, амплитуды возможного значимого изменения в амплитуде сигнала элемента изображения между текущим кадром и непосредственно предыдущим сглаженным и запомненным кадром, и для генерирования первого цифрового сигнала (DP), являющегося двоичным или однобитовым сигналом с двумя возможными значениями, одно из которых представляет наличие упомянутого значимого изменения, а другое - отсутствие такого значимого изменения между обоими упомянутыми кадрами, текущим и непосредственно предыдущим сглаженным, причем значение указанного двоичного сигнала изменяет запомненное значение упомянутой постоянной времени для соответствующего элемента изображения, чтобы соответственно уменьшить эту постоянную времени, если указанный двоичный сигнал имеет первое значение, и чтобы увеличить эту постоянную времени, если указанный двоичный сигнал имеет второе значение, при этом уменьшение или увеличение осуществляются количественно, и средство вычисления (15с) для формирования второго цифрового сигнала амплитуды (СО), который является многобитовым сигналом с ограниченным числом битов для квантования амплитуды этого изменения, и в модуле (11) пространственной обработки, на входы которого с блока временной обработки поданы упомянутые последовательные двоичный сигнал и цифровой сигнал амплитуды для элементов изображения одного и того же кадра, средство для распределения по упомянутой матрице (21) в течение длительности кадра, во-первых, указанного двоичного сигнала, а во-вторых, указанного цифрового сигнала амплитуды, средство для определения в этом двойном мгновенном матричном представлении указанного двоичного сигнала и указанного цифрового сигнала амплитуды для одного и того же элемента изображения конкретной зоны, в которой указанный двоичный сигнал имеет искомое значение, представляющее наличие или соответственно отсутствие значимого изменения, а указанный цифровой сигнал амплитуды изменяется или соответственно не изменяется на значимую величину между соседними элементами изображения в матрице вдоль ориентированного направления, начиная с исходного элемента изображения, в той же самой части кадра, и поэтому в тот же самый момент наблюдения, и средство для генерирования сигналов, представляющих наличие и локализацию зоны с возможным относительным перемещением, значение относительной межкадровой скорости и ориентированного направления этого возможного относительного перемещения в окружающей его среде, исходя из мгновенного матричного распределения упомянутых двух сигналов - двоичного сигнала и сигнала амплитуды. 9. Устройство по п. 8, отличающееся тем, что указанный модуль пространственной обработки включает в себя первые каскадно соединенные средства задержки (r), каждое из которых вводит задержку, равную разнице во времени между двумя последовательными строками, и вторые каскадно соединенные средства задержки (d) для каждой строки, каждое из которых вводит задержку, равную разнице во времени между двумя последовательными элементами изображения в строке, причем выходы вторых средств задержки (d) и вход каскадного соединения вторых средств задержки (d) для каждой строки выдают в заданный момент значения указанного двоичного сигнала и указанного цифрового сигнала амплитуды в один и тот же момент в указанное средство идентификации (17а). 10. Устройство по п. 8 или 9, отличающееся тем, что оно также содержит средство (24-29) для формирования гистограмм выходных значений указанного модуля пространственной обработки и гистограмм наклонов двух имеющих изменяемый наклон координатных осей в плоскости, средство для идентификации области на каждой гистограмме, в которой имеется значимое изменение в обрабатываемом значении, чтобы подтвердить эту область на выходе и получить для всех гистограмм выходные сигналы, которые идентифицируют и локализуют зону относительного перемещения в наблюдаемой сцене, если она есть, и скорость и ориентированное направление этого перемещения, если указанная зона эффективно перемещается относительно окружающей ее среды. 11. Устройство по любому из пп. 8-10, отличающееся тем, что указанные средства сглаживания (15с, 15d) включают в себя вход для приема цифрового видеосигнала S(PI) и выработки для каждого последующего элемента изображения в кадре видеосигнала сглаженного сигнала (LO), в котором временные изменения входного цифрового видеосигнала уменьшены за счет использования порогового сигнала, принимаемого на другом входе, и постоянной времени (СО), связанной с положением каждого элемента изображения в кадре, значение которой изменяется последовательно, так чтобы сглаживание поддерживало пониженную тенденцию изменений поступающего цифрового видеосигнала, причем средство сглаживания работает во взаимодействии с запоминающим устройством (16), которое обеспечивает прием, хранение и извлечение обновленных значений сглаженного сигнала и постоянной времени для каждой части элементов изображения в кадре, и выдает для положения каждого элемента изображения по меньшей мере последовательность значений обновленной постоянной времени и значений двоичного сигнала, который показывает, превышен ли порог абсолютным значением разности между значением элемента изображения и его сглаженным значением. 12. Устройство по любому из пп. 8-11, отличающееся тем, что модуль (17, 18) пространственной обработки, который осуществляет матричное распределение по уменьшенному количеству рядов и столбцов выходных сигналов средства сглаживания, т. е. последовательных значений постоянной времени (СО) и указанного двоичного сигнала, содержит средство идентификации (17а) для идентификации в указанном матричном распределении зоны элементов изображения, в которой одновременно либо значение двоичного сигнала соответствует превышению порога, и постоянная времени изменяется между соседними элементами изображения на значимую величину в одном направлении и для формирования выходных сигналов, указывающих локализацию указанной зоны и скорость и ориентированное направление перемещения в этой зоне, либо значение двоичного сигнала соответствует не превышению порога, и постоянная времени не изменяется между соседними элементами изображения. 13. Устройство по любому из пп. 10, 11 или 12, отличающееся тем, что оно содержит модуль (11а) временной и пространственной обработки и устройство (22а) для формирования и использования гистограмм, взаимосвязанные для формирования сигналов, относящихся к зоне с относительным перемещением, при ее наличии, в сцене, из цифрового видеосигнала S(PI), полученного из наблюдения сцены, и для группирования сигналов, указывающих на существование и локализацию этой зоны, скорость и ориентацию этого перемещения, причем упомянутая сцена представляет собой дорогу или взлетно-посадочную полосу аэропорта с левой и правой сторонами, и дополнительно содержит средство для представления правой и левой сторон Bd и Bg дороги или соответственно взлетно-посадочной полосы, устройство для формирования и использования гистограмм имеет средства проецирования (37, 28, 29, 36) по координатным осям с переменным наклоном и средство для ориентации по меньшей мере одной из координатных осей с переменным наклоном, так чтобы она оставалась примерно ортогональной соответствующей стороне (положение Р₀), для обеспечении вождения наземного транспортного средства по дороге или при посадке воздушного транспортного средства на взлетно-посадочную полосу. 14. Способ отслеживания состояния бодрствования водителя транспортного средства для обнаружения возможной тенденции к засыпанию водителя, заключающийся в том, что (а) вырабатывают видеосигнал, представляющий первоначально последовательные изображения лица водителя, а затем непрерывно, в реальном масштабе времени, последовательные изображения только глаз водителя, (б) обрабатывают указанный видеосигнал, относящийся только к изображению глаз водителя, в соответствии со способом по любому из пп. 1-7, для последовательного, в реальном масштабе времени, обнаружения в указанном изображении глаз вертикальных движений глазных век, представляющих мигания, определения частот этих движений и обнаружения частот, которые ниже, чем пороговая частота мигания, соответствующая по существу переходу водителя из состояния бодрствования в состояние сонливости, и (в) запускают сигнал оповещения, предупреждающий водителя, как только указанная пороговая частота мигания пройдена.