Способ позиционирования подвижного объекта на основе видеоизображений Российский патент 2019 года по МПК G01S5/04 

Изобретение относится к области навигационных систем и может быть использовано для позиционирования наземных подвижных объектов на основе информации, получаемой от двух и более пространственно разнесенных видеокамер.

За последние годы резко возросла опасность диверсионной и террористической деятельности с использованием скоростных наземных средств передвижения. Для пресечения передвижения представляющих опасность подвижных объектов необходимо вовремя отслеживать во времени навигационные параметры этого объекта, его местоположение и скорость. Задача осложняется тем, что во многих случаях на пересеченной местности с большим числом препятствий и в городских условиях, где присутствуют и другие подвижные объекты, единственно надежным способом обнаружения опасного объекта являются видеонаблюдения, причем действовать ответственному персоналу приходится в экстремальной ситуации и очень быстро.

Давно известны радиолокационные методы позиционирования подвижных объектов, в которых используются радиотехнические средства и методы. При активной радиолокации по пассивным целям сигналы, излучаемые антенной передающего устройства радиолокационной станции (РЛС), фокусируются и направляются на цель. Приемное устройство той же либо другой РЛС принимает отраженные волны и преобразует их так, что выходное устройство с помощью опорных сигналов извлекает содержащуюся в отраженном сигнале информацию: наличие цели, ее дальность, направление, скорость и др. По времени запаздывания отраженного сигнала относительно излученного определяют наклонную дальность цели, а по его амплитудным и фазовым характеристикам - его направление (пеленг). Повторные измерения позволяют определить скорость цели по приращениям направления и дальности, либо по изменению частоты принимаемых сигналов (доплеровского сдвига). Радиолокационные методы с использованием одной либо нескольких РЛС активно применяют там, где это допустимо, но в сложных наземных условиях бывает невозможно идентифицировать подвижную цель среди множества других подвижных объектов, поэтому приходится искать другие методы.

Для позиционирования удаленного объекта могут использоваться дальномерно-угломерные приборы (ДУП), снабженные дальномером (как правило, лазерным) и средствами для измерения вертикальных и горизонтальных углов. Направив луч прибора на позиционируемый объект, можно получить с его помощью сферические координаты объекта по отношению к точке наблюдения, где располагается ДУП: наклонную дальность, магнитный азимут и угол места. Для определения собственных координат (привязки к местности) ДУП оснащают спутниковым навигационным приемником (ГЛОНАСС), либо подключают к приборам, его содержащим. На основе сферических координат и местоположения ДУП находят координаты объекта. ДУП удобен для позиционирования статичных объектов, но попасть лучом на подвижный объект, да еще в экстремальной ситуации практически невозможно.

Наиболее близким к предлагаемому способу (прототипом) является способ позиционирования, изложенный в патенте RU №2656361, С1 "Способ позиционирования подвижного объекта", авторов: Монвиж-Монтвида И.Е., Ермикова С.И.

В этом способе позиционирования подвижного объекта, основанном на многократном периодическом определении углов на объект с двух позиций, заключающимся в том, что для определения углов используют видеоизображения от двух разнесенных видеокамер, местоположение и направление оптических осей которых известно, при этом каждый из операторов, ответственных за свою точку наблюдения, заметив на экране своего ПЭВМ опасный объект, начинает периодическую процедуру фиксации (остановки) изображения выделенной клавишей (например, клавишей «пробел») и засечки объекта на изображении (определения его дисплейных координат) с помощью манипулятора «мышь». Расчет местоположения и параметров вектора скорости производят на основе трех последних замеров от одной из точек наблюдения и одного замера от другой точки, при этом применяют интерполирование трассы объекта при предположении постоянства вектора скорости на интервале 3-х замеров.

Эффективность изложенного способа позиционирования напрямую зависит от реакции операторов, ответственных за точки наблюдения, что порождает ряд проблем. Прежде всего, это скорость «захвата» объекта в экстремальной ситуации. Для первичного определения его навигационных параметров одному из операторов требуется провести не менее 3-х засечек. Если отвести на одну засечку (нажатие выделенной клавиши и отметки на экране объекта с помощью манипулятора «мышь») 2 секунды, то высокоскоростной объект может за 6 секунд до своего «захвата» проехать более 160 метров, что в определенных условиях может оказаться критичным. Другая проблема возникает в ситуациях, когда изложенный способ предполагают использовать не только в целях немедленного пресечения движения, но и для наблюдения объектов достаточно длительное время. Проведение засечек в течение даже нескольких минут сильно утомляет операторов, что влияет на скорость реакции, а, следовательно, и точность позиционирования. Наконец, третья проблема возникает в ситуации, когда необходимо одновременно отслеживать два, а то и три потенциально опасных объекта (например, при одновременной атаке на 2-х грузовиках). Отследить в реальном времени более одного объекта с помощью изложенного способа практически невозможно.

Чтобы свести к минимуму человеческий фактор и решить либо снизить остроту поставленных проблем желательно там, где это возможно использовать автоматическое отслеживание подвижного объекта в видеопотоке.

Отслеживание объекта сводится к определению его места (дисплейных координат) на кадрах видеопотока, для чего либо изначально надо знать признаки объекта, по которым можно его идентифицировать, либо получить эти признаки при анализе заданной области экрана. По этим признакам осуществляется «захват объекта» и его дальнейшее отслеживание на последующих кадрах.

Для пояснения дадим общее описание этапов одного из типичных способов отслеживания объектов в видеопотоке. На первом этапе после ручной засечки объекта анализируют цветовые характеристики области вокруг координат места засечки, определяют контур и особые точки объекта либо его части, выделяют характерные, идентифицирующие объект признаки, за дисплейные координаты принимают центр тяжести полученной фигуры. В дальнейшем на каждом из последующих кадров, начиная поиск с местоположения объекта на предыдущем кадре, по характерным признакам находят новое, наиболее вероятное положение объекта, корректируют его идентифицирующие признаки и вычисляют дисплейные координаты.

Известно множество способов отслеживания объектов в видеопотоке. Многочисленные алгоритмы: Лукаса-Канаде, Виолы-Джонса, непрерывно адаптирующего сдвига и др. позволяют осуществить «захват» указанного объекта и отследить его в видеопотоке, причем на достаточно большом удалении (более 100 метров) и с частотой более 10 кадров/сек (А.Н. Алферов, Н.А. Демин. Захват и отслеживание удаленных объектов в видеопотоке. Инженерный журнал: наука и инновации. 2013. Вып. 11). Выбор оптимального алгоритма зависит от многих факторов, куда входят особенности местности, объектов, используемой аппаратуры. Ни один из алгоритмов не дает гарантии от ошибок, но существенно помочь в решении поставленных проблем они могут.

Целью изобретения является повышение точности позиционирования подвижного объекта, уменьшение времени его захвата, получение возможности отслеживания трасс сразу нескольких объектов и облегчение работы операторов за счет преимущественно автоматического отслеживания ранее зафиксированных видеоизображений объектов.

Для достижения цели предложен способ позиционирования подвижного объекта, основанный на многократном периодическом определении углов на объект с двух позиций, заключающийся в том, что для определения углов используют видеоизображения от двух разнесенных видеокамер, местоположение и направление оптических осей которых известно, при этом каждый из операторов, ответственных за свою точку наблюдения, заметив на экране своего ПЭВМ впервые появившийся опасный объект проводит его ручную засечку, фиксируя изображение выделенной для этого объекта реальной либо виртуальной (под «мышь») клавишей, например, клавишей с номером наблюдаемого объекта «1», «2» и т.д., и отмечая объект на изображении с помощью манипулятора «мышь». После ручной засечки запускают автоматическую процедуру периодического определения дисплейных координат объекта и направления от задействованной точки наблюдения на объект. Информацию о времени засечки, направлении, номере точки наблюдения, типе засечки, автоматической либо ручной, и номере позиционируемого объекта передают на командный пункт, на котором производят определение местоположения и параметров вектора скорости.

На экран ПЭВМ оператора на расчетные дисплейные координаты проекции объекта накладывают условные знаки с номером соответствующего объекта. Расчет местоположения и параметров вектора скорости начинают проводить сразу после ручных засечек объекта обоими операторами. При визуальном рассогласовании на экране ПЭВМ расчетной проекции объекта с его видеоизображением оператор повторяет ручную засечку объекта, по которой корректируют его навигационные параметры.

В штатном режиме ручная процедура засечки объекта оператором проводится только на начальной стадии, после чего дисплейные координаты объекта (его проекции) начинают определяться автоматически. Ввиду того, что автоматическая процедура обновления информации значительно короче ручной (более 10 кадров/сек.) и информация, поступающая от обоих операторов, практически синхронизирована, первичные навигационные параметры объекта с использованием автоматических засечек можно получить сразу после

ручных замеров и время «захвата» объекта резко сокращается. По той же причине, за счет исключения интерполяции и увеличения частоты нахождения навигационных параметров объекта, повышается и точность их определения. Работа операторов после первичной засечки объекта сводится к наблюдению за совпадением получаемого в автоматическом режиме и выводимого на экран расчетного положения проекции объекта с его видеоизображением и, лишь в случае их рассогласования, операторы повторяют процедуру ручной засечки. Благодаря облегчению работы операторов появляется возможность отслеживать одновременно несколько объектов.

Схема получения исходной информации представлена на фиг. 1:

1. Каждая из 2-х точек наблюдения (ТН) оснащена поворотными платформами с видеокамерами, которые транслируют изображения на операторский пункт. Скорости вращения видеокамер, а так же их количество выбирают, исходя из величины и особенностей контролируемой зоны, характеристик видеокамер и потенциально опасных объектов;

2. Каждый из операторов, ответственных за свою точку наблюдения, наблюдает обстановку на экранах ПЭВМ своего АРМ.

3. Заметив на экране потенциально опасный объект, оператор проводит его засечку нажатием выделенной под номер объекта клавиши фиксирует изображение и с помощью манипулятора «мышь» отмечает объект, автоматически возвращая при этом экран в режим реального просмотра.

4. Используя дисплейные координаты засечки, одним из известных способов осуществляют автоматический «захват» и отслеживание объекта в видеопотоке, например, с помощью алгоритма Лукаса-Канаде. На экран выводят последнюю расчетную позицию проекции объекта с указанием его номера. Формируют тип автоматической засечки с самым низким приоритетом.

5. При визуальном рассогласовании на экране ПЭВМ расчетной проекции объекта с его видеоизображением оператор повторяет засечку соответствующего объекта, формируя тип ручной засечки с более высоким приоритетом.

6. По отклонению от визирной линии видеокамеры дисплейных координат объекта и по направлению оптической оси самой видеокамеры автоматически определяют на расчетный момент направление (азимут) от задействованной точки наблюдения на объект.Информацию о времени проведения расчета (t), полученного угла направления на объект (α(t)), типе засечки (р), номере точки наблюдения и номере объекта (N_o): (t, α(t), р, , N_o) передают на командный пункт (КП).

7. По каждому из наблюдаемых объектов, после первых ручных засечек на обеих ТН, периодически вычисляют и визуализируют на экране КП координаты и параметры вектора скорости.

Расчет навигационных параметров (фиг. 2) производят на горизонтальной плоскости в выбранной декартовой системе координат «восток-север». Исходными данными для i-го расчета на момент t_i служат координаты 2-х ТН: O(х,у), О¹ (х¹,у¹), азимуты от обеих ТН: α(t_i), α¹(t_i) и, начиная со 2-го определения, расчетные координаты на предшествующий расчетный момент ti-l: X(ti-l), Y(ti-l).

Выходными параметрами являются координаты объекта М(t_i) на момент t_i: X(t_i), Y(t_i), модуль и направление вектора скорости .

Расчет навигационных параметров производят в следующем порядке.

1) Используя координаты ТН находят базу - расстояние между точками наблюдения d(O,O^l) и угол наклона базы - δ:

2) Зная d(O,O¹), α(t_i), α¹(t_i), используя теорему синусов для треугольника с вершинами О, M(t_i), О¹, находят d(O, M(t_i)):

3) Находят искомые координаты объекта в точке (M(t_i)) на момент

4) Начиная со 2-го расчетного значения, из предположения постоянства скорости между расчетными моментами времени, определяют параметры вектора скорости:

Величину расчетного интервала выбирают, исходя из обстановки и скорости объекта. К примеру, для машин, двигающихся со скоростью более 60 км/час, интервал выбирают 0.5 секунды и менее, а для более медленных объектов 1-3 секунды.

Изображения объектов выводят на электронную карту КП.

8. При поступлении на КП уже после начала отслеживания объекта данных с типом ручной засечки (свидетельство о сбое автоматического отслеживания), корректируют навигационные параметры объекта, используя при вычислении скорости в формулах (4) вместо и соответствующих координат X(t_i-1), Y(t_i-1) более ранние значения на глубину предполагаемой реакции оператора (предположительно 3-4 секунды).

Достигаемым техническим результатом предлагаемого способа позиционирования является повышение точности позиционирования подвижного объекта, уменьшение времени его захвата, получение возможности отслеживания трасс сразу нескольких объектов и облегчение работы операторов за счет преимущественно автоматического отслеживания ранее зафиксированных видеоизображений объектов.

Изобретение относится к области навигационных систем и может быть использовано для позиционирования наземных подвижных объектов на основе видеоинформации, получаемой от двух и более пространственно разнесенных видеокамер. Достигаемый технический результат – повышение точности позиционирования подвижного объекта, уменьшение времени его захвата, получение возможности отслеживания трасс сразу нескольких объектов и облегчение работы операторов за счет преимущественно автоматического отслеживания ранее зафиксированных видеоизображений объектов. Указанный результат достигается за счет того, что операторы при появлении потенциально опасного объекта проводят его засечку на видеокамере, фиксируя видеоизображение выделенной под объект клавишей и отмечая объект с помощью манипулятора «мышь», запуская при этом автоматическую процедуру отслеживания объекта и получения его дисплейных координат, заключающуюся в том, что сначала на основе анализа области засечки определяют характерные идентифицирующие признаки объекта, а затем по характерным признакам проводят отслеживание объекта в видеопотоке и находят его дисплейные координаты, с помощью которых определяют углы направления на объект и навигационные параметры объекта. При этом на экран ПЭВМ оператора на расчетные дисплейные координаты проекции объекта накладывают условные знаки с номером соответствующего объекта. Расчет местоположения и параметров вектора скорости начинают проводить сразу после ручных засечек объекта обоими операторами. При этом в случае визуального рассогласования на экране ПЭВМ расчетной проекции объекта с его видеоизображением оператор повторяет ручную засечку объекта, по которой корректируют его навигационные параметры. 3 з.п. ф-лы, 2 ил.

1. Способ позиционирования подвижного объекта, основанный на многократном определении углов на объект с двух позиций, заключающийся в том, что для определения углов используются видеоизображения от двух разнесенных видеокамер, местоположение и направление оптических осей которых известно, в котором каждый из операторов, ответственных за свою точку наблюдения на соответствующей позиции, определив на экране персональной электронной вычислительной машины (ПЭВМ) своего автоматизированного рабочего места (АРМ) потенциально опасный объект, осуществляет фиксацию видеоизображения путем его остановки выделенной клавишей, засечку объекта на видеоизображении с помощью манипулятора «мышь» и определение его дисплейных координат, автоматически возвращая экран в режим реального просмотра, затем по отклонению от визирной линии видеокамеры зафиксированных дисплейных координат объекта и по направлению оптической оси самой видеокамеры определяют на момент засечки направление от задействованной точки наблюдения на объект, информацию о времени засечки, направлении и номере точки наблюдения передают на командный пункт, на котором производят определение местоположения и параметров вектора скорости, отличающийся тем, что после первой засечки оператором объекта на видеоизображении запускают автоматическую процедуру периодического определения дисплейных координат объекта, заключающуюся в том, что сначала на основе анализа области засечки определяют характерные идентифицирующие признаки объекта, а затем по характерным признакам проводят отслеживание объекта в видеопотоке и получают его дисплейные координаты и на их основе направление от задействованной точки наблюдения на объект, информацию о времени засечки, направлении, номере точки наблюдения, типе засечки, автоматической либо ручной, и номере позиционируемого объекта передают на командный пункт, а определение местоположения и параметров вектора скорости производят на основе синхронных с точностью смены кадров в видеопотоке замеров от обеих точек наблюдения.

2. Способ по п. 1, отличающийся тем, что при засечке каждого нового объекта для остановки видеоизображения перед началом фиксации с помощью «мыши» самого объекта используют для его идентификации свою реальную либо виртуальную выделенную клавишу.

3. Способ по п. 1, отличающийся тем, что на экран ПЭВМ оператора на расчетные дисплейные координаты проекции объекта накладывают условные знаки с номером соответствующего объекта.

4. Способ по п. 1, отличающийся тем, что только при визуальном рассогласовании на экране ПЭВМ расчетной проекции объекта с его видеоизображением оператор повторяет ручную засечку объекта, по которой корректируют навигационные параметры объекта.