ОПТИКО-ЭЛЕКТРОННОЕ УСТРОЙСТВО НАБЛЮДЕНИЯ ДЛЯ НАЗЕМНОГО ТРАНСПОРТНОГО СРЕДСТВА Российский патент 2020 года по МПК G01C11/06 

Изобретение относится к оптико-электронному устройству наблюдения для наземного транспортного средства, в частности, бронированного транспортного средства или танка.

Как известно, такое транспортное средство оснащается множеством камер обнаружения/целеуказания, которые работают в видимом или инфракрасном диапазоне, причем такие камеры являются ориентируемыми и имеют поле обзора, составляющее несколько градусов - как правило, изменяющееся между 3° и 9° или между 4° и 12° и, возможно, способное достигать 20°. Эти камеры имеют очень хорошую разрешающую способность, но их сложно использовать ввиду их малого поля обзора: оператору трудно определить местоположение небольшой области, наблюдаемой такой камерой, в условиях окружающей обстановки, в которых движется транспортное средство. При этом говорят об «эффекте соломинки», поскольку в этом случае оператор как будто бы смотрит через соломинку.

Можно сгладить этот недостаток путем изменения оптики в этих камерах таким образом, чтобы они могли работать в сверхширокопольном режиме (с полем размером до 40°-45°). Реализация такого решения является дорогостоящей, и, кроме того, переключение камеры в сверхширокопольный режим препятствует одновременному наблюдению в малом поле.

В документе US 2002/75258 описывается система наблюдения, содержащая панорамную первую камеру с множеством линз и ориентируемую вторую камеру высокого разрешения. В этой системе изображение высокого разрешения, получаемое второй камерой, вставляется в панорамное изображение, выдаваемое с первой камеры.

Целью изобретения является устранение недостатков известного уровня техники и создание системы наблюдения, которая лучше соответствует требованиям экипажа транспортного средства, такого как бронированное транспортное средство (боевая бронированная машина, AFV) или танк.

С этой целью в нем используется то обстоятельство, что современные бронированные транспортные средства часто оснащаются сверхширокопольной системой наблюдения, например, полусферическим датчиком, таким как система «ANTARES» компании Thales, которая обеспечивает наблюдение с азимутальным углом, равным 360°, и вдоль вертикальной дуги от -15° до 75°. Такое сверхширокое поле обзора включает в себя поле обзора одной или более из камер обнаружения/целеуказания, по меньшей мере, для некоторых диапазонов ориентации последних. Идея, на которой основано данное изобретение, при этом состоит в объединении на том или ином дисплее участка изображения, полученного такой сверхширокопольной системой наблюдения, и изображения, полученного камерой обнаружения/целеуказания. В соответствии с изобретением, изображение с высоким разрешением и малым полем, передаваемое камерой обнаружения/целеуказания, вставляется в участок изображения с более низким разрешением и более широким полем, выдаваемого с системы наблюдения. Таким образом осуществляется получение синтезированного изображения, соответствующего тому изображению, которое было бы получено виртуальной камерой, имеющей такую же ориентацию, как и камера обнаружения/целеуказания, но большее поле обзора. Предпочтительно пользователь может увеличивать масштаб, чтобы использовать высокое разрешение камеры обнаружения/целеуказания, или уменьшать масштаб, чтобы увеличить свое поле обзора и, например, идентифицировать реперные точки.

Таким образом, одним объектом изобретения является оптико-электронное устройство наблюдения, предназначенное для оборудования наземного транспортного средства, содержащее:

- панорамный датчик изображений;

- по меньшей мере одну ориентируемую камеру, имеющую лучшее разрешение в поле обзора, которое меньше, чем поле обзора панорамного датчика изображений, и которое содержится в последнем поле обзора, для по меньшей мере одного набора ориентаций камеры; и

- устройство отображения изображений;

а также содержащее процессор данных, который выполнен с возможностью или запрограммирован для:

- приема по меньшей мере одного первого изображения от упомянутого панорамного датчика изображений и одного второго изображения от упомянутой ориентируемой камеры;

- синтезирования из первого и второго изображений составного изображения, в котором по меньшей мере один участок второго изображения вставлен в участок первого изображения; и

- передачи упомянутого составного изображения в устройство отображения изображений; причем процессор данных выполнен с возможностью или запрограммирован для синтезирования упомянутого составного изображения таким образом, что оно соответствует изображению, которое было бы получено виртуальной камерой, имеющей такую же ориентацию, как и упомянутая ориентируемая камера, но большее поле обзора.

В соответствии с конкретными вариантами осуществления такого устройства:

- Процессор данных может быть выполнен с возможностью или запрограммирован для изменения размера поля обзора упомянутого составного изображения в ответ на команду, исходящую от пользователя.

- Процессор данных может быть выполнен с возможностью или запрограммирован для синтеза в реальном времени потока упомянутых составных изображений из потока упомянутых первых изображений и потока упомянутых вторых изображений.

- Устройство отображения изображений может представлять собой портативное устройство отображения, снабженное датчиками ориентации, причем устройство дополнительно содержит систему для автоматического регулирования ориентации (сервоуправления ориентацией) камеры в соответствии с ориентацией портативного устройства отображения.

- Панорамный датчик изображений и ориентируемая камера могут быть выполнены с возможностью работы в различных спектральных диапазонах.

- Панорамный датчик изображений может представлять собой полусферический датчик.

- Ориентируемая камера может иметь поле обзора, возможно изменяемое, в диапазоне от 1° до 20°, а предпочтительно - от 3° до 12°.

Еще одним объектом изобретения является бронированное транспортное средство, оснащенное таким оптико-электронным устройством наблюдения.

Еще одним объектом изобретения является способ, реализуемый таким оптико-электронным устройством, который включает в себя следующие этапы:

- прием первого изображения от панорамного датчика изображений;

- прием второго изображения от ориентируемой камеры, причем упомянутое второе изображение имеет лучшее разрешение в поле обзора, которое меньше, чем поле обзора первого изображения, и которое содержится в последнем поле обзора;

- синтезирование из первого и второго изображений составного изображения, в котором по меньшей мере один участок второго изображения вставлен в участок первого изображения, причем упомянутое составное изображение соответствует изображению, которое было бы получено виртуальной камерой, имеющей такую же ориентацию, как и упомянутая ориентируемая камера, но большее поле обзора; и

- отображение упомянутого составного изображения.

В соответствии с конкретными вариантами осуществления такого способа:

- Способ может также включать в себя следующий этап: изменение размера поля обзора упомянутого составного изображения в ответ на команду, исходящую от пользователя.

- Поток упомянутых составных изображений может быть синтезирован в реальном времени из потока упомянутых первых изображений и потока упомянутых вторых изображений.

- Упомянутое составное изображение может отображаться на портативном устройстве отображения, снабженном датчиками ориентации, причем данный способ также включает в себя следующие этапы: определение ориентации упомянутого портативного устройства отображения по сигналам, генерируемым упомянутыми датчиками; и автоматическое регулирование ориентации камеры в соответствии с ориентацией портативного устройства отображения.

Прочие признаки, детали и преимущества изобретения станут понятными после прочтения описания, приведенного со ссылкой на прилагаемые чертежи, которые приводятся в качестве примера и на которых:

- фиг. 1 является схематическим представлением принципа изобретения;

- фиг. 2А-2Е иллюстрируют различные изображения, отображаемые во время реализации изобретения; и

- фиг. 3 и 4 схематически иллюстрируют два оптико-электронных устройства в соответствии с соответствующими вариантами осуществления изобретения.

В данном документе:

- Выражение «камера обнаружения/целеуказания» означает ориентируемую цифровую камеру с относительно ограниченным полем обзора - как правило, меньшим или равным 12° или даже 15°, но иногда 20° как в азимутальной плоскости, так и вдоль вертикальной дуги. Камера обнаружения/целеуказания может работать в видимой области спектра, в ближней инфракрасной области (ночное видение), в средней или дальней инфракрасной области (тепловизионная камера) или, более того, являться многоспектральной или даже гиперспектральной.

- Выражения «сверхширокопольный» и «панорамный» приравниваются друг к другу и означают поле обзора, простирающееся по меньшей мере на 45° в азимутальной плоскости, вдоль вертикальной дуги или в обоих направлениях.

- Выражение «полусферический датчик» означает датчик изображения, имеющий поле обзора, простирающееся на 360° в азимутальной плоскости и по меньшей мере на 45° вдоль вертикальной дуги. Он может представлять собой отдельный датчик, например, датчик с использованием объектива типа «рыбий глаз», или, более того, составной датчик, состоящий из набора камер с меньшим полем обзора и цифрового процессора, который объединяет изображения, получаемые этими камерами. Полусферический датчик является конкретным типом панорамного, или сверхширокопольного, датчика изображения.

Как объяснялось выше, один аспект изобретения состоит в объединении на том или ином дисплее участка изображения, полученного системой полусферического наблюдения (или, в более общем случае, сверхширокопольной системой наблюдения), и изображения, полученного камерой обнаружения/целеуказания. Это приводит к синтезу одного или более составных изображений, которые отображаются с помощью одного или более устройств отображения, таких как экраны, гарнитуры виртуальной реальности и т.д.

При использовании устройства в соответствии с изобретением оператор может, например, выбирать широкопольный режим наблюдения - скажем, равное 20° (в азимутальной плоскости) × 15° (вдоль вертикальной дуги). Выбор осуществляется с использованием подходящего интерфейсного средства: клавиатуры, координатного манипулятора, джойстика и т.д. Надлежащим образом запрограммированный процессор данных при этом выбирает выдаваемый с системы полусферического наблюдения участок изображения, имеющий требуемый размер поля и ориентированный в направлении визирования камеры обнаружения/целеуказания. Изображение, полученное камерой обнаружения/целеуказания, которое, например, соответствует полю размером 9° × 6°, вставляется в центр этого изображения с тем же увеличением. Это иллюстрируется в левой части фиг. 1, в которой позицией 100 обозначено составное изображение, 101 соответствует внешней части этого составного изображения, которое поступает с системы полусферического наблюдения и которое обеспечивает «контекст», позволяющий оператору получать свои координаты, в то время как 102 обозначает его центральную часть, которая поступает с камеры обнаружения/целеуказания. Необходимо отметить, что элементарные изображения 101 и 102 имеют одинаковое увеличение, поэтому нет разрыва непрерывности сцены, отображаемой составным изображением. Если оставить в стороне то обстоятельство, что элементарные изображения 101 и 102 не имеют одинаковое разрешение и могут соответствовать различным спектральным диапазонам, и что сложно избежать параллакса, составное изображение соответствует изображению, которое было бы получено камерой - ее можно называть виртуальной камерой - имеющей ту же ориентацию, что и камера обнаружения/целеуказания, но большее поле обзора.

В отличие от случая системы наблюдения из документа US 2002/75258, когда ориентация камеры обнаружения/целеуказания изменяется, элементарное изображение 102 не перемещается внутри элементарного изображения 101. Напротив, поле обзора последнего изменяется, чтобы элементарное изображение 102 выравнивалось по его центральной части. Таким образом, именно центральная часть составного изображения всегда имеет высокое разрешение.

Если оператор уменьшает масштаб, тем самым дополнительно увеличивая размер поля обзора, центральная часть 102 изображения сжимается. Если он увеличивает масштаб, эта центральная часть 102 увеличивается в ущерб внешней части 101, и это показано в центральной картинке фиг. 1, до тех пор, пока упомянутая внешняя часть не исчезнет (правая картинка на чертеже). В данном случае упоминается функциональность цифрового масштабирования, реализуемая путем изменения отображения. Камера обнаружения/целеуказания может также иметь оптическое масштабирование; когда масштаб увеличивают оптически, однако, размер поля изображения, выдаваемого с камеры, уменьшается, и, следовательно, центральная часть 102 составного изображения 100 сжимается. Цифровое масштабирование, применяемое к составному изображению 100, может при необходимости восстанавливать размерное соотношение между изображениями 101 и 102.

Предпочтительно камера обнаружения/целеуказания и система полусферического наблюдения передают потоки изображений со скоростью, составляющей несколько кадров в секунду. Предпочтительно эти изображения объединяются в реальном времени или почти в реальном времени, т.е., с задержкой, не превышающей 1 секунду, а предпочтительно 0,02 секунды (последнее значение соответствует стандартной длительности кадра).

Фиг. 2А-2Е подробнее иллюстрируют составные изображения, отображаемые на экране 2 оптико-электронного устройства в соответствии с изобретением.

На фиг. 2А показан общий вид этого экрана.

Полоса 20 в нижней части экрана соответствует первому составному изображению, получаемому путем объединения панорамного изображения 201 (360° в азимутальной плоскости, от -15° до +75° перпендикулярно этой плоскости), выдаваемого с полусферического датчика, и изображения 202, выдаваемого с камеры обнаружения/целеуказания, которой в данном случае является инфракрасная камера. В действительности прямоугольник панорамного изображения 201 заменяется изображением 202 (или в некоторых случаях участком этого изображения). Если камера обнаружения/целеуказания снабжена оптическим масштабированием, изображение 202 может иметь переменный размер, но в любом случае оно будет занимать лишь незначительную часть панорамного изображения 201. На фиг. 2В изображена отдельная часть этой полосы. Необходимо отметить, что в случае отображения полосой составное изображение не обязательно расположено по центру направления визирования камеры обнаружения/целеуказания.

Верхняя часть 21 экрана отображает второе составное изображение 210, показывающее изображение 202, выдаваемое с камеры обнаружения/целеуказания и вставленное в контекст 2011, выдаваемый с полусферического датчика изображений, иными словами, участок 2011 панорамного изображения 201. Пользователь может принять решение активировать цифровое масштабирование (независимо от оптического масштабирования камеры обнаружения/целеуказания), чтобы уменьшить размер поля обзора составного изображения 210. Вставленное изображение 202 вследствие этого оказывается увеличенным в ущерб участку 2011 панорамного изображения. Фиг. 2C, 2D и 2E соответствуют все более высоким уровням масштабирования. Фиг. 2Е, в частности, соответствует предельному случаю, в котором отображается только изображение 202, выдаваемое с камеры обнаружения/целеуказания (см. правую часть фиг. 1). Разумеется, пользователь может в любой момент принять решение уменьшить масштаб, чтобы вновь увидеть контекст изображения.

Одно преимущество данного изобретения состоит в том, что оно позволяет извлекать пользу от отображения и в виде полосы 20 с идентификацией области, наблюдаемой камерой обнаружения/целеуказания, и составного изображения 21 с промежуточным размером поля. Это было бы невозможным, если бы использовалось только оптическое масштабирование камеры обнаружения/целеуказания .

Другая часть экрана может использоваться для отображения детальных видов панорамного изображения 201. Это не имеет непосредственного отношения к данному изобретению.

Фиг. 3 схематически иллюстрирует оптико-электронное устройство в соответствии с первым вариантом осуществления изобретения, установленное на бронированное транспортное средство 3000. Позицией 300 обозначен полусферический датчик изображения, установленный на крыше транспортного средства; 310 соответствует камере обнаружения/целеуказания, установленной на башне; 311 - управляющему устройству типа джойстика, которое позволяет оператору 350 управлять ориентацией камеры 310 и ее оптическим масштабированием; 320 обозначает процессор данных, который принимает потоки изображений от датчика 300 и от камеры 310 и который синтезирует одно или более составных изображений, отображаемых на экране 330. В нижней части данного чертежа показаны эти составные изображения 210, описанные выше со ссылкой на фиг. 2A-2E.

Фиг. 4 схематически иллюстрирует оптико-электронное устройство в соответствии со вторым вариантом осуществления изобретения, также установленное на бронированное транспортное средство 3000. Это устройство отличается от устройства на фиг. 3 тем, что экран отображения и управляющее устройство 311 заменены портативным устройством 430 отображения, например, напоминающим бинокль, гарнитуру виртуальной реальности или планшет. Это устройство 430 снабжено датчиками положения и ориентации: гироскопами, акселерометрами, оптическими датчиками и т.д., позволяющими определять его положение и главным образом его ориентацию по отношению к системе координат, связанной с транспортным средством. Система 435 автоматического регулирования - некоторые компоненты которой могут использоваться совместно с процессором 320 данных - осуществляет автоматическое регулирование ориентации камеры 310 в соответствии с устройством 430. Составные изображения, отображаемые устройством, адаптируются в реальном времени к изменениям ориентации. При этом у оператора 350 складывается впечатление, что он смотрит сквозь броню транспортного средства 3000 с помощью бинокля с масштабированием. Кроме того, может иметься экран, который отображает, например, сверхширокопольное составное изображение, такое как полоса 20, изображенная на фиг. 2А.

В вышеописанных вариантах осуществления оптико-электронное устройство содержит одну сверхширокопольную систему наблюдения (полусферический датчик) и одну камеру обнаружения/целеуказания. Однако в более общем случае такое устройство может содержать множество сверхширокопольных систем наблюдения, например, работающих в различных спектральных диапазонах, и/или множество камер обнаружения/целеуказания, которые могут являться ориентируемыми, при необходимости независимо. Таким образом, может генерироваться и отображаться множество различных составных изображений.

Процессор данных может представлять собой универсальный компьютер или микропроцессорную плату, специализирующиеся на обработке изображений, или даже специализированную цифровую электронную схему. Для реализации изобретения он осуществляет алгоритмы обработки изображений, которые широко известны.

Изобретение относится к оптико-электронному устройству наблюдения для наземного транспортного средства. Оптико-электронное устройство наблюдения, предназначенное для оснащения наземного транспортного средства (3000), содержит панорамный датчик (300) изображений; по меньшей мере одну ориентируемую камеру (310), имеющую лучшее разрешение в поле обзора, которое меньше, чем поле обзора панорамного датчика изображений, и устройство (330, 430) отображения изображений; процессор (320) данных, который выполнен с возможностью или запрограммирован для: приема по меньшей мере одного первого изображения (201) от упомянутого панорамного датчика изображений и одного второго изображения (202) от упомянутой ориентируемой камеры; синтезирования из первого и второго изображений составного изображения (210), в котором по меньшей мере один участок второго изображения (202) вставлен в участок (2011) первого изображения; и передачи упомянутого составного изображения в устройство отображения изображения. Изобретение позволяет повысить поле обзора. 3 н. и 10 з.п. ф-лы, 8 ил.

1. Оптико-электронное устройство наблюдения, предназначенное для оборудования наземного транспортного средства (3000), содержащее:

- панорамный датчик (300) изображений;

- по меньшей мере одну ориентируемую камеру (310), имеющую лучшее разрешение в поле обзора, которое меньше, чем поле обзора панорамного датчика изображений, и которое содержится в последнем поле обзора, для по меньшей мере одного набора ориентаций камеры; и

- устройство (330, 430) отображения изображений;

также содержащее процессор (320) данных, который выполнен с возможностью или запрограммирован для:

- приема по меньшей мере одного первого изображения (201) от упомянутого панорамного датчика изображений и одного второго изображения (202) от упомянутой ориентируемой камеры;

- синтезирования из первого и второго изображений составного изображения (20, 210), в котором по меньшей мере один участок второго изображения (202) вставлен в участок (2011) первого изображения; и

- передачи упомянутого составного изображения в устройство отображения изображений;

отличающееся тем, что процессор (320) данных выполнен с возможностью или запрограммирован для синтезирования упомянутого составного изображения (210) таким образом, что оно соответствует изображению, которое было бы получено виртуальной камерой, имеющей такую же ориентацию, как и упомянутая ориентируемая камера, но большее поле обзора.

2. Оптико-электронное устройство наблюдения по п. 1, в котором процессор (320) данных выполнен с возможностью или запрограммирован для изменения размера поля обзора упомянутого составного изображения (210) в ответ на команду, исходящую от пользователя (350).

3. Оптико-электронное устройство наблюдения по одному из предыдущих пунктов, в котором процессор (320) данных выполнен с возможностью или запрограммирован для синтеза в реальном времени потока упомянутых составных изображений из потока упомянутых первых изображений и потока упомянутых вторых изображений.

4. Оптико-электронное устройство наблюдения по одному из предыдущих пунктов, в котором устройство (430) отображения изображений представляет собой портативное устройство отображения, снабженное датчиками ориентации, причем устройство наблюдения также содержит систему (435) автоматического регулирования ориентации камеры в соответствии с ориентацией портативного устройства отображения.

5. Оптико-электронное устройство наблюдения по одному из предыдущих пунктов, в котором панорамный датчик (300) изображений и ориентируемая камера (310) выполнены с возможностью работы в различных спектральных диапазонах.

6. Оптико-электронное устройство наблюдения по одному из предыдущих пунктов, в котором панорамный датчик (300) изображений представляет собой полусферический датчик.

7. Оптико-электронное устройство наблюдения по одному из предыдущих пунктов, в котором ориентируемая камера (310) имеет поле обзора, возможно изменяемое, в диапазоне от 1° до 20°, а предпочтительно от 3° до 12°.

8. Бронированное транспортное средство (3000), оснащенное оптико-электронным устройством наблюдения по одному из предыдущих пунктов.

9. Способ наблюдения, реализуемый оптико-электронным устройством наблюдения по одному из пп. 1-7, включающий в себя следующие этапы:

- прием первого изображения (201) от панорамного датчика (300) изображений;

- прием второго изображения (202) от ориентируемой камеры (310), причем упомянутое второе изображение имеет лучшее разрешение в поле обзора, которое меньше, чем поле обзора первого изображения, и которое содержится в последнем поле обзора;

- синтезирование из первого и второго изображений составного изображения (210), в котором по меньшей мере один участок второго изображения вставлен в участок (2011) первого изображения, причем упомянутое составное изображение (210) соответствует изображению, которое было бы получено виртуальной камерой, имеющей такую же ориентацию, как и упомянутая ориентируемая камера, но большее поле обзора; и

- отображение упомянутого составного изображения.

10. Способ по п. 9, в котором упомянутое составное изображение (210) соответствует изображению, которое было бы получено виртуальной камерой, имеющей такую же ориентацию, как и упомянутая ориентируемая камера, но большее поле обзора.

11. Способ по любому из пп. 9 и 10, также включающий в себя следующий этап:

- изменение размера поля обзора упомянутого составного изображения (210) в ответ на команду, исходящую от пользователя.

12. Способ по одному из пп. 9-11, в котором синтезируют поток упомянутых составных изображений в реальном времени из потока упомянутых первых изображений и потока упомянутых вторых изображений.

13. Способ по одному из пп. 9-12, в котором упомянутое составное изображение отображают на портативном устройстве (430) отображения, снабженном датчиками ориентации, причем способ также включает в себя следующие этапы:

- определение ориентации упомянутого портативного устройства отображения по сигналам, генерируемым упомянутыми датчиками; и

- автоматическое регулирование ориентации камеры (210) в соответствии с ориентацией портативного устройства отображения.