Способ подавления встречной засветки при формировании изображений дорожного окружения перед транспортным средством и устройство для осуществления способа Российский патент 2021 года по МПК B60Q1/14 G02B5/20 H04N5/235 

Изобретение относится к устройствам компьютерного зрения транспортных средств, а именно, к устройствам подавления негативной засветки встречного излучения при формировании изображений местности перед транспортным средством, и направлено на повышение качества формируемых изображений в условиях встречной засветки.

Изобретение применимо, в частности, в системах визуализации беспилотных автомобилей.

В настоящие время основным способом визуализации является захват видеоизображения с помощью камеры. Полученное с помощью камеры изображение впоследствии может быть выведено на экран водителя или использовано бортовыми системами при управлении автомобилем в автоматическом (беспилотном) режиме. Проблема отрицательного влияния засветки в таких устройствах решается разными методами.

В патенте US 20180012374 "Image capturing device and method, program, and record medium to perform exposure control based on the brightness in an attention area corresponding to a detected object" видеокамера регистрирует изображение, и с помощью компьютерных алгоритмов вычисляется область повышенного внимания и яркость в этой области. Исходя из величины яркости устройство меняет время экспозиции на камере.

В полезной модели RU 169 980 U1 «Матричный ослабитель оптического излучения» подавление паразитной засветки осуществляется за счет внедрения в оптическую систему матричного оптического затвора, выполненного в виде цифрового микрозеркального устройства. Микрозеркальное устройство позволяет исключить фоновую засветку светочувствительной поверхности за счет локального ослабления потока оптического излучения от точечных высокоинтенсивных источников света, например от фар встречного автомобиля, огней уличного освещения и др.

Известны также способы построения изображений без использования видеокамер. К устройствам, использующим безкамерные способы получения изображений, относятся оптические лидары и недавно появившиеся системы, основанные на методе фантомных изображений. Способ построения изображения окружающего пространства с использованием метода фантомных изображений известен в литературе Yang, Zhaohua, et al. "3-D Computational Ghost Imaging With Extended Depth of Field for Measurement." IEEE Transactions on Instrumentation and Measurement 68.12 (2019): 4906-4912. В работе описан способ получения трехмерного изображения с использованием двух фантомных изображений. В устройстве имеются две микрозеркальные матрицы, разнесенные на некоторое расстояние. Так же имеются две оптические системы и системы подсветки. С их помощью изображаемый объект освещается случайными паттернами (т.н. спекл-картинами), причем с двух разных ракурсов. Рассеянный на объекте свет регистрируется неразрешающим по пространству точечным детектором (bucket-detector). Методами фантомной оптики изображение объекта в двух разных ракурсах восстанавливается, и строится его трехмерное изображение с использованием принципов бинокулярного зрения. Отмечено, что, помимо построения трехмерного изображения, использование метода Фантомных изображений позволяет увеличить глубину резкости.

Предлагаемое изобретение подавления встречной засветки при формировании изображений дорожного окружения перед транспортным средством также основано на методе фантомных изображений и отличается от [Yang, Zhaohua, et al] тем, что позволяет подавлять встречную засветку. Кроме того, вместо неразрешающего по пространству детектора используется камера. В условиях сильных световых помех часть пикселей камеры находится в режиме насыщения, и их сигнал при построении фантомного изображения не учитывается. Учитывается лишь сигнал, лежащей в динамическом диапазоне камеры и дающий информацию об изображении. Использование камеры позволяет решить одну из важных проблем, имеющих место при вычислении фантомных изображений - необходимость набора большой статистики для формирования изображения. Так как корреляционная функция вычисляется поточечно, в отличие, например, от [Yang, Zhaohua, et al], то количество реализаций, по которым проводится усреднение, уменьшается как минимум на 2 порядка.

Техническая проблема заявленного изобретения заключается в повышении надежности управления транспортными средствами, в особенности беспилотными, в условиях сильных световых помех.

Технический результат заключается в повышении точности получаемой информации об окружающей дорожной обстановке при большем значении допустимой внешней засветки, и достигается путем подавления влияния внешней засветки на качество получаемых 2D и 3D изображений с использованием техники Фантомных изображений.

Технический результат достигается за счет того, что способ подавления засветки при формировании изображений дорожного окружения перед транспортным средством содержит этапы, на которых: формируют свет с псевдослучайным распределением интенсивности, при этом в каждом источнике свет от светодиода попадает на соответствующую матрицу микро-зеркал, для каждой матрицы микро-зеркал генерируется набор псевдослучайных масок, маски посылаются в блоки управления матриц микро-зеркал, в соответствии с каждой маской матрицы микро-зеркал модулируют излучение фотодиода, таким образом, чтобы указанное излучение направлялось в область перед транспортным средством, с помощью скоростной видеокамеры регистрируют свет из освещаемой области, строят 2D и 3D изображения местности перед транспортным средством методом фантомных изображений.

Дополнительная особенность заключается в том, что 3D изображение местности перед транспортным средством строят с помощью алгоритма, включающего этапы на которых для каждого пикселя видеокамеры рассчитываются две взаимные корреляционные функции и , где - корреляционная функция между сигналом в пикселе видеокамеры с радиус-вектором r и сигналом в соответствующим пикселе в матрице микро-зеркал первого источника, а аналогичная функция, но для матрицы микро-зеркал второго источника. и являются 2D изображениями области перед транспортным средством и представляют из себя стереопару, а 3D изображение строится на основе полученной стереопары.

Технический результат достигается также в устройстве подавления встречной засветки при формировании изображений дорожного окружения перед транспортным средством, содержащем вычислительный модуль, и связанные с ним по меньшей мере два модуля источников и по меньшей мере один модуль приемника, отличающийся тем, что модули источников используются в виде основных фар дальнего и/или ближнего света для транспортного средства и выполнены с возможностью освещения как в обычном, так и в инфракрасном диапазоне, а вычислительный модуль предназначен для сбора данных из остальных модулей, обработки данных и формирования изображения и выполнен с возможностью генерации псевдослучайных масок для модулей источников, вычисления пространственного распределения интенсивности света на выходе из источников, обработки данных полученных от модуля приемника, вычисления взаимной корреляционной функции между сигналом, полученным с приемника и рассчитанными интенсивностями света на выходе из источников, формирования 2-х 2D изображений местности путем использования принципа фантомных изображений, формирования 3D изображения путем использования принципа стереоскопических изображений.

Дополнительной особенностью является то, что модули источников содержат матрицу микрозеркал и светодиод.

Дополнительной особенностью является то, что модули источников содержат двумерный массив светодиодов, излучение которых модулируется по времени и пространству.

Дополнительной особенностью является то, что модули источников содержат жидкокристаллический пространственный модулятор света

Дополнительной особенностью является то, что модули источников содержат одномерный массив светодиодов и пространственный сканер луча

Дополнительной особенностью является то, что модули источников содержат быстрый сканер луча.

Дополнительной особенностью является то, что модуль приемника содержит скоростную видеокамеру.

Дополнительной особенностью является то, что видеокамера регистрирует излучение от каждого источника излучения входящего в состав устройства, а также излучение от внешних источников.

Дополнительной особенностью является то, что модуль приемника содержит фотодетектор, работающий в линейном режиме, а изображение строится из расчета корреляций между суммарным сигналом с этого фотодиода и сигналом в каждом пикселе матриц микро-зеркал.

Дополнительной особенностью является то, что питание используемого фотодетектора модулируется синхронно с источником света.

Дополнительной особенностью является то, что для освещения используется только один источник излучения, а регистрация излучения производится двумя удаленными друг от друга видеокамерами.

Дополнительной особенностью является то, что используются два удаленных друг от друга фотодетектора.

Дополнительной особенностью является то, что маски сгенерированы заранее.

Дополнительной особенностью является то, что используется один модуль источника, один фотодиод и строится 2D изображение области перед транспортным средством.

Дополнительной особенностью является то, что в качестве стереопары используются один источник света и одна камера, и карта смещений строится на основе смещения корреляционной функции источника и матричного приемника

Заявленное изобретение поясняется с использованием чертежей:

Фиг. 1- принципиальная схема устройства;

Фиг. 2- принципиальная схема источника;

Фиг.3 – принципиальная схема приемника;

Основные технологические преимущества заключаются в следующем:

1. Устройство одновременно выполняет три функции: освещение дорожного окружения, построение изображения и подавление встречной засветки;

2. Устройство способно подавлять засветку от другого транспортного средства в качестве фар которого используется точно такое же устройство;

3. Возможность полного подавления встречной засветки;

4. Высокая частота модуляции излучения (более 10 кГц) неразличима человеческим глазом и видеокамерами, используемыми в качестве сенсоров на беспилотных автомобилях, что позволит использовать устройство в качестве основных фар транспортного средства.

5. Высокая частота модуляции излучения позволяет достичь высокой скорости сбора данных с сенсора (от 50 Гц).

6. Так как способ работы сенсора некритичен к спектральной полосе излучения, то сенсор может быть изготовлен как с излучателем в видимом диапазоне (в форм-факторе фары или габаритного огня), так и с излучателем в ИК диапазоне.

7. Два устройства, будучи примененными одновременно (например на двух автомобилях), не влияют на работу друг друга, в частности, на способность подавлять негативное влияние паразитной засветки

Пример использования изобретения, реализованного по п.1 в формуле изобретения в качестве фар автомобиля.

Ниже описана одна из возможных реализаций, основанная на следующей схеме (Фиг. 1):

1. Модули источников (4) встраиваются вместо автомобильных фар.

2. В состав каждого источника входят:

- Источниксвета Philips X-tremeUltinon LED gen2;

- Микро-зеркальный модулятор DLPLCR70EVM с частотой переключения до 30 кГц;

- Контроллер микро-зеркального резонатора DLPLCRC410EVM;

3. Модуль приемника (8) установлен на крыше автомобиля.

4. В состав приемника входит скоростная камера Phantom C110

5. Вычислительный модуль (1) встраивается в приборную панель автомобиля и представляет из себя компьютер.

6. Модули источников (4) работают в непрерывном режиме, в котором они получают псевдослучайные маски (2) и (3), сгенерированные вычислительным модулем (1).

7. Частота переключения между масками составляет 25 кГц

8. Свет (5) с псевдослучайным распределением интенсивности попадает на встречный автомобиль (6).

9. Модуль приемника (8) производит видеосъемку со скоростью 25 кГц.

10. Модуль приемника регистрирует свет (5), сгенерированный в (4) и рассеянный на (6), а также свет (9), который высвечивается аналогичным изобретением (10), но установленным на автомобиль (6).

11. Вычислительный модуль строит 3D изображение методом фантомных стереоскопических изображений. В полученном изображении подавляется свет от изобретения, установленного на встречном автомобиле.

12. При этом формируется последовательность 3D изображений, т.е. видео с частотой кадров 25 Гц.

Подавление встречной засветки при формировании изображений дорожного окружения перед транспортным средством в данном изобретении реализуется за счет использования принципа фантомных изображений. Фантомные изображения формируются с помощью следующих модулей, входящих в состав изобретения:

• Модуль источника - источник света с псевдослучайным пространственным распределением интенсивности;

• Модуль приемника - детектор излучения;

• Вычислительный модуль - вычислительный модуль, предназначенный для сбора данных из остальных модулей, обработки данных и формирования изображения.

В состав устройства входит вычислительный модуль (1), который генерирует псевдослучайные маски (2) и (3) и посылает их на два независимых модуля источников (4). Модули источников (4) генерируют свет с псевдослучайным распределением интенсивности в соответствии с полученными масками (2) и (3). Переключение между масками происходит с частотой до 30 КГц. Два световых луча (5) из модулей источников (4) освещают пространство перед транспортным средством, на котором они установлены. Объекты (6), находящиеся в интересующей области пространства, рассеивают свет (5). Модуль приемника (8) регистрирует часть излучения, рассеянного на объектах (7). Кроме того, в модуль источника (8) попадает свет (9) от внешних источников (10), например от фар встречных автомобилей. Модуль приемника (8) посылает сигналы, содержащие информацию о зарегистрированном излучении в вычислительный модуль (1). Из полученных сигналов от (4) и (8) вычислительный модуль (1) формирует два 2D изображения с помощью метода фантомных изображений, который основан на расчете корреляционной функции интенсивностей освещающего и детектируемого излучений. Каждый пучок (5) на выходе из модулей источников (4) обладает уникальными корреляционными свойствами, которые определяются масками (2) и (3). Эти свойства позволяют выделить из общего сигнала с модуля приемника два 2D изображения. Кроме того, так как свет (5) обладает уникальными корреляционными свойствами, то при формировании изображений свет (9) будет подавлен. Изображения представляют из себя стереопару, из которой может быть получено 3D изображение местности методом стереоскопических изображений. Подавление фона в стереопаре приводит к подавлению фона в 3D изображении.

В качестве исходного источника излучения используется мощный "белый" светодиод с мощностью излучения от 30 до 50 Вт и равномерным распределением интенсивности по профилю пучка. Создание света с псевдослучайным распределением интенсивности производится с помощью матрицы микро-зеркал (ММЗ). ММЗ имеет ячеечную структуру, в которой каждая ячейка это независимое зеркало. В предлагаемом изобретении для каждого зеркала доступны два положения: "вкл" и "выкл". При положении "вкл" зеркало отражает свет в выходную апертуру источника. При положении "выкл" зеркало отражает свет в гасящий экран.

Одна из возможных реализаций модуля источника представлена на фиг.2.

В данном случае светодиод (11), излучающий свет (12) в видимом диапазоне (450-650 нм), облучает ММЗ (13). ММЗ (13) имеет блок управления (14), который получает из вычислительного модуля (1) маску (15). Согласно полученной маске блок (14) выставляет все микро-зеркала в (13). При этом частота переключения между масками не превышает 30 кГц. Отражённый промодулированный свет (16) попадает в выходную апертуру источника (17). Свет (18) от источника, который не участвует в формировании изображения, гасится на экране (19).

На выходе такого источника распределение интенсивности будет обладать псевдотепловой статистикой, что позволяет реализовать принцип фантомных изображений.

Для формирования фантомных изображений необходимо использовать еще один модуль --- модуль приемника. Одна из возможных реализаций модуля приёмника представлена на фиг.3. На вход модуля приемника поступает свет (20), состоящий из света, сгенерированного в модулях источников и рассеянного на объектах перед транспортным средством, а также из света от внешних источников, таких как фары встречных автомобилей.

Оптическая система (21) формирует изображение области перед транспортным средством и проектирует его на фоточувствительную матрицу (22) видеокамеры. Видеокамера работает в режиме быстрой съемки с частотой съемки до 30 кГц. Каждый кадр (23) посылается в вычислительный модуль.

Фантомное изображение извлекается из корреляционной функции интенсивностей света, облучающего объект и детектируемого модулем приемника. Для этого необходимо использовать еще один модуль --- вычислительный модуль.

Вычислительный модуль представляет из себя многофункциональный компьютер, в чьи задачи входит:

- генерация псевдослучайных масок для модулей источников;

- вычисление пространственного распределения интенсивности света на выходе из источников;

- обработка данных полученных от модуля приемника;

- вычисление взаимной корреляционной функции между сигналом, полученным с приемника и рассчитанными интенсивностями света на выходе из источников;

- формирование 2-х 2D изображений местности путем использования принципа фантомных изображений с устраненным влиянием засветки;

- формирование 3D изображения путем использования принципа стереоскопических изображений.

Совокупность указанных модулей позволяет реализовать назначение изобретения.

Группа изобретений относится к устройствам подавления негативной засветки встречного излучения при формировании изображений местности перед транспортным средством. Устройство подавления засветки содержит вычислительный модуль и связанные с ним два модуля источников и модуль приемника. Модули источников используются в виде основных фар дальнего и/или ближнего света для транспортного средства. Вычислительный модуль предназначен для сбора данных из модулей, обработки данных и формирования изображения и выполнен с возможностью генерации псевдослучайных масок для модулей источников, вычисления пространственного распределения интенсивности света на выходе из источников, обработки данных, полученных от модуля приемника, вычисления взаимной корреляционной функции между сигналом, полученным с приемника, и рассчитанными интенсивностями света на выходе из источников, формирования двух 2D-изображений местности путем использования принципа фантомных изображений и формирования 3D-изображения путем использования принципа стереоскопических изображений. Достигается повышение надежности управления транспортными средствами в условиях сильных световых помех. 2 н. и 13 з.п. ф-лы, 3 ил.

1. Способ подавления засветки при формировании изображений дорожного окружения перед транспортным средством содержит этапы, на которых: формируют свет с псевдослучайным распределением интенсивности, при этом в каждом источнике свет от светодиода попадает на соответствующую матрицу микрозеркал, для каждой матрицы микрозеркал генерируется набор псевдослучайных масок, маски посылаются в блоки управления матриц микрозеркал, в соответствии с каждой маской матрицы микрозеркал модулируют излучение фотодиода таким образом, чтобы указанное излучение направлялось в область перед транспортным средством, с помощью скоростной видеокамеры регистрируют свет из освещаемой области, строят 2D- и 3D-изображения местности перед транспортным средством методом стереоскопических фантомных изображений.

2. Устройство подавления засветки при формировании изображений дорожного окружения перед транспортным средством, содержащее вычислительный модуль и связанные с ним по меньшей мере два модуля источников и по меньшей мере один модуль приемника, отличающийся тем, что модули источников используются в виде основных фар дальнего и/или ближнего света для транспортного средства и выполнены с возможностью освещения как в обычном, так и в инфракрасном диапазоне, а вычислительный модуль предназначен для сбора данных из остальных модулей, обработки данных и формирования изображения и выполнен с возможностью генерации псевдослучайных масок для модулей источников, вычисления пространственного распределения интенсивности света на выходе из источников, обработки данных, полученных от модуля приемника, вычисления взаимной корреляционной функции между сигналом, полученным с приемника, и рассчитанными интенсивностями света на выходе из источников, формирования двух 2D-изображений местности путем использования принципа фантомных изображений, формирования 3D-изображения путем использования принципа стереоскопических изображений.

3. Устройство по п. 2, отличающееся тем, что модули источников содержат матрицу микрозеркал и светодиод, а модуль приемника содержит скоростную видеокамеру, при этом 3D-изображение местности перед транспортным средством строят с помощью алгоритма, включающего этапы, на которых для каждого пикселя видеокамеры рассчитываются две взаимные корреляционные функции и , где - корреляционная функция между сигналом в пикселе видеокамеры с радиус-вектором r и сигналом в соответствующем пикселе в матрице микрозеркал первого источника, а аналогичная функция, но для матрицы микрозеркал второго источника, и являются 2D-изображениями области перед транспортным средством и представляют из себя стереопару, а 3D-изображение строится на основе полученной стереопары.

4. Устройство по п. 3, отличающееся тем, что модули источников содержат двумерный массив светодиодов, излучение которых модулируется по времени и пространству.

5. Устройство по п. 3, отличающееся тем, что модули источников содержат жидкокристаллический пространственный модулятор света.

6. Устройство по п. 3, отличающееся тем, что модули источников содержат одномерный массив светодиодов и пространственный сканер луча.

7. Устройство по п. 3, отличающееся тем, что модули источников содержат быстрый сканер луча.

8. Устройство по п. 3, отличающееся тем, что скоростная видеокамера выполнена с числом пикселей, равным числу элементов в матрице микрозеркал.

9. Устройство по п. 3, отличающееся тем, что модуль приемника содержит фотодетектор, работающий в линейном режиме, а изображение строится из расчета корреляций между суммарным сигналом с этого фотодиода и сигналом в каждом пикселе матриц микрозеркал.

10. Устройство по п. 9, отличающееся тем, что питание используемого фотодетектора модулируется синхронно с источником света.

11. Устройство по п. 2, отличающееся тем, что для освещения используется только один источник излучения, а регистрация излучения производится несколькими удаленными друг от друга модулями приёмников.

12. Устройство по п. 1, отличающееся тем, что маски сгенерированы заранее.

13. Устройство по п. 2, отличающееся тем, что используется один модуль источника, один фотодиод и строится 2D-изображение области перед транспортным средством.

14. Устройство по п. 2, отличающиеся тем, что в качестве стереопары используются один источник света и одна камера и карта смещений строится на основе смещения коллекционной функции источника и матричного приемника.

15. Устройство по п. 3, отличающееся тем, что количество пикселей в матрице микрозеркал и видеокамере не совпадает.