Способ и устройство подавления засветки при формировании фото и видеоизображений дорожного окружения перед транспортным средством с помощью метода фантомных изображений Российский патент 2023 года по МПК G06T7/35 

Изобретение относится к устройствам получения фото- и видеоинформации, работающим в условиях сильных световых помех.

Устройство предназначено для использования в качестве фар ближнего и дальнего света беспилотного транспортного средства (ТС) и позволяет получать фото- и видео- изображения дорожного окружения с подавленными световыми шумами.

Устройство направленно на борьбу с воздействием световых помех, в том числе созданных намеренно.

Устройство, в частности, относится к устройствам компьютерного зрения ТС, а именно, к устройствам подавления негативной засветки от встречного излучения при формировании изображений дорожного окружения, и направлено на повышение качества формируемых изображений в условиях встречной засветки.

В настоящие время одним из основных способов получения информации о дорожном окружении является захват видеоизображения с помощью камер. Полученное с помощью камеры изображение впоследствии может быть выведено на экран водителя или использовано бортовыми системами при управлении ТС в автоматическом (беспилотном) режиме. Проблема отрицательного влияния засветки в таких устройствах решается разными методами.

В патенте US 20180012374 "Image capturing device and method, program, and record medium to perform exposure control based on the brightness in an attention area corresponding to a detected object" видеокамера регистрирует изображение, и с помощью компьютерных алгоритмов вычисляется область повышенного внимания и яркость в этой области. Исходя из величины яркости устройство устанавливает время экспозиции на камере.

В полезной модели RU 169980 U1 «Матричный ослабитель оптического излучения» подавление паразитной засветки осуществляется за счет внедрения в оптическую систему матричного оптического затвора, выполненного в виде цифрового микрозеркального устройства. Микрозеркальное устройство позволяет исключить фоновую засветку светочувствительной поверхности за счет локального ослабления потока оптического излучения от точечных высокоинтенсивных источников света, например от фар встречного автомобиля, огней уличного освещения и др.

Известны также способы борьбы с паразитной засветкой с помощью использования дополнительного освещения. В устройствах, основанных на таком принципе, как правило, используются узкополосные источники света, а камеры защищены специальным узкополосным фильтром. В таком случае все световые шумы, не попадающие в полосу пропускания фильтра, подавляются. Пример устройства предложен в российском патенте RU 2 563 102 C1 "Система и способ определения государственного регистрационного номера транспортного средства". В устройстве содержатся две видеокамеры. Первая видеокамера работает в видимом световом диапазоне, вторая видеокамера работает в инфракрасном световом диапазоне. Также имеется источник инфракрасного освещения. Указанные элементы подключаются к вычислительному блоку с программным обеспечением для распознавания номеров, причем обе видеокамеры имеют одинаковую зону обзора и выполнены с возможностью одновременного формирования изображения транспортного средства в видимом световом диапазоне и изображения транспортного средства в инфракрасном световом диапазоне.

Известны также способы построения изображений без использования видеокамер. К устройствам, реализующим бескамерные способы получения изображений, относятся оптические лидары и недавно появившиеся системы, основанные на методе фантомных изображений. Способ построения 3D изображения окружающего пространства с использованием метода фантомных изображений известен в литературе: Yang, Zhaohua, et al. "3-D Computational Ghost Imaging With Extended Depth of Field for Measurement." IEEE Transactions on Instrumentation and Measurement 68.12 (2019): 4906-4912. В работе описан способ получения трехмерного изображения с использованием двух фантомных изображений. В устройстве имеются две микрозеркальные матрицы, разнесенные на некоторое расстояние. Так же имеются две оптические системы и системы подсветки. С их помощью изображаемый объект освещается случайными паттернами (т.н. спекл-картинами), причем с двух разных ракурсов. Рассеянный на объекте свет регистрируется неразрешающим по пространству точечным детектором (bucket-detector). Методами фантомной оптики изображение объекта в двух разных ракурсах восстанавливается, и строится его трехмерное изображение с использованием принципов бинокулярного зрения. Отмечено, что, помимо построения трехмерного изображения, использование метода Фантомных изображений позволяет увеличить глубину резкости.

Из уровня техники известен также патент "Способ подавления встречной засветки при формировании изображений дорожного окружения перед транспортным средством и устройство для осуществления способа" (RU 2 746 614 C1), в котором подавление засветки происходит за счет использования подсветки, излучение которой создаётся с помощью диодного источника и матрицы микро-зеркал. С помощью скоростной видеокамеры регистрируют свет из освещаемой области, строят 2D и 3D-изображения местности перед ТС методом стереоскопических фантомных изображений.

Предлагаемое изобретение подавления встречной засветки при формировании изображений дорожного окружения перед ТС также основано на методе фантомных изображений и отличается от патента RU 2746614 C1 тем, что при формировании изображений используется только временная модуляция. Таким образом достигается упрощение конструкции излучателя, а также уменьшается количество используемых при формировании изображений вычислительных ресурсов.

Техническая проблема, решаемая в данном изобретении, состоит в расширении арсенала средств определенного назначения, т.е. разработке способа и системы для устранения негативного влияния световых помех на качество получаемых фото- и видеоизображений дорожного окружения.

Технический результат заключается в реализации назначения, а именно подавлении негативного влияния ярких внешних световых источников на качество получаемых фото- и видеоизображений, увеличении контрастности изображений, а также в возможности одновременного применения нескольких устройств, работающих в непосредственной близости, без значительного влияния их работы друг на друга.

Технический результат достигается за счет того, что способ подавления засветки при формировании дорожного окружения перед ТС содержит этапы, на которых: формируют случайную числовую последовательность K(1), K(2), ..., K(N) заданной длины N, состоящую из двух типов чисел K(i)=1 или K(i)=-1, появляющихся в последовательности с одинаковой вероятностью ½, производят корректировку полученной последовательности случайных чисел K(i) для выполнения следующего условия: сумма K(1)+K(2)+...+K(N)=0, а именно: сначала определяют каких элементов больше 1 или -1, у избыточной части элементов, выбранных случайным образом, меняют знак; генерируют цуг N одинаковых оптических импульсов заданной длительности с постоянной скважностью, каждому i-му импульсу ставится в соответствие i-й элемент числовой последовательности, импульсы, которым соответствуют элементы со значением -1 удаляют из цуга; излучают указанные оптические импульсы в интересующую область пространства, и с помощью видеокамеры регистрируют свет из освещаемой области, получая серию из N изображений; строят изображение освещаемой области методом фантомных изображений, посредством вычисления корреляционной функции , где G(x, y) – фантомное изображение интересующей области пространства, а < > означает усреднение по серии изображений полученных видеокамерой I_back(x, y, i), формирование вычисляемого изображения повторяется последовательно.

Дополнительной особенностью является то, что видеокамера работает синхронно со сгенерированными импульсами.

Дополнительной особенностью является то, что длительность импульса является заданной переменной.

Дополнительной особенностью является то, что амплитуда импульса является заданной.

Дополнительная особенность заключается в том, что для формировании вычисляемого изображения используются кадры, полученные видеокамерой с разным временем экспозиции.

Дополнительная особенность заключается в том, что при формировании видеоряда последующее вычисляемое изображение получают путем повторения этапов с некоторой временной задержкой после окончания формирования текущего вычисляемого изображения.

Дополнительная особенность заключается в том, что этапы для получения нового вычисляемого изображения видеоряда начинают до завершения всех этапов формирования текущего вычисляемого изображения видеоряда, при этом часть последовательности K(i) и полученных видеокамерой кадров при формировании последовательных вычисляемых изображений совпадают.

Технический результат достигается также в устройстве подавления засветки при формировании изображений дорожного окружения перед ТС, содержащем вычислительный модуль и связанные с ним, по меньшей мере, два модуля подсветки и, по меньшей мере, один модуль приемника; модули подсветки используются в виде основных фар дальнего и/или ближнего света для транспортного средства и выполнены с возможностью генерирования последовательности оптических импульсов и освещения как в обычном, так и в инфракрасном диапазоне; вычислительный модуль выполнен с возможностью формирования случайной числовой последовательности K(i), передачи модулю приемника управляющего сигнала, соответствующего последовательности K(i), передачи управляющего сигнала модулю подсветки, приема от модуля приемника потока изображений, формирования изображения интересующей области пространства с подавлением световых шумов, в том числе и умышленных, путем использования принципа фантомных изображений; модуль приемника выполнен с возможностью получения последовательности изображений. Изображения получаются синхронно с управляющим сигналом, который формируется вычислительным модулем в соответствии со случайной числовой последовательностью K(i).

Дополнительная особенность заключается в том, что модуль подсветки содержит двумерный массив светодиодов, питание которых модулируется по времени.

Дополнительная особенность заключается в том, что модуль подсветки содержит один мощный светодиод, питание которого модулируется по времени.

Дополнительная особенность заключается в том, что модуль приемника содержит скоростную видеокамеру.

Дополнительная особенность заключается в том, что модуль приемника и модуль подсветки синхронизированы с помощью синхросигнала с вычислительного модуля.

Заявленное изобретение поясняется с использованием чертежей:

Фиг. 1- принципиальная схема устройства;

Фиг. 2- принцип работы устройства;

Основные технологические преимущества заключаются в следующем:

1. Устройство одновременно выполняет три функции: освещение дорожного окружения, построение вычисляемых изображений дорожного окружения и подавление световых шумов;

2. Устройство способно подавлять засветку от другого транспортного средства, в качестве фар которого используется точно такое же устройство;

3. Устройство позволяет получать фото- и видеоизображения в условиях сильных световых шумов, вызванных наличием в поле зрения ярких источников света, оказавшихся там случайно или в следствие умысла;

4. Высокая частота модуляции излучения (0.2 - 10 кГц) неразличима человеческим глазом. Это позволит использовать устройство в качестве основных фар транспортного средства.

5. Высокая частота модуляции излучения позволяет достичь высокой скорости сбора данных с сенсора (от 30 Гц).

6. Так как способ работы сенсора некритичен к спектральной полосе излучения, то сенсор может быть изготовлен как с излучателем в видимом диапазоне (в форм-факторе фары или габаритного огня), так и с излучателем в ИК диапазоне.

7. Два устройства, будучи примененными одновременно (например на двух автомобилях), не влияют на работу друг друга, в частности, на способность подавлять негативное влияние паразитной засветки.

Пример использования изобретения, реализованного по п.1 формулы изобретения, в качестве фар автомобиля.

На первом этапе генерируется случайная числовая последовательность K(i) конечной длины, при этом K(i)=1 с вероятностью ½, и K(i)=-1 с вероятностью ½. Далее производится корректировка полученной последовательности случайных чисел K(i) для выполнения следующего условия: сумма всех K(i) в сформированной последовательности случайных чисел равна нулю.

При этом в соответствии каждому K(i)=1 генерируется оптический импульс с заданной длительностью, для каждого K(i)=-1 оптический импульс не генерируется.

С помощью видеокамеры, работающей синхронно со сгенерированными импульсами, регистрируют серию изображений. Производится математическая обработка полученной серии изображений с учетом данных о последовательности случайных чисел K(i).

Вычисляется корреляционная функция G(x,y)=<I_back(x,y,i)K(i)>, где <> означает усреднение по реализациям, т.е. по серии изображений полученных видеокамерой I_back(x,y,i). Величина G(x,y) является вычисляемым изображением интересующей области пространства.

Устройство состоит из следующих модулей:

• Вычислительный модуль (1)

• Модуль приемника(2)

• Модуль подсветки (3)

Вычислительный модуль (1) производит управление всей системой в целом, а также формирует поток вычисляемых изображений. В нем имеется встроенный генератор случайных чисел. Вычислительный модуль (1) настраивает параметры модуля приемника (2), такие как время экспозиции, усиление, размер диафрагмы; параметры модуля подсветки (3), такие как интенсивность излучения; а также генерирует и обрабатывает последовательность случайных чисел. При этом для каждого вычисляемого изображения формируется случайная последовательность K(i) из N чисел, равных +1 или -1, причем K(i)=+1 с вероятностью ½, и K(i)=-1 с вероятностью ½. Полученная последовательность случайных чисел K(i) корректируется таким образом, чтобы

Из модуля приемника (2) вычислительный модуль (1) принимает поток изображений, производит их математическую обработку и получает поток вычисляемых изображений. Затем поток вычисляемых изображений может быть отправлен на внешнее устройство или внесен в память модуля (1).

Модуль приемника (2) принимает управляющие сигналы из модуля (1), отправляет в модуль (1) поток зарегистрированных изображений, а также формирует синхронизирующий сигнал в соответствии с началом захвата изображения и отправляет его в модуль (3). При этом управляющий сигнал представляет собой последовательность K(i), где для каждого i-го элемента производится снимок дорожного окружения.

Модуль подсветки (3) устанавливается вместо обычных фар автомобиля и выполнен таким образом, что принимает из модуля (1) управляющие сигналы, а также сигнал, модулирующий интенсивность излучения подсветки. В модуле (3) происходит формирование светового потока, подсвечивающего интересующую область дорожного окружения (6). При этом подсветка может быть включена или выключена при формировании i-того кадра. Подсветка включается и освещает область (6) с интенсивностью J₀ при формировании i-того кадра, если K(i)=+1, и не включается, если K(i)=-1. Модуль подсветки (3) расположен так, чтобы выходное излучение (5) с некоторой интенсивностью , зависящей от номера кадра i, подсвечивало область (6), регистрируемую модулем (2) (область зрения камеры обозначена как (4)).

Часть света, рассеянная дорожным окружением и зарегистрированная видеокамерой в модуле (2), равна , где – изображение объекта, которое необходимо получить. Видеокамера, расположенная в области сильных световых помех, неизбежно регистрирует так же нежелательную засветку , где – некоторое среднее значение засветки, а – часть нежелательной засветки, флуктуирующей от кадра к кадру. Таким образом, в i-м кадре видеокамера в модуле (2) регистрирует сигнал

После получения последовательности кадров, происходит этап математической обработки полученной последовательности кадров. При этом вычисляется выражение

Выражение является вычисляемым изображением. Для получения видеоизображения (видеоряда), формирование вычисляемого изображения повторяется последовательно.

Полученные вычисляемые изображения обладают следующими свойствами.

Непосредственной подстановкой можно показать, что

Математическое ожидание вычисляемого выражения равно

а дисперсия равна

Таким образом, формируемое вычисляемое изображение представляет собой изображение интересующих объектов, при этом полностью подавляется постоянная составляющая паразитной засветки от внешних источников (например, солнца или работающих фар встречного автомобиля).

Случайная составляющая нежелательной засветки так же подавляется. Искажения, вносимые случайной составляющей засветки в вычисляемое изображение, описываются дисперсией вычисленного изображения. Дисперсия вычисленного изображения в N раз меньше дисперсии паразитной засветки. Это позволяет получать изображение в условиях рассеяния света источника подсветки на каплях дождя, снега, пыли и т.п. Таким образом, устройство позволяет получать изображения в плохих метеоусловиях.

Случайная составляющая паразитной засветки может так же возникать, в частности, если два описываемых Устройства работают в зоне прямой видимости. Подавление этой засветки означает, что два и более устройства могут работать одновременно, не влияя на работу друг друга существенным образом.

Размер регистрируемой серии N выбирается из соображений необходимого подавления случайной засветки и из ограничений на производительность системы.

При N=30 дисперсия случайной составляющей засветки подавляется в 30 раз.

Ниже описана одна из возможных реализаций, основанная на следующей схеме (Фиг. 1 и Фиг. 2):

Вычислительный модуль (1) выполнен в виде компьютера с установленным дополнительно генератором случайных чисел с частотой не менее 1 кГц (idQuantique Quantis USB).

В качестве модуля приемника (2) используется скоростная камера Phantom micro C110 с частотой съемки 2000 кадров в секунду. Синхронизирующий импульс от камеры подается к модулю подсветки (3).

Модуль подсветки состоит из драйвера светодиодов (Thorlabs DC2200), логического элемента «И», принимающего на один из входов импульс от модуля приемника (2), а на второй вход которого подается последовательность случайных чисел, полученная от модуля (1). При этом выход от логического элемента «И» используется для модуляции интенсивности излучения светодиода. К драйверу светодиодов подключен светодиод Thorlabs MWWHD3, излучение (4) которого с помощью линзы с фокусным расстоянием порядка 4 см направляется в интересующую область дорожного окружения (5).

Модуль приемника (2) регистрирует излучение (6), которое содержит рассеянный свет (4) и свет от внешних источников. После накопления 100 кадров с видеокамеры в модуле приемника (2) вычислительный управляющий модуль (1) формирует изображение интересующей области пространства методом фантомных изображений.

Изобретение относится к способу и устройству получения фото- и видеоинформации в условиях сильных световых помех. Способ подавления засветки при формировании дорожного окружения перед транспортным средством содержит этапы, на которых: формируют случайную числовую последовательность K(1), K(2), ..., K(N) заданной длины N, состоящую из двух типов чисел K(i)=1 или K(i)=-1, появляющихся в последовательности с одинаковой вероятностью ¹/₂; производят корректировку полученной последовательности случайных чисел K(i) для выполнения следующего условия: сумма K(1)+K(2)+...+K(N)=0, а именно, сначала определяют каких элементов больше: 1 или -1; у избыточной части элементов, выбранных случайным образом, меняют знак; генерируют цуг N одинаковых оптических импульсов заданной длительности с постоянной скважностью, каждому i-му импульсу ставится в соответствие i-й элемент числовой последовательности, импульсы, которым соответствуют элементы со значением -1, удаляют из цуга; излучают указанные оптические импульсы в интересующую область пространства, и с помощью видеокамеры регистрируют свет из освещаемой области, получая серию из N изображений; строят изображение освещаемой области методом фантомных изображений, посредством вычисления корреляционной функции

,

где G(x,y) – фантомное изображение интересующей области пространства, а < > означает усреднение по серии изображений, полученных видеокамерой, I_back(x,y,i); формирование вычисляемого изображения повторяется последовательно. Технический результат - подавление негативного влияния ярких внешних световых источников на качество получаемых изображений, увеличение контрастности изображений и возможности одновременного применения нескольких устройств без значительного влияния их работы друг на друга. 2 н. и 11 з.п. ф-лы, 2 ил.

1. Способ подавления засветки при формировании дорожного окружения перед транспортным средством (ТС), содержащий этапы, на которых:

формируют случайную числовую последовательность K(1), K(2), ..., K(N) заданной длины N, состоящую из двух типов чисел K(i)=1 или K(i)=-1, появляющихся в последовательности с одинаковой вероятностью ;

производят корректировку полученной последовательности случайных чисел K(i) для выполнения следующего условия: сумма K(1)+K(2)+...+K(N)=0, а именно: сначала определяют, каких элементов больше 1 или -1;

у избыточной части элементов, выбранных случайным образом, меняют знак;

генерируют цуг N одинаковых оптических импульсов заданной длительности с постоянной скважностью, каждому i-му импульсу ставится в соответствие i-й элемент числовой последовательности, импульсы, которым соответствуют элементы со значением -1, удаляют из цуга;

излучают указанные оптические импульсы в интересующую область пространства, и с помощью видеокамеры регистрируют свет из освещаемой области, получая серию из N изображений;

строят изображение освещаемой области методом фантомных изображений, посредством вычисления корреляционной функции
, где G(x,y) – фантомное изображение интересующей области пространства, а < > означает усреднение по серии изображений, полученных видеокамерой I_back(x,y,i), формирование вычисляемого изображения повторяется последовательно.

2. Способ по п. 1, отличающийся тем, что видеокамера работает синхронно со сгенерированными импульсами.

3. Способ по п. 1, отличающийся тем, что длительность импульса является заданной переменной.

4. Способ по п. 1, отличающийся тем, что амплитуда импульса является заданной.

5. Способ по п. 1, отличающийся тем, что при формировании вычисляемого изображения участвуют кадры, полученные видеокамерой с разным временем экспозиции.

6. Способ по п. 1, отличающийся тем, что при формировании видеоряда последующее вычисляемое изображение получают путем повторения этапов с некоторой временной задержкой после окончания формирования текущего вычисляемого изображения.

7. Способ по п. 1, отличающийся тем, что этапы для получения нового вычисляемого изображения видеоряда начинают до завершения всех этапов формирования текущего вычисляемого изображения видеоряда, при этом часть последовательности K(i) и полученных видеокамерой кадров при формировании последовательных вычисляемых изображений совпадают.

8. Устройство подавления засветки при формировании изображений дорожного окружения перед ТС, содержащее вычислительный модуль и связанные с ним, по меньшей мере, два модуля подсветки и, по меньшей мере, один модуль приемника, при этом модули подсветки используются в виде основных фар дальнего и/или ближнего света ТС и выполнены с возможностью генерирования последовательности оптических импульсов как в обычном, так и в инфракрасном диапазонах, отличающееся тем, что вычислительный модуль выполнен с возможностью формирования случайной числовой последовательности K(i), передачи управляющего сигнала модулю приемника, представляющего собой последовательность K(i), где для каждого i-го элемента посредством модуля приемника производится снимок интересующей области дорожного окружения, передачи модулю подсветки управляющего сигнала, модулирующего интенсивность излучения подсветки, а также приема от модуля приемника потока изображений, формирования изображения интересующей области дорожного окружения с подавлением световых шумов, в том числе и умышленных, путем использования принципа фантомных изображений.

9. Устройство по п. 8, отличающееся тем, что модуль подсветки содержит двумерный массив светодиодов, питание которых модулируется по времени.

10. Устройство по п. 8, отличающееся тем, что модуль подсветки содержит один мощный светодиод, питание которого модулируется по времени.

11. Устройство по п. 8, отличающееся тем, что модуль приемника содержит скоростную видеокамеру.

12. Устройство по п. 8, отличающееся тем, что видеокамера в модуле приемника регистрирует излучение от источника излучения, входящего в состав модуля подсветки.

13. Устройство по п. 8, отличающееся тем, что модуль приемника и модуль подсветки синхронизированы с помощью синхросигнала с вычислительного модуля.