Способ распознавания сигналов светофора в ночное время суток Российский патент 2022 года по МПК B61L23/00 

Описание патента на изобретение RU2770068C1

Изобретение относится к способам распознавания сигнала светофора и может быть использовано в железнодорожных и других транспортных системах для обеспечения выдачи вспомогательной информации, повышающей безопасность управления транспортным средством.

Известны способы, предназначенные для повышения безопасности дорожного движения визуальным предупреждением водителей и машинистов путем отображения дорожной ситуации, в частности включающие отображение информации, идентифицирующей сигналы светофоров, с выдачей предупреждения о сигналах, запрещающих движение. Данные способы основаны на принципах получения изображения с камер, направленных по ходу движения транспортного средства, и распознавания полученного изображения путем выделения на изображении контура светофора, анализа в области данного контура цвета, позволяющего идентифицировать сигнал светофора, и передачи вспомогательной информации о состоянии светофора в салон транспортного средства.

Наиболее близким является способ, раскрытый в описании к патенту US 10086857 B2 от 02.10.2018 «Система технического зрения для помощи машинисту». Для анализа данных в целях определения типа светофора и состояния сигнала светофора в системе используются данные, полученные от камеры, расположенной в передней части поезда. Для нахождения светофора на полученном от камеры изображении определяется участок, содержащий контур светофора, в котором производится анализ цвета сигнала.

Недостатком указанного аналога является ошибка распознавания цвета светофора, возникающая при распознавании изображения, полученного с видеокамеры в ночное время суток, так как в ночное время осуществляется перенасыщение светочувствительных элементов матрицы камеры за счет ее засветки дорожным светофором. В таком случае вокруг светофора на изображении также возникает ореол искаженного цвета, который не дает правильно распознать форму самого светофора и соседние объекты в кадре. В центре источник света будет обозначен белыми (перенасыщенными) пикселями, его цвет становится невозможно восстановить классическими методами компьютерного зрения.

Целью предлагаемого изобретения является разработка способа, позволяющего идентифицировать сигнал светофора на изображениях, полученных от камер в ночное время суток.

Техническим результатом изобретения является расширение функциональных возможностей системы автоматического распознавания сигналов светофора с использованием элементов технического зрения за счет обеспечения возможности распознавания светофоров на изображениях, полученных в ночное время суток.

Технический результат достигается способом распознавания сигналов светофора в ночное время суток, характеризующимся тем, что на первом этапе с камеры, установленной по ходу движения транспортного средства, получают два трехканальных изображения, с высокой выдержкой R1G1B1 и низкой выдержкой R2G2B2, на втором этапе при помощи нейросетевого детектора производится обработка изображения, полученного с высокой выдержкой, с целью определения расположения светофора на кадре и при помощи нейросетевого сегментатора обрамление его прямоугольной рамкой, на третьем этапе осуществляется наложение на изображение с низкой выдержкой полученной на втором этапе прямоугольной рамки, в соответствии с рамкой обрамляющей светофор, и обрезка обоих изображений по периметру данной рамки, на четвертом этапе осуществляется наложение полученных на третьем этапе изображений путем последовательного размещения цветовых каналов изображений в формате R1G1B1R2G2B2, далее на пятом этапе при помощи моделей глубоких сверточных классификаторов осуществляется обработка совмещенного изображения, полученного на четвертом этапе, с целью классификации типа светофора, и на заключительном этапе при помощи нейросетевого классификатора осуществляется распознавание цвета сигнала светофора с учетом его типа.

Сложность распознавания сигнала светофора в ночное время суток обусловлено перенасыщением светочувствительных элементов матрицы, которое происходит за счет засветки камеры дорожным светофором либо любым другим источником яркого света. Когда яркий источник света, находящийся в темноте (например, железнодорожный светофор), направлен в объектив камеры, датчики сенсоров на светочувствительной матрице камеры при стандартных режимах съемки становятся перенасыщенными. Для записи значения интенсивности цвета обычно используют каналы RGB. В качестве координат изображения принято записывать матрицу w*h пикселей, где w - ширина изображения (целое число), h - высота изображения (целое число). В каждый пиксель записывается число в интервале от 0 (черный цвет) до 255 (белый). Когда источник света определенного цвета перенасыщает матрицу камеры, пиксели при стандартных режимах съемки становятся близки к 255, то есть белыми во всех каналах, при этом не факт, что ореол вокруг перенасыщенной области сохранит изначальный окрас и позволит правильно определить цвет.

Данное изобретение раскрывает как использовать динамические настройки камеры, необработанные данные с сенсора камеры и современные глубокие сверточные сети для точного распознавания положения светофора на карте и определения сигнала его горящей секции.

Для решения задачи перенасыщения кадра, полученного с камеры, используются два последовательно полученных кадра, с высокой (светлый кадр) и низкой (темный кадр) выдержками. Для получения темного кадра значения выдержки в настройках камеры значительно снижаются так, чтобы на кадр попадали только яркие огоньки (при этом можно заметить, что цвет огоньков не будет искажен). Если уменьшать время выдержки в камере, то на матрицу попадает меньше света и получается темный кадр, на котором цвет сигнала не сильно искажен.

Также архитектура современных камер позволяет производить линейную композицию до 4-х «выдержек» внутри сенсора. Сенсор дает возможность захватывать сцену с динамическим диапазоном освещенности до 120 дБ. При отключении режима автоэкспозиции камеры при выставленных фиксированных значениях времени экспозиции и усиления, ночная сцена может быть захвачена HDR сенсором целиком, без возникновения пересветок на изображениях светофоров. Выходы сенсора можно настроить на 8, 10, 12, 16, 24 бита RAW. Предпочтительнее использование режима 16 бит RAW. Путем цифровой обработки из 16-битного изображения получают два кадра. Первый кадр, «темный», получают из 8-ми старших бит 16-битного изображения. Этот кадр содержит информацию о ярких источниках света на изображении и их цвете. Второй кадр, «светлый», получают путем тоновой компрессии из 16 бит в 8. В качестве алгоритма тоновой компрессии может быть использован алгоритм Реинхарда. На этом кадре отображается вся сцена целиком, но тона компрессированы, в результате информацию о цвете на данном изображении нельзя считать достоверной.

Использование двух кадров обусловлено тем, что на изображении, полученном с низкой выдержкой (темный кадр), отсутствует возможность определения дорожной сцены, вследствие чего классификация типа светофора на кадре становиться невозможной, однако темный кадр позволяет сохранить истинные цвета, без перенасыщения. Светлый кадр (с высокой выдержкой) используется для распознавания объектов дорожной сцены, классификации типов светофоров, однако из-за перенасыщения цвет светофора на нем определить невозможно.

Весь процесс получения и обработки изображений осуществляется в вычислительном модуле, связанном с камерой, установленной на транспортном средстве.

Способ распознавания сигналов светофора в ночное время суток осуществляется следующим образом.

С камеры, установленной в передней части транспортного средства и направленной по ходу его движения, получают и передают в вычислительный модуль два изображения. Одно сделанное с высокой выдержкой (светлый кадр), второе с низкой выдержкой (темный кадр).

Координаты светофора на изображении находим следующим образом. Для того, чтобы обозначить светофор на изображении размерами w*h прямоугольником, достаточно иметь кортеж из четырех элементов:

<x1, y1, x2, y2>,

где

0<=x1<w,

0<=x2<w, x2>=x1

0<=y1<h,

0<=y2<h, y2>=y1

эти точки обозначают положение диагональных координат обрамляющего прямоугольника светофора на изображении.

В качестве генератора обрамляющих прямоугольников используются глубокие сверточные сети, обученные на решение задачи семантической сегментации и детектирования объектов на кадре.

Семантическая сегментация используется, чтобы обвести все пиксели всех светофоров на кадре. Детектирующая сеть используется, чтобы обвести обрамляющими прямоугольниками все светофоры на кадре. Применение двух генераторов необходимо для того, чтобы использовать их усредненный выход, тем самым повышая точность распознавания объекта.

Получаем области кадра, в которых ожидаем найти светофор (сниппеты изображений). Однако генератор обрамляющих прямоугольников не предназначен для определения типа светофора.

Для определения принадлежности светофора в кадре определенному классу (привязка обрамляющего прямоугольника или сниппета к типу светофора и дальнейшей его трекинг) используют пользовательскую модель глубокого полностью сверточного классификатора. При этом важным в контексте работы является не выбор модели энкодера для классификации, а структура входа модели.

Для улучшения качества классификации используется объединенный вход с двух кадров (в модели классификатора входным будет не трехканальное RGB изображение, а шестиканальное). Важным вопросом является то, как расположить несколько изображений для формирования входной матрицы. В качестве входа сети используется матрица раскладки CWH (канал, ширина, высота). Для объединения имеем кадры R1G1B1 с высокой выдержкой и R2G2B2 с низкой выдержкой. В ходе экспериментов было установлено, что лучшие результаты классификации достигаются не при последовательном расположении каналов в формате R1R2G1G2B1B2, а при последовательном расположении каналов изображений в формате R1G1B1R2G2B2.

Обрамляющий прямоугольник, полученный от генератора на светлом кадре, накладывают на изображение темного кадра и по периметру прямоугольников осуществляется обрезка обоих изображений.

Далее полученные изображения со светлого и темного кадров совмещают в шестиканальное изображение с последовательным расположением каналов в формате R1G1B1R2G2B2. Таким образом, повышается объем информации об объекте, у нейронной сети появляется доступ к изображению с темного кадра с неискаженным цветом, что повышает точность распознавания сигнала, позволяет распознавать засвеченные на светлом кадре сигналы, дает возможность устойчиво отличать сигналы светофоров от прочих источников света.

После этого при помощи моделей глубоких сверточных классификаторов осуществляется обработка полученного совмещенного изображения и, при помощи заранее обученного нейросетевого классификатора, осуществляется распознавание цвета светофора с учетом его типа.

Техническое преимущество предлагаемого изобретения заключается в расширении возможностей систем автоматического распознавания сигналов светофора с использованием элементов технического зрения, за счет обеспечения возможности распознавания светофоров на изображениях, полученных в ночное время суток. Это достигается при помощи получения с камеры, установленной на транспортном средстве, дополнительного темного кадра, позволяющего сохранить истинные цвета, разработанного алгоритма первоначальной обработки изображений, а также совмещения полученных кадров именно с последовательным расположением их каналов в указанном формате.

Таким образом, предложенное изобретение может найти широкое применение в различных областях техники.

Похожие патенты RU2770068C1

название год авторы номер документа
Способ обработки данных и система технического зрения для роботизированного устройства 2021
  • Бутов Павел Александрович
  • Шепель Илья Олегович
  • Суанов Тимур Александрович
RU2782662C1
Способ дешифрации изображений 2015
  • Акинина Наталья Викторовна
  • Солдатенко Илья Сергеевич
  • Семенова Ирина Александровна
  • Шишкова Татьяна Евгеньевна
RU2610283C1
Устройство для позиционирования и определения скорости железнодорожных подвижных единиц 2020
  • Максимов Константин Юрьевич
  • Ольгейзер Иван Александрович
  • Суханов Андрей Валерьевич
  • Шабельников Александр Николаевич
RU2738768C1
Способ настройки видеокамеры для более качественного распознавания государственных регистрационных знаков в системах фиксации нарушений правил дородного движения 2020
  • Галкин Василий Витальевич
RU2735519C1
Способ получения набора объектов трехмерной сцены 2019
  • Новиков Андрей Владимирович
  • Герасимов Владимир Николаевич
  • Горбачев Роман Александрович
  • Швиндт Никита Евгеньевич
  • Новиков Владимир Иванович
  • Ефременко Андрей Евгеньевич
  • Шишков Дмитрий Леонидович
  • Зарипов Михаил Нилович
  • Козин Филипп Александрович
  • Старостенко Алексей Михайлович
RU2803287C1
РОБОТИЗИРОВАННЫЙ АВТОМАТИЧЕСКИЙ КОМПЛЕКС ПО СОРТИРОВКЕ ТВЁРДЫХ КОММУНАЛЬНЫХ ОТХОДОВ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ 2019
  • Гобызов Олег Алексеевич
  • Плохих Иван Аркадьевич
  • Токарев Михаил Петрович
  • Серёдкин Александр Валерьевич
  • Бобров Максим Сергеевич
  • Мишнев Андрей Святославович
  • Амосов Константин Александрович
  • Дулин Владимир Михайлович
  • Чикишев Леонид Михайлович
  • Маркович Дмитрий Маркович
RU2731052C1
СИСТЕМА РАСПОЗНАВАНИЯ ПОВЕДЕНИЯ 2008
  • Итон Джон Эрик
  • Кобб Уэсли Кеннет
  • Урех Деннис Джин
  • Блит Бобби Эрнест
  • Фридлэндер Дэвид Самьюэл
  • Готтумуккал Раджкиран Кумар
  • Рисингер Лон Уилльям
  • Саитвал Кишор Адинатх
  • Сеов Минг-Дзунг
  • Солум Дэвид Марвин
  • Сюй Ган
  • Ян Тао
RU2475853C2
СПОСОБ И КОГНИТИВНАЯ СИСТЕМА ВИДЕОАНАЛИЗА, МОНИТОРИНГА, КОНТРОЛЯ СОСТОЯНИЯ ВОДИТЕЛЯ И ТРАНСПОРТНОГО СРЕДСТВА В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ 2018
  • Гоценко Илья Павлович
  • Филистеева Мария Игоревна
  • Сысуев Артем Олегович
  • Каширин Павел Дмитриевич
  • Минасян Ваагн Володяевич
  • Мельников Сергей Геннадьевич
  • Загитов Рифкат Рифкатович
RU2684484C1
СПОСОБ ДЕТЕКТИРОВАНИЯ ОБЪЕКТА 2003
  • Мун Вэнг Джин
  • Ли Йонг Джин
  • Пак Мин Сеок
  • Мурынин Александр Борисович
  • Кузнецов Виктор Дмитриевич
  • Иванов Петр Алексеевич
RU2315357C2
СПОСОБ ДИСТАНЦИОННОЙ ОЦЕНКИ ПРОСТРАНСТВЕННОГО РАСПРЕДЕЛЕНИЯ ТЕПЛОФИЗИЧЕСКИХ ПАРАМЕТРОВ ОБЪЕКТОВ И ФОНОВ 2021
  • Великанов Алексей Викторович
  • Ищук Игорь Николаевич
  • Лихачев Максим Александрович
  • Долгов Алексей Александрович
  • Тельных Богдан Константинович
  • Зенкин Александр Александрович
  • Уваров Андрей Игоревич
  • Родионов Вадим Владимирович
RU2760528C1

Реферат патента 2022 года Способ распознавания сигналов светофора в ночное время суток

Изобретение относится к методам распознавания сигнала светофора на борту поезда. В способе с камеры, установленной по ходу движения транспортного средства, на первом этапе получают два трехканальных изображения, с высокой выдержкой R1G1B1 и низкой выдержкой R2G2B2, на втором этапе при помощи нейросетевого детектора производится обработка изображения, полученного с высокой выдержкой, с целью определения расположения светофора на кадре и при помощи нейросетевого сегментатора обрамление его прямоугольной рамкой, на третьем этапе осуществляется наложение на изображение с низкой выдержкой прямоугольной рамки в соответствии с рамкой, обрамляющей светофор, полученной на втором этапе, и обрезка обоих изображений по периметру данной рамки, на четвертом этапе осуществляется наложение полученных на третьем этапе изображений путем последовательного размещения цветовых каналов изображений в формате R1G1B1R2G2B2, далее на пятом этапе при помощи моделей глубоких сверточных классификаторов осуществляется обработка совмещенного изображения, полученного на четвертом этапе, с целью классификации типа светофора и на заключительном этапе при помощи нейросетевого классификатора осуществляется распознавание цвета сигнала светофора с учетом его типа. Достигается повышение безопасности движения за счет реализации функции распознавания сигналов светофора в ночное время суток.

Формула изобретения RU 2 770 068 C1

Способ распознавания сигналов светофора в ночное время суток, характеризующийся тем, что на первом этапе с камеры, установленной по ходу движения транспортного средства, получают два трёхканальных изображения, с высокой выдержкой R1G1B1 и низкой выдержкой R2G2B2, на втором этапе при помощи нейросетевого детектора производится обработка изображения, полученного с высокой выдержкой, с целью определения расположения светофора на кадре и при помощи нейросетевого сегментатора обрамление его прямоугольной рамкой, на третьем этапе осуществляется наложение на изображение с низкой выдержкой прямоугольной рамки в соответствии с рамкой, обрамляющей светофор, полученной на втором этапе, и обрезка обоих изображений по периметру данной рамки, на четвертом этапе осуществляется наложение полученных на третьем этапе изображений путем последовательного размещения цветовых каналов изображений в формате R1G1B1R2G2B2, далее на пятом этапе при помощи моделей глубоких сверточных классификаторов осуществляется обработка совмещенного изображения, полученного на четвертом этапе, с целью классификации типа светофора и на заключительном этапе при помощи нейросетевого классификатора осуществляется распознавание цвета сигнала светофора с учетом его типа.

Документы, цитированные в отчете о поиске Патент 2022 года RU2770068C1

Jang, C., Kim, C., Kim, D., Lee, M
and Sunwoo, M., 2014, June
Multiple exposure images based traffic light recognition
Способ защиты переносных электрических установок от опасностей, связанных с заземлением одной из фаз 1924
  • Подольский Л.П.
SU2014A1
Пружинный двигатель с сдвоенными пружинными барабанами 1924
  • Грюнберг Р.Д.
  • Зубков В.А.
SU1313A1
IEEE
Jensen M.B., Philipsen M.P., Bahnsen C., M&oslash;gelmose A., Moeslund T.B., Trivedi M.M
Устройство для закрепления лыж на раме мотоциклов и велосипедов взамен переднего колеса 1924
  • Шапошников Н.П.
SU2015A1

RU 2 770 068 C1

Авторы

Пичугин Илья Владимирович

Савченко Екатерина Владимировна

Будаковский Дмитрий Викторович

Будаковский Максим Викторович

Прун Виктор Евгеньевич

Даты

2022-04-14Публикация

2021-05-20Подача