Способ автоматической калибровки датчиков машинного зрения рельсового транспортного средства Российский патент 2024 года по МПК G06T7/80 

Группа изобретений относится к области вычислительной техники и может быть использована для автоматической калибровки датчиков машинного зрения рельсового транспортного средства.

Надежность автоматического вождения основана на комплексировании данных множества бортовых датчиков, а получение информации об окружающей обстановке множеством датчиков основано на пространственной согласованности.

В настоящее время внешний параметр датчика автономного рельсового транспортного средства калибруется путем наблюдения за некоторыми установленными вручную маркерами в контрольном поле или в закрытой лаборатории в фиксированной области. Когда автономное рельсовое транспортное средство используется в течение определенного периода времени, относительная связь между пространственным расположением датчиков смещается из-за внешних факторов, таких как длительная высокочастотная вибрация, столкновения и резкие рывки и торможение. В этом случае требуется повторная калибровка.

Известен способ калибровки видеодатчиков многоспектральной системы технического зрения, включающий выполнение съемки тестового объекта с различных ракурсов, перевод кадров в цифровую форму - для камер с аналоговым выходом, нахождение на снятых с различных ракурсов изображениях тестового объекта особых точек и оценку их координат с субпиксельной точностью, оценку матриц внутренних параметров камер, оценку векторов коэффициентов дисторсии объективов камер, оценку матриц внешних параметров, определяющих взаимное пространственное положение камер, осуществление одновременной калибровки нескольких камер видимого и нескольких камер инфракрасного диапазонов с пересекающимися полями зрения, при этом используют тестовый объект в виде подогреваемого теплопроводящего калибровочного шаблона с темными n-угольниками, обеспечивающего на различных дальностях высококонтрастное изображение в видимом и инфракрасном диапазонах, причем после получения полутоновых изображений от разноспектральных камер при различных положениях тестового объекта изображения с инфракрасных камер инвертируют (RU 2692970 С2, G06T 7/80, G06K 9/32, G01M 11/02, 10.01.2019).

В известном способе осуществляют калибровку видеокамер видимого и инфракрасного диапазона, что не позволяет использовать его для калибровки датчиков машинного зрения различной физической природы. Кроме того, точность калибровки недостаточна, поскольку используют только контрастное изображение тестовых объектов.

Наиболее близким аналогом, выбранным в качестве прототипа, является способ автоматической настройки оптических датчиков транспортного средства, включающий размещение двух или более тестовых объектов в известных местах на станции калибровки, каждый из двух или более тестовых объектов имеет как минимум два различающихся состояния и кодирования среди по меньшей мере двух визуально различных состояний для двух или более тестовых объектов, в процессе калибровки изображения, полученные оптическим датчиком двух или более активных целей, обрабатываются для выявления внешних параметров датчиков признаков и выполнения совмещения оптического датчика с другим датчиком транспортного средства или с самим транспортным средством (CN 104376572, G06T 7/00, 25.02.2015).

Известный способ осуществляет калибровку только камер. Кроме того, в процессе калибровки для определения положения каждой камеры относительно координат транспортного средства используют координаты не менее двух характерных точек тестовых объектов, что увеличивает объем вычислений.

Технический результат предлагаемого изобретения заключается расширение функциональных возможностей способа, а также в повышении точности калибровки датчиков машинного зрения.

Технический результат в одном варианте выполнения достигается способом автоматической калибровки датчиков машинного зрения рельсового транспортного средства, согласно которому калибровку датчиков осуществляют на станции калибровки с использованием стационарных тестовых объектов, установленных на прямолинейном участке по обе стороны от оси пути на заданном расстоянии от знака «остановка» в зоне видимости датчиков, каждый тестовый объект выполнен в виде шаблона заданного размера с нанесенным на его поверхности изображением соответствующего маркера в виде черных и белых прямоугольников известного размера, каждый маркер имеет свой рисунок изображения, идентификатор и выполнен с подогревом, причем в зоне видимости каждого датчика установлены шаблоны с разными маркерами, а база данных вычислителя системы машинного зрения рельсового транспортного средства включает информацию о рисунках изображений маркеров и их идентификаторах, трехмерных координатах как минимум одной характерной точки каждого маркера, размерах шаблона, координатах установки знака «остановка» и каждого шаблона на станции калибровки и о внешних параметрах каждого датчика, полученных по результатам предыдущей калибровки, после остановки рельсового транспортного средства и определения точного его местоположения относительно знака «остановка» вычислитель системы машинного зрения начинает процесс калибровки, датчики системы машинного зрения проводят в течение заданного времени множественную съемку сцен с шаблонами, данные съемок каждого датчика вычислитель предварительно обрабатывает, по результатам обработки каждой съемки каждым датчиком выделяет маркеры с последующей их идентификацией на основе информации из базы данных вычислителя, и по результатам идентификации не менее трех разных маркеров для каждого из них находит трехмерные координаты не менее одной характерной точки, оценивает их с субпиксельной точностью и использует для определения валидности внешних параметров, полученных по данным предыдущей калибровки, по результатам валидации принимает решение о необходимости проведения калибровки, причем внешние параметры датчиков, полученные при проведении калибровки, вычислитель передает по каналам беспроводной связи в аппаратно-программное устройство автоматизированного рабочего места оператора центра диагностики, контроля и управления для отображения на его мониторе и хранения, а результаты калибровки сохраняет в базе данных вычислителя, при этом при обработке изображений шаблонов, полученных в результате съемок тепловизором, вычислитель использует оператор Лапласа или морфологические операции и нормализацию, после чего осуществляет поиск тепловых контуров каждого тестового объекта, из которых выделяет области маркера, полученные в результате съемок каждой камерой видимого диапазона изображения шаблонов вычислитель фильтрует для улучшения изображения, выделяет маркеры как непосредственно на изображении шаблонов, так и на изображении после их фильтрации, а результаты выделения каждого маркера объединяет, при обработке съемок шаблонов лидаром вычислитель из полученного 3D облака точек формирует псевдоизображение с фильтрацией по глубине, а также ряд псевдоизображений по рефлективности с фильтрацией по выбранным наборам порогов с одинаковым шагом между ними, и объединяет полученные псевдоизображения, для каждого из которых формирует 3D облако точек, которое затем кластеризует с выбранным предельным шагом, причем каждому кластеру сопоставляется участок псевдоизображения по рефлективности для кадрирования маркера, и осуществляет проверку идентификатора маркера, расположенного внутри каждого участка псевдоизображения.

Для повышения качества съемки датчиками при недостаточном уровне освещенности тестовых объектов включают освещение в зоне их установки, а при температуре маркеров ниже установленной нормы - питание их системы подогрева.

Технический результат в другом варианте выполнения реализуется способом автоматической калибровки датчиков машинного зрения рельсового транспортного средства, согласно которому калибровку датчиков осуществляют в депо с использованием стационарных тестовых объектов, установленных на прямолинейном участке пути по обе стороны от его оси на заданном расстоянии от знака «остановка» в зоне видимости датчиков, каждый тестовый объект выполнен в виде шаблона заданного размера с нанесенным на его поверхности изображением соответствующего маркера в виде черных и белых прямоугольников известного размера, каждый маркер имеет свой рисунок изображения, идентификатор и выполнен с подогревом, причем в зоне видимости каждого датчика установлены шаблоны с разными маркерами, информацию об рисунках изображений маркеров и их идентификаторах, трехмерной координаты как минимум одной характерной точки каждого маркера, размерах шаблона, координат установки знака «остановка» и каждого шаблона сохраняют в памяти аппаратно-программного устройства автоматизированного рабочего места оператора верификационного стенда и перед началом калибровки датчиков транспортного средства по беспроводному каналу связи передают их в базу данных вычислителя системы машинного зрения, которая хранит информацию о внешних параметрах каждого датчика по результатам предыдущей калибровки, после остановки рельсового транспортного средства и определения точного его местоположения относительно знака «остановка» вычислитель системы машинного зрения начинает процесс калибровки, датчики системы машинного зрения проводят в течение заданного времени множественную съемку сцен с шаблонами, данные съемки каждого датчика вычислитель предварительно обрабатывает, по результатам обработки каждой съемки каждым датчиком выделяет маркеры с последующей их идентификацией на основе информации из базы данных вычислителя, и по результатам идентификации не менее трех разных маркеров для каждого из них находит трехмерные координаты не менее одной характерной точки, оценивает их с субпиксельной точностьюи использует их для определения валидности внешних параметров, полученных по данным предыдущей калибровки, по результатам валидации принимает решение о необходимости проведения калибровки, причем внешние параметры датчиков, полученные при проведении калибровки, вычислитель передает по беспроводной связи в аппаратно-программное устройство автоматизированного рабочего места оператора центра диагностики, контроля и управления для отображения на его мониторе и хранения, а результаты калибровки сохраняет как в базе данных вычислителя для использования системой машинного зрения, так передает для хранения в аппаратно-программное устройство автоматизированного рабочего места оператора верификационного стенда, при этом при обработке изображений шаблонов, полученных в результате съемок тепловизором, вычислитель использует оператор Лапласа или морфологические операции и нормализацию, после чего осуществляет поиск тепловых контуров каждого шаблона, из которых выделяет области маркера, полученные в результате съемом каждой камерой видимого диапазона изображения шаблонов вычислитель фильтрует для улучшения изображения, выделяет маркеры как непосредственно на изображении шаблонов, так и на изображении после их фильтрации, а результаты выделения каждого маркера объединяет, при обработке съемок шаблонов лидаром вычислитель из полученного 3D облака точек создает псевдоизображение, на основе которого формирует псевдоизображение с фильтрацией по глубине, а также ряд псевдоизображений по рефлективности с фильтрацией по выбранным наборам порогов с одинаковым шагом между порогами, и объединяет полученные псевдоизображения, для каждого из которых формирует 3D облако точек, которое затем кластеризует с выбранным предельным шагом, причем каждому кластеру сопоставляется участок псевдоизображения по рефлективности для кадрирования маркера, и осуществляет проверку идентификатора маркера, расположенного внутри каждого участка псевдоизображения.

Для повышения качества съемки датчиками при недостаточном уровне освещенности тестовых объектов включают освещение в зоне их установки.

Сущность изобретения поясняется чертежами, на которых представлены алгоритм калибровки тепловизора и камер оптического диапазона (фиг. 1) и алгоритм калибровка лидара (фиг. 2).

Способы автоматической калибровки датчиков машинного зрения рельсового транспортного средства реализуются как на станции калибровки, так и в депо.

Способы автоматической калибровки датчиков машинного зрения реализуются следующим образом.

При проведении калибровки датчиков на станции калибровки и в депо используют стационарные тестовые объекты, установленные на прямолинейном участке по обе стороны от оси пути на заданном расстоянии от знака «остановка» в зоне видимости датчиков.

Каждый тестовый объект выполнен в виде шаблона заданного размера с нанесенным на его поверхности изображением соответствующего маркера. В качестве маркера используют ArUco маркер, выполненный в виде черных и белых прямоугольников известного размера. Каждый ArUco маркер имеет свой рисунок изображения, идентификатор и выполнен с подогревом, причем в зоне видимости каждого датчика установлены шаблоны с разными ArUco маркерами.

В обоих вариантах реализации способа при установке шаблонов осуществляют предварительный промер с помощью геодезического оборудования координат точки знака «остановка» и точек установки каждого маркера.

Для проведения калибровки на станции база данных вычислителя системы машинного зрения рельсового транспортного средства включает информацию о рисунках изображений маркеров и их идентификаторах, трехмерных координатах как минимум одной характерной точки каждого ArUco маркера, размеры шаблона, координатах установки знака «остановка» и каждого шаблона на станции калибровки и о внешних параметрах каждого датчика по результатам предыдущей калибровки.

Для проведения калибровки датчиков в депо информацию о рисунках изображений маркеров и их идентификаторах, трехмерных координат как минимум одной характерной точки каждого ArUco маркера, размерах шаблона, координат установки знака «остановка» и каждого шаблона сохраняют в памяти аппаратно-программного устройства автоматизированного рабочего места оператора верификационного стенда, который после остановки транспортного средства по беспроводному каналу связи передает их в базу данных вычислителя системы машинного зрения транспортного средства, которая хранит информацию о внешних параметрах каждого датчика системы машинного зрения, полученных по результатам предыдущей калибровки.

В обоих вариантах реализации способа процесс калибровки датчиков системы машинного зрения начинается после остановки транспортного средства. В случае, если проводится калибровка пассажирского поезда реализация способа на станции осуществляется во время посадки высадки пассажиров.

Кроме того, после остановки транспортного средства у знака «остановка» от его внешних бортовых систем в вычислитель поступают данные о точном определении местоположения транспортного средства относительно знака «остановка».

В варианте реализации способа на станции после поступления данных о точном местоположении транспортного средства вычислитель дает команду датчикам системы машинного зрения транспортного средства начать съемку.

В варианте реализации способа в депо вычислитель дает команду датчикам системы машинного зрения начать съемку после того, как получит соответствующие данные от аппаратно-программного устройства автоматизированного рабочего места оператора верификационного стенда.

В обоих варианта реализации способа датчики системы машинного зрения проводят множественную съемку сцен с шаблонами в течение заданного времени. Данные каждой съемки каждого датчика вычислитель предварительно обрабатывает, на каждой из них выделяет на ArUco маркеры с последующей их идентификацией на основе информации из базы данных вычислителя.

По результатам идентификации не менее трех разных ArUco маркеров вычислитель для каждого из них находит трехмерные координаты не менее одной характерной точки, оценивает их с субпиксельной точностью и использует для определения валидности внешних параметров, полученных по данным предыдущей калибровки.

По результатам валидации принимает решение о необходимости проведения калибровки.

В случае, если на съемках датчика выявлено менее трех разных ArUco маркеров, вычислитель дает команду на проведение повторных съемок.

Причем внешние параметры датчика, определенные при проведении калибровки, а также данные о невозможности проведения калибровки датчика вычислитель передает по каналам беспроводной связи в аппаратно-программное устройство автоматизированного рабочего места оператора центра диагностики, контроля и управления для отображения на его мониторе и хранения, а скорректированные в результате калибровки внешние параметры каждого датчика сохраняет в базе данных вычислителя для использования системой машинного зрения при определении препятствий бортовой системой определения препятствий.

В варианте реализации способа в депо вычислитель результаты калибровки передает также в аппаратно-программное устройство автоматизированного рабочего места оператора верификационного стенда для хранения.

В каждом их вариантов реализации способа при обработке изображений шаблонов, полученных в результате съемки тепловизором, вычислитель использует оператор Лапласа или морфологические операции и нормализацию, после чего осуществляет поиск тепловых контуров каждого шаблона, из которого выделяет области ArUco маркера.

Полученные в результате съемки каждой камерой видимого диапазона изображения шаблонов вычислитель фильтрует для улучшения изображения и выделяет ArUco маркеры как непосредственно на изображении шаблонов, так и на изображении после их фильтрации, а результаты выделения каждого маркера объединяет.При выделении ArUco маркеров вычислитель использует функция поиска ArUco маркеров из библиотеки алгоритмов компьютерного зрения OpenCV.

При вычислении внешних параметров как тепловизора, так и каждой камеры видимого диапазона решается задача, называемая Perspective-n-Point (PnP), осуществляющая оценку положения их с учетом набора из n 3D точек в системе координат транспортного средства и их соответствующих 2D проекций на изображении. Как известно, положение тепловизора и каждой камеры состоит из 6 степеней свободы (DOF), которые складываются из вращения (крена, тангажа и рыскания) и 3D-трансляции камеры относительно системы координат транспортного средства. Внутренние параметры камеры считаются выходными данными алгоритма. После получения внешних параметров камеры данные смещений (погрешностей) учитываются при получении данных от камер для работы блок обнаружения препятсвий.

При обработке съемок шаблонов лидаром вычислитель из полученного 3D облака точек формирует псевдоизображение с фильтрацией по глубине, а также ряд псевдоизображений по рефлективности с фильтрацией по выбранным набором порогов с соответствующим шагом между порогами, каждый из которых объединяет с псевдоизображением с фильтрацией по глубине.

Для каждого полученного при объединении псевдоизображения вычислитель формирует 3D облако точек, которое затем кластеризует с выбранным предельным шагом, причем каждому кластеру сопоставляется участок псевдоизображения по рефлективности для кадрирования маркера, и осуществляет поиск ArUco маркеров внутри этого участка. Затем полученные кластера фильтрует на основе известных трехмерных координат характерных точек искомых ArUco маркеров.

Изобретение относится к области калибровки датчиков машинного зрения рельсового транспортного средства. Технический результат заявленного решения заключается в повышении точности калибровки датчиков машинного зрения. Технический результат достигается тем, что для калибровки датчиков каждый тестовый объект выполнен в виде маркера в виде черных и белых прямоугольников, маркер имеет идентификатор и выполнен с подогревом, при обработке изображений шаблонов, полученных в результате съемок тепловизором, вычислитель использует оператор Лапласа или морфологические операции и нормализацию, осуществляют поиск тепловых контуров каждого тестового объекта, из которых выделяют области маркера, полученные в результате съемок каждой камерой видимого диапазона изображения шаблонов вычислитель фильтрует для улучшения изображения, а результаты выделения каждого маркера объединяют, при обработке съемок шаблонов лидаром вычислитель из полученного 3D-облака точек формирует псевдоизображение с фильтрацией по глубине, а также ряд псевдоизображений по рефлективности с фильтрацией по выбранным наборам порогов с одинаковым шагом между ними и объединяет полученные псевдоизображения, для каждого псевдоизображения формируют 3D-облако точек, которое затем кластеризует с выбранным предельным шагом. 2 н. и 2 з.п. ф-лы, 2 ил.

1. Способ автоматической калибровки датчиков машинного зрения рельсового транспортного средства, характеризующийся тем, что калибровку датчиков осуществляют на станции калибровки с использованием стационарных тестовых объектов, установленных на прямолинейном участке по обе стороны от оси пути на заданном расстоянии от знака «остановка» в зоне видимости датчиков, каждый тестовый объект выполнен в виде шаблона заданного размера с нанесенным на его поверхности изображением соответствующего маркера в виде черных и белых прямоугольников известного размера, каждый маркер имеет свой рисунок изображения, идентификатор и выполнен с подогревом, причем в зоне видимости каждого датчика установлены шаблоны с разными маркерами, а база данных вычислителя системы машинного зрения рельсового транспортного средства включает информацию о рисунках изображений маркеров и их идентификаторах, трехмерных координатах как минимум одной характерной точки каждого маркера, размерах шаблона, координатах установки знака «остановка» и каждого шаблона на станции калибровки и о внешних параметрах каждого датчика, полученных по результатам предыдущей калибровки, после остановки рельсового транспортного средства и определения точного его местоположения относительно знака «остановка» вычислитель системы машинного зрения начинает процесс калибровки, датчики системы машинного зрения проводят в течение заданного времени множественную съемку сцен с шаблонами, данные съемок каждого датчика вычислитель предварительно обрабатывает, по результатам обработки каждой съемки каждым датчиком выделяет маркеры с последующей их идентификацией на основе информации из базы данных вычислителя, и по результатам идентификации не менее трех разных маркеров для каждого из них находит трехмерные координаты не менее одной характерной точки и оценивает их с субпиксельной точностью, и использует их для определения валидности внешних параметров, полученных по данным предыдущей калибровки, по результатам валидации принимает решение о необходимости проведения калибровки, причем внешние параметры датчиков, полученные при проведении калибровки, вычислитель передает по каналам беспроводной связи в аппаратно-программное устройство автоматизированного рабочего места оператора центра диагностики, контроля и управления для отображения на его мониторе и хранения, а результаты калибровки сохраняет в базе данных вычислителя, при этом при обработке изображений шаблонов, полученных в результате съемок тепловизором, вычислитель использует оператор Лапласа или морфологические операции и нормализацию, после чего осуществляет поиск тепловых контуров каждого тестового объекта, из которых выделяет области маркера, полученные в результате съемок каждой камерой видимого диапазона изображения шаблонов вычислитель фильтрует для улучшения изображения, выделяет маркеры как непосредственно на изображении шаблонов, так и на изображении после их фильтрации, а результаты выделения каждого маркера объединяет, при обработке съемок шаблонов лидаром вычислитель из полученного 3D-облака точек формирует псевдоизображение с фильтрацией по глубине, а также ряд псевдоизображений по рефлективности с фильтрацией по выбранным наборам порогов с одинаковым шагом между ними и объединяет полученные псевдоизображения, для каждого из которых формирует 3D-облако точек, которое затем кластеризует с выбранным предельным шагом, причем каждому кластеру сопоставляется участок псевдоизображения по рефлективности для кадрирования маркера, и осуществляет проверку идентификатора маркера, расположенного внутри каждого участка псевдоизображения.

2. Способ по п. 1, отличающийся тем, что при недостаточном уровне освещенности тестовых объектов включают освещение в зоне их установки, а при температуре маркеров ниже установленной нормы включают питание их системы подогрева.

3. Способ автоматической калибровки датчиков машинного зрения рельсового транспортного средства, характеризующийся тем, что калибровку датчиков осуществляют в депо с использованием стационарных тестовых объектов, установленных на прямолинейном участке пути по обе стороны от его оси на заданном расстоянии от знака «остановка» в зоне видимости датчиков, каждый тестовый объект выполнен в виде шаблона заданного размера с нанесенным на его поверхности изображением соответствующего маркера в виде черных и белых прямоугольников известного размера, каждый маркер имеет свой рисунок изображения, идентификатор и выполнен с подогревом, причем в зоне видимости каждого датчика установлены шаблоны с разными маркерами, информацию о рисунках изображений маркеров и их идентификаторах, трехмерной координаты как минимум одной характерной точки каждого маркера, размерах шаблона, координат установки знака «остановка» и каждого шаблона сохраняют в памяти аппаратно-программного устройства автоматизированного рабочего места оператора верификационного стенда и перед началом калибровки датчиков транспортного средства по беспроводному каналу связи передают их в базу данных вычислителя системы машинного зрения, которая хранит информацию о внешних параметрах каждого датчика по результатам предыдущей калибровки, после остановки рельсового транспортного средства и определения точного его местоположения относительно знака «остановка» вычислитель системы машинного зрения начинает процесс калибровки, датчики системы машинного зрения проводят в течение заданного времени множественную съемку сцен с шаблонами, данные съемки каждого датчика вычислитель предварительно обрабатывает, по результатам обработки каждой съемки каждым датчиком выделяет маркеры с последующей их идентификацией на основе информации из базы данных вычислителя, и по результатам идентификации не менее трех разных маркеров для каждого из них находит трехмерные координаты не менее одной характерной точки и оценивает их с субпиксельной точностью, и использует их для определения валидности внешних параметров, полученных по данным предыдущей калибровки, по результатам валидации принимает решение о необходимости проведения калибровки, причем внешние параметры датчиков, полученные при проведении калибровки, вычислитель передает по беспроводной связи в аппаратно-программное устройство автоматизированного рабочего места оператора центра диагностики, контроля и управления для отображения на его мониторе и хранения, а результаты калибровки сохраняет как в базе данных вычислителя для использования системой машинного зрения, так передает для хранения в аппаратно-программное устройство автоматизированного рабочего места оператора верификационного стенда, при этом при обработке изображений шаблонов, полученных в результате съемок тепловизором, вычислитель использует оператор Лапласа или морфологические операции и нормализацию, после чего осуществляет поиск тепловых контуров каждого шаблона, из которых выделяет области маркера, полученные в результате съемом каждой камерой видимого диапазона изображения шаблонов вычислитель фильтрует для улучшения изображения, выделяет маркеры как непосредственно на изображении шаблонов, так и на изображении после их фильтрации, а результаты выделения каждого маркера объединяет, при обработке съемок шаблонов лидаром вычислитель из полученного 3D-облака точек создает псевдоизображение, на основе которого формирует псевдоизображение с фильтрацией по глубине, а также ряд псевдоизображений по рефлективности с фильтрацией по выбранным наборам порогов с одинаковым шагом между порогами, и объединяет полученные псевдоизображения, для каждого из которых формирует 3D-облако точек, которое затем кластеризует с выбранным предельным шагом, причем каждому кластеру сопоставляется участок псевдоизображения по рефлективности для кадрирования маркера, и осуществляет проверку идентификатора маркера, расположенного внутри каждого участка псевдоизображения.

4. Способ по п. 3, отличающийся тем, что при недостаточном уровне освещенности тестовых объектов включают освещение в зоне их установки.