УСТРОЙСТВО И СИСТЕМА РЕГИСТРАЦИИ ОБЪЕКТОВ В ОБЛАСТИ АВТОДОРОГИ Российский патент 2022 года по МПК G08G1/01 G08G1/52 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области интеллектуальных транспортных систем, и, более конкретно, к устройству и системе регистрации объектов в области автодороги.

Уровень техники

Согласно статистике, самый высокий процент по соотношению количества ДТП и тяжести последствий приходится на такие нарушения, как:

- Выезд на полосу встречного движения.

- Несоответствие скорости транспортного средства (ТС) конкретным условиям движения.

- Нарушение правил расположения ТС на проезжей части.

В связи с этим в мире активно внедряются и развиваются программы и системы повышения безопасности дорожного движения. Как правило, они направлены на борьбу с каким-то определенным видом нарушения. Одной из главных мер по снижению количества ДТП является контроль соблюдения скорости, так как прочие нарушения сложно выявлять в автоматическом режиме из-за невозможности полного охвата автодорог видеокамерами.

Среди известных систем популярны, например, устройства измерения моментальной скорости. Такие системы действительно дают свои результаты, уменьшая количество происшествий, поскольку водители соблюдают правила дорожного движения в поле действия системы – фактически, в пределах нескольких метров или десятков метров около нее.

Стационарные системы определения средней скорости стали следующим шагом в попытке обеспечить контроль соблюдения ПДД на несколько более протяженном участке дороги по сравнению с системами определения моментальной скорости.

Также в настоящее время стали внедряться различные интеллектуальные системы, которые упрощают решение некоторых задач, которые ставит перед обществом сложившаяся окружающая среда. Например, в сфере транспорта и дорожной инфраструктуры стали применяться умные светофоры или стационарные камеры, которые с помощью интеллектуального анализа изображений могут, например, определять наличие затора в полосе движения, измерять плотность движения, прогнозировать возможный затор, выявлять скорость, высоту, марку автомобиля и другие его признаки.

Однако все эти, как и многие другие используемые в настоящее время системы контроля дорожного движения, преимущественно работают в стационарном режиме (размещаются на опорах у дорог) или квазистационарном (передвижном) режиме (переносятся с места на место операторами, но работают при нахождении в стационарном состоянии). Обычно в этих системах ГЛОНАСС/GPS используют только для высокоточного определения времени.

Соответственно, современные системы работают лишь в определенных узких локациях, и это не гарантирует безопасную обстановку везде, так как те же самые водители могут потенциально прекратить соблюдать скоростной режим за пределами видимости таких систем, что может вызвать возникновение ДТП в зонах, не охваченных подобными системами.

Более того, такие серьезные правонарушения, как выезд на встречную полосу или агрессивное вождение, вообще в большинстве своем остаются без контроля, так как, несмотря на то, что возможность контроля выезда на встречную полосу и рядности движения в некоторых комплексах заявлена, фактически их применение крайне ограничено, так как для выявления таких нарушений часто сложно собрать доказательную базу: недостаточно фото с одной камеры, важно показать нарушение с разных ракурсов.

Решением могли бы стать полностью мобильные системы фото- и видеофиксации. Попытки их создания, безусловно, также известны из уровня техники. Например, известны системы, которые относятся к машинному зрению и используются в обычных и в автономных транспортных средствах для определения условий окружающей среды, для обнаружения заторов, препятствий, для обнаружения объектов инфраструктуры, таких как дорожные знаки, для обнаружения автомобилей в соседних полосах движения, для предотвращения столкновений и т.д.

Однако какие-то из них требуют непосредственного участия инспекторов дорожного движения или операторов, самостоятельно просматривающих кадры и принимающих решения, многие способны измерить только собственное местоположение, а не положение фиксируемых автомобилей, а некоторые являются недостаточно точными, неспособными работать в реальном времени или предъявляют слишком высокие требования к оборудованию, что сводит на нет перспективы широкого развертывания таких систем.

Наиболее близким аналогом настоящего решения является документ US 10,943,355 B2, в котором раскрывается способ определения скорости движущегося объекта, находящегося в поле обзора камеры автономного транспортного средства. На двух кадрах, полученных в разные моменты времени, методом поиска ключевых точек обнаруживается движущийся объект, вычисляется расстояние, пройденное по меньшей мере двумя ключевыми точками за время, прошедшее между двумя кадрами, и на основе данных о расстоянии и времени вычисляется скорость движущегося объекта. Для вычисления расстояния предлагается применять датчик расстояния, такой как лидар, радар или стереокамера. Несмотря на то, что в данном документе решается задача повышения точности определения местоположения и скорости движущегося объекта, фактически обеспечиваемая таким способом точность является недостаточной для получения юридически обоснованных заключений о соблюдении/несоблюдении ПДД участниками дорожного движения или для получения заключений о состоянии похожих друг на друга объектов дорожной инфраструктуры, расположенных относительно близко друг от друга. Кроме того, в данном документе предлагается выполнять поиск ключевых точек во всем кадре, а затем исключать из него не представляющие интерес точки, чтобы оставить только точки, связанные с интересующим объектом. Однако такой подход требует больших вычислительных ресурсов, чтобы иметь возможность в реальном времени отслеживать одновременно множество объектов.

Соответственно, несмотря на развитие систем повышения безопасности дорожного движения, пока не существует такой системы контроля дорожной обстановки, которая распространяла бы свое действие повсеместно и при этом была бы высоко автономной и могла бы с достаточно высокой степенью точности в реальном времени позиционировать фиксируемые объекты и обеспечивать достоверность выявленных сведений.

Сущность изобретения

С целью устранения по меньшей мере некоторых из вышеупомянутых недостатков предшествующего уровня техники, настоящее изобретение направлено на расширение границ эксплуатации систем повышения безопасности дорожного движения, с тем чтобы приборы фиксации контроля дорожной обстановки можно было применять в тех местах, где ранее имелись ограничения для внедрения таких приборов.

Согласно настоящему изобретению, предложено устройство для регистрации объектов в области автодороги или вблизи нее, содержащее: блок навигации, выполненный с возможностью определения географических координат и направления данного устройства и синхронизации времени по меньшей мере на основе данных, принимаемых от глобальной навигационной спутниковой системы (GNSS); блок фиксации, содержащий стереокамеру и выполненный с возможностью получения левого и правого кадров, фиксирующих изображение окружающего пространства в поле обзора камеры; блок определения времени фиксации, выполненный с возможностью определения момента времени, в который блоком фиксации были получены кадры, на основе данных о времени от блока навигации; блок распознавания, выполненный с возможностью обнаружения области нахождения фиксируемого объекта в кадре и распознавания по меньшей мере одного характерного признака фиксируемого объекта в пределах обнаруженной области нахождения объекта в кадре; и блок геопозиционирования фиксируемого объекта, выполненный с возможностью определения местоположения и направления фиксируемого объекта на момент фиксации на основе кадров, содержащих фиксируемый объект, и данных от блока навигации, при этом блок геопозиционирования фиксируемого объекта содержит блок обнаружения ключевых точек, выполненный с возможностью обнаружения на нескольких кадрах одинаковых элементов, которые хорошо различимы на разных кадрах, при этом обнаружение ключевых точек осуществляется в пределах обнаруженной области нахождения объекта в кадре.

В одном из вариантов осуществления направлением является направление, в котором перемещается или в которое обращено данное устройство или фиксируемый объект.

В одном из вариантов осуществления данное устройство установлено на мобильный объект, выполненный с возможностью перемещения в области автодороги или вблизи нее.

В одном из вариантов осуществления мобильным объектом, на которое установлено данное устройство, является контролирующее транспортное средство, беспилотный аппарат, человек или животное.

В одном из вариантов осуществления фиксируемым объектом является транспортное средство, человек, элемент дорожной инфраструктуры, элемент окружающей среды.

В одном из вариантов осуществления по меньшей мере один характерный признак фиксируемого объекта содержит по меньшей мере одно из

- размера в целом или размера отдельных частей фиксируемого объекта,

- типа фиксируемого объекта,

- государственного регистрационного знака, типа, марки или модели фиксируемого транспортного средства,

- лица или частей тела фиксируемого человека,

- состояния или режима работы фиксируемого объекта.

В одном из вариантов осуществления блок геопозиционирования фиксируемого объекта дополнительно выполнен с возможностью определения смещения по меньшей мере одной ключевой точки относительно по меньшей мере одного другого кадра, полученного в другой момент времени и содержащего идентичную по меньшей мере одну ключевую точку, и определения направления на основе результатов определения.

В одном из вариантов осуществления блок распознавания дополнительно выполнен с возможностью обнаружения области нахождения характерного признака в пределах обнаруженной области нахождения объекта в кадре, при этом распознавание по меньшей мере одного характерного признака фиксируемого объекта выполняется в пределах обнаруженной области нахождения характерного признака.

В одном из вариантов осуществления направление обзора стереокамеры соответствует направлению данного устройства с учетом угла поворота стереокамеры относительно данного устройства.

В одном из вариантов осуществления блок определения времени фиксации дополнительно выполнен с возможностью формирования импульса синхронизации в момент приема данных с блока навигации и отправки сигнала на захват кадра в блок фиксации.

В одном из вариантов осуществления блок навигации дополнительно выполнен с возможностью уточнять данные о местоположении и направлении с учетом поправок, получаемых от базовой станции.

В одном из вариантов осуществления поправки, получаемые от базовой станции, реализованы согласно системе дифференциальной коррекции.

В одном из вариантов осуществления устройство дополнительно содержит блок хранения данных, выполненный с возможностью хранения данных, полученных по меньшей от одного из блоков данного устройства.

В одном из вариантов осуществления устройство дополнительно содержит блок формирования метаданных, выполненный с возможностью формирования метаданных по каждому зафиксированному объекту на основе данных, полученных по меньшей от одного из блоков данного устройства.

В одном из вариантов осуществления устройство дополнительно содержит передатчик, выполненный с возможностью передачи сформированных метаданных в центр обработки данных и/или на другое устройство для регистрации объектов.

В одном из вариантов осуществления устройство дополнительно содержит приемник, выполненный с возможностью приема метаданных от центра обработки данных и/или от другого устройства для регистрации объектов.

В одном из вариантов осуществления устройство дополнительно содержит блок контроля, выполненный с возможностью определения, соответствует ли местоположение и/или направление фиксируемого объекта предварительно установленным требованиям.

В одном из вариантов осуществления в разные моменты времени один и тот же фиксируемый объект зафиксирован разными устройствами для регистрации объектов.

В одном из вариантов осуществления в разные моменты времени один и тот же фиксируемый объект зафиксирован данным устройством.

В одном из вариантов осуществления устройство дополнительно содержит радар, выполненный с возможностью измерения скорости и направления фиксируемого объекта на основе эффекта Доплера.

Технический результат

Настоящее изобретение обеспечивает улучшенный контроль любых нарушений и дорожной обстановки в целом. Система позволяет увеличить безопасность на дорогах за счет повышения вероятности выявления нарушений и связанным с этим изменением психологии водителей, сделав их активными участниками безопасного движения. При этом обеспечивается:

- возможность работы в мобильном режиме (в движении);

- фиксация дорожной обстановки без излучения («невидимость» для радар-детекторов);

- фиксация недоступных ранее для контроля типов нарушений ПДД (выезд на встречную полосу, движение по полосе для общественного транспорта или обочине, нарушение правил расположения ТС, опасное вождение и др.),

- повышенная точность позиционирования фиксируемых объектов, а не только самого устройства,

- повышение достоверности выявляемых сведений о дорожной обстановке, в частности, о нарушениях ПДД;

- ускорение обработки, возможность работы в реальном времени;

- снижение требований к производительности системы и соответствующее снижение затрат и энергопотребления, возможность уменьшения размеров устройства.

Эти и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания со ссылкой на сопроводительные чертежи.

Краткое описание чертежей

На Фиг. 1 показано схематическое изображение внешнего вида регистратора в одном из вариантов осуществления настоящего изобретения.

На Фиг. 2 показана упрощенная блок-схема регистратора согласно настоящему изобретению.

На Фиг. 3 показан пример обучающего изображения автодороги с размеченными эталонными областями для каждого объекта.

Следует понимать, что фигуры могут быть представлены схематично и не в масштабе и предназначены, главным образом, для улучшения понимания настоящего изобретения.

Подробное описание

В настоящем изобретении предлагается осуществлять контроль ПДД компактными мобильными приборами, которые в перспективе могут быть встроены во все автомобили и общественный транспорт, то есть внедрены непосредственно в транспортный поток. Это достигается за счет включения инструментов точного геопозиционирования окружающих объектов в движении и объединения данных с этих устройств в единую вычислительную сеть для получения более полной информации по каждому дорожному событию и для возможности аналитической обработки информации о транспортных потоках.

В настоящем изобретении система для регистрации объектов в области автодороги или вблизи нее обеспечивает позиционирование с высокой точностью, что обеспечивает возможность выявлять нарушения с привязкой к карте. А объединение приборов в едином информационном пространстве позволит выявлять нарушения, которые требуют фиксации нарушителя с разных ракурсов на участках автодороги любой протяженности, например, опасное вождение, движение по встречной полосе и т.д.

В частности, предлагается система для регистрации дорожной обстановки, содержащая одно или более мобильных устройств для регистрации дорожной обстановки и удаленный центр обработки данных.

Одним из основных назначений мобильных устройств и системы для регистрации дорожной обстановки в целом является контроль движения транспортных средств как с целью выявления нарушений правил дорожного движения и иных установленных норм, так и в целях проведения всевозможных измерений и статистических исследований, например, для использования в интеллектуальных системах управления дорожным хозяйством. При этом следует понимать, что предложенная система и устройство могут регистрировать помимо транспортных средств и другие объекты, попадающие в область их действия, такие как люди, элементы дорожной инфраструктуры, элементы окружающей среды. Дорожная инфраструктура содержит дорожное покрытие, разметку, обочины, разделительные полосы, ограждения, освещение, дорожные знаки, светофоры и другие элементы, которые используются в дорожном хозяйстве и могут фиксироваться регистратором. Окружающая среда содержит здания, сооружения, растения и другие элементы, которые могут фиксироваться регистратором, если это целесообразно с точки зрения требований конкретного применения. Дальнейшее описание для удобства понимания приводится в основном в отношении регистрации (фиксации и распознавания) транспортных средств, однако настоящее изобретение применимо и к другим указанным выше объектам в случаях, когда это доступно, осуществимо и целесообразно.

Мобильное устройство для регистрации объектов, входящее в систему для регистрации объектов, далее в настоящем документе может называться как «регистратор». В одном из частных вариантов осуществления устройство для регистрации объектов является регистратором транспортных средств (РТС), однако следует понимать, что к данному устройству применима и другая возможная терминология – например, «камера», «радар» и т.д.

Регистратор, будучи компактным прибором, установлен на мобильный объект, такой как транспортное средство (в настоящем документе оно может также называться контролирующим транспортным средством или вторым транспортным средством в целях его различения от других транспортных средств, упоминаемых здесь). Например, он может быть установлен в патрульном автомобиле, такси, автобусе, ином общественном транспорте, в транспорте специального назначения, на мотоцикле, велосипеде, самокате, сегвее или любом другом подходящем объекте, который может располагаться и двигаться на автодороге или вблизи нее. Кроме того, в одном из вариантов осуществления в качестве мобильного объекта может также рассматриваться беспилотный аппарат, как летательный, так и перемещающийся по земле, человек, переносящий такой регистратор, или животное, такое как патрульная лошадь или собака. То есть предлагаемый регистратор является не стационарным и не квазистационарным, а по-настоящему мобильным прибором.

Схематическое изображение внешнего вида регистратора в одном из вариантов осуществления настоящего изобретения показано на Фиг. 1. Данное изображение приведено исключительно в качестве примера в целях упрощения понимания настоящего изобретения и не направлено на какое-либо ограничение. Следует понимать, что точное исполнение зависит от сценария использования и от требований конкретного применения.

Что касается внутренней компоновки, как схематически показано на Фиг. 2, регистратор 100 включает в себя несколько блоков: блок 110 навигации, блок 120 определения времени фиксации, блок 130 фиксации, блок 140 распознавания, блок 150 геопозиционирования фиксируемого объекта и память 160 (блок хранения данных), а также опционально передатчик, приемник, блок формирования метаданных, блок обнаружения ключевых точек, блок картографирования, встроенные часы, блок контроля (не показаны).

Блок навигации на основе данных, принимаемых от глобальной навигационной спутниковой системы (GNSS), такой как GPS, ГЛОНАСС, BeiDou, Galileo, QZSS, определяет географические координаты и направление регистратора и синхронизирует время. При этом направлением может быть направление, в котором перемещается или в которое обращен регистратор.

Блок определения времени фиксации определяет момент времени, в который блоком фиксации был получен каждый кадр, на основе данных о точном времени от блока навигации.

Блок фиксации содержит стереокамеру, то есть камеру, содержащую две или более фото- и/или видеокамеры, каждая из которых содержит свой объектив. Стереокамера в процессе движения мобильного объекта (например, автобуса, на котором установлен регистратор) осуществляет, соответственно, периодическую или непрерывную съемку окружающего пространства, попадающего в поле обзора камеры. В варианте осуществления с непрерывной съемкой блок определения времени фиксации может сопоставлять время фиксации, например, по моменту начала захвата кадра или по моменту окончания захвата кадра. В варианте осуществления с периодической съемкой блок определения времени фиксации может формировать импульс синхронизации в момент получения данных с блока навигации и посылать сигнал на захват кадра в блок фиксации. Иными словами, может выполняться синхронизация съемки левой и правой видеокамеры с показателями навигационного модуля и временной шкалой.

Следует понимать, что мобильный объект не обязан двигаться непрерывно, поскольку он может останавливаться, например, на светофорах, на остановках или в дорожных заторах, но съемка при этом все равно может вестись. В поле обзора камеры могут постоянно или время от времени находиться или попадать фиксируемые объекты. Когда в поле обзора камеры попадает или находится фиксируемый объект (например, проезжающее мимо транспортное средство или стоящее транспортное средство, мимо которого проезжает мобильный объект с регистратором), происходит фиксация изображения этого объекта (в настоящем документе он может также называться фиксируемым транспортным средством или первым транспортным средством в целях его различения от других транспортных средств, упоминаемых здесь). В предпочтительном варианте осуществления блок фиксации или весь регистратор располагается на крыше транспортного средства, чтобы иметь широкое поле обзора, в которое не попадают совсем или попадает минимальное количество частей самого контролирующего транспортного средства, которые заслоняли бы собой часть кадра, а также чтобы обеспечить хорошую «видимость» спутников. Тем не менее, в других вариантах осуществления возможно и другое расположение блока фиксации или регистратора – например, в кабине транспортного средства непосредственно около ветрового стекла, под рулем мотоцикла и т.д.

Исходя из зафиксированного изображения фиксируемого объекта, блок распознавания по возможности распознает по меньшей мере один его характерный признак. В вариантах осуществления настоящего изобретения характерным признаком фиксируемого объекта может быть размер фиксируемого объекта в целом, или размер отдельных частей фиксируемого объекта, или тип фиксируемого объекта. В зависимости от того, что из себя представляет фиксируемый объект и в зависимости от конкретного назначения регистратора, характерным признаком фиксируемого объекта также может быть государственный регистрационный знак (ГРЗ), тип, марка или модель фиксируемого транспортного средства, если фиксируемым объектом является транспортное средство, или лицо или части тела фиксируемого человека, если фиксируемым объектом является человек. В дополнительных вариантах осуществления могут фиксироваться и другие характерные признаки, такие как цвет, наличие повреждений фиксируемого транспортного средства, а также состояние или режим работы объекта.

Блок геопозиционирования фиксируемого объекта определяет местоположение и направление фиксируемого объекта на момент фиксации на основе кадров, содержащих фиксируемый объект, и данных от блока навигации. При этом направлением может быть направление, в котором перемещается или в которое обращен фиксируемый объект.

За счет использования возможностей распознавания характерных признаков фиксируемого объекта в сочетании с определением положения как самого регистратора, так и фиксируемого объекта с учетом их направлений обеспечивается повышенная точность позиционирования фиксируемого объекта и повышение достоверности выявляемых сведений о дорожной обстановке, в частности, о нарушениях ПДД, при этом поддерживается возможность работы в мобильном режиме (в движении), фиксация дорожной обстановки происходит без излучения (так как камеры «невидимы» для радар-детекторов), а также обеспечивается возможность фиксации недоступных ранее для контроля типов нарушений ПДД (выезд на встречную полосу, движение по полосе для общественного транспорта или обочине, нарушение правил расположения ТС, опасное вождение и др.).

Далее некоторые блоки и функции будут описаны более подробно.

Стереокамера

Как указывалось выше, блок фиксации содержит стереокамеру, то есть камеру, содержащую две или более фото- и/или видеокамеры, каждая из которых содержит свой объектив.

Направление обзора стереокамеры соответствует направлению регистратора с учетом угла поворота стереокамеры относительно оси самого регистратора. Разумеется, регистратор может быть несимметричным, и его осью может являться любая предварительно определенная линия, используемая в качестве опорной системы отсчета. При этом камера может быть зафиксирована на приборе, а объективы могут быть зафиксированы в камере, и тогда направление перемещения самого прибора-регистратора либо совпадает с направлением обзора камеры, либо всегда остается под постоянным углом относительно камеры.

В другом варианте осуществления стереокамера может менять свое направление обзора. Например, это может производиться с помощью поворотного механизма или с помощью подстройки оптики. Таким образом можно детально отснять выбранный объект или сконцентрироваться на анализе одной из сторон автодороги. Последнее может понадобиться, например, для выявления фактов парковки в неположенных местах.

Распознавание

Для обеспечения измерения скорости и местоположения объекта необходимо детектировать и идентифицировать этот объект в кадре и отслеживать его перемещение на последующих кадрах. В случае с транспортными средствами (ТС) задача идентификации упрощается за счет того, что они оснащены государственными регистрационными знаками (ГРЗ), пригодными для считывания с применением технологий машинного зрения.

Блок распознавания обнаруживает область нахождения объекта в кадре (далее в данном документе может взаимозаменяемо именоваться как «область объекта»), затем в обнаруженной области объекта обнаруживает область нахождения характерного признака, после чего выполняет непосредственно распознавание этого характерного признака.

Например, в одном варианте осуществления, когда искомым объектом является транспортное средство (ТС), а его характерным признаком - ГРЗ, блок распознавания обнаруживает область нахождения ТС в кадре (в частности, координаты этой области в кадре), затем обнаруживает область нахождения ГРЗ в обнаруженной области ТС, а затем распознает ГРЗ данного ТС, выдавая текстовое представление номера.

В другом иллюстративном варианте осуществления, когда искомым объектом является фонарный столб, а его характерным признаком – светильник, блок распознавания обнаруживает область нахождения фонарного столба в кадре, затем обнаруживает область нахождения светильника в обнаруженной области столба, а затем распознает, включен ли светильник.

Обработка каждого видеоканала может осуществляться независимо, параллельно в двух раздельных потоках CPU. Для целей обнаружения областей интереса в кадре или в области кадра, а также для распознавания используются алгоритмы машинного обучения (ML) с использованием нейросетей. Непосредственное выполнение нейросетей происходит на мощностях GPU с использованием CUDA (унифицированной программно-аппаратной архитектуры для вычислений) и тензор ядер.

Например, для обучения нейросети обнаружению области объекта применяют набор обучающих данных, содержащий множество изображений автодорог с фото- и видеокамер. На каждом изображении указываются координаты ограничивающего прямоугольника для каждого объекта (например, автомобиля, как показано на Фиг. 3) в кадре, то есть указываются эталонные области объекта.

Затем, при непосредственном использовании обученной нейросети подают на ее вход тензор с предварительно определенной размерностью, который описывает изображение со стереокамеры. Для ускорения процесса обработки может использоваться черно-белое изображение. Обработав входные данные, нейросеть выдает на выходе 2 тензора: первый выходной тензор указывает координаты местоположения объекта, а второй выходной тензор указывает вероятность нахождения объекта в соответствующей области. Далее среди всех объектов-кандидатов, соответствующих первому выходному тензору, выбираются целевые объекты, значение вероятности которых, соответствующее второму выходному тензору, больше или равно предварительно определенному порогу. Кроме того, выполняется отсеивание повторяющихся объектов, чтобы выходные данные о каждом кадре содержали только уникальные объекты.

Аналогичным образом может обучаться и работать нейросеть, отвечающая за обнаружение характерных признаков в области объекта. Размерности входных и выходных данных при этом меньше, чем при обнаружении объектов.

Для распознавания характерных признаков используются алгоритмы машинного обучения (ML). Например, для распознавания ГРЗ на вход нейросети подается тензор предварительно определенной размерности, описывающий черно-белое изображение ГРЗ. На выходе имеется два тензора: первый выходной тензор указывает максимальную длину ГРЗ и количество распознаваемых символов в ГРЗ и содержит информацию о вероятности нахождения на соответствующей позиции данного символа, а второй выходной тензор указывает вероятность принадлежности ГРЗ одной из поддерживаемых стран. То есть, в результате, полученное графическое представление ГРЗ преобразуется в буквенно-цифровой вид.

За счет того, что распознавание характерных признаков производится указанным способом предварительно обученной нейросетью только в небольшой области изображения, соответствующей конкретному объекту, обеспечивается повышение скорости обработки до значений, позволяющих регистратору работать в режиме реального времени с применением в основном типового вычислительного оборудования, что позволяет упростить конструкцию устройства. При этом испытания показали, что в случае, когда распознавание характерных признаков происходит только в области нахождения характерного признака, а не во всей области объекта, общее время обработки дополнительно снижается.

Определение местоположения объекта

Для определения или уточнения местоположения в дополнение к GNSS предлагается использовать методику на основе поиска ключевых точек.

Блок геопозиционирования фиксируемого объекта может содержать блок обнаружения ключевых точек, который обнаруживает на нескольких изображениях одинаковые элементы, которые хорошо различимы на разных кадрах (например, угол здания). Конкретная технология поиска ключевых точек не является предметом настоящего изобретения и может быть известна для специалистов в данной области техники - например, может использоваться технология SURF, SIFT, ORB и др.

Важной особенностью настоящего изобретения является то, что поиск ключевых точек осуществляется только в области объекта, обнаруженной ранее блоком распознавания, то есть только в небольшой части кадра.

Блок геопозиционирования фиксируемого объекта сопоставляет выявленные блоком обнаружения ключевые точки на левом и правом кадре. Конкретная технология сопоставления ключевых точек не является предметом настоящего изобретения и может быть известна для специалистов в данной области техники - например, может использоваться технология FLANN, BFMatcher и др.

После того, как точки на левом и правом кадре сопоставлены, рассчитывается их отклонение, а именно отклонение положения пикселя на правом кадре стереокамеры относительно левого (или наоборот). Далее производится переход для каждой точки из пространства , где – координаты точки на левом изображении, а – отклонение этой точки (пикселя) на правом кадре относительно левого, в пространство – координаты точки в относительной системе координат стереокамеры. Для этого необходимо знать внутреннюю матрицу обеих камер и внешнюю матрицу стереокамеры, показывающую пространственное соотношение между камерами (данные параметры подбираются в ходе процесса калибровки).

Имея полученные таким образом координаты , а также полученные блоком навигации геодезические координаты (широта и долгота) регистратора и направление регистратора () (например, относительно севера), можно определить координаты данной ключевой точки.

В целях упрощения вычислений в настоящем изобретении делается допущение, что регистратор и объект находятся на одной плоскости, поэтому координату ключевой точки (и объекта в целом) можно опустить. Моделирование результатов показало, что в большинстве сценариев реального применения такое допущение не влияет значимым образом на точность определения местоположения.

Переходя теперь к самому способу, способ 200 определения координат ключевой точки содержит следующие этапы:

Этап 210. Перевод геодезических координат местоположения регистратора в плоские прямоугольные координаты регистратора в проекции Гаусса-Крюгера (например, в соответствии с п. 5.4.1 ГОСТ 32453-2017 «Глобальная навигационная спутниковая система. Системы Координат. Методы преобразований координат определяемых точек»).

Этап 220. Перевод координат ключевой точки из системы координат относительно стереокамеры в систему координат относительно Земли :

Для этого необходимо совершить поворот системы координат на угол (в соответствии с направлением регистратора) по следующим формулам:

Этап 230. Получение плоских прямоугольных координат ключевой точки в проекции Гаусса-Крюгера на основе системы координат относительно Земли и плоских прямоугольных координат регистратора в проекции Гаусса-Крюгера по формулам:

Этап 240. Преобразование плоских прямоугольных координат ключевой точки в проекции Гаусса-Крюгера в геодезические координаты ключевой точки (например, в соответствии с п. 5.4.2 ГОСТ 32453-2017).

Результаты моделирования такого подхода с применением тестового оборудовании продемонстрировали, что на расстоянии до 20 метров от регистратора точность измерений координат объектов составит 0,245 м, что является достаточным для позиционирования объекта внутри полосы движения, ширина которой составляет не менее 3 метров (в соответствии с ГОСТ 33475-2015).

В целях упрощения вычислений в вариантах осуществления может делаться допущение, что местоположением объекта является центр объекта, то есть в качестве координат объекта могут вычисляться координаты ключевой точки, расположенной в центре объекта. Тем не менее, в других вариантах осуществления за основу может выбираться другая ключевая точка, принадлежащая объекту, или может выполняться вычисление координат для нескольких ключевых точек объекта, после чего при необходимости может выполняться усреднение, аппроксимация, интерполяция или оптимизация координат.

В одном из вариантов осуществления, если на зафиксированном изображении распознано несколько неподвижных объектов, для которых заранее известно их точное местоположение и реальные размеры, блок навигации может определить или уточнить местоположение регистратора или блок геопозиционирования фиксируемого объекта может уточнить местоположение фиксируемого объекта дополнительно на основе сопоставления размеров каждого из этих распознанных неподвижных объектов с их реальными размерами и сопоставления взаимного расположения этих объектов друг относительно друга и относительно регистратора или фиксируемого объекта.

Еще в одном из вариантов осуществления уточнение координат фиксируемого объекта может выполняться путем усреднения, аппроксимации, интерполяции или оптимизации координат одного и того же объекта, определенных из текущего, а также одного или более предшествующих и последующих кадров, близких к текущему кадру, с учетом времени фиксации этих кадров. Точное количество соседних кадров, а также то, какие именно из соседних кадров выбрать для целей уточнения, определяется на основе требований конкретного применения.

Определение направления

Для определения или уточнения направления в дополнение к GNSS предлагается использовать методику на основе поиска ключевых точек.

Как описывалось выше, стереокамера регистратора производит периодическую или непрерывную съемку окружающего пространства, попадающего в поле обзора камеры. Соответственно, регистратор получает несколько последовательных кадров с правой и левой камер.

На основе полученных кадров блок геопозиционирования фиксируемого объекта определяет координаты фиксируемого объекта вышеописанным способом. Так как объект протяженный, то на последовательных кадрах можно определить координату одной и той же ключевой точки объекта. При этом местоположение и реальные размеры неподвижных объектов знать не нужно. Затем по смещению координат фиксируемого объекта между двумя или более последовательными кадрами блок геопозиционирования фиксируемого объекта определяет направление движения фиксируемого объекта.

Более подробно, способ 300 определения направления движения фиксируемого объекта заключается в следующем.

Этап 310. Для каждой ключевой точки фиксируемого объекта определяется ее местоположение в пространстве в разные моменты времени согласно описанному выше способу 200 определения координат ключевой точки. В частности, определяются – плоские прямоугольные координаты ключевой точки фиксируемого объекта в проекции Гаусса-Крюгера в момент времени , и – соответствующие координаты в отличающийся момент времени .

Этап 320. Определяются векторы перемещения каждой ключевой точки фиксируемого объекта по следующей формуле:

Этап 330. Определяется вектор движения () всего фиксируемого объекта в целом путем медианной фильтрации векторов движения его ключевых точек, полученных на этапе 320.

Следует понимать, что указание на «последовательные кадры» не обязательно означает, что кадры, на основе которых блок геопозиционирования фиксируемого объекта определяет направление движения фиксируемого объекта, являются смежными, то есть непосредственно следующими друг за другом и снятыми одной и той же стереокамерой. В данном случае слово «последовательные» означает, что кадры сняты не в один и тот же момент времени, то есть между моментами времени фиксации этих кадров ( и ) прошло некоторое время, в течение которого фиксируемый объект успел переместиться, так чтобы можно было с достаточной точностью определить направление его движения. При этом могут использоваться как кадры, снятые камерой одного и того же регистратора, так и кадры, снятые камерами разных регистраторов. Выбор временного интервала между последовательными кадрами зависит от требований конкретного применения.

Направление движения автомобиля важно понимать, например, для задач выявления нарушений, таких как выезд на встречную полосу, чтобы доказать, что автомобиль двигался в направлении, противоположном разрешенному. То есть, направление движения фиксируемого объекта по умолчанию должно совпадать с разрешенным направлением движения на данном участке.

Определить направление можно не только для фиксируемого объекта, но и для самого регистратора. При этом GNSS может использоваться для 1) привязки к глобальной системе координат, 2) уточнения величины перемещения (так как возможна набегающая ошибка, если использовать исключительно обработку снимков) и 3) выявления случаев потери ключевых точек, ошибок в работе модуля (например, если много ключевых точек нашлось на сильно удаленных объектах, то регистратор может предположить, что находится на месте, а GNSS может скорректировать эти показания, указывая на явное передвижение в пространстве).

В частности, направление перемещения самого регистратора может фиксироваться, например, GPS или ГЛОНАСС приемником (блоком навигации). На его выходе выдается азимут – направление, куда движется приемник. В случае, если приемник стоит на месте, то и направление движения по GNSS определить затруднительно. В этом случае могут использоваться упомянутые выше методики. Несмотря на то, что сами по себе технологии поиска и выявления ключевых точек не дают привязки к географическим координатам, они позволяют измерить смещения объектов в кадре. Решается задача определения местоположения и направления камеры при заданном смещении большого числа объектов в кадре. Соответственно, когда камера перемещается, оцениваемое смещение ключевых точек на соседних кадрах может указывать на перемещение регистратора или фиксируемого объекта.

Определение скорости объекта

Зная вектор движения () фиксируемого объекта, определенный с помощью описанного выше способа 300 определения направления движения фиксируемого объекта, можно посчитать скорость движения объекта, рассчитав длину вектора и поделив ее на время пути по следующей формуле:

где и - это проекции вектора движения () фиксируемого объекта на ось и , соответственно.

Для целей измерения скорости из серии фиксаций одного и того же объекта могут быть выбраны те или иные кадры. В вариантах осуществления, могут выбираться:

- два кадра, на которых фиксируемый объект попадает в поле обзора обеих камер стереокамеры и при этом находится от них на минимальном расстоянии от стереокамеры;

- два кадра, между моментами фиксации которых объект преодолел наибольшее расстояние;

- кадр, на котором фиксируемый объект попадает в поле обзора обеих камер стереокамеры и при этом находится на минимальном расстоянии от стереокамеры, и кадр, на котором фиксируемый объект попадает в поле обзора обеих камер стереокамеры и при этом находится на максимальном расстоянии от стереокамеры;

- или иные комбинации кадров.

Кроме того, в качестве дополнительной опции кадры могут выбираться из набора кадров, содержащих предварительно определенный порог ключевых точек, относящихся к фиксируемому объекту. Предварительно определенный порог может быть абсолютной величиной, равной количеству точек, или относительной величиной, равной проценту точек относительно размера кадра, размера области объекта или размера самого объекта. Например, из всего множества кадров, содержащих фиксируемый объект, выбирается такой набор кадров, в которых содержится по меньшей мере 20 ключевых точек, относящихся к фиксируемому объекту. Далее из этого набора выбираются два кадра, на основании которых будет определяться скорость объекта.

В другом варианте осуществления кадры могут выбираться из набора кадров, включающего в себя предварительно определенный порог кадров, содержащих максимальное количество ключевых точек, относящихся к фиксируемому объекту. Предварительно определенный порог может быть абсолютной величиной, равной количеству кадров, или относительной величиной, равной проценту кадров относительно всего множества кадров. Например, из всего множества кадров, содержащих фиксируемый объект, выбирается 10% кадров, содержащих больше всего ключевых точек, относящихся к фиксируемому объекту. Далее из этого набора выбираются два кадра, на основании которых будет определяться скорость объекта.

Также возможны любые комбинации из вышеозначенного.

Указанные в этом и предыдущих разделах методики являются алгоритмическими и могут выполняться программно без использования дополнительных физических средств, что существенно снижает размеры и стоимость устройства, при этом поддерживается высокая точность показаний регистратора за счет взаимного положительного влияния показаний данных алгоритмов и показаний GNSS.

Использование стереокамеры позволяет существенно повысить точность показаний регистратора. Сочетание стереокамеры и GNSS за счет взаимного дополнения и уточнения показаний обеспечивает повышенную точность позиционирования и распознавания фиксируемых объектов. Их сочетание с методиками, указанными в предыдущих разделах, позволяет производить дополнительные проверки и уточнения, что ещё повышает точность. Кроме того, использование стереокамеры может обеспечить увеличенное поле обзора.

За счет того, что поиск ключевых точек производится в настоящем изобретении только в небольшой области изображения, соответствующей конкретному объекту, обеспечивается кратное снижение объема вычислений, так как нет необходимости строить плотное облако точек, охватывающее весь кадр. Это обеспечивает повышение скорости обработки до значений, позволяющих регистратору работать в автомобильном потоке в режиме реального времени (например, при испытаниях были достигнуты расчеты местоположения и скорости движения не менее 6 объектов в кадре с частотой 15 кадров в секунду в пределах максимально допустимой погрешности 2 км/ч и с точностью определения местоположения объекта 0,245 м) с применением в основном типового вычислительного оборудования, что позволяет упростить конструкцию устройства.

Картографирование

Регистратор может дополнительно содержать блок картографирования, который определяет расстояние до объектов на зафиксированном изображении на основе расстояния между объективами стереокамеры, формирует карту глубины на основе определенных расстояний до объектов, строит облако точек на основе карты глубины, определяет размеры объектов на изображении и их местоположение относительно стереокамеры по облаку точек, и определяет географические координаты объектов на изображении с использованием их определенных размеров и местоположения относительно стереокамеры, а также с использованием географических координат данного устройства и направления обзора стереокамеры.

Дополнительно для определения расстояния могут использоваться характеристики объектива и видеокамеры, которые определяются в ходе внутренней и внешней калибровки камер.

Более подробно, каждая камера в паре видит предмет слегка смещенным. По известным формулам это смещение переводится в расстояние до объекта.

Карта глубины представляет собой изображение, где вместо яркости пикселя указывается расстояние до него.

Так как известно расстояние до каждой точки от камеры, можно перевести ее в 3D координаты. Соответственно, на основе карты глубины строится облако точек. Облако точек позволяет измерять размеры объектов и определять их местоположение относительно камеры.

Далее, зная географические координаты и направление камеры, можно определить географические координаты объектов в кадре.

Сочетание блока картографирования с методиками, указанными в предыдущих разделах, позволяет производить дополнительные проверки и уточнения, что позволяет повысить точность определения местоположения, направления и скорости объектов.

Карты, собранные из облаков точек, в будущем будут полезны для беспилотного транспорта для лучшей оценки дорожной обстановки. Они дадут знания беспилотнику о дороге, которая не попадает в поле зрения его сенсоров, например, какая будет дорога за поворотом.

Радар

В одном из вариантов осуществления настоящего изобретения регистратор может дополнительно содержать радар, то есть радиолокационный блок, который определяет мгновенную скорость и направление фиксируемого объекта на основе эффекта Доплера, а именно, по разнице частот между радиолокационным сигналом, излученным когерентным радаром, и сигналом, отраженным от движущегося фиксируемого объекта. Подробная реализация данного блока является известной для специалистов в данной области техники и не приводится в данном документе. Такое решение позволяет повысить функциональность предложенной системы и точность измерений с учетом взаимного дополнения и/или уточнения фиксируемых данных.

Контроль нарушений, выявление изменений дорожной инфраструктуры

Система может содержать блок контроля, выполненный с возможностью определения, соответствует ли местоположение и/или направление фиксируемого объекта предварительно установленным требованиям. Блок контроля может быть частью регистратора или центра обработки данных или может быть отдельным устройством.

В одном варианте осуществления блок контроля может быть выполнен с возможностью определения параметров размещения фиксируемого объекта и/или событий, связанных с размещением фиксируемого объекта, на основе одного или более изображений фиксируемого объекта, и определения, соответствуют ли параметры размещения фиксируемого объекта и/или события, связанные с размещением фиксируемого объекта, предварительно установленным требованиям. Иными словами, такой вариант применим тогда, когда для выявления нарушения или изменения достаточно одного кадра – например, парковка в неположенном месте.

В другом варианте осуществления блок контроля может быть выполнен с возможностью определения параметров перемещения фиксируемого объекта и/или событий, связанных с перемещением фиксируемого объекта, на основе двух или более изображений фиксируемого объекта, имеющих разное время фиксации, и определения, соответствуют ли параметры перемещения фиксируемого объекта и/или события, связанные с перемещением фиксируемого объекта, предварительно установленным требованиям. Иными словами, такой вариант применим тогда, когда для выявления нарушения или изменения необходимо два или более кадра – например, опасное вождение.

Блок контроля может быть выполнен с возможностью определения параметров размещения или перемещения фиксируемого объекта и/или событий, связанных с размещением или перемещением фиксируемого объекта, на основе определения, что в разные моменты времени зафиксирован один и тот же фиксируемый объект, выполняемого на основе распознавания блоком распознавания по меньшей мере одного одинакового характерного признака фиксируемого объекта на разных зафиксированных изображениях. Иными словами, чтобы определить, что на разных кадрах имеется один и тот же объект, нужно найти на этих кадрах характерные признаки этого объекта – например, государственный регистрационный знак.

Параметры размещения фиксируемого объекта могут содержать местоположение фиксируемого объекта и/или местоположение частей фиксируемого объекта. Например, два колеса фиксируемого транспортного средства в момент фиксации находятся на тротуаре или на полосе встречного движения.

При этом вышеуказанные события, связанные с размещением фиксируемого объекта, могут содержать такие события, как остановку, стоянку, препятствование проезду транспорта, проходу пешеходов.

Параметры перемещения фиксируемого объекта могут содержать: направление перемещения фиксируемого объекта, траектория перемещения фиксируемого объекта, мгновенная скорость фиксируемого объекта, средняя скорость фиксируемого объекта, расстояние, пройденное за время между моментами фиксации, расстояние до соседних транспортных средств, пешеходов или объектов дорожной инфраструктуры.

Следует понимать, что мгновенной скоростью в физике называется величина, численно равная пределу, к которому стремится средняя скорость за бесконечно малый промежуток времени. Очевидно, что на практике невозможно реализовать измерение за бесконечно малый промежуток времени. Например, радары, несмотря на заявленную в них функцию измерения именно «мгновенной скорости», в реальности измеряют скорость не за момент времени, а за некоторый, пусть и достаточно малый, но конечный временной интервал. Соответственно, в дополнение к данным радара (если он содержится в регистраторе) или вместо данных с радара (если он не содержится в регистраторе) в рамках настоящего изобретения в понятие измерения «мгновенной скорости» фиксируемого объекта также может входить измерение средней скорости фиксируемого объекта на основе обработки кадров за малый промежуток времени. Например, малым промежутком времени может считаться временной интервал между двумя соседними или близко расположенными по времени кадрами, снятыми камерой одного и того же регистратора, или близко расположенными по времени кадрами, снятыми на разные регистраторы. Чем ниже собственная скорость мобильного объекта, на котором расположен регистратор, тем выше точность измерений согласно такому способу. При этом слишком малый промежуток времени измерения может привести в некоторых случаях к увеличению погрешности, поэтому точное значение того, какой интервал считать достаточно малым для измерения мгновенной скорости, зависит от требований конкретного применения. Высокая частота кадров камеры и большое количество регистраторов на дороге позволяют упростить поиск оптимального решения.

События, связанные с перемещением фиксируемого объекта, могут содержать: остановку, проезд регулируемого перекрестка, проезд нерегулируемого перекрестка, пересечение пешеходного перехода, пересечение линии разметки, перестроение, обгон, перемещение по дороге или вне её.

Если одни и те же события и/или параметры в одни и те же или близкие моменты времени зафиксированы разными регистраторами, то данные с разных регистраторов могут использоваться для взаимного дополнения и/или уточнения. Например, если заданный малый промежуток времени, за который произведено измерение мгновенной скорости фиксируемого транспортного средства одним регистратором, по меньшей мере частично перекрывается с малым промежутком времени, за который произведено измерение мгновенной скорости того же самого фиксируемого транспортного средства другим регистратором, то данные с этих регистраторов могут использоваться для уточнения как местоположения и скорости фиксируемого транспортного средства, так и местоположения и скорости самих регистраторов.

Таким образом, обеспечивается возможность регистрации широкого спектра параметров и событий, связанных с фиксируемыми объектами, с высокой точностью.

Дополнительные варианты осуществления

С целью увеличения точности позиционирования блок навигации также может получать поправки от базовой станции. Поправки могут быть реализованы, например, согласно системе дифференциальной коррекции, такой как технология Real Time Kinematic (кинематика реального времени). Это позволяет достичь точности позиционирования 3-5 см и лучше при точности синхронизации 5 мс и лучше.

Система может дополнительно содержать вычислительный модуль (ВМ), который представляет собой компьютерное средство и содержит память (блок хранения карты) и блок определения местоположения.

В одном из вариантов осуществления ВМ содержит карту с профилем автодорог, построенную с сантиметровой точностью с помощью технологии Real Time Kinematic.

В одном из вариантов осуществления ВМ может располагаться как в удаленном Дата-центре, так и непосредственно у дороги, в том числе в составе регистратора.

В памяти ВМ хранятся карты с профилем автодорог, предварительно построенные с применением высокоточного измерения координат в движении с учетом поправок, получаемых от базовой станции.

Пользуясь профилем автодороги, сохраненным в памяти ВМ, блок определения местоположения может строить проекцию географических координат, которые были определены блоком навигации регистратора в момент фиксации изображения фиксируемого объекта, на этом профиле. В частности, проекция может строиться по нормали, то есть по кратчайшему расстоянию между определенными координатами регистратора и профилем автодороги.

Данные, полученные от блока навигации, блока фиксации, блока распознавания и блока определения времени фиксации, а также от других блоков, могут сохраняться в памяти регистратора (блоке хранения данных) в неизменном виде или в виде метаданных.

На основе данных, полученных от блока навигации, блока фиксации, блока распознавания и блока определения времени фиксации блок формирования метаданных формирует метаданные по каждому зафиксированному транспортному средству. Это позволяет снизить требования к объему памяти и к пропускной способности канала связи.

Метаданные могут быть переданы с помощью передатчика данного регистратора в центр обработки данных, на вычислительный модуль и/или на другой регистратор с помощью стандартных (GPRS, 3G, 4G, 5G, WiFi, Bluetooth, RFID, Zigbee и т.д.) или проприетарных протоколов передачи данных.

Приемник может принимать другие метаданные от центра обработки данных, от вычислительного модуля и/или от другого регистратора.

Центр обработки данных снабжен функциями приема, обработки, передачи и хранения метаданных о фиксации транспортных средств и выявления нарушений транспортными средствами правил дорожного движения на основе упомянутых метаданных. Например, центр обработки данных может выявлять нарушение скорости движения или нарушение правил расположения транспортных средств. То есть блок контроля может содержаться в центре обработки данных.

В другом варианте блок контроля может быть частью вычислительного модуля.

Упоминавшееся выше указание, что мобильный объект, на котором установлен регистратор, может находиться и перемещаться «вблизи автодороги», в рамках данного изобретения означает, что мобильный объект в момент съемки располагается и перемещается в пределах зоны, для которой имеется предварительно построенная карта профиля местности, на таком расстоянии от дороги и/или от фиксируемого транспортного средства, в пределах которого доступно точное позиционирование согласно настоящему изобретению и получение изображений приемлемого качества, то есть пригодных для получения всей требуемой информации о фиксируемом транспортном средстве, такой как государственный регистрационный знак, а также при необходимости расстояние и угол до фиксируемого транспортного средства, его направление, марку, тип и т.д. Например, если для обочины или тротуара имеется карта профиля местности, контролирующее транспортное средство, такое как велосипед с установленным на него регистратором, может в процессе съемки перемещаться по обочине или тротуару.

Как указывалось выше, определение скорости и выявление нарушений может выполняться удаленным центром обработки данных. В другом варианте осуществления регистратор может самостоятельно выполнять эти действия.

Регистратор может дополнительно содержать блок определения средней скорости, выполненный с возможностью выполнения вышеуказанного способа определения скорости объекта, а именно: определения, что в разные моменты времени зафиксировано одно и то же фиксируемое транспортное средство; определения разницы во времени между упомянутыми моментами фиксации для фиксируемого транспортного средства; определения расстояния между местоположениями мобильного объекта на автодороге в упомянутые моменты фиксации; и определения средней скорости фиксируемого транспортного средства на участке между упомянутыми моментами фиксации на основе упомянутых определенных разницы во времени и расстояния.

В таком случае нет необходимости связи с удаленным центром обработки данных. В одном из вариантов удаленный центр обработки данных может вообще не использоваться в такой системе. Это увеличивает автономность регистратора и снижает сложность системы.

Выше указывалось, что в разные моменты времени одно и то же фиксируемое транспортное средство может быть зафиксировано разными регистраторами. В другом варианте осуществления в разные моменты времени одно и то же фиксируемое транспортное средство может быть зафиксировано одним и тем же регистратором. Если между моментами фиксации прошло достаточно времени, или пройдено достаточное расстояние, или в достаточной мере сменился ракурс обзора, регистратор может произвести оценку тех или иных нарушений фиксируемым транспортным средством, если для оценки требуется два или более кадров. Это еще больше увеличивает автономность регистратора.

Определение средней скорости может выполняться только тогда, когда разница во времени между фиксациями больше или равна пороговой разнице или расстояние между фиксациями больше или равно пороговому расстоянию. В случае, когда ведется непрерывная съемка, один и тот же регистратор может получить множество последовательных изображений с одним и тем же ТС. Точность измерений средней скорости за малый интервал времени и за малое пройденное расстояние в некоторых случаях может быть относительно низкой, поэтому может вводиться ограничение на минимальный временной промежуток между фиксациями или на расстояние между ними. Также это позволяет снизить нагрузку на вычислительные средства, чтобы они не производили лавинные вычисления между каждой парой из множества фиксаций транспортного средства, полученных за короткий промежуток.

С другой стороны, несколько фиксаций транспортного средства, полученных за короткий промежуток (временной или пространственный), могут быть использованы для уточнения местоположения данного транспортного средства на автодороге. Это еще больше может повысить точность определения местоположения фиксируемых транспортных средств и точность выявления связанных с этим нарушений.

Примеры

Фиксация местоположения дорожной инфраструктуры, например, дорожных знаков, фонарных столбов, километровых столбиков и т.п. может быть использована, например, для оценки показателей безопасности различных участков автодорог, когда требуется составить описание различных элементов автодороги (сколько полос движения, есть ли бордюры, разделены ли встречные полосы, какова ширина обочины, какие дорожные знаки установлены, на сколько просматривается дорога, есть ли массивные объекты около дороги и т.п.). По этим размеченным данным можно выделить группы однотипных участков автодорог (кластеры), сопоставить их с данными о ДТП и проанализировать, как изменить дорогу, чтобы ДТП на ней стало меньше. Параллельно решается вопрос учета/контроля наличия/контроля изменений дорожной инфраструктуры.

При высоком уровне насыщения такими регистраторами, особенно в случае обязательного оснащения ими автомобилей, можно добиться тотального контроля таких нарушений, как выезд на встречную полосу, поворот не с того ряда, опасное вождение, превышение установленной скорости движения. Однако, даже внедрив их в небольшое количество транспортных средств, которые совершают регулярные или маршрутные поездки, можно создать ощущение повсеместного контроля: любая машина в потоке может оказаться прибором контроля соблюдения ПДД. В этом случае, даже в отсутствии полного покрытия видеокамерами автодорог, обеспечится контроль наиболее опасных правонарушений.

В том числе ожидается смена поведенческой модели водителя, побуждая его соблюдать правила дорожного движения на всем пути следования: «Не буду нарушать, ведь любой автомобиль в потоке может это зафиксировать». Таким образом, предложенная система позволяет увеличить безопасность дорожного движения.

Дополнительные особенности архитектуры

В одном из вариантов осуществления, некоторые блоки по отдельности или вместе могут представлять собой, например, компьютер, и включать в себя процессор, который сконфигурирован для вызова и выполнения компьютерных программ из памяти для выполнения этапов способа или функций блоков в соответствии с вариантами осуществления настоящего изобретения. Согласно вариантам осуществления, устройство может дополнительно включать в себя память. Процессор может вызывать и выполнять компьютерные программы из памяти для выполнения способа. Память может быть отдельным устройством, независимым от процессора, или может быть интегрирована в процессор.

Система может содержать Диспетчерский центр (далее ДЦ) – специальное программное обеспечение, осуществляющее сбор и обработку информации с регистраторов посредством защищенных каналов связи на базе каналов передачи данных операторов сотовой связи (3G, 4G, в перспективе 5G). Каждый регистратор при старте идентифицируется в ДЦ. После чего периодически передает информацию о своем местоположении, местоположении зафиксированных транспортных средств и выявленных дорожных событиях. ДЦ анализирует эту информацию и собирает данные по фиксации одного и того же события с разных регистраторов.

Выявление различных событий (движение по определенной полосе, выход пешехода на пешеходный переход, перестроение и др.) и объектов (транспортные средства, пешеходы, дорожная инфраструктура и др) и их классификацию, распознавание государственных регистрационных знаков и лиц пешеходов предполагается реализовывать с применением нейронных сетей. Такие задачи требуют специфических вычислений. Для повышения производительности и обеспечения работы в режиме реального времени вычислительный модуль регистратора может быть оснащен нейронным сопроцессором.

По меньшей мере один из этапов в способе или блоков в устройстве может использовать модель искусственного интеллекта (AI) для выполнения соответствующих операций. Функция, связанная с AI, может выполняться через энергонезависимую память, энергозависимую память и процессор.

Процессор может включать в себя один или несколько процессоров. В то же время, один или несколько процессоров могут быть процессором общего назначения, например центральным процессором (CPU), прикладным процессором (AP) или т.п., блоком обработки только графики, таким как графический процессор (GPU), визуальный процессор (VPU) и/или специализированный процессор AI, такой как нейронный процессор (NPU).

Один или несколько процессоров управляют обработкой входных данных в соответствии с заранее определенным правилом работы или моделью искусственного интеллекта (AI), хранящейся в энергонезависимой памяти и энергозависимой памяти. Предварительно определенное рабочее правило или модель искусственного интеллекта могут быть получены путем обучения. При этом процессор может выполнять операцию предварительной обработки данных для преобразования в форму, подходящую для использования в качестве входных данных для модели искусственного интеллекта.

«Получена путем обучения» означает, что посредством применения алгоритма обучения к множеству обучающих данных создается предварительно определенное рабочее правило или модель AI с желаемой характеристикой. Обучение может выполняться на самом устройстве, в котором выполняется AI согласно варианту осуществления, и/или может быть реализовано через отдельный сервер/систему.

Модель искусственного интеллекта может включать в себя множество слоев нейронной сети. Каждый из множества слоев нейронной сети включает в себя множество весовых значений и выполняет рабочую операцию для данного уровня путем вычисления между результатом вычисления предыдущего слоя и множеством весовых значений.

Примеры нейронных сетей включают, помимо прочего, сверточную нейронную сеть (CNN), глубокую нейронную сеть (DNN), рекуррентную нейронную сеть (RNN), ограниченную машину Больцмана (RBM), глубокую сеть доверия (DBN), двунаправленную рекуррентную глубокую нейронную сеть (BRDNN), генеративно-состязательные сети (GAN) и глубокие Q-сети.

Алгоритм обучения - это метод обучения предварительно определенного целевого устройства (например, нейронной сети на базе GPU) с использованием множества обучающих данных, чтобы вызывать, разрешать или управлять целевым устройством для выполнения определения или прогнозирования. Примеры алгоритмов обучения включают, но не ограничиваются ими, обучение с учителем, обучение без учителя, обучение с частичным привлечением учителя или обучение с подкреплением.

Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства(PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).

Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Энергонезависимой памятью может быть постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM) или флэш-память. Энергозависимая память может быть оперативной памятью (RAM). Также память в вариантах осуществления настоящего раскрытия может быть статической памятью с произвольным доступом (SRAM), динамической памятью с произвольным доступом (DRAM), синхронной динамической памятью с произвольным доступом (синхронная DRAM, SDRAM), синхронной динамической памятью с произвольной выборкой с двойной скоростью передачи данных (SDRAM с двойной скоростью передачи данных, DDR SDRAM), синхронной динамической памятью с произвольной выборкой с повышенной скоростью (улучшенная SDRAM, ESDRAM), DRAM с синхронной линией связи (SLDRAM) и оперативной памятью с шиной прямого доступа (DR RAM) и тд. То есть память в вариантах осуществления настоящего раскрытия включает в себя, но не ограничивается этим, эти и любые другие подходящие типы памяти.

Информация и сигналы, описанные в данном документе, могут представляться с помощью любой из множества различных технологий. Например, данные, инструкции, команды, информация, сигналы, биты, символы и элементарные сигналы, которые могут приводиться в качестве примера в вышеприведенном описании, могут представляться посредством напряжений, токов, электромагнитных волн, магнитных полей или частиц, оптических полей или частиц либо любой комбинации вышеозначенного.

Функции, описанные в данном документе, могут реализовываться в аппаратных средствах, программном обеспечении, выполняемом посредством процессора, микропрограммном обеспечении или в любой комбинации вышеозначенного. При реализации в программном обеспечении, выполняемом посредством процессора, функции могут сохраняться или передаваться как одна или более инструкций или код на компьютерно-читаемом носителе. Другие примеры и реализации находятся в пределах объема раскрытия настоящего изобретения. Например, вследствие характера программного обеспечения, функции, описанные выше, могут реализовываться с использованием программного обеспечения, выполняемого посредством процессора, аппаратных средств, микропрограммного обеспечения, фиксированного блока или комбинаций любого из вышеозначенного. Признаки, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях.

Компьютерно-читаемые носители включают в себя как некратковременные компьютерные носители хранения данных, так и среду связи, включающую в себя любую передающую среду, которая упрощает перемещение компьютерной программы из одного места в другое. Некратковременный носитель хранения данных может представлять собой любой доступный носитель, к которому можно осуществлять доступ посредством компьютера общего назначения или специального назначения. В качестве примера, а не ограничения, некратковременные компьютерно-читаемые носители могут содержать оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), электрически стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память, ROM на компакт-дисках (CD) или другое устройство хранения данных на оптических дисках, устройство хранения данных на магнитных дисках или другие магнитные устройства хранения, либо любой другой некратковременный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера общего назначения или специального назначения либо процессора общего назначения или специального назначения.

Применение

Устройства и системы согласно настоящему изобретению можно использовать на объектах дорожно-транспортной инфраструктуры.

Согласно настоящему изобретению предложен новый тип встраиваемого в транспортное средство устройства анализа и контроля дорожной обстановки с возможностью высокоточного позиционирования (сантиметровая точность) окружающих объектов и сопоставления информации с данными геоинформационной системы. Все приборы могут быть объединены в единую информационную систему для получения полной картины о дорожной обстановке. Это позволит выявлять недоступные в данный момент для автоматического контроля нарушения правил дорожного движения.

Имеются значительные перспективы в объединении информационного пространства разрабатываемой системы с интеллектуальными транспортными системами (ИТС). Такая интеграция с одной стороны позволит передавать актуальные данные в ИТС о передвижении транспортных средств, их скорости, направлении движения для построения более точной модели перемещения транспортных потоков и распознанных дорожных знаках и разметки для контроля состояния дорожной инфраструктуры. С другой стороны, от ИТС будет получаться информация о действующих ограничениях на дороге, в том числе текущая фаза работы «умных» светофоров, значения с динамических дорожных знаков и тп. Для этого в рамках конвейера обработки данных ДЦ будут реализованы соответствующие сервисы обмена информацией.

Следует понимать, что хотя в настоящем документе для описания различных элементов, компонентов, областей, слоев и/или секций, могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один элемент, компонент, область, слой или секцию от другого элемента, компонента, области, слоя или секции. Так, первый элемент, компонент, область, слой или секция может быть назван вторым элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.

В одном варианте осуществления элементы/блоки/модули предложенного устройства находятся в общем корпусе, могут быть размещены на одной раме/конструкции/печатной плате и связаны друг с другом конструктивно посредством монтажных (сборочных) операций и функционально посредством линий связи. Упомянутые линии или каналы связи, если не указано иное, являются стандартными, известными специалистам линиями связи, материальная реализация которых не требует творческих усилий. Линией связи может быть провод, набор проводов, шина, дорожка, беспроводная линия связи (индуктивная, радиочастотная, инфракрасная, ультразвуковая и т.д.). Протоколы связи по линиям связи известны специалистам и не раскрываются отдельно.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.

Конструктивное исполнение элементов предложенного устройства является известным для специалистов в данной области техники и не описывается отдельно в данном документе, если не указано иное. Элементы устройства могут быть выполнены из любого подходящего материала. Эти составные части могут быть изготовлены с использованием известных способов, включая, лишь в качестве примера, механическую обработку на станках, литьё по выплавляемой модели, наращивание кристаллов. Операции сборки, соединения и иные операции в соответствии с приведенным описанием также соответствуют знаниям специалиста в данной области и, таким образом, более подробно поясняться здесь не будут.

В заявке не указано конкретное программное и аппаратное обеспечение для реализации блоков и модулей предложенного устройства (например, блока определения средней скорости), но специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства, известные в уровне техники. Так, аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электронных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.

Специалисту в области техники должно быть также понятно, что, когда речь идет о хранении данных, программ и т.п., подразумевается наличие машиночитаемого носителя данных, примеры машиночитаемых носителей данных включают в себя постоянное запоминающее устройство, оперативное запоминающее устройство, регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.

Хотя выше в явном виде не описывался способ для регистрации объектов, этапы данного способа могут быть выявлены специалистом исходя из функций, выполняемых посредством вышеупомянутых устройств, блоков и модулей.

Примерные варианты осуществления обеспечивают устройства, состоящие из различных блоков и модулей, обеспечивающих функциональность для выполнения этапов способов. Блоки и модули могут быть реализованы как аппаратные средства (воплощенные в одном или нескольких чипах, включая интегральную схему, такую как специализированная интегральная схема) или могут быть реализованы как программное обеспечение или прошивка для исполнения процессором. В частности, в случае прошивки или программного обеспечения, примерные варианты осуществления могут обеспечиваться как компьютерный программный продукт, включающий в себя считываемый компьютером запоминающий носитель, воплощающий в себе компьютерный программный код (т.е., программное обеспечение или прошивку) для исполнения компьютерным процессором. Считываемый компьютером запоминающий носитель может быть долговременным (например, магнитные диски, оптические диски, постоянная память, устройства флэш-памяти, память с фазовым изменением). Связь процессора/контроллера и других компонентов обычно осуществляется через одну или несколько шин или мостов (также называемых контроллерами шин). Память данного электронного устройства обычно хранит код и/или данные для исполнения на наборе из одного или нескольких процессоров этого электронного устройства, такого как контроллер. Коды могут предписывать процессору выполнять этапы способа или функции устройства.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Изобретение относится к области вычислительной техники для регистрации объектов в области автодороги или вблизи нее. Технический результат заключается в увеличении безопасности на дорогах за счет повышения вероятности выявления нарушений. Устройство для регистрации объектов в области автодороги или вблизи нее содержит: блок навигации; блок фиксации, содержащий стереокамеру; блок определения времени фиксации, выполненный с возможностью определения момента времени, в который были получены кадры, на основе данных о времени от блока навигации; блок распознавания; и блок геопозиционирования фиксируемого объекта, содержащий блок обнаружения ключевых точек, выполненный с возможностью обнаружения на нескольких кадрах одинаковых элементов, которые хорошо различимы на разных кадрах, при этом обнаружение ключевых точек осуществляется в пределах обнаруженной области нахождения объекта в кадре. 6 н. и 20 з.п. ф-лы, 3 ил.

1. Устройство для регистрации объектов в области автодороги или вблизи нее, содержащее:

блок навигации, выполненный с возможностью определения географических координат и направления данного устройства и синхронизации времени по меньшей мере на основе данных, принимаемых от глобальной навигационной спутниковой системы (GNSS);

блок фиксации, содержащий стереокамеру и выполненный с возможностью получения левого и правого кадров, фиксирующих изображение окружающего пространства в поле обзора стереокамеры;

блок определения времени фиксации, выполненный с возможностью определения момента времени получения блоком фиксации упомянутых кадров на основе данных о времени от блока навигации;

блок распознавания, выполненный с возможностью обнаружения области нахождения фиксируемого объекта в кадре и распознавания по меньшей мере одного характерного признака фиксируемого объекта в пределах обнаруженной области нахождения объекта в кадре; и

блок геопозиционирования фиксируемого объекта, выполненный с возможностью определения местоположения и направления фиксируемого объекта на момент фиксации на основе кадров, содержащих фиксируемый объект, и данных от блока навигации,

при этом блок геопозиционирования фиксируемого объекта содержит блок обнаружения ключевых точек, выполненный с возможностью обнаружения ключевых точек, принадлежащих фиксируемому объекту,

при этом обнаружение ключевых точек осуществляется в пределах обнаруженной области нахождения объекта в кадре.

2. Устройство по п. 1, в котором направлением является направление, в котором перемещается или в которое обращено данное устройство или фиксируемый объект.

3. Устройство по п. 1, причем данное устройство установлено на мобильный объект, выполненный с возможностью перемещения в области автодороги или вблизи нее.

4. Устройство по п. 3, причем мобильным объектом, на которое установлено данное устройство, является контролирующее транспортное средство, беспилотный аппарат, человек или животное.

5. Устройство по п. 1, причем фиксируемым объектом является транспортное средство, человек, элемент дорожной инфраструктуры, элемент окружающей среды.

6. Устройство по п. 1, в котором по меньшей мере один характерный признак фиксируемого объекта содержит по меньшей мере одно из

- размера в целом или размера отдельных частей фиксируемого объекта,

- типа фиксируемого объекта,

- государственного регистрационного знака, типа, марки или модели фиксируемого транспортного средства,

- лица или частей тела фиксируемого человека,

- состояния или режима работы фиксируемого объекта.

7. Устройство по п. 1, в котором блок геопозиционирования фиксируемого объекта дополнительно выполнен с возможностью определения смещения по меньшей мере одной ключевой точки относительно по меньшей мере одного другого кадра, полученного в другой момент времени и содержащего идентичную по меньшей мере одну ключевую точку, и определения направления на основе результатов определения.

8. Устройство по п. 1, в котором блок распознавания дополнительно выполнен с возможностью обнаружения области нахождения характерного признака в пределах обнаруженной области нахождения объекта в кадре,

при этом распознавание по меньшей мере одного характерного признака фиксируемого объекта выполняется в пределах обнаруженной области нахождения характерного признака.

9. Устройство по п. 1, в котором направление обзора стереокамеры соответствует направлению данного устройства с учетом угла поворота стереокамеры относительно данного устройства.

10. Устройство по п. 1, в котором блок определения времени фиксации дополнительно выполнен с возможностью формирования импульса синхронизации в момент приема данных с блока навигации и отправки сигнала на захват кадра в блок фиксации.

11. Устройство по п. 1, в котором блок навигации дополнительно выполнен с возможностью уточнять данные о местоположении и направлении с учетом поправок, получаемых от базовой станции.

12. Устройство по п. 11, в котором поправки, получаемые от базовой станции, реализованы согласно системе дифференциальной коррекции.

13. Устройство по п. 1, дополнительно содержащее блок хранения данных, выполненный с возможностью хранения данных, полученных по меньшей мере от одного из блоков данного устройства.

14. Устройство по п. 1, дополнительно содержащее блок формирования метаданных, выполненный с возможностью формирования метаданных по каждому зафиксированному объекту на основе данных, полученных по меньшей мере от одного из блоков данного устройства.

15. Устройство по п. 14, дополнительно содержащее передатчик, выполненный с возможностью передачи сформированных метаданных в центр обработки данных и/или на другое устройство для регистрации объектов.

16. Устройство по п. 14, дополнительно содержащее приемник, выполненный с возможностью приема метаданных от центра обработки данных и/или от другого устройства для регистрации объектов.

17. Устройство по п. 1, дополнительно содержащее блок контроля, выполненный с возможностью определения, соответствует ли местоположение и/или направление фиксируемого объекта предварительно установленным требованиям.

18. Устройство по п. 17, в котором в разные моменты времени один и тот же фиксируемый объект зафиксирован разными устройствами для регистрации объектов.

19. Устройство по п. 17, в котором в разные моменты времени один и тот же фиксируемый объект зафиксирован данным устройством.

20. Устройство по п. 1, в котором ключевые точки обнаруживаются путем обнаружения одинаковых элементов, которые хорошо различимы на разных кадрах.

21. Способ регистрации объектов в области автодороги или вблизи нее, содержащий этапы, на которых:

определяют географические координаты и направление устройства для регистрации объектов и синхронизируют время по меньшей мере на основе данных, принятых от глобальной навигационной спутниковой системы (GNSS) приемником GNSS упомянутого устройства;

получают левый и правый кадры, фиксирующие изображение окружающего пространства в поле обзора стереокамеры упомянутого устройства;

определяют момент времени получения упомянутых кадров с использованием синхронизированного времени;

обнаруживают область нахождения фиксируемого объекта в кадре и распознают по меньшей мере один характерный признак фиксируемого объекта в пределах обнаруженной области нахождения объекта в кадре;

обнаруживают в пределах обнаруженной области нахождения объекта в кадре ключевые точки, принадлежащие фиксируемому объекту; и

определяют местоположение, направление и скорость фиксируемого объекта с использованием кадров, содержащих фиксируемый объект, ключевых точек и упомянутых определенных координат и времени.

22. Система для регистрации транспортных средств, содержащая:

- регистратор транспортных средств, установленный на контролирующее транспортное средство, расположенное на автодороге или вблизи нее, и содержащий устройство для регистрации объектов по п. 1; и

- центр обработки данных, выполненный с возможностью приема, обработки, передачи и хранения данных и/или метаданных о фиксируемых объектах и на основе упомянутых данных и/или метаданных определения, соответствует ли местоположение, направление, состояние, параметры размещения фиксируемого объекта и/или события, связанные с размещением фиксируемого объекта, предварительно установленным требованиям.

23. Способ определения местоположения объекта, фиксируемого в кадре стереокамеры регистратора, содержащий этапы, на которых:

определяют геодезические координаты местоположения и направление регистратора;

переводят геодезические координаты местоположения регистратора в плоские прямоугольные координаты регистратора в проекции Гаусса-Крюгера;

обнаруживают область нахождения фиксируемого объекта в кадре;

обнаруживают в пределах обнаруженной области нахождения объекта в кадре ключевую точку, принадлежащую фиксируемому объекту;

определяют координаты ключевой точки в системе координат относительно стереокамеры;

переводят координаты ключевой точки из системы координат относительно стереокамеры в систему координат относительно Земли с использованием упомянутого определенного направления регистратора;

определяют плоские прямоугольные координаты ключевой точки в проекции Гаусса-Крюгера на основе координат ключевой точки в системе координат относительно Земли и плоских прямоугольных координат регистратора в проекции Гаусса-Крюгера;

преобразуют плоские прямоугольные координаты ключевой точки в проекции Гаусса-Крюгера в геодезические координаты ключевой точки;

определяют местоположение фиксируемого объекта с использованием геодезических координат ключевой точки.

24. Способ по п. 23, в котором определение координат ключевой точки в системе координат относительно стереокамеры содержит этапы, на которых:

определяют координаты ключевой точки на каждом из первого и второго кадров стереокамеры путем определения положения пикселя, соответствующего ключевой точке, в кадре;

определяют отклонение положения упомянутого пикселя на втором кадре стереокамеры относительно первого;

определяют координаты ключевой точки в системе координат относительно стереокамеры с использованием определенного положения пикселя в первом кадре, определенного отклонения положения упомянутого пикселя и данных о пространственном соотношении между отдельными камерами стереокамеры,

причем первым и вторым кадром являются, соответственно, правый и левый кадры стереокамеры или наоборот.

25. Способ определения направления объекта, фиксируемого в кадре стереокамеры регистратора, содержащий этапы, на которых:

обнаруживают область нахождения фиксируемого объекта в кадре;

обнаруживают в пределах обнаруженной области нахождения объекта в кадре множество ключевых точек, принадлежащих фиксируемому объекту;

для каждой ключевой точки фиксируемого объекта определяют ее плоские прямоугольные координаты в проекции Гаусса-Крюгера в первый и второй моменты времени;

определяют векторы перемещения каждой ключевой точки фиксируемого объекта за время, прошедшее между первым и вторым моментами времени, с использованием упомянутых определенных координат ключевой точки;

определяют вектор движения фиксируемого объекта на основе фильтрации упомянутых определенных векторов перемещения его ключевых точек;

определяют направление фиксируемого объекта с использованием упомянутого определенного вектора движения фиксируемого объекта.

26. Способ определения скорости объекта, фиксируемого в кадре стереокамеры регистратора, содержащий этапы, на которых:

обнаруживают область нахождения фиксируемого объекта в кадре;

обнаруживают в пределах обнаруженной области нахождения объекта в кадре множество ключевых точек, принадлежащих фиксируемому объекту;

для каждой ключевой точки фиксируемого объекта определяют ее плоские прямоугольные координаты в проекции Гаусса-Крюгера в первый и второй моменты времени;

определяют векторы перемещения каждой ключевой точки фиксируемого объекта за время, прошедшее между первым и вторым моментами времени, с использованием упомянутых определенных координат ключевой точки;

определяют вектор движения фиксируемого объекта на основе фильтрации упомянутых определенных векторов перемещения его ключевых точек;

определяют скорость фиксируемого объекта путем деления длины упомянутого определенного вектора движения фиксируемого объекта на время, прошедшее между первым и вторым моментами времени.