Способ и устройство уменьшения аварийности и предотвращения дорожно-транспортных происшествий Российский патент 2024 года по МПК B60W50/14 B60W30/95 G08G1/16 

Заявляемые способ и устройство относятся к оборудованию транспортных средств (ТС), а более конкретно - к средствам измерения и фиксации параметров движения и состояния ТС, а также фиксации и анализа окружающей обстановки и выработки на основе полученной информации рекомендаций водителю в обеспечение минимизации вероятности возникновения дорожно-транспортного происшествия (ДТП).

Известно способ и управляющее устройство для распознавания опрокидывания ТС и система помощи водителю RU 2749745 C2.

Способ распознавания опрокидывания ТС, оснащенного первым датчиком ускорения, обладающим устойчивостью к смещению, и вторым датчиком ускорения, с коррекцией нулевой точки, включает считывание первого сигнала датчика, второго сигнала датчика и третьего сигнала датчика, установку порогового значения сигнала в зависимости от величины разности между первым сигналом датчика и вторым сигналом датчика, выполнение сравнения третьего сигнала датчика с установленным пороговым значением сигнала, генерирование, в зависимости от результата сравнения, сигнала опрокидывания, отображающего наличие опрокидывания. Первый сигнал датчика представляет собой зарегистрированные первым датчиком ускорения значения ускорения относительно первой оси координат ТС, второй сигнал датчика представляет собой зарегистрированные вторым датчиком ускорения значения ускорения относительно первой оси координат ТС, а третий сигнал датчика представляет собой зарегистрированные вторым датчиком ускорения значения ускорения относительно второй оси координат ТС, перпендикулярной первой оси координат. При этом представляемая водителю информация об опрокидывании ТС является по времени запоздавшей и не может сыграть роль в предотвращении ДТП.

Устройство, соответствующее описанному способу, содержит управляющее устройство, первый датчик ускорения, обладающий устойчивостью к смещению, второй датчик ускорения с коррекцией нулевой точки, причем первый датчик ускорения, второй датчик ускорения и управляющее устройство соединены с возможностью передачи сигналов. При этом имеется машиночитаемый носитель данных, содержащий компьютерную программу, при выполнении которой в управляющем устройстве реализуется описанный способ.

Недостатком способа и устройства RU 2749745 C2 является то, что они обеспечивают реализацию довольно ограниченных функциональных возможностей, не обеспечивая объективную регистрацию и анализ многофакторной дорожной обстановки и предупреждение водителя о возникновении опасностей. При этом водителю не представляется оперативная (в режиме реального времени) информация о возможности опрокидывания и иных негативных явлений, а обеспечивается только фиксация самого факта опрокидывания ТС.

Известно принятое за прототип устройство для замера и фиксации параметров движения и состояния ТС, а также фиксации окружающей обстановки RU 2219584 C1. В описанном в прототипе устройстве замер и фиксация параметров движения и состояния ТС, а также фиксация окружающей обстановки выполняется за счет использования совокупности датчиков и обработки формируемых ими сигналов. При реализации используемого в устройстве способа замера и фиксации параметров движения и состояния ТС, а также фиксации окружающей обстановки сигналы скорости, состояния световой сигнализации, тормозной системы унифицируются по амплитуде и частоте в блоке предварительной обработки сигналов, после чего, наряду с сигналами визуальной и акустической информации, окончательно обрабатываются в части согласования их уровней и оцифровываются. Запись оцифрованной информации прекращается автоматически или вручную в момент наступления ДТП. Сохраненная информация при необходимости считывается ЭВМ для ее последующей расшифровки с целью анализа условий, при которых произошло ДТП, либо передается по радиоканалу на стационарный пункт для расшифровки и анализа.

Описанный способ позволяет всесторонне зафиксировать обстановку и характеристики ТС как в момент ДТП, так и до него. Анализ окончательно обработанной информации позволяет достоверно и надежно установить картину ДТП, как с точки зрения состояния ТС, так и в отношении поведения участников ДТП, а также окружающей обстановки (погода, состояние дорожного покрытия, светофоры, дорожные знаки, посторонние предметы и т.д.). Существенным недостатком описанного способа является невозможность реальной помощи водителю ТС при возникновении возможных нештатных ситуаций, что не обеспечивает снижение аварийности при движении.

Целью изобретения является устранение указанного недостатка прототипа, а именно, создание способа уменьшения аварийности и предотвращения дорожно-транспортных происшествий.

Указанная цель достигается тем, что информация о транспортном средстве, например, такая как скорости вращения колес, вибрациях, ускорениях разных областей ТС и информация об окружающей обстановке, например, такая, как информация о внешней освещенности и видеоинформация об окружающей обстановке обрабатывается и оцифровывается, а также подвергается временной привязке. После этого информация подается в блок памяти для обеспечения последующего считывания, а также фильтруется, сглаживается и форматируется, после чего выполняется автоматическое распознавание важных для обеспечения функциональных задач объектов из анализа видеопотоков информации об окружающей обстановке и потоков других данных, после чего производится построение математической программной модели дорожной обстановки с учетом состояния ТС, состояния водителя, информации от внешних источников и иных данных, выполняется динамический рекуррентный анализ развития дорожной обстановки, предсказание ее вероятностного развития, распознавание важных для функциональных задач событий, в том числе, потенциально опасных событий, после чего производится выработка возможных мер по предотвращению этих опасностей и заблаговременное информирование водителя о потенциальных опасностях и о рекомендациях по предотвращению этих опасностей. Заблаговременное предоставление водителю рекомендаций является эффективным средством снижения вероятности ДТП.

При реализации цели изобретения заявляемый способ реализуется следующим образом.

Информация о дорожной обстановке и состоянии транспортного средства, например, сигналы скорости, состоянии световой сигнализации и тормозной системы, скорости вращения колес, вибрациях, ускорениях разных областей ТС, внешней освещенности и видеоинформация об окружающей обстановке, наряду с акустической информацией, обрабатываются, оцифровываются и подвергаются необходимой временной привязке. С целью оптимизации работы вычислительных средств производится сжатие информации. При последующей обработке из всего информационного массива формируют два информационных потока. Первый информационный поток направляют в устройство хранения информации, а второй информационный поток подвергают предварительной обработке по подготовке к последующему использованию, например, фильтрации помех, контрастированию, сглаживанию, обработке с весовой сеткой, форматированию. Обработанный второй информационный поток подвергают анализу на выявление важных с точки зрения безопасности движения объектов. На основе информации о выявленных объектах с учетом позиционирования ТС на трассе по привязке к характерным точкам окружающей обстановки, с возможной дополнительной информацией, получаемой с использованием системы ГЛОНАСС, формируется математическая программная модель дорожной обстановки с учетом векторов скоростей и ускорений движения объектов, состояния дороги и других важных факторов дорожной обстановки и состояния ТС и водителя. После этого производится динамический рекуррентный анализ развития дорожной обстановки, предсказание ее вероятностного развития, распознавание возможных потенциально опасных событий, после чего формируется обоснованное решение по выработке рекомендаций для водителя. На основе принятых рекомендаций формируется информационный поток подсказок для предъявления водителю, например, в виде стилизованных изображений или текстовых форматов для проекции на лобовое стекло ТС. Получая указанную информацию, водитель может заранее оценить потенциальную опасность и принять меры - снизить скорость, изменить полосу движения и т.д.

Описанный выше способ уменьшения аварийности и предотвращения дорожно-транспортных происшествий может быть реализован при помощи заявляемого устройства, которое будет описано ниже.

В качестве прототипа к заявляемому устройству выбрано упомянутое выше устройство для замера и фиксации параметров движения и состояния ТС, а также фиксации окружающей обстановки RU 2219584 C1. Указанное устройство содержит датчик состояния световой сигнализации, датчик состояния тормозной системы, аналого-цифровой преобразователь, блок управления, таймер и блок памяти, а также датчик скорости, блок съема визуальной информации, блок съема акустической информации, блок предварительной обработки сигналов датчиков, блок предварительной обработки аналоговых сигналов, блок предварительной обработки цифровой информации, при этом выходы блоков съема визуальной и акустической информации подключены, соответственно, к первому и второму входам блока предварительной обработки аналоговых сигналов, выходы датчиков скорости, состояния световой сигнализации и состояния тормозной системы подключены, соответственно, к первому, второму и третьему входам блока предварительной обработки сигналов датчиков, выход которого подключен к третьему входу блока предварительной обработки аналоговых сигналов, выход которого подключен к первому входу аналого-цифрового преобразователя, выход которого подключен к первому входу блока предварительной обработки цифровой информации, выход которого подключен ко второму входу блока памяти, первый выход блока управления подключен к четвертому входу блока предварительной обработки сигналов датчиков, второй выход блока управления подключен к четвертому входу блока предварительной обработки аналоговых сигналов, третий выход блока управления подключен ко второму входу аналого-цифрового преобразователя, четвертый выход блока управления подключен ко второму входу блока предварительной обработки цифровой информации, пятый выход блока управления подключен к первому входу блока памяти, первый выход которого подключен ко входу устройства считывания информации, шестой выход блока управления подключен ко входу таймера, выход которого подключен ко входу блока управления.

Указанное устройство-прототип позволяет полностью и всесторонне фиксировать обстановку и характеристики ТС как в момент интересующего события (предпочтительно ДТП или нарушения правил движения), так и до него. Долговременное хранение информации позволяет проводить ее детальный анализ в ЭВМ вне ТС, что делает возможным объективное расследование ДТП или случаев нарушения правил дорожного движения.

К недостатку прототипа относится отсутствие в нем возможности реальной помощи водителю ТС при возникновении возможных нештатных ситуаций, что не обеспечивает существенное снижение аварийности при движении.

Целью данного изобретение является существенное расширение функциональных возможностей прототипа, а именно, уменьшение аварийности и предотвращение дорожно-транспортных происшествий за счет автоматического анализа дорожной ситуации, технического состояния ТС и обеспечения функции помощи водителю в прогнозируемой и возникающей ситуации.

Указанная цель изобретения достигается тем, что имеются блок предварительной обработки, согласования и формирования унифицированных потоков данных, блок машинного зрения и комплексного анализа данных, блок искусственного интеллекта, блок центрального процессора, блок формирования потока данных и параметров для человеко-машинного интерфейса, блок человеко-машинного интерфейса, блок долговременного хранения информации, блок синхронизатора времени, блок управления и связи с внешними устройствами, блок определения координат и комплект датчиков.

При этом:

- первый вход блока предварительной обработки, согласования и формирования унифицированных потоков данных связан с выходом блока предварительной обработки цифровой информации прототипа;

- выход блока предварительной обработки, согласования и формирования унифицированных потоков данных связан с первым входом блока машинного зрения и комплексного анализа данных и восьмым входом блока центрального процессора;

- выход блока машинного зрения и комплексного анализа данных связан с первым входом блока искусственного интеллекта и девятым входом блока центрального процессора;

- выход блока искусственного интеллекта связан с первым входом блока центрального процессора;

- первый выход блока центрального процессора связан с первым входом блока формирования потока данных и параметров для человеко-машинного интерфейса;

- первый выход блока формирования потока данных и параметров для человеко-машинного интерфейса связан со входом блока человеко-машинного интерфейса;

- выход блока человеко-машинного интерфейса связан со вторым входом блока формирования потока данных и параметров для человеко-машинного интерфейса;

- второй выход блока формирования потока данных и параметров для человеко-машинного интерфейса связан со вторым входом блока центрального процессора;

- второй выход блока центрального процессора связан со вторым входом блока предварительной обработки, согласования и формирования унифицированных потоков данных;

- третий выход блока центрального процессора связан со вторым входом блока машинного зрения и комплексного анализа данных;

- четвертый выход блока центрального процессора связан со вторым входом блока искусственного интеллекта;

- пятый выход блока центрального процессора связан с первым входом блока управления прототипа;

- восьмой выход блока управления прототипа связан с седьмым входом блока центрального процессора;

- выход блока синхронизатора времени связан с третьим входом блока центрального процессора и со вторым входом блока управления прототипа;

- шестой выход блока центрального процессора связан со входом блока синхронизатора времени;

- седьмой выход блока центрального процессора связан со входом блока управления и связи с внешними устройствами;

- выход блока управления и связи с внешними устройствами связан с четвертым входом блока центрального процессора;

- восьмой выход блока центрального процессора связан со входом блока определения координат;

- выход блока определения координат связан с пятым входом блока центрального процессора;

- девятый выход блока центрального процессора связан со входом блока долговременного хранения информации;

- выход блока долговременного хранения информации связан с шестым входом блока центрального процессора;

- выходы комплекта датчиков связаны с третьим входом блока предварительной обработки, согласования и формирования унифицированных потоков данных, а также с соответствующими входами блоков прототипа - блока предварительной обработки сигналов датчиков, блока предварительной обработки аналоговых сигналов, блока аналого-цифрового преобразователя, блока предварительной обработки цифровой информации;

- входы сигналов управления датчиков связаны с девятым выходом блока управления прототипа и десятым выходом блока центрального процессора.

Построение устройства поясняется чертежом - структурной схемой, расположенной в графической части.

При реализации цели изобретения устройство, показанное на фигуре 1, содержит блок съема визуальной информации 1, блок съема акустической информации 2, датчик скорости 3, датчик состояния световой сигнализации 4, датчик состояния тормозной системы 5, блок предварительной обработки сигналов датчиков 6, блок предварительной обработки аналоговых сигналов 7, аналого-цифровой преобразователь 8, блок управления 9, блок предварительной обработки цифровой информации 10, блок памяти 11, устройство считывания информации 12, блок передачи информации по радиоканалу 13, блок предварительной обработки, согласования и формирования унифицированных потоков данных 14, блок машинного зрения и комплексного анализа данных 15, блок искусственного интеллекта 16, блок центрального процессора 17, блок формирования потока данных и параметров для человеко-машинного интерфейса 18, блок человеко-машинного интерфейса 19, блок долговременного хранения информации 20, блок синхронизатора времени 21, блок управления и связи с внешними устройствами 22, расширенный комплект датчиков 23, блок определения координат 24.

При этом выходы блоков съема визуальной 1 и акустической 2 информации подключены, соответственно, к первому и второму входам блока предварительной обработки аналоговых сигналов 7, выходы датчиков скорости 3, состояния световой сигнализации 4 и состояния тормозной системы 5 подключены, соответственно, к первому, второму и третьему входам блока предварительной обработки сигналов датчиков 6, выход которого подключен к третьему входу блока предварительной обработки аналоговых сигналов 7, выход которого подключен к первому входу аналого-цифрового преобразователя 8, выход которого подключен к первому входу блока предварительной обработки цифровой информации 10, выход которого подключен ко второму входу блока памяти 11. Кроме того, первый выход блока управления 9 подключен к четвертому входу блока предварительной обработки сигналов датчиков 6, второй выход блока управления 9 подключен к четвертому входу блока предварительной обработки аналоговых сигналов 7, третий выход блока управления 9 подключен ко второму входу аналого-цифрового преобразователя 8, четвертый выход блока управления 9 подключен ко второму входу блока предварительной обработки цифровой информации 10, пятый выход блока управления 9 подключен к первому входу блока памяти 11, первый выход которого подключен ко входу устройства считывания информации 12, шестой выход блока управления 9 подключен к седьмому входу блока центрального процессора 17, седьмой выход блока управления 9 подключен к управляющим входам датчиков 23, к первому входу блока управления 9 подключен пятый выход блока центрального процессора 17, ко второму входу блока управления 9 подключен выход блока синхронизатора времени 21.

Первый вход блока предварительной обработки, согласования и формирования унифицированных потоков данных 14 подключен к выходу блока предварительной обработки цифровой информации 10, выход блока предварительной обработки, согласования и формирования унифицированных потоков данных 14 подключен к первому входу блока машинного зрения и комплексного анализа данных 15 и восьмому входу блока центрального процессора 17, выход блока машинного зрения и комплексного анализа данных 15 подключен к первому входу блока искусственного интеллекта 16 и девятому входу блока центрального процессора 17, выход блока искусственного интеллекта 16 подключен к первому входу блока центрального процессора 17, первый выход блока центрального процессора 17 подключен к первому входу блока формирования потока данных и параметров для человеко-машинного интерфейса 18, первый выход блока формирования потока данных и параметров для человеко-машинного интерфейса 18 подключен ко входу блока человеко-машинного интерфейса 19, выход блока человеко-машинного интерфейса 19 подключен ко второму входу блока формирования потока данных и параметров для человеко-машинного интерфейса 18, второй выход блока формирования потока данных и параметров для человеко-машинного интерфейса 18 подключен ко второму входу блока центрального процессора 17, второй выход блока центрального процессора 17 подключен ко второму входу блока предварительной обработки, согласования и формирования унифицированных потоков данных 14, третий выход блока центрального процессора 17 подключен ко второму входу блока машинного зрения и комплексного анализа данных 15, четвертый выход блока центрального процессора 17 подключен ко второму входу блока искусственного интеллекта 16, пятый выход блока центрального процессора 17 подключен к первому входу блока управления 9, восьмой выход блока управления 9 подключен к седьмому входу блока центрального процессора 17, выход блока синхронизатора времени 21 подключен к третьему входу блока центрального процессора 17 и ко второму входу блока управления 9, шестой выход блока центрального процессора 17 подключен ко входу блока синхронизатора времени 21, седьмой выход блока центрального процессора 17 подключен к первому входу блока управления и связи с внешними устройствами 22, интерфейсы связи блока управления и связи с внешними устройствами 22 соединены с соответствующими внешними устройствами (связь по радиоканалу, по кабельной сети, связь и управление передачей управляющих сигналов, съем информации в переносный носитель), первый выход блока управления и связи с внешними устройствами 22 подключен к четвертому входу блока центрального процессора 17, восьмой выход блока центрального процессора 17 подключен ко входу блока определения координат 24, выход блока определения координат 24 подключен к пятому входу блока центрального процессора 17, девятый выход блока центрального процессора 17 подключен ко входу блока долговременного хранения информации 20, выход блока долговременного хранения информации 20 подключен к шестому входу блока центрального процессора 17, выходы комплекта датчиков 23 подключаются к соответствующим входам блока предварительной обработки сигналов датчиков 6, блока предварительной обработки аналоговых сигналов 7, аналого-цифрового преобразователя 8, блока предварительной обработки цифровой информации 10 и блока предварительной обработки, согласования и формирования унифицированных потоков данных 13, а их входы - к девятому выходу блока управления 9 и десятому выходу блока центрального процессора 17.

Все блоки устройства могут быть практически реализованы с использованием известных комплектующих.

Блок съема визуальной информации 1 представляет собой комбинацию двух телевизионных камер с постоянным углом зрения, двух телевизионных камер с регулировкой угла зрения от блока управления, направленных по направлению движения, и двух телевизионных камер поля зрения до 120° и электронной платой получения и формирования полного цветного телевизионного сигнала, установленных на расстоянии друг от друга так, чтобы видеть глаза водителя, и электронной платой получения и формирования полного цветного телевизионного сигнала.

Блок съема акустической информации 2 содержит микрофон и усилитель низкой частоты.

Датчик скорости 3 представляет собой тахогенератор, связанный с приводом спидометра.

Датчик состояния световой сигнализации 4 содержит фотодиод с пороговым дискриминатором.

Датчик состояния тормозной системы 5 содержит датчик давления, определяющий давление тормозной жидкости в системе.

Блок предварительной обработки сигналов 6 датчиков построен на операционных усилителях по схеме автоматической регулировки усиления.

Блок предварительной обработки аналоговых сигналов 7 от блоков 1 и 2 построен на операционных усилителях и обеспечивает автоматическую регулировку усиления этих сигналов, формирование и коррекцию их частотных характеристик путем амплитудно-частотной коррекции.

Аналого-цифровой преобразователь 8 построен на микросхемах видеозахвата TW2864 для 4 видео и 4 аудио потоков и АЦП на микросхеме AD7490BRUZ-REEL7.

Блок управления 9 построен с использованием программируемых логических интегральных схем (ПЛИС) EPM3064ATC44-10N, ПЛИС семейства МАХ 3000A [TQFP-44].

Блок предварительной обработки цифровой информации 10 - процессор, обеспечивающий сжатие и предварительную обработку цифровой информации, (например, в стандарте MPEG-1).

Блок памяти 11 может быть выполнен в виде двух частей:

- ОЗУ, например, на основе микросхемы KFC8FNLBF;

- ПЗУ, например, на SSD-диске 8 Гб GUARDDO TOUCHE 8 GB USB 2.0.

Устройство считывания информации 12 представляет собой nopTUSB.

Блок передачи информации по радиоканалу 13 представляет собой ультракоротковолновый приемо-передатчик GSM.

Блок предварительной обработки, согласования и формирования унифицированных потоков данных 14 может быть реализован на сигнальном процессоре TMS320DM6437ZWT6 с выходами в два видеопотока на видео входы Orange Pi 4, 20 выходов на программируемые контакты общего назначения (GPIO, I2C, SPI, UART, GPIO и пр.) и передачу и прием данных по кабельной сети Gigabit Ethernet.

Блок машинного зрения и комплексного анализа данных 15 (распознавание видео, и других объектов) в конкретном примере для увеличения быстродействия выделяется в отдельный блок на специализированном процессоре - аппаратном ускорителе Lightspeeur 280IS Orange Pi AI Stick 2801.

Блок искусственного интеллекта 16 (распознавания событий и построение их математических моделей) для увеличения быстродействия выделяется в отдельный блок на специализированном процессоре - аппаратном ускорителе Lightspeeur 280IS Orange Pi AI Stick 2801.

Блок центрального процессора 17 (анализ, самообучение управление системой, шифрование и дешифрование информации) может быть реализован на миникомпьютере Orange Pi 4.

Блок формирования потока данных и параметров для человеко-машинного интерфейса 18 включает в себя контроллер дистанционного пульта управления, проектора визуальной информации и звуковых сообщений.

Блок человеко-машинного интерфейса 19 включает в себя дистанционный пульт управления, LCD экран или проектор видеоинформации (например, портативный проектор 2082371), осуществляющий вывод информации на лобовое стекло ТС, и воспроизведение звуковой информации через громкоговоритель.

Блок долговременного хранения информации 20 содержит SSD-диск емкостью 1 Тб Hikvision SATA III 1Tb HS-SSD-E100N/1024G М.2 2280.

Блок синхронизатора времени 21 представляет собой кварцевый генератор синхроимпульсов.

Блок управления и связи с внешними устройствами 22 может быть реализован на оборудовании, встроенном в Orange Pi 4 (Ethernet сеть, дискретные команды на включение автомобильного клаксона), а также ультракоротковолновом приемо-передатчике стандарта GSM и Wi-Fi.

Комплект датчиков 23 может включать пять датчиков вибрации, установленных вблизи от ступиц колес и на двигатель, четыре датчика ускорения Холла, установленных вблизи от ступиц колес, четыре датчика скорости вращения колес, датчик внешней освещенности, устанавливаемый вблизи лобового стекла, ИК-прожектор и ИК-видеокамеру, терагерцовый лазерный прожектор и тепловизор.

Блок определения координат 24 представляет собой модуль ГЛОНАСС/GPS.

При реализации цели изобретения устройство работает следующим образом.

При выключенном зажигании устройство питается от аккумулятора. При включении зажигания устройство переводится в активный режим работы. Аналоговые сигналы, содержащие информацию о скорости вращения колес, вибрациях, ускорениях разных областей транспортного средства, освещенности окружающей обстановки, спектрального состава цвета объектов дорожной обстановки с комплекта датчиков 23 поступают в блоки 6 и 7 предварительной обработки сигналов датчиков, куда также поступают и сигналы с датчиков 3, 4, 5, содержащие информацию о скорости, состоянии световой сигнализации и тормозной системы. В блоке 6 сигналы унифицируются по амплитуде и частоте и поступают в блок 7 предварительной обработки аналоговых сигналов. В этот же блок 7 поступают сигналы от блока 1 съема визуальной информации и от блока 2 съема акустической информации и датчиков комплекта 23. В блоке 7 происходит окончательная обработка аналоговых сигналов, обеспечивающая согласование их уровней за счет работы системы автоматической регулировки усиления.

Обработанные аналоговые сигналы поступают в блок 8 аналого-цифрового преобразователя, где происходит преобразование их в цифровую форму. Далее цифровые сигналы поступают в блок 10 предварительной обработки цифровой информации, куда поступают также все сигналы от датчиков в цифровой форме. В блоке 10 производится сжатие информации. Стандарт сжатия, например, MPEG1 или Н264 MPEG1, задается командой из блока управления 9, из которого команды подаются в блоки 6, 7, 8, 10, 11. Также в блоках 8 и 10 данным с различных датчиков присваиваются метки времени, когда эти данные были получены, если такие метки не устанавливались датчиками изначально. При этом учитываются возможные задержки прохождения сигналов для каждого датчика или группы датчиков.

Далее исходная информация разветвляется. В одном направлении она поступает в блок энергонезависимой памяти 12 и сохраняется даже после аварии, в другом направлении информация поступает в блок предварительной обработки, согласования и формирования унифицированных потоков данных 14. В указанном блоке производится подготовка и преобразование информации для дальнейшей работы, например, фильтрация помех, контрастирование, сглаживание, обработка с весовой сеткой и т.д. В этом же блоке 14 производится преобразование данных в форматы, обеспечивающие возможность их дальнейшего использования.

Подготовленные в блоке предварительной обработки, согласования и формирования унифицированных потоков данных 14 потоки данных поступают в блок машинного зрения и комплексного анализа данных 15 и блок центрального процессора 17. Поток данных из блока предварительной обработки согласования и формирования унифицированных потоков данных 14 поступает в блок машинного зрения и комплексного анализа данных 15 через блок центрального процессора 17.

В блоке машинного зрения и комплексного анализа данных 15 производится комплексный анализ данных и автоматическое распознавание важных для обеспечения функциональных задач объектов из анализа видеопотоков и потоков других данных.

Далее информация поступает в блок искусственного интеллекта 16 и блок центрального процессора 17. Как вариант, поток данных из блока машинного зрения и комплексного анализа данных 15 поступает в блок искусственного интеллекта 16 через блок центрального процессора 17.

В блоке искусственного интеллекта 16 производится построение математической программной модели дорожной обстановки с учетом состояния ТС, состояния водителя, информации от внешних источников и иных данных. Проводится динамический рекуррентный анализ развития этой обстановки, предсказание ее вероятностного развития, распознавание важных для функциональных задач событий, в том числе, потенциально опасных событий. По результату анализа производится принятие решений.

Далее, информация из блока искусственного интеллекта 16 через блок центрального процессора 17 поступает в блок формирования потока данных и параметров для человеко-машинного интерфейса 18. В этом блоке подготавливается информация для применяемого человеко-машинного интерфейса. В частности, может формироваться видеопоток для проектора и/или сенсорного монитора и данные для дистанционного пульта управления. Исходя из положения глаз водителя, формы и наклона лобового стекла, направления на объекты, видеопоток формируется так, чтобы контурные линии, сформированные в блоке искусственного интеллекта 16, совпадали с видимыми водителем объектами дорожной обстановки. Также вносятся соответствующие поправочные искажения в изображение, выводимое на сенсорный монитор, чтобы исправить и/или выделить наиболее важные участки наблюдения.

Далее подготовленная информация поступает в блок человеко-машинного интерфейса 19. Видеоинформация поступает в видеопроектор, который отображает на лобовом стекле автомобиля контурные линии, подсвечивающие важные для водителя элементы дорожной обстановки и вектора движения объектов и опасные участки дороги.

Водитель, получая эту информацию, может заранее увидеть потенциальную опасность и принять меры - снизить скорость, поменять полосу движения и т.д.

В блоке центрального процессора 17 производится общий анализ данных из всех блоков, анализ достоверности получаемых результатов, сравнение с эталонными данными, самообучение системы и общее управление устройством, вырабатываются и передаются команды подстройки параметров во всех блоках, осуществляется общее управление функционирования устройства. Кроме того, в блоке 17 производится позиционирование ТС по отношению к неподвижным объектам дорожной обстановки с использованием данных из блока определения координат (ГЛОНАСС, GPS и др.) 24.

В блоке долговременного хранения информации 20 производится энергонезависимое хранение информации, которая позволяет произвести повторный анализ обстановки, сравнить результаты построения математической модели обстановки и изменения состояния транспортного средства с реально произошедшими событиями и, соответственно, внести поправки в коэффициенты преобразования, например, коэффициенты и слои нейронной сети, если программа построена на основе нейронных сетей.

Для более точного и полного построения математической (цифровой) модели ТС через блок управления и связи с внешними устройствами 22 поступает и передается необходимая информация. Обмен с внешними устройствами может вестись по радиоканалу, кабельной сети непосредственными сигналами и переносом информации через съемные носители.

Все данные, могут шифроваться для предотвращения несанкционированного доступа и вмешательства.

Для обеспечения одновременности данных для вычислений каждый поток данных от датчиков и соответствующих блоков снабжается метками времени от единого блока синхронизатора времени 21.

Часть устройства, состоящая из блоков 1…13 несет функцию регистрации и хранения параметров дорожной обстановки до и во время дорожного события, например, дорожно-транспортного происшествия, а блоки 14…24 обеспечивают функцию предсказания изменения дорожной обстановки, выявления потенциально опасных ситуаций и оказания помощи водителю для предотвращения аварии. Такая конструкция устройства позволяет выполнить первую часть аварийно-устойчивой, а вторую часть максимально приспособленной для анализа и предсказания ситуации в режиме реального времени и оказания помощи водителю в прогнозируемой и возникающей ситуации.

Для обеспечения функции предсказания ситуации в режиме реального времени и оказания помощи водителю в прогнозируемой и возникающей ситуации устанавливается специальное программное обеспечение с элементами машинного зрения и искусственного интеллекта, позволяющее автоматически распознать дорожную ситуацию, проанализировать ее развитие, определить потенциально опасные ситуации и оказать помощь водителю, например, проинформировав его за некоторое время до того, как событие произойдет.

Рассмотрим пути реализации такого программного обеспечения.

Обычно, при распознавании объектов и помех движению используется способ определения объекта на основании записанного в память множества форм объектов. При этом, когда в поле зрения видеокамеры и/или другого датчика попадает множество объектов, необходимо распознавать каждую из форм множества объектов для того, чтобы определять типы наблюдаемых объектов, например, пешехода, собаку покрышку, птицу, канаву и т.д. Следовательно, необходимо распознавать каждую из форм множества объектов и затем распознавать нужный объект из числа наблюдаемых объектов, определенных в качестве помех. Этот алгоритм требует довольно много машинного времени.

Для задачи предотвращения ДТП не важно, с каким именно объектом может произойти столкновение. Кроме того, на больших расстояниях количество пикселов, приходящихся на линейные размеры объекта, может быть недостаточно для идентификации его типа. Поэтому, в настоящем изобретении для ускоренного анализа предлагается не обязательным распознавание каждого объекта, а лишь определение возможной помехи для движения ТС. В этом случае все множество форм объектов будет состоять из объектов базовой дорожной обстановки (БО) и объектов, не входящих в базовую дорожную обстановку (НБО).

Важно распознавать объекты как можно раньше, то есть на наиболее больших расстояниях. Очевидно, что наилучшее и, следовательно, наиболее информативное изображение объекта будет на близких расстояниях. На далеких расстояниях для полноценного распознавания может не хватать разрешения видеоизображения, иными словами вероятность обнаружения будет низкой. Набирая статистику «близких» и далеких изображений для одних и тех же объектов, программа ищет корреляцию между их характеристиками и, используя этот опыт «прошлых встреч», с большей вероятностью распознает этот объект на более дальних расстояниях. Такое построение программы с искусственным интеллектом называется «самообучение искусственного интеллекта». Например, если программа построена на основе нейронных сетей, то самообучение нейронных сетей проявляется в коррекции коэффициентов нейронных сетей. При таком построении количество случаев для самообучения искусственного интеллекта может достигать очень большого значения, например, десятки тысяч, и статистическая погрешность распознавания будет ничтожно малой. Такое построение программы может позволить распознать объект на более далеких расстояниях и с большей вероятностью. Такое самообучение программного обеспечения может вестись в интервалы времени, соответствующие малой загрузке процессора.

Возможный алгоритм основан на принципах нахождения наиболее вероятного результата на основе неполного исходного набора параметров. В данном случае, неполного, с точки зрения, математического преобразования N-мерного пространства параметров на М-мерное пространство результата, когда N<M.

Алгоритм построения модели дорожной обстановки и выявления объектов потенциальных помех описан ниже.

Для пояснения работы алгоритма в качестве датчиков будем считать видеокамеры, а в качестве потока данных - видеопотоки, которые преобразуются в видеоизображения. Для других аналогичных датчиков, тепловизоров, оптических лидаров, терагерцовых сканеров, лазерных спектральных анализаторов подход к обработке данных и принятию решений будет аналогичен и содержать следующие шаги:

- в память устройства записывается базовая цифровая модель (БЦМ) дорог, по которым может производиться движение ТС. Эта БЦМ должна включать в себя не только дорожные знаки, разметку, тип дорожного покрытия (как в картах автомобильных навигаторов), но и объемные математические модели других объектов дороги и окружающего пространства -столбы, ограждения (отбойники), стойки крепления дорожных знаков, мосты и эстакады, в том числе, пересекающие дорогу с указанием высоты до них, полосы движения и обочины, пешеходные переходы, поребрики, железнодорожные пути, шлагбаумы и т.д., а также окружающие строения, объекты природы, артобъекты и т.д. Особенные пометки присваиваются тем объектам, по которым может производиться привязка координат ТС на дороге и на карте, называемым далее реперными объектами. Для ускорения обработки данных БЦМ может быть представлена как единый объект;

- из блока определения координат 24 и/или внешних устройств и/или вручную и/или из памяти о предыдущих координатах определяются грубые координаты ТС;

- из памяти извлекается тот участок БЦМ, который соответствует этим координатам, далее называемой Локальной Базовой Цифровой Моделью дорожной обстановки (ЛБЦМ);

- сравнением изображений от телекамер, тепловизоров, лидаров, реперных излучений и пересчитанных в эти изображения образов объектов соответствующего фрагмента БЦМ и, особенно, реперных объектов, уточняется позиция и направление ТС с существенно большей точностью, чем исходная. Производится «привязка» ТС к местности.

При пересчете используется метод обратного построения изображения из ЛБЦМ с вариациями исходных параметров вероятностного функционала для получения наиболее вероятного результата, и оценки его достоверности, например, методом наименьших квадратов (минимум ), и/или методом оптимизации весовых коэффициентов нейронных сетей с оценкой вероятности ошибки и заданным уровнем гамма-достоверности, например, 0,95. В общем случае, на математическом языке, это означает голоморфное отображение (проекция) ЛБЦМ на пространство изображения, построенное на изображениях от видеокамер. Параметры и функционал (закономерности) такого преобразования, в том числе, искажения, вносимые оптическими системами телекамер, определяются на этапе пуско-наладочных работ и помещаются в память устройства. По результатам накопленного опыта работы устройства эти параметры могут корректироваться. При этом, варьируемыми параметрами, в том числе, могут быть освещенность, время суток, погодные условия, точное расположение ТС на дороге, угол поворота ТС относительно географического меридиана и др. Получение этих параметров из других источников, например, от датчика освещенности, датчика осадков, датчика температуры, метеосводки, календарных часов устройства, магнитного или гироскопического компаса, записанных в памяти положения и направления ТС может существенно ускорить процесс.

После получения достоверного сопоставления двух или более реперных объектов с их изображениями или видимыми частями их изображений определяются направления на них и вычисляется позиция, направление и наклон ТС. При наличии двух и более камер (датчиков) внешнего обзора позиция и направление могут определяться по одному и/или нескольким реперным объектам. Такая привязка может проводиться, как перед началом движения, так и в процессе движения.

Далее выполняется следующая последовательность действий.

1. После выполнения операций привязки и обратного построения изображения ЛБЦМ производится сравнение полного изображения от датчиков (как стерео, так и моно) с изображением от ЛБЦМ. Все, что выходит за порог «достоверности», например, трех стандартных отклонений (3а), считается найденным объектом безотносительно от природы такого объекта. Далее такие объекты будем называть «Небазовый объект» дорожной обстановки, сокращенно НБО.

2. Все отклонения, выходящие за порог «настороженности», например, 2 стандартных отклонения, считаются потенциально найденными объектами и подвергаются дополнительной обработке и «особому вниманию» при обработке следующего кадра. Например, проводится сравнение с изображениями форм записанного множества объектов с теми же линейными размерами.

3. Из обработки всей доступной информации, например, изображений от смещенных в пространстве изображений от двух и более камер, изображений одних и тех же объектов в кадрах, смещенных по времени, данных датчиков скорости, освещенности, температуры, спектрометра и других возможных источников, определяются значения и погрешности параметров объектов, например, угловые размеры на изображении, расстояние до объекта, вектор скорости, ускорение, расположение объекта, полная и/или частично полная объемная форма объекта и другие возможные параметры.

4. Объединяя совокупность ИБО и их параметров с ЛБЦМ, создается динамическая локальная полная цифровая модель дорожной обстановки (далее, сокращенно ЛПЦМ).

5. Производится вероятностное прогнозирование траекторий движения объектов и вероятность столкновения ТС с объектами дорожной обстановки при условии сохранения параметров движения ТС. В случае, если вероятность столкновения более установленных значений, объект отмечается соответствующей меткой, например, «безопасно», «небезопасно», «опасно».

6. Если производительность процессора позволяет, то производится распознавание небазовых объектов и неподвижные стационарно установленные объекты добавляются в БЦМ или удаляются из БЦМ.

7. Определяются траектории движения ТС, которые могут привести к ДТП и соответствующие области дорожного полотна отмечаются, например, как «безопасная зона», «небезопасная зона», «опасная зона»;

8. ЛПЦМ, обновленная ЛБЦМ и исходные данные от датчиков, сохраняются в памяти устройства.

Может быть использовано несколько вариантов создания БЦМ дороги и прилегающих территорий:

а) БЦМ создается самим устройством по мере движения по дорогам и обработки информации от датчиков;

б) БЦМ создается с помощью специализированного оборудования со съемкой специализированным оборудованием со специального ТС и центральной ЭВМ повышенного качества, в ситуации, которая позволяет затратить существенно больше машинного времени на обработку. Полученная БЦМ передается устройству по каналам связи;

в) БЦМ создается и постоянно обновляется всем множеством аналогичных заявляемому устройств, объединенных в сеть, с передачей информации на центральную ЭВМ и загрузкой из нее обновленной версии БЦМ;

г) БЦМ создается и постоянно обновляется всем множеством аналогичных заявляемому устройств, объединенных в сеть, с использованием обмена БЦМ между ТС, находящимися в близком контакте, например, по сети Wi-Fi;

д) БЦМ создается из обработки карт (например, Яндекс карт), с панорамами улиц и дорог.

е) БЦМ создается и обновляется в результате комплексного использования способов а, 6, в, г, д.

Внешние устройства, находящиеся на других ТС и/или объектах дорожной инфраструктуры вблизи рассматриваемого ТС могут производить обмен информацией по линиям связи, например, по Wi-Fi, и передавать информацию о ЛБЦМ, построенных этими устройствами в режиме реального времени. Устройство на ТС анализирует все внешние ЛБЦМ и вносит дополнения и коррективы в собственную ЛБЦМ.

Это дает возможность «видеть» и те объекты дорожной обстановки, которые находятся в «слепой зоне» для собственных датчиков, в том числе, в тумане, вне освещенности дороги собственными фарами, вне видимости в метель, сильный дождь и т.д., видеть далекие объекты с большим разрешением, чем собственные датчики, улучшить точность определения положений, скоростей и других параметров объектов, сократить время на распознавание объектов собственными средствами. Синхронизированные метки времени на такой информации позволяют учесть задержку на время приема-передачи информации.

Получая информацию о дорожной обстановке, в том числе полностью или частично, способами, указанными выше, в том числе о параметрах движения объектов дорожной обстановки, блок искусственного интеллекта 16 производит предсказательный анализ развития дорожной обстановки, вычисляет безопасные, небезопасные и опасные траектории и дает водителю информацию о возможных событиях, безопасных, небезопасных и опасных траекториях и/или принимает запрограммированные меры раньше, чем эти события смогут произойти. Таким образом, время на принятие решения у водителя увеличится и тяжесть последствий ДТП будет уменьшена или ДТП будет полностью предотвращено. При этом учитываются (вычисляются), в том числе, возможность опрокидывания, скольжения, заносов, столкновений, ослепление водителя светом встречных фар, ухудшение видимости и другие факторы. Также учитываются потенциально опасные места и ситуации, которые заранее заносятся в блок центрального процессора 17 и/или определяются в ходе анализа полной математической модели.

При выдаче информации водителю опасные места могут выделяться в зависимости от степени опасности, например, оконтуриваться линиями и/или подсвечиваться в сенсорном мониторе, на котором отображается комплексированное видеоизображение дорожной обстановки. В конкретном случае зеленый цвет - допустимое время принятия решения более 1 секунды, желтый цвет - допустимое время принятия решения 1-0,3 сек и красный цвет - допустимое время принятия решения менее 0,3 сек. Также соответствующими цветами подсвечиваются участки дороги, которые безопасны, а также на которых надо проявить особую осторожность.

Блок искусственного интеллекта 16 устройства может вырабатывать команды на управляющие воздействия на органы управления ТС и/или о передаче срочной информации другим ТС и/или объектам дорожной обстановки и/или внешнему серверу.

Применение заявляемого способа и устройства позволяет значительно увеличить количество факторов, учитываемых при анализе и прогнозировании дорожной обстановки, обеспечить опережающее информирование водителя о возможном неблагоприятном развитии дорожной обстановки и тем самым существенно повысить безопасность движения.

Группа изобретений относится к области транспорта и может быть использована для анализа дорожной ситуации. Техническим результатом является повышение точности анализа и прогнозирования дорожной ситуации. Устройство содержит блок съема визуальной информации, блок съема акустической информации, датчик скорости, датчик состояния световой сигнализации, датчик состояния тормозной системы, блок предварительной обработки сигналов датчиков, блок предварительной обработки аналоговых сигналов, аналого-цифровой преобразователь, блок управления, блок предварительной обработки цифровой информации, блок памяти, устройство считывания информации, блок передачи информации по радиоканалу, блок предварительной обработки, согласования и формирования унифицированных потоков данных, блок машинного зрения и комплексного анализа данных, блок искусственного интеллекта, блок центрального процессора, блок формирования потока данных и параметров для человеко-машинного интерфейса, блок человеко-машинного интерфейса, блок долговременного хранения информации, блок синхронизатора времени, блок управления и связи с внешними устройствами, комплект датчиков, блок определения координат. 2 н.п. ф-лы, 1 ил.

1. Способ анализа дорожной ситуации для минимизации вероятности возникновения дорожно-транспортных происшествий с участием транспортного средства, при котором сигналы скорости, состояния световой сигнализации, состояния тормозной системы транспортного средства унифицируются по амплитуде и частоте, после чего, наряду с сигналами визуальной и акустической информации, окончательно обрабатываются в части согласования их уровней и оцифровываются, отличающийся тем, что дополнительно унифицируются по амплитуде и частоте сигналы скорости вращения колес, вибрациях, ускорениях разных областей транспортного средства, внешней освещенности, после чего указанные сигналы, наряду с сигналами видео и акустической информации об окружающей обстановке, оцифровываются, подвергаются сжатию с одновременной временной привязкой, после чего из информационного массива формируются два информационных потока, первый из которых направляется в устройство хранения информации, а второй информационный поток подвергается предварительной обработке, а именно фильтрации помех, контрастированию, сглаживанию, обработке с весовой сеткой, преобразованию данных в форматы, обеспечивающие возможность их дальнейшего использования по подготовке к последующему анализу на выявление важных с точки зрения безопасности движения объектов, по факту выявления которых, с учетом позиционирования транспортного средства, формируется математическая программная модель дорожной обстановки с учетом векторов скоростей и ускорений движения объектов, состояния дороги, после чего на основе указанной математической программной модели и записанной в память исходной, без участников движения и временных объектов, математической программной модели окружающей обстановки производится динамический рекуррентный анализ развития дорожной обстановки, предсказание ее вероятностного развития, распознавание возможных потенциально опасных событий, после чего формируются рекомендации для водителя, на основе которых формируется видеопоток информации-подсказок для предъявления водителю в режиме реального времени.

2. Устройство для анализа дорожной ситуации для минимизации вероятности возникновения дорожно-транспортных происшествий, содержащее датчик состояния световой сигнализации, датчик состояния тормозной системы, аналого-цифровой преобразователь, блок управления, блок памяти, датчик скорости, блок съема визуальной информации, блок съема акустической информации, блок предварительной обработки сигналов датчиков, блок предварительной обработки аналоговых сигналов, блок предварительной обработки цифровой информации, причем выходы блоков съема визуальной и акустической информации подключены, соответственно, к первому и второму входам блока предварительной обработки аналоговых сигналов, выходы датчиков скорости, состояния световой сигнализации и состояния тормозной системы подключены, соответственно, к первому, второму и третьему входам блока предварительной обработки сигналов датчиков, выход которого подключен к третьему входу блока предварительной обработки аналоговых сигналов, выход которого подключен к первому входу аналого-цифрового преобразователя, выход которого подключен к первому входу блока предварительной обработки цифровой информации, выход которого подключен ко второму входу блока памяти, первый выход блока управления подключен к четвертому входу блока предварительной обработки сигналов датчиков, второй выход блока управления подключен к четвертому входу блока предварительной обработки аналоговых сигналов, третий выход блока управления подключен ко второму входу аналого-цифрового преобразователя, четвертый выход блока управления подключен ко второму входу блока предварительной обработки цифровой информации, пятый выход блока управления подключен к первому входу блока памяти, первый выход которого подключен ко входу устройства считывания информации, отличающееся тем, что имеются блок предварительной обработки, согласования и формирования унифицированных потоков данных, блок машинного зрения и комплексного анализа данных, блок искусственного интеллекта, блок центрального процессора, блок формирования потока данных и параметров для человеко-машинного интерфейса, блок человеко-машинного интерфейса, блок долговременного хранения информации, блок синхронизатора времени, блок управления и связи с внешними устройствами, блок определения координат и комплект датчиков, который может включать в себя пять датчиков вибрации, установленных вблизи от ступиц колес и на двигатель, четыре датчика ускорения Холла, установленных вблизи от ступиц колес, четыре датчика скорости вращения колес, датчик внешней освещенности, устанавливаемый вблизи лобового стекла, ИК-прожектор и ИК-видеокамеру, терагерцевый лазерный прожектор и тепловизор, при этом первый вход блока предварительной обработки, согласования и формирования унифицированных потоков данных подключен к третьему выходу блока предварительной обработки цифровой информации, первый выход блока предварительной обработки, согласования и формирования унифицированных потоков данных подключен к первому входу блока машинного зрения и комплексного анализа данных и восьмому входу блока центрального процессора, первый выход блока машинного зрения и комплексного анализа данных подключен к первому входу блока искусственного интеллекта и девятому входу блока центрального процессора, первый выход блока искусственного интеллекта подключен к первому входу блока центрального процессора, первый выход блока центрального процессора подключен к первому входу блока формирования потока данных и параметров для человеко-машинного интерфейса, первый выход блока формирования потока данных и параметров для человеко-машинного интерфейса подключен ко входу блока человеко-машинного интерфейса, выход блока человеко-машинного интерфейса подключен ко второму входу блока формирования потока данных и параметров для человеко-машинного интерфейса, второй выход блока формирования потока данных и параметров для человеко-машинного интерфейса подключен ко второму входу блока центрального процессора, второй выход блока центрального процессора подключен ко второму входу блока предварительной обработки, согласования и формирования унифицированных потоков данных, третий выход блока центрального процессора подключен ко второму входу блока машинного зрения и комплексного анализа данных, четвертый выход блока Центрального процессора подключен ко второму входу блока искусственного интеллекта, пятый выход блока центрального процессора подключен к первому входу блока управления, восьмой выход блока управления подключен к седьмому входу блока центрального процессора, первый выход блока синхронизатора времени подключен к третьему входу блока центрального процессора и ко второму входу блока управления, шестой выход блока центрального процессора подключен ко входу блока синхронизатора времени, седьмой выход блока центрального процессора подключен ко входу блока управления и связи с внешними устройствами, интерфейсы связи блока управления и связи с внешними устройствами соединены с соответствующими внешними устройствами, выход блока управления и связи с внешними устройствами подключен к четвертому входу блока центрального процессора, восьмой выход блока центрального процессора подключен ко входу блока определения координат, выход блока определения координат подключен к пятому входу блока центрального процессора, девятый выход блока центрального процессора подключен ко входу блока долговременного хранения информации, выход блока долговременного хранения информации подключен к шестому входу блока центрального процессора, выходы комплекта датчиков подключены к соответствующим входам блока предварительной обработки сигналов датчиков, блока предварительной обработки аналоговых сигналов, аналого-цифрового преобразователя, блока предварительной обработки цифровой информации и блока предварительной обработки, согласования и формирования унифицированных потоков данных, а их входы - к девятому выходу блока управления и десятому выходу блока центрального процессора.