Способ и интеллектуальная система обеспечения безопасности средств индивидуальной мобильности Российский патент 2024 года по МПК B60W30/08 B60W50/14 B60W40/02 

Область техники, к которой относится изобретение

Заявляемое техническое решение относится к устройствам обеспечения безопасности средств индивидуальной мобильности с электрическим приводом.

Согласно общепринятому определению средство индивидуальной мобильности (СИМ) - это транспортное средство (ТС), имеющее одно или несколько колес (роликов), предназначенное для индивидуального передвижения человека посредством использования двигателя (двигателей) (электросамокаты, электроскейтборды, гироскутеры, сигвеи, моноколеса и иные аналогичные средства).

Уровень техники

Обеспечение безопасности водителей и пешеходов во время движения с использованием СИМ является актуальной проблемой. Количество таких ТС постоянно увеличивается, а, соответственно, растет и число дорожно-транспортных происшествий с их участием. Одним из подходов к повышению безопасности СИМ является ограничение скорости движения в определенных зонах (пешеходные дорожки, парки) за счет использования данных глобальных систем позиционирования и автоматической корректировки скорости центральным вычислителем СИМ, но эта мера является недостаточной, так как дорожная обстановка во время движения все время меняется. Из-за этого возникает потребность в интеллектуальных системах безопасности, которые могли бы оценивать окружающую обстановку в динамике и путем взаимодействия с участниками дорожного движения предотвращать возможные происшествия.

Одной из таких систем безопасности является устройство предотвращения аварийной ситуации СИМ (см. патент РФ на полезную модель № 210135, МПК B60W 30/16 (2012.01), опубл. 29.03.2022 по заявке №2021137509 от 17.12.2021, патентообладатель - Хмелева Лидия Романовна (RU)).

Указанное техническое решение относится к устройствам обеспечения безопасности СИМ с электрическим приводом. Принцип работы устройства заключается в передаче сигнала от ультразвукового датчика о наличии препятствия перед СИМ в микроконтроллер, который анализирует дальность до препятствия, собственную скорость и принимает решение о подаче сигнала на элемент звуковой сигнализации и на рычаг управления скоростью для управления торможением.

Недостатком данного устройства является использование ультразвукового датчика, как единственного сенсора для анализа дорожной обстановки во время движения СИМ. Ультразвуковой датчик обладает небольшой дальностью действия, как правило не более 8 м, что может быть меньше тормозного пути СИМ при движении с максимальной скоростью. Также, данных, полученных от ультразвукового датчика, недостаточно для классификации обнаруженных препятствий, например, невозможно отличить пешехода от фонарного столба. К тому же, ультразвуковой датчик не позволяет определять пространственные координаты обнаруженных объектов и их скорость, что значительно затрудняет адекватную оценку дорожной обстановки во время движения.

Из уровня техники известен способ, предназначенный для определения дорожной обстановки, в которой двигается СИМ (см. патент на изобретение US 2020/0124430 А1, МПК B62J99/00, В62К11/00, В62К15/00, G01C21/34, G01C21/36, G06Q30/02, опубл. 23.04.2020 по заявке № US201916659448 от 21.10.2019, патентообладатель - Neutron Holdings Inc., San Francisco, CA (US)).

Описанное изобретение относится к способам идентификации типа поверхности и окружения, в котором находится СИМ. Принцип работы устройства заключается в сборе данных от множества датчиков, таких как радар, лидар, камера, акселерометр, глобальная навигационная система и т.д. и их дальнейшего анализа на основе методов машинного обучения. После анализа данных система идентифицирует тип поверхности (асфальт, тротуарная плитка, гравийная дорога) по которому движется СИМ, а также тип окружения, в котором происходит движение пешеходная дорожка, автомобильная дорога, парковая зона, на основании чего системой принимается решение об ограничении скорости СИМ, предупреждении водителя и окружающих пешеходов о возможных опасных ситуациях.

К недостаткам данного способа относится строгая типизация поверхностей и окружений из-за чего система не всегда правильно может принимать решения, особенно с учетом динамично меняющейся ситуации во время движения, в процессе которого могут внезапно возникать препятствия как спереди, так и сзади СИМ, что может приводить к опасным ситуациям. Указанный существенный недостаток описанного изобретения связан с использованием для обучения нейросети фиксированного набора данных. Также стоит отметить, что, несмотря на обилие сенсоров (камера, лидар, радар), применяемых в данном изобретении, системой не анализируется в режиме реального времени наличие препятствий и пешеходов по траектории движения СИМ, а также других ТС, приближающихся сзади, что потенциально может представлять опасность как для водителя, так и для окружающих пешеходов.

Наиболее близким аналогом заявляемому техническому решению является система интеллектуального анализа дорожной обстановки переносного ТС (см. патент РФ на изобретение № 2762591, МПК B60W 10/04 (2006.01), B60W 10/18 (2012.01), опубл. 21.12.2021 по заявке № 2021126938 от 14.09.2021, патентообладатель - общество с ограниченной ответственностью «АВТОМЕТРИ КОМПАНИ» (RU)).

В данном изобретении частью переносного ТС является система интеллектуального анализа дорожной обстановки, которая образует активную систему безопасности, связанную с силовой и тормозной подсистемами. Описанная в изобретении система интеллектуального анализа строится на основе блока камер. Видеоизображение дорожной обстановки в режиме реального времени с блока камер поступает сначала в блок предобработки, где происходит нормализация и фильтрация изображения, а затем в блок интеллектуальной обработки и распознавания, которые соединены непосредственно с силовой установкой СИМ и его тормозной подсистемой. Также стоит отметить, что блок предобработки соединен с датчиком освещенности, что позволяет адаптировать параметры фильтрации в зависимости от яркости сцены.

Недостатком системы интеллектуального анализа дорожной обстановки, описанной в данном изобретении, является использование в качестве системы технического зрения оптического датчика видимого диапазона блока камер. Данная система технического зрения имеет ряд ограничений при определении точного положения в пространстве объектов/препятствий во время движения, а также не позволяет определять скорости обнаруженных объектов. Чувствительность сенсора камеры видимого диапазона не позволяет одинаково хорошо работать в дневное и ночное время суток. Также значимым недостатком системы интеллектуального анализа дорожной обстановки является переключение СИМ в полностью беспилотный режим при отсутствии реакции водителя на обнаруженное препятствие. Этот режим позволяет системе автоматически управлять торможением и маневрированием ТС. Ограниченность возможностей системы технического зрения правильно оценить дорожную обстановку может привести к принятию неверного решения СИМ в беспилотном режиме и стать причиной опасного происшествия. Также стоит отметить, что при движении на переносном ТС, таком как электросамокат, для удержания занимаемой траектории движения и равновесия водитель постоянно использует систему управления СИМ, и при активном внешнем вмешательстве в системы управления торможением и маневрированием со стороны какого-либо устройства, водитель может быть не готов к внезапному изменению поведения ТС, что может привести к потере равновесия и опрокидыванию СИМ.

Раскрытие сущности изобретения

Технический результат заявляемого изобретения заключается в повышении безопасности СИМ при движении по тротуарам, велодорожкам, дорогам общего пользования путем автоматического ограничения скорости и безопасного торможения при обнаружении в зоне движения СИМ пешеходов и других потенциально опасных объектов, а также предупреждения водителя и окружающих об опасности.

Указанный технический результат достигается благодаря способу обеспечения безопасности СИМ, характеризующемуся тем, что от первого и второго радарных модулей (РМ1 и РМ2) получают данные о положении объектов в окружающем пространстве и их скоростях. От контроллера управления шасси (КУШ) получают данные, включающие в себя текущую скорость СИМ, положение рычага управления ускорением (РУУ) и рычага управления торможением (РУТ), данные акселерометров и гироскопов. Также получают видеоизображение от модуля камеры (МК), в случае его подключения, при этом, на видеоизображении выделяют и классифицируют объекты с использованием методов машинного обучения.

Далее объединяют данные, полученные от РМ1 и РМ2, а также от МК, в случае его подключения, с применением алгоритма комплексирования данных, а именно:

- при помощи РМ1 и РМ2 определяют координаты объектов и их скорости относительно СИМ, а также амплитуды отраженных от объектов сигналов;

- координаты объектов приводят в общую систему координат, связанную с СИМ и объединяют их в единый массив;

- определяют собственные скорости объектов с учетом текущей скорости СИМ;

- в случае подключения МК, объекты на видеоизображении сегментируют и классифицируют (пешеходы, автомобили, велосипеды и другие статичные или движущиеся объекты) с использованием методов машинного обучения;

- объекты, обнаруженные РМ1, проецируют на изображение камеры и при попадании их внутрь сегментированных участков изображений, соответствующих выделенным классам, формируют массив обнаруженных перед СИМ объектов, характеризующихся координатами, скоростями и классом.

После комплексирования данных выполняют выделение опасных объектов с применением алгоритма выделения опасных объектов, а именно:

- рассчитывают опасную зону по траектории движения и сзади СИМ;

- проверяют нахождение объекта в опасной зоне;

- принимают решение об опасности объекта;

- в случае подключения МК, учитывают к какому классу относится объект;

- формируют список опасных объектов;

- в случае обнаружения опасных объектов, устанавливают флаг наличия опасных объектов;

- информируют пользователя о потенциальной опасности посредством передачи данных в модуль оповещения (МО), передают команды в КУШ на ограничение скорости и торможение в зависимости от степени обнаруженной опасности (учитывают дальность до опасных объектов, их скорости и пересечение траекторий со средством индивидуальной мобильности).

Далее в отдельном потоке (для недопущения блокирования основного алгоритма реализации способа обеспечения безопасности средств индивидуальной мобильности) запускают таймер ожидания реакции пользователя. После временной задержки проверяют реакцию пользователя на сообщения МО и в случае отсутствия реакции при сохранении опасных объектов (проверяется флаг наличия опасных объектов), отправляют команды в КУШ для начала принудительного торможения СИМ.

Также технический результат достигается благодаря тому, что интеллектуальная система безопасности содержит центральный вычислительный модуль (ЦВМ), соединенный посредством интерфейсов информационно-логического взаимодействия с РМ1 и РМ2 радиолокационной подсистемы, МК оптической подсистемы, КУШ и МО, причем ЦВМ выполнен с возможностью реализации заявляемого способа обеспечения безопасности СИМ.

Таким образом, заявляемое техническое решение соответствует критерию изобретения «новизна». Сравнение заявляемого технического решения с другими защищенными патентами техническими решениями в данной области техники позволяет сделать вывод о соответствии критерию «изобретательский уровень». Заявляемое решение пригодно к осуществлению промышленным путем.

Краткое описание чертежей

Сущность заявляемого изобретения поясняется фигурами, где:

на фиг. 1 показана структурная схема интеллектуальной системы безопасности

СИМ;

на фиг. 2 показан вариант установки заявляемой интеллектуальной системы безопасности СИМ;

на фиг. 3 показана блок-схема реализации заявляемого способа;

на фиг. 4 показана блок-схема реализации алгоритма комплексирования данных;

на фиг. 5 показана блок-схема реализации алгоритма выделения опасных объектов;

на фиг. 6 показана блок-схема реализация функции запуска таймера ожидания реакции пользователя.

Заявляемое техническое решение обладает рядом ключевых особенностей, а именно:

• ограничение скорости СИМ в зависимости от загруженности улицы и нахождения пешеходов в зоне движения;

• безопасное торможение СИМ при возникновении опасности столкновения;

• предупреждение водителя и окружающих людей об опасности столкновения при возникновении объектов, потенциально пересекающих траекторию движения СИМ и имеющих высокую скорость;

• предупреждение водителя о приближении другого участника движения сзади с указанием направлении, с которого будет осуществлено опережение;

• работа системы в любое время суток и при любом освещении.

Заявляемое техническое решение учитывает недостатки известных решений и реализует новый подход при осуществлении контроля за дорожной обстановкой в зоне движения СИМ при помощи радаров миллиметрового диапазона, которые могут дополняться камерой и вычислительным модулем с возможностью комплексирования информации с использованием алгоритмов машинного обучения.

Заявляемая интеллектуальная система безопасности СИМ 1 (см. фиг. 1) содержит ЦВМ 2, радиолокационную подсистему 3, состоящую из РМ1 4 и РМ2 5, оптическую подсистему 6, в состав которой входит МК 7, МО 8.

ЦВМ 2 имеет один вход, один выход и три входа-выхода. При этом вход служит для соединения с выходом РМ1 4 через интерфейс SPI, а выход служит для передачи на вход МО 8 дискретных коммутационных сигналов. Три входа-выхода служат для обмена информацией с РМ2 5, МК 7 и КУШ, установленном на СИМ, причем с РМ1 4 и КУШ посредством интерфейса CAN, а с МК 7 через интерфейс CSI-2.

РМ1 4 и РМ2 5 миллиметрового диапазона имеют антенно-фидерную часть, блок обработки информации и служат для обнаружения объектов впереди и сзади ТС, определения их пространственных координат и радиальных компонент векторов скоростей.

МК 7 служит для передачи данных в ЦВМ 2 посредством интерфейса CSI-2.

МО 8 состоит из различных средств звукового, светового и тактильного уведомлений водителя и пешеходов.

КУШ, который содержит гироскопы и акселерометры, служит для передачи данных о собственной скорости, ускорении, тормозном усилии (в том числе рекуперативном) и сигналов с органов управления СИМ - РУУ и РУТ на ЦВМ 2.

Интеллектуальная система безопасности СИМ 1 устанавливается в передней и задней частях СИМ (см. фиг. 2). В передней части - на рулевой стойке (точка 1) или на раме (точка 2), либо в любой другой части СИМ, таким образом, чтобы обеспечить обзор пространства по направлению движения. В задней части - на крыле (точка 3) или в любой другой части СИМ, так чтобы обеспечить обзор пространства позади движения. МК 7, РМ1 4 и ЦВМ 2 устанавливаются в передней части СИМ. РМ2 5 устанавливается в задней части СИМ.

Осуществление изобретения

Заявляемый способ обеспечения безопасности СИМ выполняется в бесконечном цикле на ЦВМ 2 и реализуется следующим образом.

Данные о положении объектов в окружающем пространстве и их скоростях от РМ1 4 и РМ2 5 поступают в ЦВМ 2 (см. фиг.3). Затем в ЦВМ 2 поступают данные от КУШ, которые включают в себя текущую скорость СИМ, положение РУУ и РУТ, данные акселерометров и гироскопов. Дополнительно для анализа дорожной обстановки в направлении движения может использоваться видеоизображение, получаемое от МК 7, который, в случае его подключения, устанавливается в передней части СИМ. При этом на видеоизображении выделяют и классифицируют объекты с использованием методов машинного обучения. Далее в ЦВМ 2 осуществляется комплексирование всех полученных данных.

Для этого в ЦВМ 2 выполняется преобразование координат объектов, обнаруженных радарными модулями РМ1 4 и РМ2 5, в систему координат СИМ и объединение их в единый массив объектов:

где S - единый массив объектов в системе координат СИМ, где С ∉ S и D ∉ S;

n - количество обнаруженных объектов РМ1 4;

C_n - координаты объекта, обнаруженного РМ1 4, в системе координат СИМ;

A_n - координаты объекта, обнаруженного РМ1 4, в собственной системе координат;

R₁ - матрица поворота РМ1 4;

T₁ - матрица трансляции РМ1 4;

i - количество обнаруженных объектов РМ2 5;

D_i - координаты объекта, обнаруженного РМ2 5, в системе координат СИМ;

B_i - координаты объекта, обнаруженного РМ2 5, в собственной системе координат;

R₂ - матрица поворота РМ2 5;

T₂ - матрица трансляции РМ2 5.

Далее для разделения обнаруженных объектов на подвижные и статичные с учетом скорости движения СИМ определяются собственные скорости объектов:

где V_W - фактическая собственная радиальная скорость объекта;

V_r - относительная радиальная скорость объекта, определенная радаром;

V_s - скорость СИМ;

θ - азимут объекта.

В случае подключения МК 7 объекты на видеоизображении сегментируют и классифицируют с помощью методов машинного обучения, выделяя пешеходов, автомобили, велосипеды и другие. Объекты, обнаруженные РМ1 4, проецируются на изображение камеры. Для перевода трехмерных координат объектов, полученных радарным модулем РМ1 4, в двухмерное плоское изображение, используется модель камеры-обскуры:

:

где G - внутренняя калибровочная матрица камеры;

f_x, f_y - фокусные расстояния по осям х и у;

c_x, c_y - координаты оптического центра по осям х и у.

Конечное преобразование координат объектов, полученных РМ1 4, в координаты двумерного изображения выглядит следующим образом:

где u, ν, w - координаты изображения;

G - внутренняя калибровочная матрица камеры;

R - матрица поворота РМ1 4;

T - матрица трансляции РМ1 4;

R - дальность объекта, обнаруженного РМ1 4;

θ - азимут объекта, обнаруженного РМ1 4.

Далее проверяется, какие сегментированные участки изображения пересекаются с проецированными на изображение объектами PM1 4. При наличии пересечений объекту присваивается класс, который предварительно определяется с помощью методов машинного обучения. К данным классам относятся пешеходы, машины, велосипедисты и другие статичные или движущиеся объекты.

Затем реализуется алгоритм выделения опасных объектов (см. фиг. 5).

Сначала рассчитывается опасная зона по траектории движения и сзади СИМ, которая зависит от текущей скорости, габаритов и технических особенностей СИМ, таких как ускорение и эффективность тормозной системы.

В общем виде опасную зону можно описать следующим выражением:

D=F(x,y)⋅V(х,у,ν)⋅B(х,у,b)⋅K(х,у,k),

где D - принадлежность точки пространства с координатами (х, у) опасной зоне СИМ, принимающая значения (0,1);

F(x, у) - функция, описывающая геометрические размеры СИМ в плоскости (x.у);

V(х,у, ν) - функция поправки, зависящая от скорости СИМ;

В(х, у, b) - функция поправки, зависящая от эффективности тормозной системы СИМ;

K(x,y, k) - функция поправки, зависящая от других технических особенностей СИМ;

ν - скорость СИМ;

b - коэффициент эффективности тормозной системы СИМ;

k - коэффициент, учитывающий технические особенности СИМ, такие как ускорение.

Далее идет определение количества объектов во входном массиве и инициализация счетчика. Затем запускается цикл проверки на нахождение каждого объекта в опасной зоне, на определение его скорости и на приближение к СИМ. На основании этого принимается решение, является ли объект опасным. Опасными считаются объекты, расположенные в опасной зоне впереди или позади СИМ и объекты, имеющие такие скорости и траектории движения, при которых они могут оказаться в опасной зоне. Если МК 7 подключен, то при принятии решения, также учитывается к какому классу относится объект пешеход, автомобиль, велосипедист или другой статичный или подвижный объект. После проверки всех элементов массива формируется список опасных объектов, при этом учитывается положение объекта относительно СИМ для того, чтобы сформировать корректный управляющий сигнал для МО 8.

В случае обнаружения опасных объектов, устанавливается флаг наличия опасных объектов, после чего данные передаются в МО 8 для информирования пользователя о потенциальной опасности. Далее в КУШ, в зависимости от степени обнаруженной опасности (учитываются дальности до опасных объектов, их скорости и пересечение траекторий с СИМ), могут передаваться команды на ограничение скорости и торможение. После этого в отдельном потоке (для недопущения блокирования основного алгоритма реализации заявляемого способа) запускается таймер ожидания реакции пользователя (см. фиг. 6), в котором после временной задержки проверяется реакция пользователя на сообщения МО 8 и, в случае отсутствия реакции при сохранении опасных объектов (проверяется флаг наличия опасных объектов), отправляются команды в КУШ с целью начала принудительного торможения СИМ.

Предлагаемое техническое решение может быть успешно использовано на любых СИМ, предназначенных для деловых поездок, прогулок, занятий спортом и туристических мероприятий.

Группа изобретений относится к системе и способу обеспечения безопасности средств индивидуальной мобильности (СИМ). Способ характеризуется тем, что от радарных модулей получают данные о положении и скорости объектов в окружающем пространстве; от контроллера получают данные о скорости, положении рычагов ускорения и торможения, данные акселерометров и гироскопов СИМ; получают видеоизображение от камеры, выделяют и классифицируют объекты с использованием методов машинного обучения; определяют координаты и скорости объектов относительно СИМ; выполняют выделение опасных объектов; рассчитывают опасную зону по траектории движения и сзади СИМ; в случае обнаружения опасных объектов информируют пользователя о потенциальной опасности посредством передачи данных в модуль оповещения; ограничивают скорость и торможение в зависимости от степени опасности и реакции пользователя СИМ. Достигается повышение безопасности СИМ. 2 н.п. ф-лы, 6 ил.

1. Способ обеспечения безопасности средств индивидуальной мобильности, характеризующийся тем, что:

- от первого и второго радарных модулей получают данные о положении объектов в окружающем пространстве и их скоростях;

- от контроллера управления шасси получают данные, включающие в себя текущую скорость средства индивидуальной мобильности, положение рычага управления ускорением и рычага управления торможением, данные акселерометров и гироскопов;

- получают видеоизображение от модуля камеры в случае его подключения, при этом на видеоизображении выделяют и классифицируют объекты с использованием методов машинного обучения;

- объединяют данные, полученные от первого и второго радарных модулей, а также от модуля камеры в случае его подключения, с применением алгоритма комплексирования данных, а именно, при помощи первого и второго радарных модулей, определяют координаты объектов и их скорости относительно средства индивидуальной мобильности, а также амплитуды отраженных от объектов сигналов, координаты объектов приводят в общую систему координат, связанную со средством индивидуальной мобильности, и объединяют их в единый массив, определяют собственные скорости объектов с учетом текущей скорости средства индивидуальной мобильности, в случае подключения модуля камеры, объекты на видеоизображении сегментируют и классифицируют с использованием методов машинного обучения, при этом объекты, обнаруженные первым радарным модулем, проецируют на изображение камеры и при попадании их внутрь сегментированных участков изображений, соответствующих выделенным классам, формируют массив обнаруженных перед средством индивидуальной мобильности объектов, характеризующихся координатами, скоростями и классом;

- выполняют выделение опасных объектов с применением алгоритма выделения опасных объектов, а именно рассчитывают опасную зону по траектории движения и сзади средства индивидуальной мобильности, проверяют нахождение объекта в опасной зоне, принимают решение об опасности объекта, причем в случае подключения модуля камеры учитывают, к какому классу относится объект, формируют список опасных объектов, в случае обнаружения опасных объектов устанавливают флаг наличия опасных объектов, информируют пользователя о потенциальной опасности посредством передачи данных в модуль оповещения, передают команды в контроллер управления шасси на ограничение скорости и торможение в зависимости от степени обнаруженной опасности, учитывая дальность до опасных объектов, их скорость и пересечение траекторий со средством индивидуальной мобильности;

- для недопущения блокирования основного алгоритма реализации способа обеспечения безопасности средств индивидуальной мобильности в отдельном потоке запускают таймер ожидания реакции пользователя, при этом после временной задержки проверяют реакцию пользователя на сообщения модуля оповещения и в случае отсутствия реакции при сохранении опасных объектов отправляют команды в контроллер управления шасси для начала принудительного торможения средства индивидуальной мобильности.

2. Интеллектуальная система безопасности средств индивидуальной мобильности, содержащая центральный вычислительный модуль, соединенный посредством интерфейсов информационно-логического взаимодействия с первым и вторым радарными модулями радиолокационной подсистемы, модулем камеры оптической подсистемы, контроллером управления шасси и модулем оповещения, отличающаяся тем, что центральный вычислительный модуль выполнен с возможностью реализации шагов, описанных в п. 1.