Адаптивная помощь при управлении транспортным средством Российский патент 2019 года по МПК B60Q1/34 B60W50/08 G06K9/00 

Описание патента на изобретение RU2710150C2

Область техники

Изобретение относится к системам управления транспортных средств, а более конкретно, к системам и способам автоматической активации указателей поворота транспортного средства.

Уровень техники

Указатель поворота - световой мигающий сигнал, обозначающий поворот в ту или иную сторону. При включении указателей поворота со всех сторон означает аварийную остановку. Согласно ПДД большинства стран мира, указатель поворота обязателен к использованию на всех автомобилях, прицепах, мотоциклах и тракторах, а также троллейбусах и трамваях.

Перед началом движения, перестроением, поворотом (разворотом) и остановкой водитель обязан подавать сигналы световыми указателями поворотов соответствующего направления (ПДД, пункт 8.1). Следующий пункт 8.2 указывает на то, что сигнал не должен вводить в заблуждение других участников движения. Таким образом, от водителя требуется вовремя включать указатели поворота еще до начала самого маневра и сразу же выключать указатели после его окончания.

Так как обязанность включения и выключения указателей поворота лежит полностью на водителе, то ввиду разнообразных обстоятельств (усталость водителя, его невнимательность, плохое знание правил или же полное пренебрежение ими), которые могут привести к аварийным ситуациям, возникает необходимость в средствах автоматической помощи водителям при включении и выключении указателей поворота.

В настоящий момент уже существуют технологии, которые позволяют автоматически включать и выключать указатели поворота. Например, в патенте US 6876300 описан подход по автоматическому включению и выключению указателей поворота на основании данных о движении автомобиля (ускорение, направление движения и т.д.), а также положения рулевого колеса. Однако в данной публикации не учитывается поведение самого водителя (например, направление его взгляда), текущий трафик на дороге и другие факторы, которые не связаны с самой машиной напрямую.

Анализ предшествующего уровня техники позволяет сделать вывод о неэффективности и в некоторых случаях о невозможности применения предшествующих технологий, недостатки которых решаются настоящим изобретением, а именно системой и способом автоматической активации указателей поворота транспортного средства.

Раскрытие изобретения

Технический результат настоящего изобретения заключается в реализации настоящего изобретения, а именно автоматической активации указателей поворота.

Настоящее изобретение предназначено для автоматической активации указателей поворота за счет определения состояния трафика и возможностей для проведения маневра, а также определения состояния водителя с целью определения его намерений совершить маневр.

Краткое описание чертежей

Дополнительные цели, признаки и преимущества настоящего изобретения будут очевидными из прочтения последующего описания осуществления изобретения со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1А показывает блок схему автомобиля с системой автоматического активации указателей поворота.

Фиг. 1Б иллюстрирует блок-схему настоящего изобретения.

Фиг. 2А иллюстрирует изменение направления взгляда водителя при повороте налево.

Фиг. 2Б иллюстрирует изменение направления взгляда водителя при повороте направо.

Фиг. 2В иллюстрирует положение рук водителя при повороте налево.

Фиг. 2Г иллюстрирует положение рук водителя при повороте налево.

Фиг. 3А иллюстрирует определение взгляда водителя на основании положения его головы.

Фиг. 3Б показывает схему определения взгляда человека в рамках одного из вариантов реализации.

Фиг. 4А иллюстрирует способ работы настоящего изобретения.

Фиг. 4Б показывает возможность обучения правил работы настоящей системы под конкретного водителя.

Фиг. 5 иллюстрирует компьютерную систему, с помощью которой может быть реализовано настоящее изобретение.

Описание вариантов осуществления изобретения

Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Сущность, приведенная в описании, является ничем иным, как конкретными деталями, необходимыми для помощи специалисту в области техники в исчерпывающем понимании изобретения, и настоящее изобретение определяется в объеме приложенной формулы.

Фиг. 1А показывает блок схему транспортного средства 100 с системой автоматической активации указателей поворота. В рамках настоящего описания система автоматической активации указателей поворота предназначена для оповещения других участников дорожного движения о начале маневра. Под маневром подразумевает поворот направо, поворот налево, перестроение, езда по кругу, пропуск другой машины и другие подобные действия. Представленное на Фиг. 1А транспортное средство 100 изображено как автомобиль, но следует понимать, что под транспортным средством следует понимать также и грузовики, мотоциклы, прицепы и другие средства передвижения, имеющие указатели поворота. Описание настоящего изобретения подходит как для правостороннего движения, так и для левостороннего.

Транспортное средство 100 (далее - автомобиль) на Фиг. 1А включает водителя 101 и набор указателей поворота 102, которые предназначены для оповещения других участников дорожного движения о намерениях водителя 101 произвести маневр. Каждый указатель поворота 102 включает световой сигнал (например, LED лампа), который включается при активации, так и набор подобных световых сигналов. Как показано на Фиг. 1А указатели 102 находятся спереди и сзади автомобиля 100, но могут также находиться и на различных элементах автомобиля, например, на боковых зеркалах 109.

Автомобиль 100 также включает модуль управления 110, который соединен с датчиками внутри и снаружи автомобиля. В настоящее время указатели поворота 102 включаются водителем 101 самостоятельно с помощью переключатели слева от рулевой колонки, но в рамках настоящего изобретения (как будет описано далее) модуль управления 110 включает указатели поворота 102 на основании обработанной информации от датчиков внутри и снаружи автомобиля. В одном из вариантов реализации часть данных от датчиков сохраняется в базе данных 150 в виде данных датчиков 154, которые используются для настройки модуля управления 110.

Датчики могут включать как внешние датчики 104, которые отслеживают обстановку снаружи автомобиля, которая включает: направление движения, погодные условия, наличие знаков на дороге и другую внешнюю информацию. Внешние датчики также могут использовать разнообразные камеры, предназначенные для определения других машин на полосе движения, распознавания видов дорожных знаков, а также для передачи визуальной информации на устройства дополненной реальности, такие как, например, Google Glass, используемые водителем 101. Внешние датчики также могут определять уровень освещенности, а также использовать лидар технологию для получения и обработки информации об удаленных объектах с помощью активных оптических систем, использующих явления поглощения и рассеяния света в оптически прозрачных средах.

Помимо внешних датчиков 104, в машине также присутствуют внутренние датчики 106, которые собирают данные о самой машине и состоянии ее ключевых узлов. К внутренним датчикам 106 можно отнести спидометр, навигационную систему (GPS, ГЛОНАСС и другие), датчики для отслеживания положения (отклонения) рулевого колеса и другие.

В изобретении также используется набор датчиков 108, которые используются для определения состояния водителя 101. Например, датчики 108 могут определять направление взгляда водителя 101. Примером подобных датчиков может служить камера, которая направлена на водителя 101, рассчитанная на отслеживание движения зрачков. Также подобная камера может отслеживать положение головы и рук. Местоположение подобной камеры может включать любое положение в салоне автомобиля 100. Кроме того, данная камера может записывать фото- и видеоданные, которые могут быть использованы средством управления 110. Еще одним примером датчиков 108 может служить емкостный датчик на рулевом колесе, который реагирует на руки водителя 101 в тот момент, когда он кладет их на рулевое колесо.

Фиг. 1Б иллюстрирует блок-схему настоящего изобретения. В данную систему входят модуль управления 110, состоящий из средства обнаружения 120, средства фиксации 130 и средства активации 140, базы данных 150, которая хранит правила 152 и данные датчиков 154, полученные от датчиков 104, 106, 108.

Настоящее изобретение начинает свою работу в тот момент, когда активируется (подается питание) один или несколько электронных блоков управления (англ. ECU, Electronic Control Unit), что обычно происходит, когда машину либо разблокируют, либо включают двигатель. В другом варианте реализации настоящего изобретения, указанная на Фиг. 1Б схема начинает свою работу только после начала движения автомобиля 100. В еще одном варианте реализации работа настоящего изобретения начинается только в том случае, если движение автомобиля идет по дороге общего пользования (данную информацию можно получить от навигационной системы).

Средство обнаружения 120 предназначено для определения текущего состояния трафика (движущихся машин, а также неподвижных препятствий) за счет получения информации от датчиков 104 и 106. Кроме того, данные о трафике могут быть дополнены параметрами движения машины (скорость, направление движения, ускорение), погодными условиями, качеством дорожного покрытия (асфальтовая или грунтовая дорога). Более детальное положение автомобиля 100 в пространстве может включать расстояние до ближайших препятствий и/или движущихся машин, определенные дорожные знаки, расстояние до ближайшего поворота, количество полос движения, а также количество полос движения справа и слева от автомобиля 100, угол наклона дороги, освещенность и т.д. Кроме того, средство обнаружения может вычислять и некоторые производные характеристики автомобиля 100 и трафика, такие как средняя скорость автомобиля 100 за последний час (или другой промежуток времени), время езды до столкновения с препятствиями при сохранении текущей скорости, время езды до ближайшего поворота при сохранении текущей скорости и т.д. Данные параметры могут быть также вычислены и получены с помощью таких датчиков, как навигационная система или лидар.

В еще одном варианте реализации данные о других машинах поступают от самих машин. Машины могут иметь датчики 104, которые дополнительно передают информацию о самой машине, направлении ее движения, скоростных характеристиках. Другие машины, также используя датчики 104, регистрируют полученные данные для работы в рамках настоящего изобретения. Варианты передачи данных могут включать использование таких протоколов как 802.11р в широковещательном режиме.

В предпочтительном варианте реализации средство обнаружения 120 предназначено для определения подходящих условий для изменения направления движения автомобиля 100. Подобные условия могут быть определены исходя из данных о движении автомобиля и данных о текущем состоянии трафика. С этой целью используются правила 152, которые хранятся в базе данных 150. База данных 150 может быть любой известной из уровня техники СУБД: иерархической (IMS, TDMS, System 2000), сетевой (Cerebrum, Cronospro, DBVist), реляционной (DB2, Informix, Microsoft SQL), объектно-ориентированной (Jasmine, Versant, POET) и др. Обновление базы данных 150 может реализовано с помощью известных методов обновлений, например, через сеть Интернет или другие варианты подключений.

Правило 152 представляет набор условий, при выполнении которых считается, что изменение направления движения автомобиля 100 возможно. Само правило может содержать несколько условий (которые входят в набор), примеры которых приведены ниже:

- расстояние до ближайшего препятствия более 100 метров;

- расчетное время до столкновения с препятствием более 10 секунд (при сохранении текущей скорости);

- соседняя полоса движения свободна на расстоянии не менее 250 метров;

- освещенность не ниже определенного значения (в лм).

В одном из вариантов реализации правило считается сработавшим, если выполняются все условия из набора. В еще одном варианте реализации условия выполняются последовательно (зависят друг от друга), что позволяет уменьшить время на обработку условий. В еще одном варианте реализации сначала проверяются те условия, данные по которым можно получить от датчиков быстрее всего - например, данные по освещенности и скорости движения.

Рассмотрим вариант применения подобного правила.

С помощью одного из датчиков 104 была получена информация о том, что через 250 метров находится Т-образный перекресток. В качестве одного из подобных датчиков может служить навигационная система или лидар. Следующим условием становится проверка текущей скорости (60 км/ч) и запроса последней средней скорости автомобиля 100 за последнюю минуту (55 км/ч), а также данные по ускорению (0.1 м/с2) и качеству дорожного покрытия (асфальт). Так как данные условия удовлетворяют заданным условиям для возможности перестроения перед перекрестком, то средство обнаружения 120 передает в средство управлению 110 нотификацию о возможности смены направления движения автомобиля 100.

Приведем еще один пример работы аналогичного правила.

Один из датчиков 104 (например, камера) передает данные о знаках, которые встречаются на дороге, указывая на то, что над правой полосой висит знак "Знак 5.14 Полоса для маршрутных транспортных средств". Другой датчик 104 (навигационная система) сообщает о наличии двух полос движения, при этом известно, что автомобиль движется по левой полосе. Так как зона действия знака 5.14 распространяется на ближайшие 500 метров, то средство обнаружения 120 передает в средство управлению 110 нотификацию о невозможности смены направления движения автомобиля 100 с левой полосы на правую.

В одном из вариантов реализации средство управления 110 может вносить изменения в правила 152 на основании данных о вождении. Например, в правиле указано условие о том, что соседняя полоса движения свободна на расстоянии не менее 250 метров, однако данные о вождении указывают на то, что водитель 101 совершает маневры и при расстоянии не менее 200 метров. Таким образом, данное условие будет обновлено. В еще одном варианте реализации, обновление будет работать только для множества водителей, когда будет браться усредненная характеристика (например, водители в среднем совершают маневры и при расстоянии не менее 230 метров). Это позволяет избежать влияния данных от водителей с рискованным стилем вождения.

Формирование правил может быть реализовано с помощью методов машинного обучения. Известные методы машинного обучения:

- Использование регрессионных моделей, таких как линейная или логистическая;

- Метод опорных векторов;

- Искусственные нейросети;

- Кластеризация.

На примере простой нейросети с одним скрытым слоем можно строить правила, аналогичные указанным выше. Например, нейроны из входного слоя нейросети будут получать данные от средства управления 110. Обучение (т.е. задавание весов для нейронов) можно производить на основании данных о проведенных маневрах автомобиля 100 и данных от датчиков 104, 106, 108.

В еще одном варианте реализации средство управления 110 также учитывает факт активации указателей поворота 102 самим водителем 101 с учетом сработавших правил. Данная информация нужна для того, чтобы определить, когда пользователь активирует указатели и активирует ли их вообще. Например, водитель 101 активирует указатели поворота 102 при перестроении только когда на соседней полосе движения много машин, но не делает этого, когда машин мало или их нет. В то же время ПДД требуют активации указателей поворота 102 всегда. С этой целью и используется средство управления 110 для обязательной активации указателей поворота 102. Рассмотрим работу других средств в средстве управления 110 для понимания механизма автоматической активации указателей поворота 102.

Средство управления 110, получив нотификацию о возможности смены направления движения автомобиля 100, передает ее средству фиксации 130. Средство фиксации 130 определяет направление движения автомобиля 100 на основании данных от внутренних датчиков 106. Кроме того, средство фиксации 130 может использовать и внешние датчики 104 в виде камер вдоль дороги или камеры (или другие датчики), установленные на других автомобилях. Также средство фиксации 130 проверяет реакцию водителя 101 при проведении маневра. В предпочтительном варианте реализации средство 130 делает это с помощью отслеживания взгляда водителя 101 в боковые зеркала.

Фиг. 2А иллюстрирует изменение направления взгляда водителя при повороте налево. В данном случае водитель 101 смотрит на левое боковое зеркало 109 (направление взгляда показано стрелочками 201 и 202), а в то же время датчик водителя 108 (например, камера 204 установленная прямо перед водителем на рулевом колесе или сразу за ним на приборной панели) используется для отслеживания взгляда водителя 101. В еще одном варианте реализации камера 204 может быть регистратором с поворотной камерой, направленной на водителя 101. Средство фиксации 130 получает данные от датчика 108 для их последующего анализа. Фиг. 2Б иллюстрирует изменение направления взгляда водителя 101 при повороте направо. Действия, описанные для анализа взгляда водителя 101 аналогичны описанию для Фиг. 2А. В еще одном варианте реализации камеры могут установлена прямо на боковых зеркалах - это камеры 206. Они могут работать как отдельно от камеры 204, так и совместно, повышая качество работы. Для экономии размера передаваемых данных, их анализ средством фиксации 130 может быть выполнен только при наступлении определенных событий - например, только когда определяется, что водитель 101 смотрит в одной из боковых зеркал.

Фиг. 3А иллюстрирует определение взгляда водителя на основании положения его головы. Модуль фиксации 130 получает изображения 300, 302 от внутренних датчиков 106 (камеры 204, 206), на которых видно, что положение головы изменилось от направленного прямо (изображение 300) к повороту головы налево (изображение 302). В одном из вариантов реализации средство фиксации использует набор шаблонов для сравнения изображения 302 с библиотекой известных изображения 304 (хранится в базе данных 150). Данные изображения отображают различные вариант поворота головы человека налево. Дополнительно библиотека 304 может содержать алгоритмы для сравнения изображения 302 с набором известных изображений.

Сравнение двух типов изображений может быть сделано с помощью методов машинного обучения. Предпочтительный вариант реализации -рекуррентная нейронная сеть, которая была предварительно обучена на наборе изображений, где голова человека повернута налево. В качестве данных для обучения могут выступать фотографии самого водителя 101, которые будут сделаны камерами 204, 206 с учетом различных ракурсов и освещения.

Фиг. 3Б показывает схему определения взгляда человека в рамках одного из вариантов реализации. Модуль фиксации 130 использует подход по связыванию ключевых точек на двумерном изображении с положением соответствующих точек уже в трехмерном пространстве. Одним из решений является решение проблемы Perspective-n-Point. Кратко разберем решение данной задачи.

Средство фиксации 130 определяет набор точек 306 на изображении 300, которое связано с одним состоянием лица человека (прямое положение), а также определяет набор точек 308 на изображении 302, связанное с другим состоянием лица человека (лицо наклонено влево). В одном из вариантов реализации точки на ЗД контуре человеческого лица связаны с его носом, подбородком, глазами, краями рта. Модуль фиксации 130 вычисляет двумерные координаты наборов точек 306 и 308 и соответствующие трехмерные координаты этих же наборов для последующего соотнесения. Разница в соотнесенных наборах точек будет указывать на поворот головы. Для работы с наборами точек 306 и 308 может быть использована библиотека OpenCV с функциями solvePnP() и solvePnPRansac(). Также могут быть использованы другие библиотеки по работе с компьютерным зрением.

Рассмотрим также Фиг. 2В и 2Г. Фиг. 2В иллюстрирует положение рук водителя при повороте направо. На данной иллюстрации, водитель 101 при подготовке к повороту направо, меняет положение правой руки 211 на другое по часовой стрелке (указано стрелкой 210), чтобы оказать нужное усилие на рулевое колесо 105 в противоположном направлении для последующего поворота автомобиля направо. Фиг. 2Г иллюстрирует положение рук водителя при повороте налево. На указанной иллюстрации, водитель 101 при подготовке к повороту налево, меняет положение левой руки 212 на другое против часовой стрелки (указано стрелкой 212), чтобы оказать нужное усилие на рулевое колесо 105 в противоположном направлении для последующего поворота автомобиля налево.

Обращаясь к иллюстрациям на Фиг. 2В и 2Г, становится ясно, как можно использовать средство фиксации 130. Средство фиксации может определять положение как одной, так и двух рук. Варианты используемых датчиков в данном случае - датчики давления или емкостные датчики, установленные на рулевом колесе. Датчик давления определяет силу давления на определенные участки руля, в то время как емкостные датчики могут быть резистивными, матричными, поверхностно-емкостными, проекционно-емкостными. Например, при работе датчик давления определяет, что водитель 101 поменял положение левой руки с позиции "на 10 часов", а правая рука водителя 101 ослабила хватку на положении "на 2 часа". Исходя из данной информации средство фиксации 130 определяет, что данное изменение положения рук соответствует повороту налево. Работа средства фиксации 130 также основано на правилах, работающих с данными получаемых от датчиков.

Изменение положения рук может быть определено и с помощью иного сенсора 108, например, с помощью дополнительной камеры, расположенной на или над рулевым колесом.

В случае изменения положения рук водителя 101, предполагается что маневр автомобиля считается подтвержденным и средство фиксации 130 передает информацию о повороте средству активации 140.

Средство активации 140 используется для автоматической активации указателей поворота 102 автомобиля. Подобная активация может быть сделана с помощью программно-аппаратных средств, например, с помощью реле. Информация об окончании маневра также передается средству активации 140 для выключения указателей поворота 102 автомобиля. Окончание маневра может быть определено с помощью датчика отклонения рулевого колеса.

Приведем пример работы настоящей системы. В общем случае настоящая система работает все время во время движения автомобиля. Водитель 101 начинает движение, переключая коробку передач в положение "D" или "R", что соответствует началу движения либо вперед, либо назад. Первым маневром будет съезд с обочины на дорогу. Сработает первое правило (назовем его "начало движения"), которое активируется при переключении коробки передач. Модулю фиксации 130 также передается информация о том, что водитель 101 смотрит в боковое зеркало (что фиксируется камерой 206), после чего поступает информация от датчиков на руле, которые указывают на изменение положения рук. Этих данных достаточно для того, чтобы активировать указатели поворота 102 с помощью средства активации 140.

Фиг. 4А иллюстрирует способ работы настоящего изобретения. Способ начинается с этапа 402, когда средство управления 110 (с помощью средства обнаружения 120) определяет наличие трафика (движущиеся транспортные средства, а также дополнительно - неподвижные препятствия) с помощью внешних датчиков 104. В одном из вариантов реализации средство управления подсчитывает расстояние между автомобилем 100 и другими машинами, а также препятствиями. Расстояние подсчитывается для всех машин в пределах видимости датчиков 104, в том числе тех машин, которые движутся по встречной или соседней полосе движения. Кроме расстояния средство управления 110 также определяет скорость движения как самого автомобиля 100, так и других машин.

На этапе 404 средство управления 110 определяет, позволяют ли условия трафика, вычисленные на этапе 402, изменить направление движения автомобиля (и в какую сторону).

Например, при расстоянии до машины на другой полосе движения в 200 метров и с учетом скорости ее движения в 50 км/ч, средство управления 110 учитывает текущую скорость движения автомобиля 100 и определяет, что для маневра по перестроению на данную полосу у водителя 101 есть не более 20 секунд при сохранении текущих скоростей автомашин. Учитывая, что время на перестроение занимает обычно не более 2-5 секунд, средство управления 110 определяет, что условия трафика позволяют совершить перестроение в настоящий момент.

Важно понимать, что при постоянно меняющихся условиях трафика, его обсчет с помощью считывания данных с датчиков 104 и последующих вычислений, должен происходить постоянно в реальном времени.

На этапе 406 средство управления 110 (с помощью средства фиксации 130) изменение состояния водителя 101 с помощью датчиков 108. В одном из вариантов реализации средство управления 110 использует анализ изменения взгляда водителя 101, на основании данных с камер 204 и 206. В еще одном варианте реализации средство управления 110 определяет изменение положение рук водителя 101 на основании датчиков на рулевом колесе. На основании этих данных может быть определено предполагаемый маневр автомобиля 100, что и происходит на этапе 408. В конце концов, на этапе 410 средство управления 110 (используя средство активации 140) включает необходимый указатель поворота 102. Например, при определенном маневре автомобиля влево и при отсутствии на левой полосе других машин, включиться левый указатель поворота 102.

В еще одном варианте реализации средство управления 110 может дополнительно предупреждать водителя 101 о необходимости включения указателей поворота 102. Также средство управления 110 может предупреждать о возможных препятствиях и движущихся машинах, особенно если последние могут находится в так называемой "слепой зоне". Предупреждение для водителя 101 может быть выполнено с помощью аудиосигнала, отображения на приборной панели, вибрации (например, в рулевом колесе).

Большим преимуществом настоящего изобретения является возможность заранее включать указатели поворота 102, предупреждая о возможном маневре других участников движения. Это может быть полезно в том числе и для неопытных водителей, которые часто перестраховываются при движении и боятся совершить даже простой маневр. В этом случае автоматическая активация указателей поворота 102 заранее предупреждает остальных водителей о следующем маневре автомобиля 100, позволяя выполнить его водителю 101 с. комфортной для него скоростью.

Рассмотрим еще один вариант работы настоящего изобретения с учетом обучения настоящей системы под конкретного водителя, что отображено на Фиг. 4Б.

На этапе 420 настоящая система, а именно средство управления 110 (включая средства 120, 130, 140) и набор датчиков 104, 106, 108 включаются в обучающем режиме. Это означает, что автоматической активации указателей поворота 102 не происходит, а самих правил 152 нет, либо у них нет заданных условий. В средство управления 110 добавляется средство обучения 150 (не указано на фиг.1Б), которое получает данные с датчиков 104, 106, 108 и использует информацию от средств 120 и 130 для вынесения вердикта о событиях (данные о трафике, дороге и знаках, поведение водителя) перед началом маневра. В еще одном варианте реализации средство обучения 150 выполнено в виде внешнего вычислительного устройства (например, сервер), куда передаются данные с автомобиля 100.

На этапе 422 средство обучения 150 в течение заданного времени собирает данные о том, как конкретный водитель 101 производит маневры и в каких ситуациях. Собирается следующая информация:

- данные с внешних датчиков 104 о состоянии дороги, трафика и т.д. и связанные с эти данные от средства обнаружения 120;

- данные с внутренних датчиков 106 о состоянии водителя и работа средства фиксации 130;

- данные о произведенном маневре (в какую сторону, с какой скоростью и ускорением двигался автомобиль 100).

После того, как маневр был совершен, начинает собираться информация по следующему маневру. Далее полученная информация по каждому маневру преобразуется в вектор, который также сохраняется в базе данных 150. В одном из вариантов реализации, когда средство обучения 150 выполнено в виде внешнего вычислительного устройства, сохраненные векторы передаются на указанное внешнее вычислительное устройство.

На этапе 424 создаются новые правила 152 на основании собранных данных. Для создания правил может использоваться искусственная нейросеть, в которую подают полученные векторы данных. Данные должны подаваться однотипные, т.е. векторы должны быть похожи между собой, что обучение нейросети было максимально эффективным. Работающее правило (или набор правил) представляет обученную нейросеть.

На этапе 426 полученные правила 152 используют для работы средства управления 110 (в частности, средства активации 140) для автоматической активации указателей поворота 102.

На этапе 428 отслеживается эффективность работающих правил 152. Например, если указатели поворота 102 активируются не при всех перестроениях автомобиля 100, то собирается дополнительная информация, которая будет использована для дальнейшего усовершенствования работающей нейросети (и, соответственно, правил 152), что по сути, является повторением этапов 422-426.

Таким образом, настоящая система, описанная на Фиг. 1Б позволяет не только автоматически включать указатели поворота 102, но также подстраивать указанную систему под конкретного водителя.

Настоящее изобретение может быть выполнено с помощью устройств, систем, компонент, группы компонентов, реализованные с использованием аппаратных средств, таких как интегральные микросхемы (англ. application-specific integrated circuit, ASIC) или программируемые вентильные матрицы (англ. field-programmable gate array, FPGA) или, например, в виде комбинации программных и аппаратных средств, таких как микропроцессорная система и набор программных инструкций, а также на нейроморфных чипах (англ. neurosynaptic chips) Функциональность указанных средств системы может быть реализована исключительно аппаратными средствами, а также в виде комбинации, где часть функциональности средств системы реализована программными средствами, а часть аппаратными. При этом компоненты системы могут быть реализованы в рамках как одного вычислительного устройства, так и разнесены между несколькими, связанными между собой вычислительными устройствами.

Фиг. 5 представляет пример вычислительного устройства в виде компьютерной системы общего назначения, которая содержит центральный процессор 21, системную память 22 и системную шину 23, которая содержит разные системные компоненты, в том числе память, связанную с центральным процессором 21. Системная шина 23 реализована, как любая известная из уровня техники шинная структура, содержащая в свою очередь память шины или контроллер памяти шины, периферийную шину и локальную шину, которая способна взаимодействовать с любой другой шинной архитектурой. Системная память содержит постоянное запоминающее устройство (ПЗУ) 24, память с произвольным доступом (ОЗУ) 25. Основная система ввода/вывода (BIOS) 26, содержит основные процедуры, которые обеспечивают передачу информации между элементами персонального компьютера 20, например, в момент загрузки операционной системы с использованием ПЗУ 24.

Персональный компьютер 20 в свою очередь содержит жесткий диск 27 для чтения и записи данных, привод магнитных дисков 28 для чтения и записи на сменные магнитные диски 29 и оптический привод 30 для чтения и записи на сменные оптические диски 31, такие как CD-ROM, DVD-ROM и иные оптические носители информации. Жесткий диск 27, привод магнитных дисков 28, оптический привод 30 соединены с системной шиной 23 через интерфейс жесткого диска 32, интерфейс магнитных дисков 33 и интерфейс оптического привода 34 соответственно. Приводы и соответствующие компьютерные носители информации представляют собой энергонезависимые средства хранения компьютерных инструкций, структур данных, программных модулей и прочих данных персонального компьютера 20.

Настоящее описание раскрывает реализацию системы, которая использует жесткий диск 27, сменный магнитный диск 29 и сменный оптический диск 31, но следует понимать, что возможно применение иных типов компьютерных носителей информации 56, которые способны хранить данные в доступной для чтения компьютером форме (твердотельные накопители, флеш карты памяти, цифровые диски, память с произвольным доступом (ОЗУ) и т.п.), которые подключены к системной шине 23 через контроллер 55.

Компьютер 20 имеет файловую систему 36, где хранится записанная операционная система 35, а также дополнительные программные приложения 37, другие программные модули 38 и данные программ 39. Пользователь имеет возможность вводить команды и информацию в персональный компьютер 20 посредством устройств ввода (клавиатуры 40, манипулятора «мышь» 42). Могут использоваться другие устройства ввода (не отображены): микрофон, джойстик, игровая консоль, сканнер и т.п. Подобные устройства ввода по своему обычаю подключают к компьютерной системе 20 через последовательный порт 46, который в свою очередь подсоединен к системной шине, но могут быть подключены иным способом, например, при помощи параллельного порта, игрового порта или универсальной последовательной шины (USB). Монитор 47 или иной тип устройства отображения также подсоединен к системной шине 23 через интерфейс, такой как видеоадаптер 48. В дополнение к монитору 47, персональный компьютер может быть оснащен другими периферийными устройствами вывода (не отображены), например, колонками, принтером и т.п.

Персональный компьютер 20 способен работать в сетевом окружении, при этом используется сетевое соединение с другим или несколькими удаленными компьютерами 49. Удаленный компьютер (или компьютеры) 49 являются такими же персональными компьютерами или серверами, которые имеют большинство или все упомянутые элементы, отмеченные ранее при описании существа персонального компьютера 20, представленного на Фиг. 3. В вычислительной сети могут присутствовать также и другие устройства, например, маршрутизаторы, сетевые станции, пиринговые устройства или иные сетевые узлы.

Сетевые соединения могут образовывать локальную вычислительную сеть (LAN) 50 и глобальную вычислительную сеть (WAN). Такие сети применяются в корпоративных компьютерных сетях, внутренних сетях компаний и, как правило, имеют доступ к сети Интернет. В LAN- или WAN-сетях персональный компьютер 20 подключен к локальной сети 50 через сетевой адаптер или сетевой интерфейс 51. При использовании сетей персональный компьютер 20 может использовать модем 54 или иные средства обеспечения связи с глобальной вычислительной сетью, такой как Интернет. Модем 54, который является внутренним или внешним устройством, подключен к системной шине 23 посредством последовательного порта 46. Следует уточнить, что сетевые соединения являются лишь примерными и не обязаны отображать точную конфигурацию сети, т.е. в действительности существуют иные способы установления соединения техническими средствами связи одного компьютера с другим.

В заключение следует отметить, что приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего изобретения, определенного формулой.

Похожие патенты RU2710150C2

название год авторы номер документа
Система и способ активации указателей поворота автомобиля 2016
  • Кащенко Станислав Дмитриевич
RU2649562C1
СПОСОБ И УСТРОЙСТВО ДЛЯ УПРАВЛЕНИЯ ДВИЖЕНИЕМ ТРАНСПОРТНОГО СРЕДСТВА И СИСТЕМА УПРАВЛЕНИЯ ДВИЖЕНИЕМ ТРАНСПОРТНОГО СРЕДСТВА 2017
  • Хекер, Фальк
  • Мейер, Ян
  • Юндт, Оливер
  • Гюккер, Ульрих
  • Мустафа, Аднан
  • Штайнбергер, Юрген
RU2721343C1
СИСТЕМА ДЛЯ УСОВЕРШЕНСТВОВАННОГО УПРАВЛЕНИЯ СПЕЦИАЛЬНЫМИ СВЕТОВЫМИ СИГНАЛАМИ ТРАНСПОРТНОГО СРЕДСТВА 2015
  • Бенни Брайан
  • Игначак Брэд Алан
  • Фрейбургер Рэнди Майкл
  • Миллер Томас Ли
RU2668356C2
ПРОГНОЗИРУЮЩИЙ ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИИ ОБНАРУЖЕНИЯ ВЗГЛЯДА, ИНДИКАТОРОВ "МЕРТВЫХ" ЗОН И ВОДИТЕЛЬСКОГО ОПЫТА 2010
  • Фейт Стивен
  • Шойфлер Ник
  • Чои Дейв
  • Костерлих Мишелль
  • Миллер Росс
  • Гребе Коди
  • Лин Джейсон
RU2514924C2
СПОСОБ УПРАВЛЕНИЯ ТРАНСПОРТНЫМ СРЕДСТВОМ И УСТРОЙСТВО УПРАВЛЕНИЯ ТРАНСПОРТНЫМ СРЕДСТВОМ 2019
  • Аоки, Мотонобу
  • Хирамацу, Матико
  • Кондох, Такаюки
  • Сакума, Цуйоси
RU2779920C1
СИСТЕМА РУЛЕВОГО УПРАВЛЕНИЯ ДЛЯ ТРАНСПОРТНОГО СРЕДСТВА 2012
  • Мантикас Николаос
  • Хиллмэн Пол Дж.
RU2565631C2
СПОСОБ ПРЕДУПРЕЖДЕНИЯ О СТОЛКНОВЕНИИ 2019
  • Галимов Айрат Ильшатович
RU2724044C1
ОЦЕНКА И ШИРОКОВЕЩАТЕЛЬНАЯ ПЕРЕДАЧА ПОКАЗАТЕЛЯ ОТВЕТСТВЕННОСТИ ВОДИТЕЛЯ ТРАНСПОРТНОГО СРЕДСТВА 2016
  • Хаким Моханнад Абдулла
RU2722320C2
СПОСОБ ПОСТАНОВКИ ТРАНСПОРТНОГО СРЕДСТВА НА СТОЯНКУ И СИСТЕМА ДЛЯ ЕГО ВЫПОЛНЕНИЯ 2014
  • Шаффер Эрик Дэвид
  • Стемпник Верн Ричард
  • Кэйн Майкл Дэвид
RU2638587C2
СПОСОБ ОБЕСПЕЧЕНИЯ ИНСТРУКЦИЯМИ ПО ЭКСПЛУАТАЦИИ ВОДИТЕЛЯ РАБОЧЕЙ МАШИНЫ 2008
  • Эклунд Мария
  • Линдблом Йонни
RU2488663C2

Иллюстрации к изобретению RU 2 710 150 C2

Реферат патента 2019 года Адаптивная помощь при управлении транспортным средством

Группа изобретений относится к системам управления транспортных средств. Система автоматической активации указателей поворота автомобиля включает средство обнаружения, средство фиксации и средство активации. Средство обнаружения предназначено для определения состояния трафика с помощью внешних датчиков автомобиля и наличия возможности совершения маневра по определенному направлению с учетом определенного состояния трафика. Средство фиксации предназначено для определения состояния водителя автомобиля с помощью внутренних датчиков автомобиля и возможного направления маневра автомобиля на основании данных о состоянии водителя автомобиля. Средство активации предназначено для активации указателей поворота автомобиля в определенном направлении при наличии возможности совершения маневра. Достигается автоматическая активация указателей поворота за счет определения состояния трафика и возможностей для проведения маневра, а также определения состояния водителя с целью определения его намерений совершить маневр. 2 н. и 7 з.п. ф-лы, 5 ил.

Формула изобретения RU 2 710 150 C2

1. Способ автоматической активации указателей поворота автомобиля, включающий этапы, на которых:

- определяют состояние трафика с помощью внешних датчиков автомобиля;

- определяют состояния водителя автомобиля с помощью внутренних датчиков автомобиля;

- определяют возможное направление маневра автомобиля на основании данных о состоянии водителя автомобиля;

- определяют наличие возможности совершения маневра по определенному направлению с учетом определенного состояния трафика;

- автоматически активируют указатели поворота автомобиля в определенном направлении при наличии возможности совершения маневра.

2. Способ по п. 1, в котором внешним датчиком является по меньшей мере одно из: камера, лидар, навигационная система.

3. Способ по п. 1, в котором состояние водителя включает направление его взгляда.

4. Способ по п. 3, в котором направление взгляда определяется с помощью методов компьютерного зрения.

5. Способ по п. 1, в котором состояние водителя включает положение его рук на рулевом колесе.

6. Способ по п. 3, в котором внутренним датчиком является камера на боковом зеркале.

7. Способ по п. 3, в котором внутренним датчиком является камера над приборной панелью.

8. Способ по п. 4, в котором внутренним датчиком является емкостный датчик или датчик давления.

9. Система автоматической активации указателей поворота автомобиля, включающая следующие средства:

- средство обнаружения, предназначенное для определения состояния трафика с помощью внешних датчиков автомобиля и наличия возможности совершения маневра по определенному направлению с учетом определенного состояния трафика;

- средство фиксации, предназначенное для определения состояния водителя автомобиля с помощью внутренних датчиков автомобиля и возможного направления маневра автомобиля на основании данных о состоянии водителя автомобиля;

- средство активации, предназначенное для активации указателей поворота автомобиля в определенном направлении при наличии возможности совершения маневра.

Документы, цитированные в отчете о поиске Патент 2019 года RU2710150C2

US 2011106376 A1, 05.05.2011
US 20090174540 A1, 09.07.2009
US 7986223 B2, 26.07.2011
УСТРОЙСТВО ПОМОЩИ ПРИ ВОЖДЕНИИ ТРАНСПОРТНОГО СРЕДСТВА 2012
  • Хаякава Ясухиса
  • Нисимаки Сюхеи
RU2566175C1
СПОСОБ НАБЛЮДЕНИЯ ЗА ДОРОЖНОЙ СИТУАЦИЕЙ С ДВИЖУЩЕГОСЯ ТРАНСПОРТНОГО СРЕДСТВА (ВАРИАНТЫ) 2010
  • Мирза Осман Мирзаевич
RU2432276C1

RU 2 710 150 C2

Авторы

Кащенко Станислав Дмитриевич

Даты

2019-12-24Публикация

2018-03-02Подача