СПОСОБ ОБНАРУЖЕНИЯ ФИЗИЧЕСКИХ УГРОЗ, ПРИБЛИЖАЮЩИХСЯ К ТРАНСПОРТНОМУ СРЕДСТВУ (ВАРИАНТЫ), И ТРАНСПОРТНОЕ СРЕДСТВО Российский патент 2019 года по МПК B60R25/01 B60W50/14 

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

1. Область техники, к которой относится изобретение

Настоящее изобретение в общем относится к области безопасности водителя и/или пассажиров транспортного средства и, в частности, к обнаружению физических угроз, приближающихся к транспортному средству.

2. Связанный уровень техники

Транспортное средство может замедляться или останавливаться, позволяя водителю и/или пассажиру транспортного средства безопасно осуществлять другую деятельность, не связанную с работой транспортного средства. Например, водитель может съехать на обочину и остановить транспортное средство для отправки текстового сообщения, совершения звонка, просмотра карты, оформления документов и т.д. Во время остановки или при движении на малой скорости водителю и/или пассажиру будет легче уделить внимание другой деятельности, не подвергая опасности других участников дорожного движения (например, другие транспортные средства, пешеходов, велосипедистов и т.д.) на проезжей части. Однако при остановке транспортного средства или движении на малой скорости (и даже если транспортное средство не находится вблизи проезжей части) все еще существуют внешние опасности для транспортного средства и/или водителя и пассажиров. Например, к транспортному средству могут приближаться другие транспортные средства или люди с намерением причинить вред транспортному средству и/или его водителю и пассажирам. Когда водитель и/или пассажир выполняет другую деятельность, внимание водителя и/или пассажира может быть сфокусировано на другой деятельности. В связи с этим водитель и/или пассажир может не замечать опасность или угрозу, приближающуюся к транспортному средству.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Заявлен способ для использования в транспортном средстве, причем способ содержит этапы, на которых:

определяют, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства, на основе отфильтрованных данных датчиков от одного или более датчиков, установленных снаружи на транспортном средстве;

предоставляют отфильтрованные данные датчиков в качестве входных данных в нейронную сеть;

принимают классификацию угрозы для объекта от нейронной сети; и

указывают классификацию угрозы в кабине транспортного средства.

Причем в заявленном способе прием классификации угрозы для объекта содержит этап, на котором принимают указание, что объект представляет угрозу для водителя и/или пассажиров транспортного средства.

Причем в заявленном способе прием указания, что объект представляет угрозу для водителя и/или пассажиров транспортного средства, содержит этап, на котором принимают указание о приближении оружия к транспортному средству.

Причем в заявленном способе прием указания, что объект представляет угрозу для водителя и/или пассажиров транспортного средства, содержит этап, на котором принимают указание, что на человеке, приближающемся к транспортному средству, надета маска.

Заявленный способ дополнительно содержит этап, на котором активируют контрмеры в транспортном средстве в отношении угрозы, создаваемой объектом.

Причем в заявленном способе прием классификации угрозы для объекта содержит этап, на котором принимают указание, что объект не представляет угрозы для водителя и/или пассажиров транспортного средства.

Заявлен способ для использования в транспортном средстве, при этом способ оповещения водителя и/или пассажира транспортного средства о приближении угрозы к транспортному средству, причем способ содержит этапы, на которых:

определяют, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства, что включает в себя этапы, на которых:

используют один или более датчиков, установленных на транспортном средстве, для отслеживания области вблизи транспортного средства на наличие приближающихся объектов; и

фильтруют данные от одного или более датчиков на гетерогенной вычислительной платформе в транспортном средстве для определения, что объект имеет скорость и направление, указывающие приближение объекта к пространству, занимаемому транспортным средством;

предоставляют отфильтрованные данные для приближающегося объекта в качестве входных данных в нейронную сеть;

принимают указание от нейронной сети, что приближающийся объект представляет угрозу для водителя и/или пассажиров транспортного средства; и

активируют контрмеры в транспортном средстве в отношении угрозы.

Причем в заявленном способе транспортное средство имеет множество дверей.

Причем в заявленном способе транспортное средство неподвижно.

Причем в заявленном способе использование одного или более датчиков, установленных на транспортном средстве, для отслеживания области вблизи транспортного средства на наличие приближающихся объектов содержит использование множества датчиков, установленных на транспортном средстве, для отслеживания области, причем множество датчиков включает в себя: по меньшей мере одну камеру, по меньшей мере один лидарный датчик и по меньшей мере один звуковой датчик обнаружения объектов.

Причем в заявленном способе фильтрация данных от одного или более датчиков на гетерогенной вычислительной платформе содержит фильтрацию данных от множества датчиков на гетерогенной вычислительной платформе, причем гетерогенная вычислительная платформа включает в себя: по меньшей мере один центральный блок обработки (CPU), по меньшей мере один графический блок обработки (GPU) и по меньшей мере одну программируемую пользователем вентильную матрицу (FPGA) в транспортном средстве.

Причем в заявленном способе фильтрация данных от одного или более датчиков содержит использование одного или более из: фильтра Калмана и многочастичного фильтра для фильтрации данных от одного или более датчиков.

Причем в заявленном способе фильтрация данных от одного или более датчиков содержит определение оптического потока приближающегося объекта.

Причем в заявленном способе прием указания от нейронной сети о том, что приближающийся объект представляет угрозу для водителя и/или пассажиров транспортного средства, содержит этап, на котором принимают указание, что приближающийся объект представляет собой одно из: человека с оружием, человека в маске и оскалившейся собаки.

Причем в заявленном способе активация контрмер в транспортном средстве содержит активацию контрмер, включающих в себя одно или более из: записи приближающегося объекта, блокировки дверей транспортного средства, воспроизведения звукового предупреждения в кабине транспортного средства, обеспечения звука клаксона транспортного средства, мигания огней транспортного средства.

Причем в заявленном способе транспортное средство представляет собой автономное транспортное средство; и

в котором активация контрмер в транспортном средстве содержит автоматическое осуществление попытки маневра отъезда автономного транспортного средства от приближающегося объекта.

Заявлено транспортное средство, причем транспортное средство содержит:

один или более установленных снаружи датчиков для отслеживания области вблизи транспортного средства;

один или более процессоров;

системную память, соединенную с одним или более процессорами, причем системная память хранит инструкции, исполняемые одним или более процессорами;

причем один или более процессоров выполнены с возможностью исполнения инструкций, сохраненных в системной памяти, в ответ на физическую угрозу для водителя и/или пассажиров транспортного средства, включая следующее:

определение, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства, что включает в себя:

использование одного или более установленных снаружи датчиков для отслеживания области вблизи транспортного средства на наличие приближающихся объектов; и

фильтрацию данных от одного или более датчиков для определения, что объект имеет скорость и направление, указывающие приближение объекта к пространству, занимаемому транспортным средством;

предоставление отфильтрованных данных для приближающегося объекта в качестве входных данных в нейронную сеть;

прием указания от нейронной сети о том, что приближающийся объект представляет угрозу для водителя и/или пассажиров транспортного средства; и

активацию контрмер в транспортном средстве в отношении угрозы.

Причем в заявленном транспортном средстве один или более установленных снаружи датчиков включают в себя одно или более из: камеры, лидарного датчика, радиолокационного датчика и ультразвукового датчика.

Причем в заявленном транспортном средстве один или более процессоров, выполненных с возможностью исполнения инструкций для приема указания от нейронной сети о том, что приближающийся объект представляет угрозу для водителя и/или пассажиров транспортного средства, содержат один или более процессоров, выполненных с возможностью исполнения инструкций для приема указания, что приближающийся объект представляет собой одно из: человека с оружием, человека в маске или оскалившейся собаки.

Причем в заявленном транспортном средстве один или более процессоров, выполненных с возможностью исполнения инструкций для активации контрмер в транспортном средстве, содержат один или более процессоров, выполненных с возможностью исполнения инструкций для активации контрмер, включающих в себя одно или более из: записи приближающегося объекта, блокировки дверей транспортного средства, воспроизведения звукового предупреждения в кабине транспортного средства, обеспечения звука клаксона транспортного средства, мигания огней транспортного средства.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Конкретные признаки, аспекты и преимущества настоящего изобретения станут лучше понятны со ссылкой на нижеследующее описание и сопровождающие чертежи, на которых:

Фигура 1 иллюстрирует примерную структурную схему вычислительного устройства.

Фигура 2 иллюстрирует примерную среду, которая обеспечивает обнаружение физических угроз, приближающихся к транспортному средству.

Фигура 3 иллюстрирует блок-схему последовательности операций примерного способа обнаружения физических угроз, приближающихся к транспортному средству.

Фигуры 4A и 4B иллюстрируют пример транспортного средства, активирующего контрмеры в ответ на приближающуюся угрозу.

ПОДРОБНОЕ ОПИСАНИЕ

Настоящее изобретение относится к способам, системам и компьютерным программным продуктам для обнаружения физических угроз, приближающихся к транспортному средству. Внешние датчики на транспортном средстве (например, камера кругового обзора) могут быть использованы для обнаружения различных опасных ситуаций. Внешние датчики могут быть использованы в ситуациях, в которых водитель и/или пассажиры транспортного средства более уязвимы к нападениям, например, когда транспортное средство стоит или движется на малой скорости. В одном аспекте камера установлена на крыше транспортного средства для более полного охвата среды вокруг транспортного средства. Для обнаружения приближающихся угроз, таких как, например, человек в маске, человек, держащий оружие (нож или пистолет), оскалившаяся собака и т.д., может быть использована нейронная сеть.

В частности, для обнаружения приближающихся целей на изображении кругового обзора может быть использован оптический поток. Приближающиеся цели могут быть переданы в нейронную сеть для распознавания и/или классификации приближающихся целей как потенциальные засады, нападения и т.д. Механизмы отслеживания (например, фильтры Калмана, многочастичные фильтры и т.д.) могут использовать временную информацию для определения, приближается ли угроза к транспортному средству.

При обнаружении приближающейся угрозы транспортное средство может активировать одну или более контрмер для устранения угрозы. Контрмеры могут включать в себя одно или более из: записи приближающейся цели, блокировки дверей, воспроизведения звукового предупреждения в кабине транспортного средства, обеспечения звука клаксона и мигания огней. Если транспортное средство включает в себя возможность автономного вождения, транспортное средство может автоматически осуществить попытку отъезда на расстояние от приближающейся угрозы.

Аспекты изобретения могут быть реализованы в вычислительных устройствах множества различных типов. Фигура 1 иллюстрирует примерную структурную схему вычислительного устройства 100. Вычислительное устройство 100 может быть использовано для выполнения различных процедур, например, рассмотренных в настоящем документе. Вычислительное устройство 100 может функционировать в качестве сервера, клиента или любого другого вычислительного объекта. Вычислительное устройство 100 может выполнять различные функции связи и передачи данных, которые описаны в настоящем документе, и может выполнять одну или более прикладных программ, таких как прикладные программы, описанные в настоящем документе. Вычислительное устройство 100 может представлять собой любое из широкого множества вычислительных устройств, например, мобильный телефон или другое мобильное устройство, настольный компьютер, портативный компьютер, компьютер-сервер, карманный компьютер, планшетный компьютер и т.п.

Вычислительное устройство 100 включает в себя один или более процессоров 102, одно или более устройств 104 памяти, один или более интерфейсов 106, одно или более запоминающих устройств 108 большой емкости, одно или более устройств 110 ввода/вывода (I/O) и устройство 130 отображения, все из которых подключены к шине 112. Процессор/процессоры 102 включает/включают в себя один или более процессоров или контроллеров, которые исполняют инструкции, сохраненные в устройстве/устройствах 104 памяти и/или запоминающем устройстве/устройствах 108 большой емкости. Процессор/процессоры 102 также может/могут включать в себя различные типы компьютерных запоминающих носителей, например, кэш-память.

Устройство/устройства 104 памяти включает/включают в себя различные компьютерные запоминающие носители, такие как энергозависимое запоминающее устройство (например, запоминающее устройство 114 с произвольным доступом (RAM)) и/или энергонезависимое запоминающее устройство (например, постоянное запоминающее устройство (ROM) 116). Устройство/устройства 104 памяти также может/могут включать в себя перезаписываемое ROM, например, флэш-память.

Запоминающее устройство/устройства 108 большой емкости включает/включают в себя различные компьютерные запоминающие носители, такие как магнитные ленты, магнитные диски, оптические диски, твердотельная память (например, флэш-память) и т.д. Как изображено на Фигуре 1, конкретное запоминающее устройство большой емкости представляет собой накопитель 124 на жестких дисках. Различные накопители также могут быть включены в запоминающее устройство/устройства 108 большой емкости для обеспечения чтения и/или записи на различные считываемые компьютером носители. Запоминающее устройство/устройства 108 большой емкости включает/включают в себя съемный носитель 126 и/или несъемный носитель.

Устройство/устройства 110 ввода/вывода (I/O) включает/включают в себя различные устройства, которые позволяют ввод или извлечение данных и/или другой информации в/из вычислительного устройства 100. Примерные устройства 110 ввода/вывода включают в себя устройства управления указателем, клавиатуры, клавишные панели, сканеры штрихкодов, микрофоны, мониторы или другие устройства отображения, динамики, принтеры, карты сетевых интерфейсов, модемы, камеры, объективы, радиолокаторы, CCD или другие устройства захвата изображений и т.п.

Устройство 130 отображения включает в себя устройство любого типа, выполненное с возможностью отображения информации одному или более пользователям вычислительного устройства 100. Примеры устройства 130 отображения включают в себя монитор, терминал с дисплеем, видеопроектор и т.п.

Интерфейс/интерфейсы 106 включает/включают в себя различные интерфейсы, которые обеспечивают взаимодействие вычислительного устройства 100 с другими системами, устройствами или вычислительными средами, а также людьми. Примерные интерфейсы 106 могут включать в себя любое количество различных сетевых интерфейсов 120, таких как интерфейсы для персональных сетей (PAN), локальных сетей (LAN), глобальных сетей (WAN), беспроводных сетей (например, сетей коммуникации ближнего поля (NFC), Bluetooth, Wi-Fi и т.д.) и интернета. Другие интерфейсы включают в себя пользовательский интерфейс 118 и интерфейс 122 периферийных устройств.

Шина 112 обеспечивает связь процессора/процессоров 102, устройства/устройств 104 памяти, интерфейса/интерфейсов 106, запоминающего устройства/устройств 108 большой емкости и устройства/устройств 110 ввода/вывода друг с другом, а также с другими устройствами или компонентами, подключенными к шине 112. Шина 112 представляет один или более из различных типов структур шины, таких как системная шина, шина PCI, шина IEEE 1394, USB-шина и т.д.

Фигура 2 иллюстрирует примерную среду 200, которая обеспечивает обнаружение физических угроз, приближающихся к транспортному средству. Среда 200 включает в себя транспортное средство 201, такое как, например, легковой автомобиль, грузовой автомобиль, автобус или мотоцикл. Транспортное средство 201 может вмещать водителя (не показан) и, возможно, одного или более других пассажиров (не показаны). Транспортное средство 201 может включать в себя множество дверей (например, две двери или четыре двери). Среда 200 также включает в себя приближающийся объект 221, такой как, например, человек, животное, объект, переносимый человеком, и т.д.

Транспортное средство 201 включает в себя внешние датчики 202, фильтр 207, нейронную сеть 208, дисплей 209, модуль 211 реагирования и компоненты 213 транспортного средства. Внешние датчики 202 установлены снаружи на транспортном средстве 201. Внешние датчики 202 включают в себя камеру/камеры 203, радиолокационный датчик/датчики 204 и ультразвуковой датчик/датчики 206. Внешние датчики 202 также могут включать в себя датчики других типов (не показаны), такие как, например, акустические датчики, лидарные датчики и электромагнитные датчики. Внешние датчики 202 могут отслеживать объекты вблизи транспортного средства 201. Внешние датчики 202 могут выводить данные датчиков, указывающие положение и оптический поток (т.е. направление и скорость) отслеживаемых объектов. На основе данных датчиков транспортное средство 201 может определять, приближается ли объект к транспортному средству 201.

Фильтр 207 (например, фильтр Калмана, многочастичный фильтр и т.д.) может иметь доступ к данным датчиков, выводимым внешними датчиками 202. Фильтр 207 может формировать отфильтрованные данные датчиков путем сохранения данных датчиков для объектов, которые приближаются к транспортному средству 201, и отфильтровывания данных датчиков для объектов, которые не приближаются к транспортному средству 201. Данные датчиков для объектов, не приближающихся к транспортному средству 201 (например, объектов, имеющих траекторию, которая вряд ли пересечется с транспортным средством 201), могут быть проигнорированы. Данные датчиков для объектов, приближающихся к транспортному средству 201, могут быть переданы в модуль 208 нейронной сети.

Модуль 208 нейронной сети может принимать отфильтрованные данные датчиков для объектов, приближающихся к транспортному средству 201. Модуль 208 нейронной сети может обрабатывать данные датчиков для каждого приближающегося объекта для определения вероятности того, что объект представляет угрозу для водителя и/или пассажиров транспортного средства 201. Модуль 208 нейронной сети может классифицировать каждый приближающийся объект как представляющий угрозу или не представляющий угрозу объект. Альтернативно модуль 208 нейронной сети может вычислять вероятность угрозы для каждого приближающегося объекта.

Модуль 208 нейронной сети может включать в себя нейронную сеть с архитектурой в соответствии с многослойной (или «глубокой») моделью. Многослойная модель нейронной сети может включать в себя входной слой, множество скрытых слоев и выходной слой. Многослойная модель нейронной сети также может включать в себя слой потерь. Для классификации данных датчиков (например, изображения) значения в данных датчиков (например, значения пикселей) назначаются входным узлам и затем передаются через множество скрытых слоев нейронной сети. Множество скрытых слоев может выполнять ряд нелинейных преобразований. В конце преобразований выходной узел выдает значение, которое соответствует классификации (например, представляет угрозу или не представляет угрозу), выведенную нейронной сетью.

Нейронная сеть может быть обучена определению различий между необходимыми классификациями, такими как, например, не представляющие угрозу люди, люди в маске, люди с ножом, люди с пистолетом и другие потенциальные угрозы. Нейронная сеть может быть обучена обнаружению и отслеживанию обычных пешеходов для определения, приближаются ли они к транспортному средству 201, и с какой скоростью. Нейронная сеть также может быть обучена обнаружению, приближается ли множество людей к транспортному средству 201, и разграничению между угрозами и отсутствием угроз.

Классификации объектов (и/или вероятности угроз) для приближающихся объектов могут быть представлены на дисплее 209. Даже когда приближающийся объект не представляет угрозы, водитель и/или пассажиры транспортного средства могут иметь необходимость узнать о приближающемся объекте. Классификации объектов для приближающихся объектов (и/или вероятности угроз) также могут быть переданы в модуль 211 реагирования. На основе классификации (и/или вероятности угрозы) для приближающегося объекта модуль 211 реагирования может побуждать транспортное средство 201 к реагированию определенным образом.

Например, если приближающийся объект классифицирован как угроза, и/или вероятность угрозы для приближающегося объекта выше порогового значения, модуль 212 принятия контрмер может активировать контрмеры в отношении приближающегося объекта. Модуль 212 принятия контрмер может инструктировать камеру/камеры 203 для записи приближающегося объекта. Модуль 212 принятия контрмер также может преобразовывать конфигурацию компонентов 213 транспортного средства, например, осуществлять блокировку дверей транспортного средства 201, активацию клаксона транспортного средства 201, мигание передних фар и задних фонарей транспортного средства 201, воспроизведение звукового предупреждения в кабине транспортного средства 201, автоматическое совершение телефонного звонка в 911 и т.д. Если транспортное средство 201 включает в себя возможность автономного вождения, модуль 212 принятия контрмер может побуждать транспортное средство 201 к отъезду на расстояние от приближающегося объекта (возможно, в сочетании с другими контрмерами).

Компоненты транспортного средства 201 могут быть связаны друг с другом по сети (или быть частью сети), такой как, например, PAN, LAN, WAN, шина локальной сети контроллеров (CAN) и даже интернет. Соответственно компоненты транспортного средства 201, а также любые другие подключенные компьютерные системы и их компоненты могут создавать связанное с данными сообщение и обмениваться связанным с данными сообщением (например, нагрузки коммуникации ближнего поля (NFC), пакеты Bluetooth, датаграммы протокола интернет (IP) и другие протоколы более высокого уровня, которые используют IP-датаграммы, такие как, протокол управления передачей (TCP), протокол передачи гипертекста (HTTP), простой протокол передачи почты (SMTP) и т.д.) по сети.

Транспортное средство 201 может включать в себя гетерогенную вычислительную платформу с процессорами множества разных типов и в разном количестве. Например, гетерогенная вычислительная платформа может включать в себя по меньшей мере один центральный блок обработки (CPU), по меньшей мере один графический блок обработки (GPU) и по меньшей мере одну программируемую пользователем вентильную матрицу (FPGA). Аспекты изобретения могут быть реализованы в процессорах разных типов и разного количества.

Фигура 3 иллюстрирует блок-схему последовательности операций примерного способа 300 обнаружения физических угроз, приближающихся к транспортному средству. Способ 300 будет описан в отношении компонентов и данных компьютерной архитектуры 200.

Способ 300 включает в себя этап, на котором определяют, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства (301). Например, транспортное средство 201 может определять, что траектория приближающегося объекта 221, вероятно, приведет к перемещению приближающегося объекта 221 вблизи транспортного средства 201.

Определение того, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства, включает в себя этап, на котором используют один или более датчиков, установленных на транспортном средстве, для отслеживания области вблизи транспортного средства на наличие приближающихся объектов (302). Например, внешние датчики 202 могут отслеживать область 231 на наличие приближающихся объектов. В одном аспекте область 231 представляет собой область, проходящую на 360 градусов вокруг транспортного средства 201. При отслеживании области 231 внешние датчики 202 могут генерировать данные 222 датчиков на основе распознавания объектов в области 231. Данные 222 датчиков могут включать в себя оптический поток (т.е. скорость и направление) приближающегося объекта 221 (а также оптический поток любых других объектов в пределах области 231).

Определение того, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства, включает в себя этап, на котором фильтруют данные от одного или более датчиков на гетерогенной вычислительной платформе в транспортном средстве для определения, что объект имеет скорость и направление, указывающие приближение объекта к пространству, занимаемому транспортным средством (303). Например, фильтр 207 может фильтровать данные 222 датчиков, получая отфильтрованные данные 223 датчиков. Отфильтрованные данные 223 датчиков включают в себя данные датчиков для любых объектов, имеющих оптический поток (например, скорость и направление), указывающий приближение объекта к пространству, занимаемому транспортным средством 201. Например, отфильтрованные данные 223 датчиков могут включать в себя скорость и направление приближающегося объекта 221. Скорость и направление приближающегося объекта 221 могут указывать, что траектория приближающегося объекта 221, вероятно, пересечет пространство, занимаемое транспортным средством 201.

Способ 300 включает в себя этап, на котором предоставляют отфильтрованные данные для приближающегося объекта в качестве входных данных в нейронную сеть (304). Например, фильтр 207 может предоставлять отфильтрованные данные 223 датчиков в качестве входных данных в модуль 208 нейронной сети. Модуль 208 нейронной сети может обрабатывать отфильтрованные данные 223 датчиков для вывода классификации 224 объекта (например, представляющий угрозу или не представляющий угрозы) для приближающегося объекта 221. Модуль 208 нейронной сети также может обрабатывать отфильтрованные данные 223 датчиков для вывода классификаций для других объектов, приближающихся к транспортному средству 201. Классификация 224 объекта может быть передана на дисплей 209 и в модуль 211 реагирования.

Способ 300 включает в себя этап, на котором принимают классификацию угрозы для приближающегося объекта от нейронной сети (305). Например, дисплей 209 и модуль 211 реагирования могут принимать классификацию 224 для приближающегося объекта 221. Дисплей 209 может представлять классификацию 224 объекта водителю и/или пассажирам транспортного средства 201 для указания: (a) что приближающийся объект 221 приближается к транспортному средству 201, и (b) представляет ли приближающийся объект 221 угрозу. На основе классификации 224 объекта модуль 211 реагирования может инициировать или может не инициировать реакцию. Если классификация 224 объекта указывает, что приближающийся объект 221 не представляет угрозы (например, приближающийся объект 221 классифицирован как не представляющий опасности пешеход), модуль 211 реагирования может не предпринимать никакого дальнейшего действия.

С другой стороны, если классификация 224 объекта указывает, что приближающийся объект 221 представляет угрозу (например, приближающийся объект 221 классифицирован как человек в маске и/или с оружием), модуль 211 реагирования может инструктировать модуль 212 принятия контрмер инициировать одну или более контрмеру в отношении угрозы. В ответ модуль 212 принятия контрмер может подавать команду 227 записи камере/камерам 203. Команда 227 записи инструктирует камеру/камеры 203 записывать приближение приближающегося объекта 221. Модуль 212 принятия контрмер также может подавать команды 226 принятия контрмер компонентам 213 транспортного средства. Команды 226 принятия контрмер могут инструктировать компоненты 213 транспортного средства принимать одну или более контрмер, в отношении угрозы, создаваемой приближающимся объектом 221. Контрмеры могут включать в себя блокировку дверей транспортного средства 201, активацию клаксона транспортного средства 201, мигание передних фар и/или задних фонарей транспортного средства 201, воспроизведение звукового предупреждения в кабине транспортного средства 201, автоматическое осуществление телефонного звонка в 911 и т.д. Если транспортное средство 201 включает в себя возможность автономного вождения, модуль 212 принятия контрмер может побуждать транспортное средство 201 к отъезду на расстояние от приближающегося объекта 221 (возможно, в сочетании с другими контрмерами).

Аспекты изобретения полезны как для гражданских лиц, так и для сотрудников служб оперативного реагирования. Гражданские лица и сотрудники служб оперативного реагирования могут осуществлять деятельность в кабине транспортного средства, не связанную с вождением. Эта деятельность может требовать достаточного внимания так, что они не могут одновременно выполнять деятельность и следить за приближающимися объектами вблизи транспортного средства. Например, гражданский водитель может съехать на обочину и припарковать транспортное средство для просмотра карты. Во время просмотра карты водитель может быть предупрежден о приближающемся человеке в маске. Подобным образом сотрудник полиции может припарковаться для составления протокола. Во время составления протокола сотрудник полиции может быть предупрежден о приближающемся человеке с оружием.

Фигуры 4A и 4B иллюстрируют пример транспортного средства 401, активирующего контрмеры в ответ на приближающуюся угрозу. Как изображено на Фигуре 4A, человек 411 приближается к транспортному средству 401. Камера 406 (камера кругового обзора) может захватывать изображение человека 411. Нейронная сеть в транспортном средстве 401 может обрабатывать изображение для классификации человека 411 как угрозы. Обратимся к Фигуре 4B, в ответ на классификацию человека 411 как угрозы транспортное средство 401 может активировать дверные замки 403 и мигание передних фар 402 и задних фонарей 404.

В одном аспекте один или более процессоров выполнены с возможностью исполнения инструкций (например, считываемых компьютером инструкций, исполняемых компьютером инструкций и т.д.) для выполнения любой из множества описанных операций. Один или более процессоров могут иметь доступ к информации из системной памяти и/или могут сохранять информацию в системной памяти. Один или более процессоров могут преобразовывать информацию между различными форматами, такими как, например, данные датчиков, отфильтрованные данные датчиков, классификации объектов, команды принятия контрмер и т.д.

Системная память может быть связана с одним или более процессорами и может хранить инструкции (например, считываемые компьютером инструкции, исполняемые компьютером инструкции и т.д.), исполняемые одним или более процессорами. Системная память также может быть выполнена с возможностью хранения любого из множества различных типов данных, генерируемых описанными компонентами, таких как, например, данные датчиков, отфильтрованные данные датчиков, классификации объектов, команды принятия контрмер и т.д.

В вышеизложенном описании сделана ссылка на сопровождающие чертежи, которые образуют его часть, и на которых путем иллюстрации показаны конкретные реализации, в соответствии с которыми изобретение может быть осуществлено на практике. Следует понимать, что могут быть использованы другие реализации, и могут быть выполнены изменения без отклонения от объема охраны настоящего изобретения. Ссылки в описании на «один вариант выполнения», «вариант выполнения», «примерный вариант выполнения» и т.д. указывают, что описанный вариант выполнения может включать в себя конкретный признак, структуру или характеристику, но каждый вариант выполнения необязательно включает в себя конкретный признак, структуру или характеристику. Кроме того, такие фразы необязательно ссылаются на один и тот же вариант выполнения. Дополнительно, при описании конкретного признака, структуры или характеристики в связи с вариантом выполнения предполагается, что они находятся в пределах знания специалиста в области техники для осуществления такого признака, структуры или характеристики в связи с другими вариантами выполнения, описанными или нет в явной форме.

Реализации раскрытых в настоящем документе систем, устройств и способов могут содержать или использовать компьютер специального назначения или общего назначения, включающий в себя компьютерное аппаратное обеспечение, такое как, например, один или более процессоров и системная память, которые рассмотрены в настоящем документе. Реализации в пределах объема настоящего изобретения также могут включать в себя физический и другой считываемый компьютером носитель для переноса или хранения исполняемых компьютером инструкций и/или структур данных. Такие считываемые компьютером носители могут представлять собой любые доступные носители, к которым может быть получен доступ посредством компьютерной системы общего назначения или специального назначения. Считываемые компьютером носители, которые хранят исполняемые компьютером инструкции, представляют собой компьютерные запоминающие носители (устройства). Считываемые компьютером носители, которые переносят исполняемые компьютером инструкции, представляют собой среду передачи данных. Таким образом, путем примера и без ограничения варианты выполнения изобретения могут содержать по меньшей мере два совершенно разных вида считываемых компьютером носителей: компьютерные запоминающие носители (устройства) и среду передачи данных.

Компьютерные запоминающие носители (устройства) включают в себя RAM, ROM, EEPROM, CD-ROM, твердотельные накопители («SSD») (например, на основе RAM), флэш-память, память с изменением фазового состояния («PCM»), другие типы памяти, другие запоминающие устройства на оптических дисках, запоминающие устройства на магнитных дисках или другие магнитные запоминающие устройства, или любые другие носители, которые могут быть использованы для хранения требуемого средства программного кода в виде исполняемых компьютером инструкций или структур данных, и к которым может быть получен доступ посредством компьютера общего назначения или специального назначения.

Реализация раскрытых в настоящем документе устройств, систем и способов может осуществлять связь через компьютерную сеть. «Сеть» определена как один или более каналов передачи данных, которые позволяют передачу электронных данных между компьютерными системами и/или модулями и/или другими электронными устройствами. При передаче или предоставлении информации через сеть или другое коммуникационное соединение (проводное, беспроводное или сочетание проводного или беспроводного) в компьютер, компьютер рассматривает соединение как среду передачи данных. Среда передачи данных может включать в себя сеть и/или каналы передачи данных, которые могут быть использованы для переноса требуемого средства программного кода в виде исполняемых компьютером инструкций или структур данных, и к которым может быть получен доступ посредством компьютера общего назначения или специального назначения. Сочетания вышеописанных средств также должны быть включены в пределы объема охраны считываемого компьютером носителя.

Исполняемые компьютером инструкции содержат, например, инструкции и данные, которые при исполнении в процессоре побуждают компьютер общего назначения, компьютер специального назначения или устройство обработки специального назначения к выполнению некоторой функции или группы функций. Исполняемые компьютером инструкции могут представлять собой, например, двоичные коды, инструкции промежуточного формата, такие как язык ассемблера, или даже исходный код. Хотя объект описан языком, характерным для структурных признаков и/или методологических действий, следует понимать, что объект, определяемый приложенной формулой изобретения, необязательно ограничен описанными выше признаками или действиями. Наоборот, описанные признаки и действия раскрыты в качестве примерных форм реализации формулы изобретения.

Специалисту в области техники будет понятно, что изобретение может быть осуществлено на практике в сетевых вычислительных средах с множеством типов конфигураций компьютерных систем, включая компьютер на приборной панели или другой компьютер транспортного средства, персональные компьютеры, настольные компьютеры, переносные компьютеры, процессоры обработки сообщений, портативные устройства, многопроцессорные системы, микропроцессорную или программируемую бытовую электронику, сетевые персональные компьютеры, миникомпьютеры, большие электронно-вычислительные машины, мобильные телефоны, карманные персональные компьютеры, планшетные компьютеры, пейджеры, маршрутизаторы, переключатели, различные запоминающие устройства и т.п. Изобретение также может быть осуществлено на практике в распределенных системных средах, в которых и локальные, и удаленные компьютерные системы, которые связаны (проводными каналами передачи данных, беспроводными каналами передачи данных или сочетанием проводных и беспроводных каналов передачи данных) по сети, выполняют задачи. В распределенной системной среде программные модули могут быть расположены как в локальных, так и в удаленных запоминающих устройствах.

Дополнительно, при необходимости, описанные в настоящем документе функции могут быть выполнены в одном или более элементов из: аппаратного обеспечения, программного обеспечения, аппаратно-программного обеспечения, цифровых компонентов или аналоговых компонентов. Например, одна или более интегральных схем специального назначения (ASIC) могут быть запрограммированы с возможностью выполнения одной или более описанных в настоящем документе систем и процедур. Определенные термины используются во всем описании и формуле изобретения для обозначения конкретных системных компонентов. Как будет понятно специалисту в области техники, компоненты могут быть названы разными названиями. Настоящий документ не предусматривает различие между компонентами, которые отличаются по названию, а не по функции.

Следует отметить, что рассмотренные выше варианты выполнения датчиков могут содержать компьютерное аппаратное обеспечение, программное обеспечение, аппаратно-программное обеспечение или любое их сочетание для выполнения по меньшей мере части их функций. Например, датчик может включать в себя компьютерный код, выполненный с возможностью исполнения в одном или более процессорах, и может включать в себя аппаратную логику/электрическую схему, управляемую компьютерным кодом. Эти примерные устройства обеспечены в настоящем документе в целях иллюстрации и не предназначены для ограничения. Варианты выполнения настоящего изобретения могут быть реализованы в дополнительных типах устройств, которые должны быть известны специалисту в области техники.

По меньшей мере некоторые варианты выполнения изобретения направлены на компьютерные программные продукты, содержащие такую логику (например, в форме программного обеспечения), сохраненную на любом используемом компьютером носителе. Такое программное обеспечение при исполнении в одном или более устройствах обработки данных побуждает устройство работать так, как описано в настоящем документе.

Хотя выше описаны различные варианты выполнения настоящего изобретения, следует понимать, что они представлены исключительно путем примера и без ограничения. Специалисту в области техники будет понятно, что различные изменения в форме и деталях могут быть выполнены без отклонения от замысла и объема охраны изобретения. Таким образом, широта и объем охраны настоящего изобретения не должны быть ограничены каким-либо из вышеописанных примерных вариантов выполнения, а должны быть определены только в соответствии со следующей далее формулой изобретения и ее эквивалентами. Вышеприведенное описание представлено в целях иллюстрации и описания. Оно не предназначено быть исчерпывающим или ограничивающим изобретение точными раскрытыми формами. Многие модификации и изменения возможны в свете вышеприведенного замысла. Дополнительно, следует отметить, что любая или все из вышеупомянутых альтернативных реализаций могут быть использованы в любом требуемом сочетании для образования дополнительных гибридных реализаций изобретения.

Настоящее изобретение относится к обнаружению физических угроз, приближающихся к транспортному средству. Внешние датчики на транспортном средстве охватывают среду вокруг транспортного средства. Приближающиеся цели, обнаруженные внешними датчиками, могут быть переданы в нейронную сеть для распознавания и/или классификации приближающихся целей как потенциальных угроз. Механизмы отслеживания могут использовать временную информацию для определения, приближается ли угроза к транспортному средству. При обнаружении приближающейся угрозы транспортное средство может активировать одну или более контрмер. Если транспортное средство включает в себя возможность автономного вождения, контрмеры могут включать в себя автоматическое осуществление попытки отъезда на расстояние от приближающейся угрозы. Обеспечивается помощь водителю для определения опасности или угрозы приближающийся к транспортному средству. 3 н. и 17 з.п. ф-лы, 5 ил.

1. Способ обнаружения физических угроз, приближающихся к транспортному средству, причем способ содержит этапы, на которых:

определяют, что траектория первого объекта, вероятно, приведет первый объект и соответствующий второй объект к перемещению вблизи транспортного средства, на основе отфильтрованных данных датчиков от одного или более датчиков, установленных снаружи на транспортном средстве;

предоставляют отфильтрованные данные датчиков в качестве входных данных в нейронную сеть;

принимают классификацию угрозы от нейронной сети, классифицирующую первый объект и соответствующий второй объект, совместно, как угрозу не от транспортного средства для пассажира транспортного средства;

указывают классификацию угрозы в кабине транспортного средства; и

автоматически маневрируют транспортным средством, чтобы отвести его от первого объекта и второго объекта.

2. Способ по п. 1, в котором прием классификации угрозы содержит этап, на котором принимают указание, что первый объект является человеком и соответствующий второй объект является оружием, которым владеет человек.

3. Способ по п. 1, в котором прием классификации угрозы содержит этап, на котором принимают указание о приближении оружия к транспортному средству.

4. Способ по п. 1, в котором прием классификации угрозы содержит этап, на котором принимают указание, что первый объект является человеком и соответствующий второй объект является маской, надетой на человека.

5. Способ по п. 1, содержащий также этап, на котором активируют контрмеры для отпугивания угрозы, исходящей не от транспортного средства.

6. Способ по п. 1, в котором прием классификации угрозы содержит этап, на котором принимают указание, что первый объект является собакой и соответствующий второй объект является зубами собаки.

7. Способ по п. 1, содержащий также этап, на котором автоматически активируют контрмеры в транспортном средстве, включающие в себя одно или более из: записи первого объекта, блокировки дверей транспортного средства, совершение телефонного звонка в службы экстренной помощи, воспроизведения звукового предупреждения в кабине транспортного средства, обеспечения звука клаксона транспортного средства или мигания огней транспортного средства.

8. Способ обнаружения физических угроз, приближающихся к транспортному средству, причем способ содержит этапы, на которых:

определяют, что траектория объекта, вероятно, приведет к перемещению объекта вблизи транспортного средства, что включает в себя этапы, на которых:

используют один или более датчиков, установленных на транспортном средстве, для отслеживания области вблизи транспортного средства на наличие приближающихся объектов; и

фильтруют данные от одного или более датчиков на гетерогенной вычислительной платформе в транспортном средстве для определения, что объект имеет скорость и направление, указывающие приближение объекта к пространству, занимаемому транспортным средством;

предоставляют отфильтрованные данные для приближающегося объекта в качестве входных данных в нейронную сеть;

принимают указание от нейронной сети, что приближающийся объект и второй объект, связанный с приближающимся объектом, совместно, представляет угрозу не от транспортного средства для пассажира транспортного средства, на основании, по меньшей мере частично, идентификации второго объекта; и

активируют контрмеры в транспортном средстве в отношении угрозы, исходящей не от транспортного средства, включающие в себя автоматическое осуществление попытки маневрирования транспортным средством, чтобы отвести в сторону пассажира транспортного средства от обоих и приближающегося объекта и второго объекта.

9. Способ по п. 8, в котором активизация контрмер в транспортном средстве в отношении угрозы, исходящей не от транспортного средства, содержит автоматическое совершение телефонного звонка в службы экстренной помощи.

10. Способ по п. 8, в котором прием указания от нейронной сети, что приближающийся объект и второй объект, связанный с приближающимся объектом, совместно, представляет угрозу не от транспортного средства содержит этап, на котором принимают вероятность угрозы от нейронной сети.

11. Способ по п. 8, в котором использование одного или более датчиков, установленных на транспортном средстве, для отслеживания области вблизи транспортного средства на наличие приближающихся объектов содержит использование по меньшей мере двух из: камеры, лидарного датчика и звукового датчика обнаружения объектов, для отслеживания области вблизи транспортного средства на наличие приближающихся объектов.

12. Способ по п. 11, в котором фильтрация данных от одного или более датчиков на гетерогенной вычислительной платформе содержит фильтрацию данных от множества датчиков на по меньшей мере двух из: центральном блоке обработки (CPU), графическом блоке обработки (GPU) и программируемой пользователем вентильной матрице (FPGA) в транспортном средстве.

13. Способ по п. 8, в котором фильтрация данных от одного или более датчиков содержит фильтрацию данных, используя один или более из: фильтр Калмана и многочастичный фильтр.

14. Способ по п. 8, в котором фильтрация данных от одного или более датчиков содержит определение оптического потока угрозы, исходящей не от транспортного средства.

15. Способ по п. 8, в котором прием указания от нейронной сети о том, что приближающийся объект и второй объект, связанный с приближающимся объектом, совместно, представляет угрозу не от транспортного средства для пассажира транспортного средства, содержит этап, на котором принимают указание, что приближающийся объект является человеком, а связанный с ним второй объект представляет собой одно из: оружие, которым вооружен человек, или маску, надетую на человека.

16. Способ по п. 8 в котором активация контрмер в транспортном средстве содержит активацию контрмер, включающих в себя одно или более из: записи приближающегося объекта, блокировки дверей транспортного средства, воспроизведения звукового предупреждения в кабине транспортного средства, обеспечения звука клаксона транспортного средства или мигания огней транспортного средства.

17. Транспортное средство, содержащее:

один или более установленных снаружи датчиков для отслеживания области вблизи транспортного средства;

один или более процессоров;

системную память, соединенную с одним или более процессорами, причем системная память хранит инструкции, исполняемые одним или более процессорами;

причем один или более процессоров выполнены с возможностью исполнения инструкций, сохраненных в системной памяти, для:

определения, что траектория объекта, вероятно, приведет этот объект и соответствующий второй объект к перемещению вблизи транспортного средства, включающего в себя:

использование одного или более установленных снаружи датчиков для отслеживания области вблизи транспортного средства на наличие приближающихся объектов; и

фильтрацию данных от одного или более датчиков для определения, что объект имеет скорость и направление, указывающие приближение объекта к пространству, занимаемому транспортным средством;

предоставление отфильтрованных данных в качестве входных данных в нейронную сеть;

прием вероятности угрозы от нейронной сети, указывающей вероятность того, что объект и второй объект, совместно, представляют собой угрозу, исходящую не от транспортного средства, для пассажира транспортного средства; и

управление одним или более компонентами транспортного средства, при этом один или более компоненты транспортного средства маневрируют транспортным средством чтобы отвести его в сторону от обоих и объекта и второго объекта.

18. Транспортное средство по п. 17, в котором один или более установленных снаружи датчиков включают в себя одно или более из: камеры, лидарного датчика, радиолокационного датчика и ультразвукового датчика.

19. Транспортное средство по п. 17, в котором один или более процессоров, выполненных с возможностью исполнения инструкций для приема указания от нейронной сети о том, что приближающийся объект представляет угрозу, исходящую не от транспортного средства, для пассажиров транспортного средства содержат один или более процессоров, выполненных с возможностью исполнения инструкций для приема указания, что приближающийся объект является человеком, а связанный с ним второй объект представляет собой одно из: оружия, которым вооружен человек, или маски, надетой на человека.

20. Транспортное средство по п. 17, в котором один или более процессоров, выполненных с возможностью исполнения инструкций для активации контрмер в транспортном средстве, содержат один или более процессоров, выполненных с возможностью исполнения инструкций для активации контрмер, включающих в себя одно или более из: записи приближающегося объекта, блокировки дверей транспортного средства, воспроизведения звукового предупреждения в кабине транспортного средства, обеспечения звука клаксона транспортного средства или мигания огней транспортного средства.