ОБНАРУЖЕНИЕ ПЕШЕХОДОВ, КОГДА ТРАНСПОРТНОЕ СРЕДСТВО ДВИЖЕТСЯ ЗАДНИМ ХОДОМ Российский патент 2019 года по МПК G08G1/16 B60R21/134 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее раскрытие, в общем, относится к безопасности дорожного движения и, в частности, к обнаружению движущихся объектов, когда транспортное средство движется в направлении назад.

УРОВЕНЬ ТЕХНИКИ

[0002] Различные технологии применяются в моторных транспортных средствах (далее «транспортные средства»), продаваемых на рынке сегодня, для повышения безопасности и/или обеспечения удобства для водителя. В качестве примера, некоторые транспортные средства оборудованы камерой заднего вида, которая обеспечивает вид сзади от транспортного средства так, чтобы содействовать водителю при движении задним ходом транспортного средства. Видеоизображение вида сзади может отображаться на устройстве отображения в передней панели транспортного средства и, таким образом, водитель может видеть, что находится сзади транспортного средства, без необходимости поворачивать его/ее голову в направлении назад транспортного средства. Однако камера заднего вида обычно используется для движения назад, и транспортное средство имеет небольшую или вообще не имеет способности автоматически обнаруживать движущиеся объекты, такие как пешеходы, велосипедисты, катающиеся на роликовых коньках, скейтбордисты, передвигающиеся в инвалидных креслах, или любой другой тип движущихся людей (далее в общем называемых «движущиеся объекты»).

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Предлагается способ, содержащий: идентификацию исследуемой области, когда транспортное средство движется в направлении назад; обнаружение движущегося объекта в исследуемой области; определение, является ли вероятным столкновение транспортного средства, движущегося в направлении назад, с движущимся объектом; и обеспечение воспринимаемого человеком сигнала в ответ на определение того, что столкновение является вероятным. Причем идентификация исследуемой области содержит локализацию исследуемой области с использованием одного или более изображений, захваченных камерой заднего вида, в дополнение к данным истории вождения, одной или более цифровым картам, данным глобальной системы позиционирования (GPS), данным от одного или более подключенных по беспроводной связи устройств, данным от одного или более подключенных по беспроводной связи датчиков или их любому сочетанию. Причем идентификация исследуемой области дополнительно содержит уточнение локализованной исследуемой области с использованием датчика обнаружения и определения дальности с помощью света (лидарного датчика), радарного датчика, ультразвукового датчика или их любого сочетания. Причем обнаружение движущегося объекта в исследуемой области содержит анализ одного или более изображений, захваченных камерой заднего вида, с использованием алгоритма машинного обучения. Причем алгоритм машинного обучения содержит глубокую нейронную сеть. Причем определение, является ли вероятным столкновение транспортного средства, движущегося в направлении назад, с движущимся объектом, содержит: отслеживание движения движущегося объекта; отслеживание расстояния между движущимся объектом и транспортным средством; определение траектории транспортного средства; и определение, является ли вероятным столкновение транспортного средства с движущимся объектом, на основе движения движущегося объекта, расстояния между движущимся объектом и транспортным средством и траектории транспортного средства. Причем обеспечение воспринимаемого человеком сигнала содержит: обеспечение воспринимаемого человеком сигнала, который содержит звуковой сигнал и/или визуальный сигнал; отслеживание расстояния между движущимся объектом и транспортным средством; и изменение одного или более аспектов воспринимаемого человеком сигнала в ответ на изменение расстояния между движущимся объектом и транспортным средством. Причем отслеживание расстояния между движущимся объектом и транспортным средством содержит отслеживание расстояния между движущимся объектом и транспортным средством с использованием информации об одном или более из угла поворота рулевого колеса транспортного средства, скорости транспортного средства и текущего расстояния между движущимся объектом и транспортным средством с использованием камеры заднего вида, датчика обнаружения и определения дальности с помощью света (лидарного датчика), радарного датчика, ультразвукового датчика или их любого сочетания. Причем изменение одного или более аспектов воспринимаемого человеком сигнала содержит: изменение одного или более из тона, частоты и громкости воспринимаемого человеком сигнала, когда воспринимаемый человеком сигнал содержит звуковой сигнал; и изменение одного или более из цвета, яркости и частоты воспринимаемого человеком сигнала, когда воспринимаемый человеком сигнал содержит визуальный сигнал. Причем способ дополнительно содержит: отображение вида сверху окружения транспортного средства для показа транспортного средства и движущегося объекта; и выделение движущегося объекта при отображении вида сверху.

Также предлагается приспособление, осуществляемое в транспортном средстве, содержащее: камеру, выполненную с возможностью захвата одного или болей изображений в направлении назад в отношении транспортного средства; и один или более процессоров, функционально соединенных с камерой, причем один или более процессоров выполнены с возможностью выполнения операций, содержащих: идентификацию, по меньшей мере частично на основе одного или более изображений, исследуемой области, когда транспортное средство движется в направлении назад; обнаружение движущегося объекта в исследуемой области; определение, является ли вероятным столкновение транспортного средства, движущегося в направлении назад, с движущимся объектом; и обеспечение воспринимаемого человеком сигнала в ответ на определение того, что столкновение является вероятным. Причем при идентификации исследуемой области один или более процессоров выполнены с возможностью локализации исследуемой области с использованием одного или более изображений, захваченных камерой, в дополнение к данным истории вождения, одной или более цифровым картам, данным глобальной системы позиционирования (GPS), данным от одного или более подключенных по беспроводной связи устройств, данным от одного или более подключенных по беспроводной связи датчиков или их любому сочетанию. Причем приспособление дополнительно содержит: один или более из датчика обнаружения и определения дальности с помощью света (лидарного датчика), радарного датчика и ультразвукового датчика, в котором при идентификации исследуемой области один или более процессоров дополнительно выполнены с возможностью уточнения локализованной исследуемой области с использованием одного или более из лидарного датчика, радарного датчика и ультразвукового датчика. Причем при обнаружении движущегося объекта в исследуемой области один или более процессоров выполнены с возможностью анализа одного или более изображений, захваченных камерой, с использованием алгоритма машинного обучения. Причем алгоритм машинного обучения содержит глубокую нейронную сеть. Причем при определении, является ли вероятным столкновение транспортного средства, движущегося в направлении назад, с движущимся объектом, один или более процессоров выполнены с возможностью выполнения операций, содержащих: отслеживание движения движущегося объекта; отслеживание расстояния между движущимся объектом и транспортным средством; определение траектории транспортного средства; и определение, является ли вероятным столкновение транспортного средства с движущимся объектом, на основе движения движущегося объекта, расстояния между движущимся объектом и транспортным средством и траектории транспортного средства. Причем при обеспечении воспринимаемого человеком сигнала один или более процессоров выполнены с возможностью выполнения операций, содержащих: обеспечение воспринимаемого человеком сигнала, который содержит звуковой сигнал и/или визуальный сигнал; отслеживание расстояния между движущимся объектом и транспортным средством; и изменение одного или более аспектов воспринимаемого человеком сигнала в ответ на изменение расстояния между движущимся объектом и транспортным средством. Причем при отслеживании расстояния между движущимся объектом и транспортным средством один или более процессоров выполнены с возможностью отслеживания расстояния между движущимся объектом и транспортным средством с использованием информации об одном или более из угла поворота рулевого колеса транспортного средства, скорости транспортного средства и текущего расстояния между движущимся объектом и транспортным средством с использованием камеры, датчика обнаружения и определения дальности с помощью света (лидарного датчика), радарного датчика, ультразвукового датчика или их любого сочетания. Причем при изменении одного или более аспектов воспринимаемого человеком сигнала один или более процессоров выполнены с возможностью выполнения операций, содержащих: изменение одного или более из тона, частоты и громкости воспринимаемого человеком сигнала, когда воспринимаемый человеком сигнал содержит звуковой сигнал; и изменение одного или более из цвета, яркости и частоты воспринимаемого человеком сигнала, когда воспринимаемый человеком сигнал содержит визуальный сигнал. Причем приспособление дополнительно содержит: устройство отображения, в котором один или более процессоров дополнительно выполнены с возможностью выполнения операций, содержащих: отображение на устройстве отображения вида сверху окружения транспортного средства для показа транспортного средства и движущегося объекта; и выделение на устройстве отображения движущегося объекта при отображении вида сверху.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0003] Неограничивающие и неисчерпывающие варианты выполнения настоящего раскрытия описаны со ссылкой на следующие фигуры, на которых одинаковые ссылочные позиции относятся к одинаковым частям на всех различных фигурах, если не определено иное.

[0004] Фиг. 1 представляет собой изображение, изображающее примерный сценарий, в котором могут быть использованы варианты выполнения в соответствии с настоящим раскрытием.

[0005] Фиг. 2 представляет собой изображение, изображающее примерное транспортное средство, в котором могут быть использованы варианты выполнения в соответствии с настоящим раскрытием.

[0006] Фиг. 3 представляет собой упрощенную блок-схему, изображающую примерное приспособление в соответствии с вариантом выполнения настоящего раскрытия.

[0007] Фиг. 4 представляет собой блок-схему последовательности операций, изображающую примерный процесс в соответствии с вариантом выполнения настоящего раскрытия.

ПОДРОБНОЕ ОПИСАНИЕ

[0008] В нижеследующем описании сделана ссылка на сопровождающие чертежи, которые образуют его часть, и на которых показаны посредством иллюстрации конкретные примерные варианты выполнения, в которых раскрытие может быть осуществлено на практике. Эти варианты выполнения описаны достаточно подробно, чтобы позволять специалистам в области техники осуществлять на практике идеи, раскрытые здесь, и следует понимать, что могут быть выполнены модификации различных раскрытых вариантов выполнения и могут быть использованы другие варианты выполнения без отклонения от объема настоящего раскрытия. Нижеследующее подробное описание в связи с этим не следует воспринимать в ограничивающем смысле.

[0009] Настоящее раскрытие обеспечивает систему, которая использует одну или более камер заднего вида транспортного средства для обнаружения пешеходов, когда транспортное средство движется задним ходом. Система включается, когда транспортное средство движется задним ходом, и отключается, когда транспортное средство не движется задним ходом (например, когда транспортное средство начинает двигаться вперед). Система может использовать одну или более камер заднего вида в сочетании с другими датчиками транспортного средства и данными транспортного средства для обнаружения пешеходов, которые могут находиться на пути движущегося задним ходом транспортного средства. Например, система может использовать данные об истории вождения, цифровые карты и/или данные глобальной системы позиционирования (GPS) для идентификации потенциальной исследуемой области (областей) (например, пешеходных дорожек или пешеходных переходов) на изображении (изображениях), захваченных одной или более камерами заднего вида. Система может обеспечивать захваченное изображение (изображения) исследуемой области (областей) в глубокую нейронную сеть для определения, может ли какой-либо движущийся объект находиться в исследуемой области (областях). Более того, система может осуществлять слияние изображений камер с данными обнаружения и определения дальности с помощью света (лидарными данными), радиолокационными данными и/или ультразвуковыми данными для дополнительного уточнения потенциальной исследуемой области (областей). Дополнительно или альтернативно, система может осуществлять слияние изображений камер с данными от подключенных по беспроводной связи устройств и/или данными от подключенных по беспроводной связи датчиков.

[0010] Когда один или более пешеходов и/или объектов идентифицированы в исследуемой области (областях), система отслеживает местоположение и движение каждого пешехода или объекта вместе с движением транспортного средства для определения вероятности столкновения между пешеходом/объектом и транспортным средством. Будущее движение транспортного средства может быть спрогнозировано с использованием информации о транспортном средстве, такой как угол поворота рулевого колеса и скорость транспортного средства. Система может генерировать звуковые тоны (слышимые водителю транспортного средства), которые изменяют громкость и частоту для указания, приближается ли пешеход или объект к транспортному средству или удаляется ли пешеход или объект от транспортного средства. Дополнительно или альтернативно, система может производить визуальные сигналы (видимые водителю транспортного средства), которые изменяют цвет, яркость и/или частоту мигания для указания, приближается ли пешеход/объект к транспортному средству или удаляется ли пешеход/объект от транспортного средства.

[0011] Варианты выполнения в соответствии с настоящим раскрытием значительно улучшают безопасность дорожного движения путем предупреждения водителя движущегося задним ходом транспортного средства о потенциальном столкновении с одним или более движущимися объектами в одной или более исследуемых областях. Технологии, способы, приспособления и системы согласно настоящему раскрытию могут быть осуществлены в управляемых вручную транспортных средствах, а также автономных транспортных средствах. В случае автономных транспортных средств различные варианты выполнения в соответствии с настоящим раскрытием могут быть обеспечены в качестве дополнительных мер безопасности для синтеза, увеличенного охвата и резервирования.

[0012] Фиг. 1 иллюстрирует примерный сценарий 100, в котором могут быть использованы варианты выполнения в соответствии с настоящим раскрытием. В сценарии 100 различные варианты выполнения и технологии, относящиеся к обнаружению движущихся объектов, могут быть осуществлены в примерном транспортном средстве 110. Транспортное средство 110 может выполнять различные действия, связанные с различными вариантами выполнения в соответствии с настоящим раскрытием, когда транспортное средство 110 движется задним ходом (например, на передаче заднего хода и/или движется в направлении назад).

[0013] Транспортное средство 110 может быть оборудовано камерой 112 заднего вида, которая может быть выполнена с возможностью захвата одного или более неподвижных изображений и/или одного или более видеоизображений в направлении назад в отношении транспортного средства 110. Транспортное средство 110 может использовать одно или более изображений, захваченных камерой 112, для идентификации одной или более исследуемых областей, таких как области 170(1)-170(3), когда транспортное средство 110 движется в направлении назад. Каждая из областей 170(1)-170(3) может представлять собой представляющую интерес область, в направлении которой транспортное средство 110 может двигаться. В сценарии 100 исследуемая область 170(1) может представлять собой область вблизи или около структуры, такой как дерево 150, исследуемая область 170(2) может представлять собой область на первой стороне конструкции, такой как бордюр или пешеходная дорожка 140, а исследуемая область 170(3) может представлять собой область на второй стороне бордюра или пешеходной дорожки 140. Транспортное средство 110 может, на основе одного или более изображений, захваченных камерой 112, обнаруживать один или более движущихся объектов, таких как бегун 120 и велосипедист 130, в исследуемых областях 170(1)-170(3). Транспортное средство 110 также может определять, является ли вероятным столкновение транспортного средства 110, движущегося в направлении назад, с каким-либо из одного или более движущихся объектов. Следует понимать, что, несмотря на то, что конечное число исследуемых областей показано на Фиг. 1, другие количества исследуемых областей могут быть идентифицированы в различных вариантах выполнения в соответствии с настоящим раскрытием.

[0014] В некоторых вариантах выполнения транспортное средство 110 может обеспечивать один или более воспринимаемых человеком сигналов для водителя транспортного средства 110 в ответ на определение того, что столкновение является вероятным. Например, транспортное средство 110 может обеспечивать один или более звуковых сигналов и/или один или более визуальных сигналов. Транспортное средство 110 также может отслеживать расстояние между каждым движущимся объектом, представляющим интерес, и транспортным средством 110, которое может постоянно изменяться, так как каждый движущийся объект, представляющий интерес, и/или транспортное средство 110 могут двигаться. Транспортное средство 110 может изменять один или более аспектов воспринимаемого человеком сигнала в ответ на изменение расстояния между каждым движущимся объектом, представляющим интерес, и транспортным средством 110. Например, транспортное средство 110 может изменять одно или более из тона, частоты и громкости звукового сигнала для указания на то, что каждый движущийся объект, представляющий интерес, приближается к (например, увеличение тона, увеличение частоты и/или увеличение громкости) или отдаляется от (например, уменьшение тона, уменьшение частоты и/или уменьшение громкости) транспортного средства 110. Дополнительно или альтернативно, транспортное средство 110 может изменять одно или более из цвета, яркости и частоты визуального сигнала для указания на то, что каждый движущийся объект, представляющий интерес, приближается к (например, изменение цвета одного или более световых индикаторов с желтого на оранжевый и на красный, увеличение яркости и/или увеличение частоты) или отдаляется от (например, изменение цвета одного или более световых индикаторов с красного на оранжевый и на желтый, уменьшение яркости и/или уменьшение частоты) транспортного средства 110.

[0015] В некоторых вариантах выполнения транспортное средство 110 может отображать на одном или более внутренних устройствах отображения вид сверху (например, вид с высоты птичьего полета) окружения транспортного средства 110 для показа пространственного отношения между транспортным средством 110 и каждым движущимся объектом, представляющим интерес. Более того, транспортное средство 110 может визуально выделять каждый обнаруженный движущийся объект на отображении вида сверху.

[0016] В некоторых вариантах выполнения транспортное средство 110 может хранить или иначе принимать данные 162 истории вождения, одну или более цифровых карт 164 и/или данные 166 глобальной системы позиционирования (GPS). Данные 162 истории вождения могут представлять собой запись или журнал операций транспортного средства 110 и могут включать в себя информацию, такую как, например, и не ограниченную этим, данные и время каждой поездки, продолжительность каждой поездки, среднюю скорость, связанную с каждой поездкой, и/или начальную точку и конечную точку каждой поездки в значениях координат GPS. Одна или более цифровых карт 164 может включать в себя одну или более карт одного или более географических местоположений, хранящихся в цифровом виде. Данные 166 GPS могут указывать местоположение транспортного средства 110 в одной или более точек во времени в прошлом и/или в настоящем в значениях координат GPS. Дополнительно или альтернативно, транспортное средство 110 может быть выполнено с возможностью беспроводной связи с одним или более подключенных по беспроводной связи устройств и/или одним или более подключенных по беспроводной связи датчиков, например, приема данных от них. Например, бегун 120 и/или велосипедист 130 могут носить или иметь при себе одно или более подключенных по беспроводной связи устройств (например, смартфон, умное ожерелье, умный браслет или т.п.), которые могут находиться в беспроводной связи с транспортным средством 110, когда находятся в пределах диапазона беспроводной связи от транспортного средства 110. Таким образом, транспортное средство 110 может принимать по беспроводной связи данные, относящиеся к местоположению бегуна 120 и/или велосипедиста 130, от подключенных по беспроводной связи устройств, носимых или имеемых при себе бегуном 120 и/или велосипедистом 130. Соответственно, при идентификации исследуемых областей 170(1)-170(3) транспортное средство 110 может локализовать каждую из исследуемых областей 170(1)-170(3) с использованием одного или более изображений, захваченных камерой 112, в дополнение к данным 162 истории вождения, одной или более цифровым картам 164, данным 166 GPS, данным от одного или более подключенных по беспроводной связи устройств, данным от одного или более подключенных по беспроводной связи датчиков или их любому сочетанию.

[0017] В некоторых вариантах выполнения транспортное средство 110 также может быть оборудовано одним или более датчиками 114(1)-114(N), где N представляет собой положительное целое число, большее или равное 1. Один или более датчиков 114(1)-114(N) может включать в себя, например, и не ограничен этим, один или более лидарных датчиков, один или более радарных датчиков и/или один или более ультразвуковых датчиков. Соответственно, при идентификации исследуемых областей 170(1)-170(3) транспортное средство 110 может уточнять каждую из локализованных исследуемых областей 170(1)-170(3) с использованием любого числа из одного или более датчиков 114(1)-114(N).

[0018] В некоторых вариантах выполнения при обнаружении одного или более движущихся объектов в каждой из исследуемых областей 170(1)-170(3) транспортное средство 110 может анализировать одно или более изображений, захваченных камерой 112, с использованием алгоритма машинного обучения, который может, например, быть исполнен процессором, которым транспортное средство 110 оборудовано. В некоторых вариантах выполнения алгоритм машинного обучения может включать в себя одну или более глубоких нейронных сетей. Алгоритм машинного обучения, применяемый транспортным средством 110, включающий в себя глубокую нейронную сеть (сети), может быть выполнен с возможностью изучения и классификации изображений для распознавания, может ли особый объект на изображении представлять собой движущийся объект, представляющий особый интерес (например, пешеходов, велосипедистов, катающихся на роликовых коньках, скейтбордистов, передвигающихся в инвалидных креслах или любой другой тип движущихся людей). Таким образом, путем использования алгоритма машинного обучения транспортное средство 110 может быть способно обнаруживать каждый движущийся объект в каждой из исследуемых областей 170(1)-170(3).

[0019] В некоторых вариантах выполнения при определении, является ли вероятным столкновение транспортного средства 110, движущегося в направлении назад, с каким-либо движущимся объектом, транспортное средство 110 может выполнять несколько операций. Например, транспортное средство 110 может отслеживать движение каждого движущегося объекта, а также расстояние между каждым движущимся объектом и транспортным средством 110. Более того, транспортное средство 110 может определять траекторию транспортного средства 110 в реальном времени и определять, является ли вероятным столкновение с каждым движущимся объектом, на основе движения каждого движущегося объекта, расстояния между каждым движущимся объектом и транспортным средством 110 и траектории транспортного средства 110. В некоторых вариантах выполнения при отслеживании расстояния между каждым движущимся объектом и транспортным средством 110 транспортное средство 110 может отслеживать расстояние между каждым движущимся объектом и транспортным средством 110 с использованием одного или более типов информации. Информация может включать в себя, например, и не ограничена этим, угол поворота рулевого колеса транспортного средства 110, скорость транспортного средства 110 и текущее расстояние между каждым движущимся объектом и транспортным средством 110. Транспортное средство 110 может определять текущее расстояние между каждым движущимся объектом и транспортным средством 110 с использованием камеры 112 и одного или более датчиков 114(1)-114(N), которые могут включать в себя один или более лидарных датчиков, один или более радарных датчиков, один или более ультразвуковых датчиков или их любое сочетание.

[0020] Вышеописанные функции, действия и операции, относящиеся к обнаружению движущихся объектов, когда транспортное средство 110 движется задним ходом, могут прекращаться, когда транспортное средство 110 переключается с передачи заднего хода, и/или движение/скорость транспортного средства 110 в направлении назад равны нулю.

[0021] Фиг. 2 иллюстрирует примерное транспортное средство 200, в котором могут быть использованы варианты выполнения в соответствии с настоящим раскрытием. Транспортное средство 200 может представлять собой примерный вариант осуществления транспортного средства 110 и, таким образом, описание выше в отношении транспортного средства 110 может применяться к транспортному средству 200. Транспортное средство 200 может включать в себя переднюю панель 210, имеющую устройство 220 отображения, установленное в ней. Устройство 220 отображения может включать в себя дисплей с плоской панелью (например, жидкокристаллический дисплей, электролюминесцентную панель или органическую светодиодную панель) и/или чувствительный к касанию дисплей. Для простоты просмотра обеспечен увеличенный вид 225 примерного содержимого, отображаемого устройством 220 отображения. В примере, показанном на Фиг. 2, показан вид сверху или вид с высоты птичьего полета окружения транспортного средства 200 для показа транспортного средства 200 и одного или более обнаруженных движущихся объектов, таких как движущиеся объекты 250(1) и 250(2), в одной или более исследуемых областей. Вид сверху позволяет водителю транспортного средства 200 быстро понимать при беглом взгляде на устройство 220 отображения пространственное отношение между транспортным средством 200 и каждым из движущихся объектов 250(1) и 250(2). Также в примере, показанном на Фиг. 2, между движущимся объектом 250(1) и движущимся объектом 250(2) движущийся объект 250(2) может быть определен транспортным средством 200 как подвергающийся риску столкновения с транспортным средством 200, и в связи с этим устройство 220 отображения может выделять движущийся объект 250(2) путем показа движущегося объекта 250(2) в цвете, отличном от цвета движущегося объекта 250(1).

[0022] Транспортное средство 200 также может обеспечивать один или более звуковых сигналов 230 и/или один или более визуальных сигналов 240 для водителя транспортного средства 200 в ответ на определение того, что столкновение с каким-либо движущимся объектом (например, движущимся объектом 250(2)), является вероятным. Один или более звуковых сигналов 230 могут включать в себя постоянный тон, пикающий тон, заранее записанный человеческий голос, синтезированный компьютером человеческий голос или их любое сочетание. Один или более визуальных сигналов 240 могут включать в себя один или более постоянных световых индикаторов одного или более цветов, один или более мигающих световых индикаторов одного или более цветов или их любое сочетание. Транспортное средство 200 может отслеживать расстояние между каждым движущимся объектом, представляющим интерес, и транспортным средством 200 и изменять один или более аспектов одного или более звуковых сигналов 230 и/или одного или более визуальных сигналов 240 в ответ на изменение расстояния между каждым движущимся объектом, представляющим интерес, и транспортным средством 200. Например, транспортное средство 200 может изменять одно или более из тона, частоты и громкости одного или более звуковых сигналов 230 для указания на то, что каждый движущийся объект, представляющий интерес, приближается к (например, увеличение тона, увеличение частоты и/или увеличение громкости) или отдаляется от (например, уменьшение тона, уменьшение частоты и/или уменьшение громкости) транспортного средства 200. Дополнительно или альтернативно, транспортное средство 200 может изменять одно или более из цвета, яркости и частоты одного или более визуальных сигналов 240 для указания на то, что каждый движущийся объект, представляющий интерес, приближается к (например, изменение цвета одного или более световых индикаторов с желтого на оранжевый и на красный, увеличение яркости и/или увеличение частоты) или отдаляется от (например, изменение цвета одного или более световых индикаторов с красного на оранжевый и на желтый, уменьшение яркости и/или уменьшение частоты) транспортного средства 200.

[0023] Фиг. 3 иллюстрирует примерное приспособление 300 в соответствии с вариантом выполнения настоящего раскрытия. Приспособление 300 может выполнять различные функции, относящиеся к технологиям, способам и системам, описанным здесь, включая те, которые описаны выше в отношении транспортного средства 110 и транспортного средства 200, а также те, которые описаны ниже в отношении процесса 400. Приспособление 300 может быть установлено, оборудовано или иначе осуществлено в транспортном средстве 110 и транспортном средстве 200 для осуществления различных вариантов выполнения в соответствии с настоящим раскрытием. Приспособление 300 может включать в себя по меньшей мере некоторые из компонентов, проиллюстрированных на Фиг. 3.

[0024] В некоторых вариантах выполнения приспособление 300 может включать в себя камеру 370, выполненную с возможностью захвата одного или более неподвижных изображений и/или видеоизображений в направлении назад в отношении транспортного средства, в котором приспособление 300 установлено, оборудовано или иначе осуществлено (например, транспортного средства 110 и/или транспортного средства 200). Например, камера 370 может представлять собой камеру заднего вида, которая, когда смонтирована или иначе установлена на транспортном средстве, обращена назад в отношении транспортного средства.

[0025] В некоторых вариантах выполнения приспособление 300 также может включать в себя один или более процессоров, таких как главный процессор 310 и графический процессор 350. Несмотря на то, что проиллюстрированы в виде одного дискретного компонента, каждый из главного процессора 310 и графического процессора 350 может быть осуществлен в форме одного или более кристаллов интегральной схемы или функциональных процессоров. Главный процессор 310 может быть функционально соединен с камерой 370 для приема данных изображений от камеры 370 и для передачи команд камере 370 для управления операциями камеры 370. Главный процессор 310 может быть выполнен с возможностью выполнения нескольких операций в соответствии с настоящим раскрытием. В некоторых вариантах выполнения главный процессор 310 может определять, когда транспортное средство находится на передаче заднего хода и/или движется в направлении назад. Например, главный процессор 310 может принимать один или более сигналов от одного или более датчиков, устройств обнаружения и/или устройств транспортного средства, указывающих передачу, на которой находится транспортное средство (например, парковка, заднего хода, нейтральная и движения вперед) и/или направление, в котором движется транспортное средство. Главный процессор 310 может предпринимать или иначе активировать одно или более действий, связанных с различными вариантами выполнения в соответствии с настоящим раскрытием, когда главный процессор 310 определяет, что транспортное средство находится на передаче заднего хода и/или движется в направлении назад. Наоборот, главный процессор 310 может отменять или иначе деактивировать одно или более действий, связанных с различными вариантами выполнения в соответствии с настоящим раскрытием, когда главный процессор 310 определяет, что транспортное средство не находится на передаче заднего хода и/или не движется в направлении назад.

[0026] В некоторых вариантах выполнения главный процессор 310 может идентифицировать, по меньшей мере частично на основе одного или более изображений, захваченных камерой 370, одну или более исследуемых областей, когда транспортное средство (например, транспортное средство 110 и/или транспортное средство 200) движется в направлении назад. Главный процессор 310 может обнаруживать один или более движущихся объектов в по меньшей мере одной области из одной или более исследуемых областей. Главный процессор 310 также может определять, является ли вероятным столкновение транспортного средства, движущегося в направлении назад, с каким-либо из одного или более движущихся объектов. В ответ на определение того, что столкновение является вероятным, главный процессор 310 может обеспечивать воспринимаемый человеком сигнал в качестве предупреждения для водителя транспортного средства так, чтобы оповещать водителя о вероятности столкновения с по меньшей мере одним движущимся объектом, если бы транспортное средство продолжало его текущий курс и/или скорость.

[0027] В некоторых вариантах выполнения приспособление 300 также может включать в себя устройство 320 памяти, выполненное с возможностью хранения или иного содержания данных, программ аппаратно-программного обеспечения и программного обеспечения в нем. Несмотря на то, что проиллюстрировано в виде одного дискретного компонента, устройство 320 памяти может быть осуществлено в форме одного или более устройств памяти, одного или более регистров, одного или более буферов, одного или более кэшей или их любого сочетания. Устройство 320 памяти может хранить данные 322 истории вождения и одну или более цифровых карт 324. Приспособление 300 может дополнительно включать в себя устройство 330 GPS, выполненное с возможностью приема данных от спутников GPS и обеспечения данных GPS, указывающих географическое местоположение приспособления 300. Устройство 330 GPS может представлять собой, например, чип GPS. Соответственно, при идентификации одной или более исследуемых областей главный процессор 310 может быть выполнен с возможностью локализации одной или более исследуемых областей с использованием одного или более изображений, захваченных камерой 370, в дополнение к данным 322 истории вождения, одной или более цифровым картам 324, данным GPS, принимаемым от устройства 330 GPS, или их любому сочетанию.

[0028] В некоторых вариантах выполнения приспособление 300 также может включать в себя устройство 340 связи, выполненное с возможностью беспроводной связи для передачи и приема данных по беспроводной связи. Соответственно, главный процессор 310 может быть выполнен с возможностью передачи данных и приема данных от одного или более подключенных по беспроводной связи устройств и/или одного или более подключенных по беспроводной связи датчиков с помощью устройства 340 связи. В некоторых вариантах выполнения главный процессор 310 может быть выполнен с возможностью локализации одной или более исследуемых областей с использованием данных от одного или более подключенных по беспроводной связи устройств (не показаны) и/или данных от одного или более подключенных по беспроводной связи датчиков (не показаны). В некоторых вариантах выполнения при идентификации одной или более исследуемых областей главный процессор 310 может быть выполнен с возможностью локализации одной или более исследуемых областей с использованием одного или более изображений, захваченных камерой 370, в дополнение к данным 322 истории вождения, одной или более цифровым картам 324, данным GPS, принимаемым от устройства 330 GPS, данным от одного или более подключенных по беспроводной связи устройств, данным от одного или более подключенных по беспроводной связи датчиков или их любому сочетанию.

[0029] Дополнительно, приспособление 300 может дополнительно включать в себя один или более лидарных датчиков 372, один или более радарных датчиков 374, один или более ультразвуковых датчиков 376 или их любое сочетание. Соответственно, при идентификации одной или более исследуемых областей главный процессор 310 может быть дополнительно выполнен с возможностью уточнения локализованных одной или более исследуемых областей с использованием любого числа из одного или более лидарных датчиков 372, любого числа из одного или более радарных датчиков 374 и/или любого числа из одного или более ультразвуковых датчиков 376.

[0030] В некоторых вариантах выполнения устройство 320 памяти также может хранить один или более наборов инструкций алгоритма 326 машинного обучения. Соответственно, при обнаружении одного или более движущихся объектов в одной или более исследуемых областей главный процессор 310 может быть выполнен с возможностью анализа одного или более изображений, захваченных камерой 370, с использованием алгоритма 326 машинного обучения. В некоторых вариантах выполнения алгоритм 326 машинного обучения может включать в себя глубокую нейронную сеть.

[0031] В некоторых вариантах выполнения при определении, является ли вероятным столкновение транспортного средства, движущегося в направлении назад, с по меньшей мере одним движущимся объектом, главный процессор 310 может быть выполнен с возможностью выполнения нескольких операций. Используя транспортное средство 110 в качестве транспортного средства и используя бегуна 120 в качестве движущегося объекта, представляющего интерес, для иллюстрации, главный процессор 310 может отслеживать движение бегуна 120 и отслеживать расстояние между бегуном 120 и транспортным средством 110. Главный процессор 310 также может определять траекторию транспортного средства 110, например, путем использования информации об угле поворота рулевого колеса транспортного средства 110 и скорости транспортного средства 110. Главный процессор 310 может дополнительно определять, является ли вероятным столкновение транспортного средства 110 с бегуном 120, на основе движения бегуна 120, расстояния между бегуном 120 и транспортным средством 110 и траектории транспортного средства 110.

[0032] В некоторых вариантах выполнения при обеспечении воспринимаемого человеком сигнала главный процессор 310 может быть выполнен с возможностью выполнения нескольких операций. Используя транспортное средство 200 для иллюстрации, главный процессор 310 может обеспечивать воспринимаемый человеком сигнал в форме одного или более звуковых сигналов 230 и/или одного или более визуальных сигналов 240. Главный процессор 310 также может отслеживать расстояние между движущимся объектом и транспортным средством и изменять один или более аспектов воспринимаемого человеком сигнала в ответ на изменение расстояния между движущимся объектом и транспортным средством. Например, главный процессор 310 может изменять одно или более из тона, частоты и громкости одного или более звуковых сигналов 230. Альтернативно или дополнительно, главный процессор 310 может изменять одно или более из цвета, яркости и частоты одного или более визуальных сигналов 240.

[0033] В некоторых вариантах выполнения при отслеживании расстояния между движущимся объектом и транспортным средством главный процессор 310 может быть выполнен с возможностью отслеживания расстояния между движущимся объектом и транспортным средством с использованием информации об угле поворота рулевого колеса транспортного средства, скорости транспортного средства, текущего расстояния между движущимся объектом и транспортным средством или их любого сочетания. Главный процессор 310 может определять текущее расстояние между движущимся объектом и транспортным средством с использованием камеры 370, любого числа из одного или более лидарных датчиков 372, любого числа из одного или более радарных датчиков 374, любого числа из одного или более ультразвуковых датчиков 376 или их любого сочетания.

[0034] В некоторых вариантах выполнения приспособление 300 может дополнительно включать в себя устройство 360 отображения, выполненное с возможностью отображения текстовой информации, графической информации и/или видеоинформации. Устройство 360 отображения может быть функционально соединено с графическим процессором 350 для приема содержимого для отображения от графического процессора 350. Графический процессор 350 может управлять устройством 360 отображения для отображения вида сверху (например, вида с высоты птичьего полета) окружения транспортного средства для показа транспортного средства и одного или более движущихся объектов, обнаруженных в одной или более исследуемых областях. Графический процессор 350 также может управлять устройством 360 отображения для выделения по меньшей мере одного из одного или более движущихся объектов. Например, графический процессор 350 может управлять устройством 360 отображения для выделения каждого или по меньшей мере одного движущегося объекта заранее определенным цветом, путем обозначения движущегося объекта (объектов) линией (линиями), кривой (кривыми), кругом (кругами) или т.п., путем использования визуального эффекта (эффектов) (например, мигания) или любым подходящим визуальным образом для привлечения внимания к выделенному движущемуся объекту (объектам), которые отображаются на устройстве 360 отображения. Предпочтительно, водитель транспортного средства может быть осведомлен о по меньшей мере одном движущемся объекте (например, движущемся объекте, который может, вероятно, сталкиваться с транспортным средством в ближайшем будущем) и, следовательно, может изменять угол поворота рулевого колеса и/или скорость транспортного средства так, чтобы избегать столкновения.

[0035] Фиг. 4 иллюстрирует примерный процесс 400 для обнаружения пешеходов, когда транспортное средство движется задним ходом, в соответствии с настоящим раскрытием. Процесс 400 может включать в себя одну или более операций, действий или функций, показанных в виде блоков, таких как 410, 420, 430 и 440. Несмотря на то, что проиллюстрированы в виде дискретных блоков, различные блоки процесса 400 могут быть разделены на дополнительное блоки, объединены в меньшее количество блоков или исключены в зависимости от желаемого варианта осуществления. Процесс 400 может быть осуществлен транспортным средством 100 и приспособлением 300. В целях иллюстрации без ограничения объема процесса 400 следующее описание процесса 400 обеспечено в контексте транспортного средства 110 в сценарии 100. Процесс 400 может начинаться с блока 410.

[0036] В блоке 410 процесс 400 может включать в себя идентификацию транспортным средством 110 исследуемой области, когда транспортное средство 110 движется в направлении назад. Процесс 400 может переходить от блока 410 к блоку 420.

[0037] В блоке 420 процесс 400 может включать в себя обнаружение транспортным средством 110 движущегося объекта в исследуемой области. Процесс 400 может переходить от блока 420 к блоку 430.

[0038] В блоке 430 процесс 400 может включать в себя определение транспортным средством 110, является ли вероятным столкновение транспортного средства 110, движущегося в направлении назад, с движущимся объектом. Процесс 400 может переходить от блока 430 к блоку 440.

[0039] В блоке 440 процесс 400 может включать в себя обеспечение транспортным средством 110 воспринимаемого человеком сигнала в ответ на определение того, что столкновение является вероятным.

[0040] В некоторых вариантах осуществления при идентификации исследуемой области процесс 400 может включать в себя локализацию транспортным средством 110 исследуемой области с использованием одного или более изображений, захваченных камерой заднего вида, в дополнение к данным истории вождения, одной или более цифровым картам, данным GPS или их любому сочетанию.

[0041] В некоторых вариантах осуществления при идентификации исследуемой области процесс 400 может дополнительно включать в себя уточнение транспортным средством 110 локализованной исследуемой области с использованием лидарного датчика, радарного датчика, ультразвукового датчика или их любого сочетания.

[0042] В некоторых вариантах осуществления при обнаружении движущегося объекта в исследуемой области процесс 400 может включать в себя анализ транспортным средством 110 одного или более изображений, захваченных камерой заднего вида, с использованием алгоритма машинного обучения. В некоторых вариантах осуществления алгоритм машинного обучения может включать в себя глубокую нейронную сеть.

[0043] В некоторых вариантах осуществления при определении, является ли вероятным столкновение транспортного средства 110, движущегося в направлении назад, с движущимся объектом, процесс 400 может включать в себя выполнение транспортным средством 110 нескольких операций. Например, процесс 400 может включать в себя отслеживание транспортным средством 110 движения движущегося объекта. Процесс 400 также может включать в себя отслеживание транспортным средством 110 расстояния между движущимся объектом и транспортным средством 110. Процесс 400 может дополнительно включать в себя определение транспортным средством 110 траектории транспортного средства 110. Процесс 400 может дополнительно включать в себя определение транспортным средством 110, является ли вероятным столкновение транспортного средства 110 с движущимся объектом, на основе движения движущегося объекта, расстояния между движущимся объектом и транспортным средством 110 и траектории транспортного средства 110.

[0044] В некоторых вариантах осуществления при обеспечении воспринимаемого человеком сигнала процесс 400 может включать в себя выполнение транспортным средством 110 нескольких операций. Например, процесс 400 может включать в себя обеспечение транспортным средством 110 воспринимаемого человеком сигнала, который содержит звуковой сигнал и/или визуальный сигнал. Процесс 400 также может включать в себя отслеживание транспортным средством 110 расстояния между движущимся объектом и транспортным средством 110. Процесс 400 может дополнительно включать в себя изменение транспортным средством 110 одного или более аспектов воспринимаемого человеком сигнала в ответ на изменение расстояния между движущимся объектом и транспортным средством 110.

[0045] В некоторых вариантах осуществления при отслеживании расстояния между движущимся объектом и транспортным средством 110 процесс 400 может включать в себя отслеживание транспортным средством 110 расстояния между движущимся объектом и транспортным средством 110 с использованием информации об одном или более из угла поворота рулевого колеса транспортного средства 110, скорости транспортного средства 110 и текущего расстояния между движущимся объектом и транспортным средством 110 с использованием камеры заднего вида, лидарного датчика, радарного датчика, ультразвукового датчика или их любого сочетания.

[0046] В некоторых вариантах осуществления при изменении одного или более аспектов воспринимаемого человеком сигнала процесс 400 может включать в себя изменение транспортным средством 110 одного или более из тона, частоты и громкости воспринимаемого человеком сигнала, когда воспринимаемый человеком сигнал содержит звуковой сигнал. Дополнительно, процесс 400 может затрагивать изменение транспортным средством 110 одного или более из цвета, яркости и частоты воспринимаемого человеком сигнала, когда воспринимаемый человеком сигнал содержит визуальный сигнал.

[0047] В некоторых вариантах осуществления процесс 400 может включать в себя выполнение транспортным средством 110 дополнительных операций. Например, процесс 400 может включать в себя отображение транспортным средством 110 вида сверху окружения транспортного средства 110 для показа транспортного средства 110 и движущегося объекта. Более того, процесс 400 может включать в себя выделение транспортным средством 110 движущегося объекта при отображении вида сверху.

[0048] В вышеприведенном раскрытии была сделана ссылка на сопровождающие чертежи, которые образуют его часть, и на которых показаны в качестве иллюстрации конкретные варианты осуществления, в которых настоящее раскрытие может быть осуществлено на практике. Понятно, что могут быть использованы другие варианты осуществления, и что могут быть выполнены структурные изменения без отклонения от объема настоящего раскрытия. Ссылки в описании на «один вариант выполнения», «вариант выполнения», «примерный вариант выполнения» и т.д. указывают, что описанный вариант выполнения может включать в себя особый признак, структуру или характеристику, но каждый вариант выполнения не обязательно может включать в себя особый признак, структуру или характеристику. Более того, такие фразы не обязательно ссылаются на один и тот же вариант выполнения. Дополнительно, когда особый признак, структура или характеристика описаны в связи с вариантом выполнения, представляется, что это находится в рамках знаний специалиста в области техники для воздействия на такой признак, структуру или характеристику в связи с другими вариантами выполнения, описанными явно или нет.

[0049] Варианты осуществления систем, приспособлений, устройств и способов, раскрытые здесь, могут содержать или использовать компьютер специального назначения или общего назначения, включающий в себя компьютерное аппаратное обеспечение, такое как, например, один или более процессоров и системная память, которые рассмотрены здесь. Варианты осуществления в пределах объема настоящего раскрытия также могут включать в себя физические и другие считываемые компьютером носители для переноса или хранения исполняемых компьютером инструкций и/или структур данных. Такие считываемые компьютером носители могут представлять собой любые доступные носители, которые могут быть доступны компьютерной системе общего назначения или специального назначения. Считываемые компьютером носители, которые хранят исполняемые компьютером инструкции, представляют собой компьютерные носители (устройства) хранения. Считываемые компьютером носители, которые переносят исполняемые компьютером инструкции, представляют собой среды передачи. Таким образом, в качестве примера, а не ограничения, варианты осуществления настоящего раскрытия могут содержать по меньшей мере два совершенно различных вида считываемых компьютером носителей: компьютерные носители (устройства) хранения и среды передачи.

[0050] Компьютерные носители (устройства) хранения включают в себя RAM, ROM, EEPROM, CD-ROM, твердотельные накопители («SSDs») (например, на основе RAM), флэш-память, память с фазовым переходом («PCM»), другие типы памяти, другое хранилище на оптическом диске, хранилище на магнитном диске или другие магнитные устройства хранения или любой другой носитель, которой может быть использован для хранения желаемых средств программного кода в форме исполняемых компьютером инструкций или структур данных и который может быть доступен компьютеру общего назначения или специального назначения.

[0051] Вариант осуществления устройств, систем и способов, раскрытый здесь, может осуществлять связь по компьютерной сети. «Сеть» определена как одна или более линий передачи данных, которые обеспечивают передачу электронных данных между компьютерными системами и/или модулями и/или другими электронными устройствами. Когда информация передается или обеспечивается по сети или другому соединению связи (либо проводному, беспроводному, либо сочетанию проводного или беспроводного) в компьютер, компьютер в сущности видит соединение как среду передачи. Среды передачи могут включать в себя сеть и/или линии передачи данных, которые могут быть использованы для переноса желаемых средств программного кода в форме исполняемых компьютером инструкций или структур данных и которые могут быть доступны компьютеру общего назначения или специального назначения. Сочетания вышеперечисленного также должны быть включены в объем считываемых компьютером носителей.

[0052] Исполняемые компьютером инструкции содержат, например, инструкции и данные, которые, при исполнении в процессоре, заставляют компьютер общего назначения, компьютер специального назначения или устройство обработки специального назначения выполнять определенную функцию или группу функций. Исполняемые компьютером инструкции могут представлять собой, например, двоичные файлы, инструкции промежуточного формата, такие как язык ассемблера, или даже исходный код. Хотя объект изобретения был описан на языке, характерном для структурных признаков и/или методологических действий, следует понимать, что объект изобретения, определенный в приложенной формуле изобретения, необязательно ограничен описанными признаками или действиями, описанными выше. Точнее, описанные признаки и действия раскрыты в качестве примерных форм осуществления формулы изобретения.

[0053] Специалисты в области техники будут принимать во внимание, что настоящее раскрытие может быть осуществлено на практике в сетевых вычислительных средах со многими типами конфигураций компьютерной системы, включающих в себя компьютер в передней панели, персональные компьютеры, настольные компьютеры, переносные компьютеры, процессоры сообщений, карманные устройства, многопроцессорные системы, бытовую электронику на базе микропроцессоров или программируемую бытовую электронику, сетевые персональные компьютеры (PC), миникомпьютеры, большие универсальные компьютеры, мобильные телефоны, PDA, планшеты, пейджеры, маршрутизаторы, переключатели, различные устройства хранения и т.п. Раскрытие также может быть осуществлено на практике в средах распределенных систем, где и локальные, и удаленные компьютерные системы, которые связаны (либо проводными линиями передачи данных, беспроводными линиями передачи данных, либо сочетанием проводных и беспроводных линий передачи данных) по сети, выполняют задачи. В среде распределенной системы программные модули могут быть расположены и в локальных, и в удаленных запоминающих устройствах.

[0054] Дополнительно, в соответствующих случаях функции, описанные здесь, могут быть выполнены в одном или более из: компонентов аппаратного обеспечения, программного обеспечения, аппаратно-программного обеспечения, цифровых компонентов или аналоговых компонентов. Например, одна или более специализированных интегральных схем (ASIC) могут быть запрограммированы с возможностью осуществления одной или более из систем и процедур, описанных здесь. Определенные термины используются во всем описании и формуле изобретения для ссылки на особые компоненты системы. Как будет принимать во внимание специалист в области техники, на компоненты могут ссылаться под различными названиями. Этот документ не предназначен для проведения различия между компонентами, которые отличаются по названию, но не по функции.

[0055] Следует отметить, что варианты выполнения датчиков, рассмотренные выше, могут содержать компьютерное аппаратное обеспечение, программное обеспечение, аппаратно-программное обеспечение или их любое сочетание для выполнения по меньшей мере части их функций. Например, датчик может включать в себя компьютерный код, выполненный с возможностью исполнения в одном или более процессорах, и может включать в себя аппаратную логику/электрическую схему, управляемую компьютерным кодом. Эти примерные устройства обеспечены здесь в целях иллюстрации и не предназначены быть ограничивающими. Варианты выполнения настоящего раскрытия могут быть осуществлены в дополнительных типах устройств, которые будут известны специалистам в соответствующей области (областях) техники.

[0056] По меньшей мере некоторые варианты выполнения настоящего раскрытия были направлены на компьютерные программные продукты, содержащие такую логику (например, в форме программного обеспечения), хранящуюся в любом используемом компьютером носителе. Такое программное обеспечение, при исполнении в одном или более устройствах обработки данных, заставляет устройство работать так, как описано здесь.

[0057] Несмотря на то, что различные варианты выполнения настоящего раскрытия были описаны выше, следует понимать, что они были представлены только в качестве примера, а не ограничения. Специалистам в соответствующей области техники будет ясно, что в них могут быть выполнены различные изменения по форме и в деталях без отклонения от замысла и объема настоящего раскрытия. Таким образом, широта и объем настоящего раскрытия не должны быть ограничены какими-либо из вышеописанных примерных вариантов выполнения, но должны быть определены только в соответствии со следующей формулой изобретения и ее эквивалентами. Вышеприведенное описание было представлено в целях иллюстрации и описания. Оно не предназначено быть исчерпывающим или ограничивать настоящее раскрытие раскрытой точной формой. Возможны многие модификации и изменения в свете вышеприведенного учения. Дополнительно, следует отметить, что любые или все из вышеупомянутых альтернативных вариантов осуществления могут быть использованы в любом желаемом сочетании для формирования дополнительных смешанных вариантов осуществления настоящего раскрытия.

Изобретение относится к безопасности дорожного движения, а именно к обнаружению движущегося объекта при движении транспортного средства задним ходом. Способ включает идентификацию исследуемой области, обнаружение движущегося объекта в исследуемой области, определение, является ли вероятным столкновение транспортного средства с движущимся объектом. Обеспечение воспринимаемого человеком сигнала в ответ на определение того, что столкновение является вероятным, содержит изменение тона звукового сигнала. Идентификация исследуемой области содержит локализацию исследуемой области с использованием изображений. Повышается безопасность движения. 2 н. и 16 з.п. ф-лы, 4 ил.

1. Способ обнаружения движущихся объектов при движении транспортного средства задним ходом, содержащий:

идентификацию посредством процессора транспортного средства исследуемой области, когда транспортное средство движется в направлении назад;

обнаружение посредством процессора на основе данных, принятых от одного или более датчиков транспортного средства, движущегося объекта в исследуемой области;

определение посредством процессора, является ли вероятным столкновение транспортного средства, движущегося в направлении назад, с движущимся объектом; и

обеспечение посредством процессора воспринимаемого человеком сигнала в ответ на определение того, что столкновение является вероятным,

причем идентификация исследуемой области содержит локализацию исследуемой области с использованием одного или более изображений, захваченных камерой заднего вида, в дополнение к данным истории вождения и одной или более цифровым картам, а также к по меньшей мере одному из:

данных глобальной системы позиционирования (GPS),

данных от одного или более подключенных по беспроводной связи устройств, и

данных от одного или более подключенных по беспроводной связи датчиков, и

причем обеспечение воспринимаемого человеком сигнала содержит изменение тона звукового сигнала для указания на то, что каждый движущийся объект приближается к или удаляется от транспортного средства.

2. Способ по п. 1, в котором идентификация исследуемой области дополнительно содержит уточнение локализованной исследуемой области с использованием датчика обнаружения и определения дальности с помощью света (лидарного датчика), радарного датчика, ультразвукового датчика или их любого сочетания.

3. Способ по п. 1, в котором обнаружение движущегося объекта в исследуемой области содержит анализ одного или более изображений, захваченных камерой заднего вида, с использованием алгоритма машинного обучения.

4. Способ по п. 3, в котором алгоритм машинного обучения содержит глубокую нейронную сеть.

5. Способ по п. 1, в котором определение, является ли вероятным столкновение транспортного средства, движущегося в направлении назад, с движущимся объектом, содержит:

отслеживание движения движущегося объекта;

отслеживание расстояния между движущимся объектом и транспортным средством с использованием данных, полученных от одного или нескольких датчиков, и информации об одном или нескольких эксплуатационных параметрах транспортного средства;

определение траектории транспортного средства; и

определение, является ли вероятным столкновение транспортного средства с движущимся объектом, на основе движения движущегося объекта, расстояния между движущимся объектом и транспортным средством и траектории транспортного средства.

6. Способ по п. 1, в котором обеспечение воспринимаемого человеком сигнала содержит:

обеспечение воспринимаемого человеком сигнала, который содержит звуковой сигнал и/или визуальный сигнал;

отслеживание расстояния между движущимся объектом и транспортным средством с использованием данных, полученных от одного или нескольких датчиков, и информации об одном или нескольких эксплуатационных параметрах транспортного средства; и

изменение одного или более аспектов воспринимаемого человеком сигнала в ответ на изменение расстояния между движущимся объектом и транспортным средством.

7. Способ по п. 6, в котором отслеживание расстояния между движущимся объектом и транспортным средством содержит отслеживание расстояния между движущимся объектом и транспортным средством с использованием информации об одном или более из угла поворота рулевого колеса транспортного средства, скорости транспортного средства и текущего расстояния между движущимся объектом и транспортным средством с использованием камеры заднего вида, датчика обнаружения и определения дальности с помощью света (лидарного датчика), радарного датчика, ультразвукового датчика или их любого сочетания.

8. Способ по п. 6, в котором изменение одного или более аспектов воспринимаемого человеком сигнала содержит:

изменение по меньшей мере одного из частоты и громкости воспринимаемого человеком сигнала в дополнение к тону, когда воспринимаемый человеком сигнал содержит звуковой сигнал; и

изменение одного или более из цвета, яркости и частоты воспринимаемого человеком сигнала, когда воспринимаемый человеком сигнал содержит визуальный сигнал.

9. Способ по п. 1, дополнительно содержащий:

отображение вида сверху окружения транспортного средства для показа транспортного средства и движущегося объекта; и

выделение движущегося объекта при отображении вида сверху.

10. Устройство обнаружения движущихся объектов при движении транспортного средства задним ходом, реализуемое в транспортном средстве, содержащее:

камеру, выполненную с возможностью захвата одного или более изображений в направлении назад в отношении транспортного средства; и

один или более процессоров, функционально соединенных с камерой, причем один или более процессоров выполнены с возможностью выполнения операций, содержащих:

идентификацию по меньшей мере частично на основе одного или более изображений исследуемой области, когда транспортное средство движется в направлении назад;

обнаружение движущегося объекта в исследуемой области;

определение, является ли вероятным столкновение транспортного средства, движущегося в направлении назад, с движущимся объектом; и

обеспечение воспринимаемого человеком сигнала в ответ на определение того, что столкновение является вероятным,

причем при идентификации исследуемой области один или более процессоров выполнены с возможностью локализации исследуемой области с использованием одного или более изображений, захваченных камерой, в дополнение к данным истории вождения и одной или более цифровым картам, а также к по меньшей мере одному из:

данных глобальной системы позиционирования (GPS),

данных от одного или более подключенных по беспроводной связи устройств и от одного или более подключенных по беспроводной связи датчиков.

11. Устройство по п. 10, дополнительно содержащее:

один или более из датчика обнаружения и определения дальности с помощью света (лидарного датчика), радарного датчика и ультразвукового датчика,

причем при идентификации исследуемой области один или более процессоров дополнительно выполнены с возможностью уточнения локализованной исследуемой области с использованием одного или более из лидарного датчика, радарного датчика и ультразвукового датчика.

12. Устройство по п. 10, в котором при обнаружении движущегося объекта в исследуемой области один или более процессоров выполнены с возможностью анализа одного или более изображений, захваченных камерой, с использованием алгоритма машинного обучения.

13. Устройство по п. 12, в котором алгоритм машинного обучения содержит глубокую нейронную сеть.

14. Устройство по п. 10, в котором при определении, является ли вероятным столкновение транспортного средства, движущегося в направлении назад, с движущимся объектом, один или более процессоров выполнены с возможностью выполнения операций, содержащих:

отслеживание движения движущегося объекта;

отслеживание расстояния между движущимся объектом и транспортным средством;

определение траектории транспортного средства; и

определение, является ли вероятным столкновение транспортного средства с движущимся объектом, на основе движения движущегося объекта, расстояния между движущимся объектом и транспортным средством и траектории транспортного средства.

15. Устройство по п. 10, в котором при обеспечении воспринимаемого человеком сигнала один или более процессоров выполнены с возможностью выполнения операций, содержащих:

обеспечение воспринимаемого человеком сигнала, который содержит звуковой сигнал и/или визуальный сигнал;

отслеживание расстояния между движущимся объектом и транспортным средством; и

изменение одного или более аспектов воспринимаемого человеком сигнала в ответ на изменение расстояния между движущимся объектом и транспортным средством.

16. Устройство по п. 15, в котором при отслеживании расстояния между движущимся объектом и транспортным средством один или более процессоров выполнены с возможностью отслеживания расстояния между движущимся объектом и транспортным средством с использованием информации об одном или более из угла поворота рулевого колеса транспортного средства, скорости транспортного средства и текущего расстояния между движущимся объектом и транспортным средством с использованием камеры, датчика обнаружения и определения дальности с помощью света (лидарного датчика), радарного датчика, ультразвукового датчика или их любого сочетания.

17. Устройство по п. 15, в котором при изменении одного или более аспектов воспринимаемого человеком сигнала один или более процессоров выполнены с возможностью выполнения операций, содержащих:

изменение одного или более из тона, частоты и громкости воспринимаемого человеком сигнала, когда воспринимаемый человеком сигнал содержит звуковой сигнал; и

изменение одного или более из цвета, яркости и частоты воспринимаемого человеком сигнала, когда воспринимаемый человеком сигнал содержит визуальный сигнал.

18. Устройство по п. 10, дополнительно содержащее:

устройство отображения,

в котором один или более процессоров дополнительно выполнены с возможностью выполнения операций, содержащих:

отображение на устройстве отображения вида сверху окружения транспортного средства для показа транспортного средства и движущегося объекта; и

выделение на устройстве отображения движущегося объекта при отображении вида сверху.