СПОСОБ, СИСТЕМА И МАШИНОЧИТАЕМЫЕ ЗАПОМИНАЮЩИЕ НОСИТЕЛИ ДЛЯ ВЫЯВЛЕНИЯ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ РЕКУРРЕНТНОЙ НЕЙРОННОЙ СЕТИ И СЦЕПЛЕННОЙ КАРТЫ ПРИЗНАКОВ Российский патент 2019 года по МПК G06K9/46 G06K9/62 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение в целом относится к способам, системам и аппаратам для выявления объектов или визуальных признаков, а конкретнее, относится к способам, системам и устройствам для выявления объектов с использованием рекуррентной нейронной сети и сцепленной карты признаков.

УРОВЕНЬ ТЕХНИКИ

Автомобили обеспечивают значительную часть транспортировки для коммерческих, государственных и частных хозяйствующих субъектов. В настоящее время автономные транспортные средства и системы содействия вождению разрабатываются и используются для обеспечения безопасности, уменьшения объема требуемого пользовательского ввода или даже полного устранения вовлечения пользователя. Например, некоторые системы содействия вождению, такие как системы предотвращения аварий, могут контролировать вождение, положения и вектор скорости транспортного средства и других объектов, в то время как человек осуществляет вождение. Когда система выявляет, что авария или удар неизбежны, система предотвращения аварий может вмешиваться и нажимать тормоза, управлять рулем транспортного средства или выполнять другие маневры для уклонения или обеспечения безопасности. В качестве еще одного примера, автономные транспортные средства могут водить и осуществлять навигацию транспортного средства с незначительным или без пользовательского ввода. Выявление объектов на основании данных с датчиков часто необходимо, чтобы давать системам автоматического вождения или системам содействия вождению возможность безопасно идентифицировать и уклоняться от препятствий или ездить безопасно.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Заявлен способ, содержащий этапы, на которых:

формируют сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и

выявляют один или более объектов на основании сцепленной карты признаков;

при этом, одно или более из формирования и выявления содержит, формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.

Заявленный способ дополнительно содержит этап, на котором формируют первую карту признаков на основании кадра с датчика первого типа и формируют вторую карту признаков на основании кадра с датчика второго типа, при этом, формирование сцепленной карты признаков состоит в том, что формируют на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.

В заявленном способе формирование сцепленной карты признаков содержит этап, на котором формируют сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.

В заявленном способе кадр с датчика первого типа содержит изображение, и при этом, кадр с датчика второго типа содержит карту дальностей.

В заявленном способе нейронная сеть подает по прямой связи одно или более из:

признака на предыдущей сцепленной карте признаков;

объекта, выявленного в предыдущем кадре или периоде времени; и

признака в предыдущем кадре с датчика.

В заявленном способе кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков, и один или более объектов содержат первые один или более объектов, при этом, способ дополнительно содержит этапы, на которых:

формируют вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;

выявляют вторые один или более объектов на основании второй сцепленной карты признаков; и

подают по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.

В заявленном способе нейронные сети содержат входной слой, один или более скрытых слоев и слой классификации, при этом, рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.

Заявлена система, содержащая:

один или более компонентов датчиков, выполненных с возможностью получать первый поток данных с датчиков и второй поток данных с датчиков, при этом, каждый из первого потока и второго потока содержат множество кадров с датчика;

компонент выявления, выполненный с возможностью:

формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и

выявлять один или более объектов на основании сцепленной карты признаков;

при этом, одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.

В заявленной системе компонент выявления дополнительно выполнен с возможностью формировать первую карту признаков на основании кадра с датчика первого типа и формировать вторую карту признаков на основании кадра с датчика второго типа, при этом, компонент выявления формирует сцепленную карту признаков посредством формирования на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.

В заявленной системе компонент выявления выполнен с возможностью формировать сцепленную карту признаков, формируя сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.

В заявленной системе кадр с датчика первого типа содержит изображение, и при этом, кадр с датчика второго типа содержит карту дальностей.

В заявленной системе рекуррентная связь нейронной сети подает по прямой связи одно или более из:

признака на предыдущей сцепленной карте признаков;

объекта, выявленного на основе предыдущих кадров или предыдущего периода времени; и

признака в предыдущем кадре с датчика.

В заявленной системе кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков, и один или более объектов содержат первые один или более объектов, при этом, компонент выявления дополнительно выполнен с возможностью:

формировать вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;

выявлять вторые один или более объектов на основании второй сцепленной карты признаков; и

подавать по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.

В заявленной системе нейронные сети содержат входной слой, один или более скрытых слоев и слой классификации, при этом, рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.

Заявлены машинно-читаемые запоминающие носители, хранящие команды, которые, когда приводятся в исполнение одним или более процессоров, побуждают один или более процессоров:

получать первый поток данных с датчиков и второй поток данных с датчиков, при этом, каждый из первого потока и второго потока содержат множество кадров с датчика;

формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и

выявлять один или более объектов на основании сцепленной карты признаков;

при этом, одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.

Причем в машинно-читаемых запоминающих носителях команды дополнительно побуждают один или более процессоров формировать первую карту признаков на основании кадра с датчика первого типа и формировать вторую карту признаков на основании кадра с датчика второго типа, при этом, команды побуждают один или более процессоров формировать сцепленную карту признаков посредством формирования на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.

Причем в машинно-читаемых запоминающих носителях команды побуждают один или более процессоров формировать сцепленную карту признаков, формируя сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.

Причем в машинно-читаемых запоминающих носителях кадр с датчика первого типа содержит изображение, и при этом, кадр с датчика второго типа содержит карту дальностей.

Причем в машинно-читаемых запоминающих носителях команды дополнительно побуждают один или более процессоров подавать по прямой связи, с использованием рекуррентной связи нейронной сети, одно или более из следующего:

признака на предыдущей сцепленной карте признаков;

объекта, выявленного на основе предыдущих кадров или предыдущего периода времени; и

признака в предыдущем кадре с датчика.

Причем в машинно-читаемых запоминающих носителях кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков, и один или более объектов содержат первые один или более объектов, при этом, команды дополнительно побуждают один или более процессоров:

формировать вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;

выявлять вторые один или более объектов на основании второй сцепленной карты признаков; и

подавать по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Неограничивающие и неисчерпывающие реализации настоящего изобретения описаны со ссылкой на нижеследующие фигуры, на которых одинаковые номера ссылок указывают на идентичные части на всем протяжении различных видов, если не указан иной способ действий. Преимущества настоящего изобретения станут лучше понятны с учетом нижеследующего описания и прилагаемых чертежей, где:

фиг. 1 - принципиальная структурная схема, иллюстрирующая реализацию системы управления транспортным средством, которая включает в себя систему автоматического вождения/содействия;

Фиг. 2 - принципиальная структурная схема, иллюстрирующая нейронную сеть с рекуррентными связями согласно одной из реализаций;

Фиг. 3 иллюстрирует вид в перспективе проезжей части дороги, который захвачен камерой транспортного средства, согласно одной из реализаций;

Фиг. 4 - принципиальная структурная схема, иллюстрирующая включение временной информации между кадрами данных с датчиков во время выявления объектов согласно одной из реализаций;

Фиг. 5 - принципиальная блок-схема последовательности операций способа, иллюстрирующая способ для выявления объектов, согласно одной из реализаций; и

Фиг. 6 - принципиальная структурная схема, иллюстрирующая создание и использование сцепленной карты признаков в комбинации с включением временной информации между кадрами данных с датчиков во время выявления объектов согласно одной из реализаций;

Фиг. 7 - принципиальная блок-схема последовательности операций способа, иллюстрирующая еще один способ для выявления объектов, согласно одной из реализаций; и

фиг. 8 - принципиальная структурная схема, иллюстрирующая вычислительную систему, согласно одной из реализаций.

ПОДРОБНОЕ ОПИСАНИЕ

По соображениям безопасности, интеллектуальное или автономное транспортное средство может быть должно быть способно классифицировать объекты в динамической окружающей среде. Глубинные сверточные нейронные сети добились успеха в области распознавания объектов, даже превышающего человеческие возможности в некоторых условиях. Глубинные сверточные нейронные сети могут быть крайне искусны в извлечении картографических схем того, где высокоуровневые признаки обнаруживаются в пределах изображений. Эти карты признаков могут извлекаться из сверток на статическом изображении, а затем, использоваться для распознавания изображений или объектов.

Выявление объектов современного уровня развития техники в пределах изображений/видеоданных сосредоточилось на извлечении карт признаков из статических изображений, затем подаче их в модели классификации и регрессии для выявления/классификации и определения местонахождения объекта, соответственно. Таким образом, несмотря на то, что сверточные нейронные сети добились большого успеха в области распознавания объектов, выявление неизвестного количества объектов в пределах сцены приводит к гораздо большей проблеме. Несмотря на то, что последние нововведения достигли впечатляющих результатов применительно к выявлению объектов в статических изображениях, заявители осознали, что существующим моделям не хватает способности использовать временную информацию для выявления объектов в видеоданных или других последовательностях или потоках данных с датчиков. Это может давать в результате нестабильное определение местонахождения объектов, особенно когда объекты становятся временно скрытыми.

Более того, выявление объектов в видеоданных с нежелательными условиями освещения остается крайне проблематичным. Например, ослепительный свет от солнца или темные условия в ночное время могут делать основанные на техническом зрении алгоритмы почти бесполезными. Заявители осознали, что имеющимся в распоряжении моделям недостает способности использовать с выгодой временную динамику в комбинации с информацией с альтернативных датчиков на уровне признаков для выявления объектов. Это может давать в результате нестабильное определение местонахождения объекта, которое не умеет успеха в условиях плохого освещения.

В настоящем изобретении, заявители раскрывают использование сцепленных карт признаков и рекуррентных связей в пределах моделей классификации и регрессии (таких как нейронная сеть) при извлечении карт признаков из или выявлении объектов в видеопоследовательностях. Согласно одному из вариантов осуществления, система включает в себя компонент датчика и компонент выявления. Компонент датчиков выполнен с возможностью получать первый поток данных с датчиков и второй поток данных с датчиков, при этом, каждый из первого потока и второго потока содержит множество кадров с датчика. Компонент выявления выполнен с возможностью формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа. Компонент выявления выполнен с возможностью выявлять один или более объектов на основании сцепленной карты признаков. Одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров (например, карты признаков или предсказания объектов из предыдущего кадра или кадров).

Согласно еще одному примерному варианту осуществления, способ для выявления объектов в видеоданных (или другой последовательности кадров с датчика) включает в себя определение, с использованием одной или более нейронных сетей, выходного сигнала для первого кадра с датчика, указывающего наличие объекта или признака. Способ включает в себя подачу выходного сигнала для первого кадра с датчика по прямой связи в качестве входного сигнала для обработки второго кадра с датчика. Способ также включает в себя определение выходного сигнала для второго кадра с датчика, указывающего наличие объекта или признака, на основании выходного сигнала для первого кадра с датчика.

В одном из вариантов осуществления, рекуррентные связи являются связями, которые дают нейронной сети возможность использовать выходные сигналы из предыдущих кадров изображения в качестве входных сигналов для текущего кадра изображения. Рекуррентные связи, раскрытые в материалах настоящей заявки, практически могут предоставлять возможность, чтобы нейронные сети поддерживали информацию о состоянии. Например, если нейронная сеть выявляет легковой автомобиль в пределах текущего кадра изображения, это могло бы воздействовать на текущее состояние сети и заставлять ее вероятнее выявлять легковой автомобиль в таком месте или находящемся поблизости месте в следующем кадре. Рекуррентные слои могут использоваться, чтобы уделять внимание местам динамического объекта до конечных слоев классификации и определения местонахождения объекта. Они также могли бы использоваться во время конечной стадии классификации объекта. Эти рекуррентные слои могут принимать входные сигналы из карт признаков, извлеченных из одного или более слоев сверточной сети.

Несмотря на то, что технологии извлечения признаков в разной степени могли включать в себя временную информацию, модели регрессии и классификации, используемые для сопровождения и/или классификации объектов, сосредоточились на статических изображениях, пренебрегая ценной временной информацией. Заявитель предлагает решение для использования рекуррентных связей в моделях регрессии и классификации, что даст обнаружителям объектов возможность задействовать оценки мест/типов объектов из предыдущих временных кадров, улучшая предсказания. Рекуррентные связи могут обеспечивать выгоды отслеживания объектов на нижнем уровне и с показателями достоверности, неявно изученными нейронными моделями. В одном из вариантов осуществления, технологии, раскрытые в материалах настоящей заявки, могут использоваться для сквозных алгоритмов выявления объектов, которые должны применяться к таким задачам, как выявление автомобилей, велосипедов и пешеходов. Дополнительно, специфичные признаки данных изображения или с датчиков могут выявляться с использованием этих способов для улучшения выявления признаков. Признаки могут включать в себя стереотипы в данных, таких как данные изображения, данные карты дальностей, данные облаков точек или другие данные. Например, признак в данных изображения может включать в себя контур (место высокой контрастности) или линии с конкретными изгибами, шаблоны или профили, которые могут быть интересны при выявлении объектов.

Настоящее изобретение также предполагает использование многочисленных потоков выборок карт признаков для информации, полученной из многочисленных типов датчиков, такой как карты (изображения) RGB и карты дальностей. Рекуррентные связи могут использоваться во время сочетания карт признаков или во время выявления объектов. Карты дальностей могут извлекаться из датчиков, таких как лазерный локатор (лидар), радиолокатор или камеры (такие как инфракрасная камера с восприятием глубины сцены). В случае датчиков, которые возвращают облака точек (например, времяпролетных датчиков, подобных радиолокатору или лазерному локатору), дополнительная обработка может выполняться для преобразования облака точек в карту дальностей. Например, модифицированный билатеральный фильтр может использоваться для сглаживания облака точек в карту дальностей, тем временем, сохраняя контуры. После того, как карта дальностей совмещена с кадром с камеры RGB, карта дальностей затем может дополнительно раскладываться на признаки, такие как горизонтальное расхождение, высота над землей и угол локальной нормали к поверхности пикселя.

Карта дальностей может подаваться в глубинную полностью сверточную сеть для извлечения карты дальностей. Это может выполняться параллельно с соответствующим кадром изображения RGB. Карта признаков может включать в себя карту того, какие признаки найдены и в каких местах в изображении или другом кадре с датчика. Например, карта признаков может указывать области, где расположены признаки, которые могут соответствовать пешеходам. Карты признаков из карт дальностей и признаков RGB затем сцепляются и отправляются дальше через дополнительные сверточные слои в сети. Сцепленная карта признаков может включать в себя признаки, извлеченные как из изображения (например, изображения RGB), так и карты дальностей. Например, карта признаков может включать в себя все признаки пешеходов или другие признаки, выявленные на основании анализа каких-нибудь имеющихся в распоряжении кадров с датчика за один и тот же период времени. Например, облако точек с лазерного локатора и кадр изображения могут захватываться в течение одного и того же периода времени, и выявленные признаки могут комбинироваться в единую карту признаков.

Рекуррентные слои могут использоваться, чтобы уделять внимание местам динамического объекта до момента конечных слоев классификации и определения местонахождения объекта. Они также могли бы использоваться во время конечной стадии классификации объекта. Эти рекуррентные слои будут принимать входные данные из карт признаков, извлеченные из комбинированных карт признаков дальности и RGB, из одного или более слоев сверточной сети. Это будет давать пространственно-временным зависимостям возможность извлекаться из сочетаний потоков данных цвета и дальности.

Несмотря на то, что технологии извлечения признаков в разной степени включали в себя временную информацию, модели регрессии и классификации, используемые для сопровождения и/или классификации объектов, сосредоточивались на статических изображениях, пренебрегая ценной временной информацией. Заявитель предлагает решение для использования рекуррентных связей в моделях регрессии и классификации, что даст обнаружителям объектов возможность задействовать оценки мест/типов объектов из предыдущих временных кадров, улучшая предсказания. Это может давать аналогичные или улучшенные выгоды над слежением за объектом, но на более низком уровне и с показателями достоверности, неявно изученными нейронными моделями. Более того, использование сцепленных карт признаков может значительно улучшать выявление объектов в случае плохого качества для одного типа данных с датчиков.

Дополнительные варианты осуществления и примеры будут обсуждены в отношении фигур, приведенных ниже.

Далее, со ссылкой на фигуры, фиг. 1 иллюстрирует примерную систему 100 управления транспортным средством, которая может использоваться для автоматического выявления, классификации и/или определения местонахождения объектов. Система 102 автоматического вождения/содействия может использоваться для автоматизации или управления работой транспортного средства или для обеспечения содействия человеку-водителю. Например, система 102 автоматического вождения/содействия может управлять одним или более из тормозов, рулевого механизма, ускорения, фонарей, предупреждений, уведомлений водителя, радиоприемника или любыми другими вспомогательными системами транспортного средства. В еще одном примере, система 102 автоматического вождения/содействия может не быть способной обеспечивать какое бы то ни было управление вождением (например, рулевым механизмом, ускорением или торможением), но может выдавать уведомления и предупреждения для содействия человеку-водителю в безопасном вождении. Система 102 автоматического вождения/содействия может использовать нейронную сеть либо другие модель или алгоритм для выявления или определения местонахождения объектов на основании данных восприятия, собранных одним или более датчиками.

Система 100 управления транспортным средством также включает в себя одну или более систем/устройств с датчиками для выявления присутствия объектов возле или в пределах дальности действия датчиков родительского транспортного средства (например, транспортного средства, которое включает в себя систему 100 управления транспортным средством). Например, система 100 управления транспортным средством может включать в себя одну или более систем 106 радиолокатора, одну или более систем 108 лазерного локатора, одну или более систем 110 камер, глобальную систему 112 определения местоположения (GPS) и/или одну или более ультразвуковых систем 114. Система 100 управления транспортным средством может включать в себя хранилище 116 данных для хранения уместных или полезных данных для навигации и безопасности, таких как данные карты, предыстория вождения или другие данные. Система 100 управления транспортным средством также может включать в себя приемопередатчик 118 для беспроводной связи с сетью мобильной или беспроводной связи, другими транспортными средствами, инфраструктурой или любой другой системой связи.

Система 100 управления транспортным средством может включать в себя исполнительные механизмы 120 управления транспортным средством для управления различными аспектами вождения транспортного средства, такие как электродвигатели, переключатели или другие исполнительные механизмы, для управления торможением, ускорением, рулевым механизмом, или тому подобным. Система 100 управления транспортным средством также может включать в себя одно или более устройств 122 отображения, громкоговорителей 124 или других устройств, так чтобы могли выдаваться уведомления человеку-водителю или пассажиру. Устройство 122 отображения может включать в себя проекционный дисплей на лобовом стекле, дисплей или индикатор приборного щитка, дисплейный экран или любой другой визуальный индикатор, который может быть виден водителю или пассажиру транспортного средства. Громкоговорители 124 могут включать в себя один или более громкоговорителей акустической системы транспортного средства или могут включать в себя громкоговоритель, выделенный для уведомления водителя.

Будет принято во внимание, что вариант осуществления по фиг. 1 приведен только в качестве примера. Другие варианты осуществления могут включать в себя меньшее количество или дополнительные компоненты, не выходя из объема изобретения. Дополнительно, проиллюстрированные варианты осуществления могут быть скомбинированы с или заключены в других компонентах без ограничения.

В одном из вариантов осуществления, система 102 автоматического вождения/содействия выполнена с возможностью управлять вождением или навигацией родительского транспортного средства. Например, система 102 автоматического вождения/содействия может управлять исполнительными механизмами 120 управления транспортным средством, чтобы проезжало маршрут по дороге, автостоянке, подъездному пути или другому месту. Например, система 102 автоматического вождения/содействия может определять путь на основании информации или данных восприятия, предоставляемых любым из компонентов 106-118. Системы/устройства 106-110 и 114 датчиков могут использоваться для получения данных с датчиков в реальном времени, так чтобы система 102 автоматического вождения/содействия могла содействовать водителю или вести транспортное средство в реальном времени. Система 102 автоматического вождения/содействия может реализовывать алгоритм или использовать модель, такую как глубинная нейронная сеть, для обработки данных с датчиков, чтобы выявлять, идентифицировать и/или определять местонахождение одного или более объектов. Для того чтобы обучать или испытывать модель или алгоритм, могут быть необходимы большие объемы данных с датчиков и аннотации данных с датчиков.

Система 102 автоматического вождения/содействия может включать в себя компонент 104 выявления для выявления объектов, признаков изображения или других признаков объектов в пределах данных с датчиков. В одном из вариантов осуществления, компонент 104 выявления формирует сцепленную карту признаков на основании многочисленных разновидностей потоковых данных с датчиков. Например, компонент 104 выявления может формировать карту признаков на основании изображения и карты признаков, основанных на карте дальностей, извлеченной из радиолокатора, лазерного локатора, инфракрасной камеры или других датчиков. Может формироваться сцепленная карта признаков, которая включает в себя все признаки из карт с других датчиков. Таким образом, если один из датчиков не выдает оптимальные данные, сцепленная карта признаков по-прежнему может содержать все признаки или объект, выявленные с использованием данных из другого датчика.

В одном из вариантов осуществления, компонент 104 выявления может использовать рекуррентные связи в модели классификации или регрессии для выявления признаков объекта или объектов. Например, компонент 104 выявления может включать в себя или использовать глубинную сверточную нейронную сеть, которая выдает, с помощью слоя классификации, указание того, присутствует ли объект или признак. Этот выходной сигнал затем может подаваться по прямой связи в следующий кадр изображения или кадр с датчика. Подача выходного сигнала одного кадра с датчика в следующий может предусматривать выгоды аналогичные отслеживанию объекта, но на гораздо более низком уровне, что предоставляет системе возможность извлекать выгоду из мощности нейронных сетей, такую как обучение и машинное обучение.

Фиг. 2 - принципиальная схема, иллюстрирующая глубинную нейронную сеть 200 с рекуррентной связью. Глубинные нейронные сети являются вычислительными графами с прямой связью с входными узлами (такими как входные узлы 202), одним или более скрытых слоев (таких как скрытые слои 204, 206 и 208) и выходными узлами (такими как выходные узлы 210). Для классификации информационных наполнений или информации об изображении, значения пикселей входного изображения назначаются входным узлам, а затем, подаются через скрытые слои 204, 206, 208 сети, проходя через некоторое количество нелинейных преобразований. В конце вычисления, выходные узлы 210 дают значения, которые соответствуют классу, логически выведенному нейронной сетью. Аналогичная операция может использоваться для классификации или выявления признаков данных или карт дальностей скопления пикселей, таких как данные, принятые с датчиков дальности, подобных датчикам с лазерным локатором, радиолокатором, ультразвуковому или другим датчикам. Количество входных узлов 202, скрытых слоев 204-208 и выходных узлов 210 является всего лишь иллюстративным. Например, большие сети могут включать в себя входной узел 202 для каждого пикселя изображения и, таким образом, может иметь сотни, тысячи или другое количество входных узлов.

Согласно одному из вариантов осуществления, глубинная нейронная сеть 200 по фиг. 2 может использоваться для классификации информационного контента(контентов) изображения четырьмя разными классами: первым классом, вторым классом, третьим классом и четвертым классом. Согласно настоящему изобретению, нейронная сеть аналогичного или другого размера может быть способна выводить значение, указывающее, присутствует ли конкретный тип объекта в пределах изображения (или подобласти изображения, которое подавалось в сеть 200). Например, первый класс может соответствовать тому, присутствует ли транспортное средство, второй класс может соответствовать тому, присутствует ли велосипед, третий класс может соответствовать тому, присутствует ли пешеход, а четвертый класс может соответствовать тому, присутствует ли бордюрный камень или барьер. Выходной сигнал, соответствующий классу, может быть высоким (например, 5 или большим), когда выявлен объект из соответствующего класса, и низким (например, меньшим, чем 0,5), когда объект класса не выявлен. Это является всего лишь иллюстративным, так как нейронная сеть должна классифицировать объекты в изображении и может включать в себя входы для размещения сотен или тысяч пикселей, и может быть должна выявлять большее количество разных типов объектов. Таким образом, нейронная сеть для выявления или классификации объектов в изображении с камеры или другом кадре с датчика может требовать сотен или тысяч узлов во входном слое и/или больше чем (или меньше чем) четыре выходных узла.

Например, подача части необработанного кадра с датчика (например, изображения, кадра с лазерного локатора, кадра с радиолокатора, или тому подобного, захваченного датчиком системы 100 управления транспортным средством) в сеть 200 может указывать наличие пешехода в такой части. Поэтому, нейронная сеть 100 может давать вычислительной системе возможность автоматически делать вывод, что пешеход присутствует в конкретном месте в пределах кадра изображения или кадра с датчика и относительно транспортного средства. Аналогичные технологии или принципы могут использоваться для логического вывода информации о или выявления транспортных средств, дорожных знаков, велосипедов, барьеров, и/или тому подобного.

Нейронная сеть (с или без рекуррентных связей) также может использоваться для идентификации или выявления признаков в пределах кадра с датчика или в пределах подобластей кадра с датчика.

Нейронная сеть 200 также включает в себя множество рекуррентных связей между выходными узлами 210 и входными узлами 202. Значения на выходных узлах 210 могут подаваться обратно через задержки 212 в один или более входных узлов. Задержки 212 могут задерживать/сохранять выходные значения для входного сигнала в течение более позднего кадра с датчика. Например, подмножество входных узлов 202 может принимать выходной сигнал из предыдущего кадра с датчика (такого как кадр изображения), тем временем, остальные входные узлы 202 могут принимать значения пикселей или точек для текущего кадра с датчика. Таким образом, выходной сигнал предыдущего кадра может оказывать влияние на то, выявляется ли конкретный объект или признак снова. Например, если пешеход выявлен в изображении, выходной сигнал, указывающий наличие пешехода, может подаваться во входной узел 202, так чтобы сеть вероятнее выявляла пешехода в последующем кадре. Это может быть полезным в видеоданных, где захватывается последовательность изображений, и транспортному средству необходимо выявлять и уклоняться от препятствий. Дополнительно, любой датчик, который выдает последовательность кадров с датчика (например, такой как лазерный локатор или радиолокатор), также может извлекать выгоду из рекуррентной связи.

Хотя нейронная сеть 200 показана с рекуррентной связью между выходными узлами 210 и входными узлами 202, рекуррентная связь может иметь место между любым узлом или слоем в разных вариантах осуществления. Например, рекуррентная связь может подавать значения выходных узлов 210 в узлы в скрытом слое (например, 204, 206 и 208) или в качестве входного сигнала в выходные узлы 210. Рекуррентные связи могут предоставлять выявлению объектов или признаков из предыдущего кадра с датчика возможность оказывать влияние на выявление объектов или признаков для более позднего кадра с датчика.

Для того чтобы глубинная нейронная сеть была способна проводить различие между какими-нибудь желательными классами, нейронной сети необходимо обучаться на основании примеров. Как только изображения с метками (обучающие данные) собраны, сеть может обучаться. Один из примерных алгоритмов для обучения включает в себя алгоритм обратного распространения, который может использовать помеченные кадры с датчиков для обучения нейронной сети. Обучение может обучать нейронную сеть 200, каким образом выявлять объекты или признаки не только на основании данных с датчиков, но также на основании выходных сигналов или информации, определенных из предыдущего набора пикселей/данных кадра. Однажды обученная, нейронная сеть 200 может быть готова для использования в рабочей окружающей обстановке.

Фиг. 3 иллюстрирует изображение 300 вида в перспективе, который может захватываться камерой транспортного средства в среде вождения. Например, изображение 300 иллюстрирует сцену дороги перед транспортным средством, которое может захватываться, в то время как транспортное средство передвигается по дороге. Изображение 300 включает в себя множество интересующих объектов на или возле проезжей части дороги. В одном из вариантов осуществления, изображение 300 слишком велико, чтобы обрабатываться с полным разрешением имеющейся в распоряжении нейронной сетью. Таким образом, изображение может обрабатываться по одной подобласти за раз. Например, окно 302 представляет собой часть изображения 302, которая может подаваться в нейронную сеть для выявления объекта или признака. Окно 302 может сдвигаться в разные места, чтобы эффективно обрабатывать все изображение 302. Например, окно 302 может начинаться в углу, а затем, впоследствии перемещаться с места на место для выявления признаков.

В одном варианте осуществления, разные размеры скользящих окон могут использоваться для захвата признаков или объектов с разными разрешениями. Например, признаки или объекты ближе к камере могут выявляться точнее с использованием большего окна, в то время как признаки или объекты дальше от камеры могут точнее выявляться с использованием меньшего окна. Большие окна могут быть уменьшены по разрешению, чтобы соответствовать количеству входных узлов нейронной сети. Например, изображение 300 может дискретизироваться с понижением частоты для обработки полного изображения 300 или большей части или окна 302 с другим масштабом изображения 300.

В одном варианте осуществления, выходные сигналы нейронной сети для каждого места окна 302 могут подаваться по прямой связи для одного и того же или ближайшего места окна 302 в последующем изображении. Например, если пешеход выявлен нейронной сетью в одном месте в первом изображении, указание, что пешеход выявлялся в таком месте, может подаваться по прямой связи во время выявления пешехода в таком месте для второго, более позднего изображения с использованием нейронной сети. Подобным образом, признаки, выявленные в конкретном месте в изображении или другом кадре с датчика, могут подаваться по прямой связи. Таким образом, объекты или признаки в последовательности изображений могут согласованно выявляться и/или отслеживаться в слое нейронной сети или модели.

В одном варианте осуществления, после или в результате обработки с использованием скользящего окна, может формироваться карта признаков, которая включает в себя то, какие признаки или объекты располагались и в каких местах. Карта признаков может включать в себя указания низкоуровневых признаков изображения (или другого кадра с датчика), которые могут быть интересны при выявлении объектов или классификации объектов. Например, признаки могут включать в себя контуры, кривые, углы или другие признаки, которые могут быть указывающими тип объекта в месте (такого как транспортное средство, лицо пешехода, или тому подобное). Карты признаков затем могут использоваться для выявления или классификации объектов. Например, карта признаков может формироваться, а затем, карта признаков и/или область изображения могут обрабатываться для идентификации типа объекта и/или отслеживания места объекта между кадрами данных с датчиков. Карта признаков может указывать, где в изображении 300 выявлены некоторые типы признаков. В одном варианте осуществления, множество разных рекуррентных нейронных сетей может использоваться для формирования каждой карты признаков. Например, карта признаков для выявления пешехода может формироваться с использованием нейронной сети, обученной выявлению пешеходов, тем временем, карта признаков для выявления транспортных средств может формироваться с использованием нейронной сети, обученной выявлению транспортных средств. Таким образом, множество разных карт признаков может формироваться для одиночного изображения 300, показанного на фиг. 3. Как обсуждено ранее, выявленные признаки могут подаваться по прямой связи между кадрами для одних и тех же подобластей, чтобы улучшать отслеживание признаков и/или выявление объектов.

Хотя фиг. 3 показывает изображение, аналогичная обработка может выполняться над любым типом данных с датчиков или кадром данных. Например, карта дальностей может обрабатываться аналогичным образом с использованием окон, нейронных сетей, и тому подобного, для выявления признаков или объектов. В одном из вариантов осуществления, каждый из кадров разных типов данных с датчиков может обрабатываться для формирования одной или более карт признаков, которые затем могут комбинироваться в сцепленную карту признаков. У сцепленной карты признаков, признаки могут включать в себя все признаки, выявленные любым из имеющихся в распоряжении датчиков или источников данных. Таким образом, даже если никакие признаки на выявлены на основании данных с одного из датчиков, признаки, выявленные на основании данных с оставшихся датчиков, по-прежнему могут давать достаточную информацию для точного и надежного выявления признаков или объектов. Например, транспортные средства или объекты по-прежнему могут выявляться в темноте или в ситуациях отражения солнечного света на основании признаков из источников с лазерным локатором, радиолокатором или другими датчиками. Дополнительно, рекуррентные связи между кадрами могут предоставлять возможность для выявления объектов или признаков даже в очень плохих условиях, если предыдущий кадр обнаруживал объекты или признаки.

Фиг. 4 - принципиальная структурная схема, иллюстрирующая включение временной информации между кадрами данных с датчиков во время выявления объектов. Показано множество стадий обработки, в том числе, первая стадия 402, вторая стадия404 и третья стадия 406 для обработки разных изображений, в том числе, изображения 0, изображения 1 и изображения 2. Каждая стадия 402, 404, 406 может соответствовать разному периоду времени для обработки разного набора данных с датчиков. Например, стадии могут соответствовать обработке в реальном времени во время сбора данных с датчиков. Первая стадия 402 показывает ввод изображения 0 для формирования одной или более карт 408 признаков. Карты 408 признаков могут формироваться с использованием одной или более нейронных сетей. Для каждой подобласти 410 (такой как место окна 302 по фиг. 3), формируется предсказание объекта. Как формирование карты признаков, так и предсказание объекта могут выполняться с использованием одной или более нейронных сетей.

Предсказания объекта могут указывать тип объекта и/или место объекта. Например, значение '0' для предсказания объекта может указывать, что объекта нет, '1' может указывать, что объектом является легковой автомобиль, '2' может указывать, что объект является пешеходом, и так далее. Также может выдаваться значение места, которое указывает, где в подобласти 410 расположен объект. Например, второе число может быть включено в состояние, которое указывает место в центре, на правой стороне, верхней стороне или нижней стороне подобласти 410. Состояние 0-0 рекуррентной нейронной сети (RNN) является результирующим предсказанием для объекта 0 в подобласти 410, состояние 0-1 RNN является результирующим предсказанием для объекта 1 в подобласти 410, а состояние 0-2 RNN является результирующим предсказанием для объекта 2 в подобласти 410. Таким образом, множество объектов и/или предсказаний объектов может выявляться или формироваться для каждой подобласти 410.

Информация о состоянии, в том числе, состояние 0-0 RNN, состояние 0-1 RNN и состояние 0-2 RNN со стадии 402, подается по прямой связи с использованием рекуррентной связи 420 для использования во время обработки следующего сообщения, изображения 1 во время стадии 404. Например, предсказания объекта и связанные значения могут подаваться в нейронную сеть по рекуррентной связи 420 в качестве входного сигнала в один или более узлов тех же самых одной или более нейронных сетей во время обработки изображения 1 и/или его карт 412 признаков. Во время стадии 404, предсказания объекта формируются не только на основании изображения 1 и карт 412 признаков, но также и на основании состояния 0-0 RNN, состояния 0-1 RNN и состояния 0-2 RNN. Результат предсказания приводит к состоянию 1-0 RNN, состоянию 1-1 RNN и состоянию 1-2 RNN для подобласти 414. Рекуррентная связь 420 может подавать по прямой связи информацию о состоянии для одной и той же подобласти 410. Таким образом, только информация о состоянии для той же самой подобласти из предыдущего изображения может использоваться для определения предсказания объекта или выявления признаков применительно к текущему изображению. В одном из вариантов осуществления, выявленные признаки на карте 408 признаков также подаются по прямой связи вдоль рекуррентной связи 420. Таким образом, рекуррентные нейронные сети могут использоваться для формирования карт признаков, а также предсказаний объекта.

Во время стадии 406, предсказания объекта формируются на основании не только изображения 2 и карт 416 признаков, но также на основании информации о состоянии, в том числе, состояния 1-0 RNN, состояния 1-1 RNN и состояния 1-2 RNN, которая подается по прямой связи с использованием рекуррентной связи 422 для использования во время обработки изображения 2 для подобласти 418. Предсказания объектов применительно к состоянию 2-0 RNN, состоянию 2-1 RNN и состоянию 2-2 RNN определяются на основании изображения 2, а также информации о состоянии, включающей в себя состояние 1-0 RNN, состояние 1-1 RNN и состояние 1-2 RNN из изображения 1. Дополнительно, карты 416 признаков могут формироваться на основании карт признаков (или мест выявленных признаков) для предыдущей, второй стадии 404.

В одном из вариантов осуществления, обработка, которая происходит на каждой стадии 402, 404, 406, происходит в реальном времени над потоком поступающих данных с датчиков. Например, при обработке видеоданных, каждый кадр видеоданных может обрабатываться, и соответствующие предсказания объекта, выявления признаков и/или карты признаков могут сохраняться/вводиться в модели или нейронные сети, когда принимается следующий кадр видеоданных. Таким образом, рекуррентные связи 420, 422 предоставляют возможность, чтобы предсказания объекта переносились с более раннего кадра на более поздний кадр. Таким образом, временная информация может быть встроена на уровне модели или нейронной сети, которая предоставляет нейронной сети возможность обучаться и обрабатывать не только информацию для текущего кадра с датчика, но также и предыдущих кадров с датчика. Это отличается от вариантов осуществления, где признаки извлекаются для каждого кадра заново, а затем отбрасываются. В одном из вариантов осуществления, одиночная нейронная сеть или набор нейронных сетей используется во время каждой стадии, так чтобы рекуррентные связи 420, 422 просто возвращали выходные сигналы по обратной связи из предыдущих кадров в качестве входного сигнала в текущий кадр.

Фиг. 5 - принципиальная блок-схема последовательности операций способа, иллюстрирующая способ 500 для выявления объектов. Способ 500 может выполняться компонентом выявления или системой управления транспортным средством, такими как компонент 104 выявления или система 100 управления транспортным средством по фиг. 1.

Способ 500 начинается, и компонент 104 выявления определяет на этапе 502, с использованием одной или более нейронных сетей, выходной сигнал для первого кадра с датчика, указывающий наличие объекта или признака. Например, компонент 104 выявления может определять на этапе 502 любое из предсказания или состояния объекта (такое как состояние 0-0 RNN, состояние 0-1 RNN, состояние 0-2 RNN, состояние 1-0 RNN, состояние 1-1 RNN или состояние 1-2 RNN) по фиг. 4. Компонент 102 выявления может определять на этапе 502 состояния на основании данных в кадре с датчика в последовательности кадров с датчика. Компонент датчика (который может включать в себя систему 106 радиолокатора, систему 108 лазерного локатора, систему 110 камер или другой датчик) может захватывать или получать кадры с датчика, которые включают в себя данные изображения, данные с лазерного локатора, данные с радиолокатора или данные инфракрасного изображения. Компонент 104 выявления на этапе 504 подает выходной сигнал (который может включать в себя указание выявленных признаков или объектов) для первого кадра с датчика по прямой связи в качестве входного сигнала для обработки второго кадра с датчика. Например, компонент 104 выявления может включать в себя или использует рекуррентную связь в нейронной сети. Компонент 104 выявления определяет на этапе 506 выходной сигнал для второго кадра с датчика, указывающего наличие объекта или признака, на основании выходного сигнала для первого кадра с датчика. Например, компонент 104 выявления может определять любое из предсказания или состояния объекта (такое как состояние 1-0 RNN, состояние 1-1 RNN, состояние 1-2 RNN, состояние 2-0 RNN, состояние 2-1 RNN или состояние 2-2 RNN) по фиг. 4 на основании состояний или предыдущей стадии.

Способ 500 может включать в себя предоставление выходного сигнала или предсказаний в другую систему для принятия решения. Например, система 102 автоматического вождения/содействия по фиг. 1 может определять маневр вождения на основании выявленного объекта или признака. Примерные маневры включают в себя маневры избегания аварий или другие маневры вождения для безопасного вождения транспортного средства. Способ 500 также может включать в себя обучение одной или более нейронных сетей формировать выходной сигнал на основании данных для более позднего кадра изображения с использованием выходного сигнала из более раннего кадра. Способ 500 может предоставлять возможность для более эффективного и точного выявления и отслеживания объектов в последовательности кадров с датчика, к примеру, в пределах видеоданных. Улучшенные выявление и отслеживание объектов могут улучшать безопасность вождения и пассажира, а также точность.

Фиг. 6 - принципиальная структурная схема, иллюстрирующая включение временной информации из многочисленных типов данных с датчиков и между наборами кадров данных с датчиков во время выявления объектов. Показано множество стадий обработки, в том числе, первая стадия 602, вторая стадия 604 и третья стадия 606 для обработки разных наборов кадров с датчика. Кадры с датчика включают в себя изображения (Изображение 0, Изображение 1 и Изображение 2), а также карты дальностей (Дальность 0, Дальность 1 и Дальность 2), которые обрабатываются во время своих соответственных стадий, хотя могут использоваться другие типы данных с датчиков или кадров. Каждая стадия 602, 604, 606 может соответствовать разному периоду времени для обработки разного набора данных с датчиков. Например, стадии могут соответствовать обработке в реальном времени во время сбора данных с датчиков самых последних по времени захвата данных с датчиков.

Первая стадия 602 показывает ввод Изображения 0 и Дальности 0, каждое из которых обрабатывается для формирования одной или более карт признаков. Например, Изображение 0 может обрабатываться одной или более нейронными сетями для формирования одной или более разных карт признаков, которые отражают, где выявлялись некоторые типы признаков. Подобным образом, более чем одна карта признаков может формироваться на основании Дальности 0. Карты признаков вводятся в сверточную рекуррентную нейронную сеть или другую модель, которая использует разномасштабные свертки для формирования сцепленных карт 608 признаков. Сцепленные карты 608 признаков могут включать в себя все признаки карт признаков с соответственных датчиков. Например, сцепленная карта признаков может включать в себя указания признаков, выявленных посредством как карты признаков изображения, так и карты признаков дальностей.

Сцепленные карты признаков могут обрабатываться для выявления объекта. Для каждой подобласти 614 (такой как место окна 302 по фиг. 3), формируется предсказание объекта. Формирование карты признаков с датчиков, формирование сцепленной карты признаков и предсказание объекта могут выполняться с использованием одной или более нейронных сетей. Предсказания объектов могут включать в себя предсказание Объекта 0 и предсказание Объекта 1, которые формировались на основании подобласти 614 сцепленной карты 608 признаков. Предсказание объекта может включать в себя тип или классификацию, а также местонахождение объекта.

Аналогично варианту осуществления по фиг. 4, рекуррентные связи 620, 622 подают по прямой связи информацию между стадиями обработки. Например, карты признаков, выявленные признаки, предсказания объектов, или тому подобное, могут подаваться по прямой связи в рекуррентную сверточную нейронную сеть для использования во время обработки последующего набора изображений. Таким образом, временная информация может учитываться во время выявления объектов или признаков. Признак или объекты, выявленные за предыдущий период времени (например, период времени, соответствующий предыдущему набору кадров с датчика), могут подаваться по прямой связи и оказывать влияние на то, выявляются ли те же самые объекты или признак, применительно к более позднему набору кадров с датчика. Во время стадии 604 и стадии 606, аналогичное формирование сцепленных карт 610 и 612 признаков и предсказаний объектов для подобластей 616 и 618 может выполняться и подаваться по прямой связи с использованием рекуррентных связей 622 и 624.

Фиг. 7 - принципиальная блок-схема последовательности операций способа, иллюстрирующая способ 700 для выявления объектов. Способ 700 может выполняться компонентом выявления или системой управления транспортным средством, такими как компонент 104 выявления или система 100 управления транспортным средством по фиг. 1.

Способ 700 начинается, и один или более компонентов датчиков получают на этапе 702 первый поток данных с датчиков и второй поток данных с датчиков. Каждый из первого потока и второго потока включает в себя множество кадров с датчика. Например, компонент датчиков может включать в себя один или более датчиков 106, 108, 110, 114 или другой датчик. Компонент 104 выявления формирует на этапе 704 сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа. Кадр с датчика может происходить из или быть основанным на первом потоке, а кадр с датчика второго типа может происходить из или быть основанным на втором потоке. Компонент 104 выявления выявляет на этапе 706 один или более объектов на основании сцепленной карты признаков. В одном из вариантов осуществления, одно или более из формирования на этапе 704 и выявления на этапе 706 содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.

Далее, со ссылкой на фиг. 8, проиллюстрирована структурная схема примерного вычислительного устройства 800. Вычислительное устройство 800 может использоваться для выполнения различных процедур, таких как раскрыто в материалах настоящей заявки. В одном из вариантов осуществления, вычислительное устройство 800 может функционировать в качестве компонента 104 выявления, системы 102 автоматического вождения/содействия, системы 100 управления транспортным средством, или тому подобного. Вычислительное устройство 800 может выполнять различные функции контроля, как обсуждено в материалах настоящей заявки, и может выполнять одну или более прикладных программ, таких как прикладные программы или функциональные возможности, описанные в материалах настоящей заявки. Вычислительное устройство 800 может быть любым из широкого многообразия вычислительных устройств, таких как настольный компьютер, компьютер в приборном щитке, система управления транспортным средством, блокнотный компьютер, серверный компьютер, карманный компьютер, планшетный компьютер, и тому подобное.

Вычислительное устройство 800 включает в себя один или более процессоров 802, одно или более устройств 804 памяти, один или более интерфейсов 806, одно или более запоминающих устройств 808 большой емкости, одно или более устройств 810 ввода/вывода (I/O) и устройство 830 отображения, все из которых присоединены к шине 812. Процессор(ы) 802 включает в себя один или более процессоров или контроллеров, которые выполняют команды, хранимые в устройстве(ах) 804 памяти и/или запоминающем устройстве(ах) 808 большой емкости. Процессор(ы) 802 также может включать в себя различные типы машинно-читаемых носителей, такие как сверхоперативная память.

Устройство(а) 804 памяти включает в себя различные машинно-читаемые носители, такие как энергозависимая память (например, оперативное запоминающее устройство 814 (ОЗУ, RAM)) и/или энергонезависимая память (например, постоянное запоминающее устройство 816 (ПЗУ, ROM)). Устройство(а) 804 памяти также может включать в себя перезаписываемое ПЗУ, такое как флэш-память.

Запоминающее устройство(а) 808 большой емкости включает в себя различные машинно-читаемые носители, такие как магнитные ленты, магнитные диски, оптические диски, твердотельная память (например, флэш-память), и так далее. Как показано на фиг. 8, конкретным запоминающим устройством большой емкости является накопитель 824 на жестком магнитном диске. Различные приводы также могут быть включены в запоминающее устройство(а) 808 большой емкости, чтобы давать возможность считывания с и/или записи на различные машинно-читаемые носители. Запоминающее устройство(а) 808 большой емкости включает в себя съемные носители 826 и/или несъемные носители.

Устройство(а) 810 ввода/вывода включает в себя различные устройства, которые предоставляют данным и/или другой информации возможность вводиться в или извлекаться из вычислительного устройства 800. Примерное устройство(а) 810 ввода/вывода включает в себя устройства управления курсором, клавиатуры, кнопочные панели, микрофоны, мониторы или другие устройства отображения, громкоговорители, принтеры, платы сетевого интерфейса, модемы, и тому подобное.

Устройство 830 отображения включает в себя любой тип устройства, способного отображать информацию одному или более пользователей вычислительного устройства 800. Примеры устройства 830 отображения включают в себя монитор, дисплейный терминал, проекционное видеоустройство, и тому подобное.

Интерфейс(ы) 806 включает в себя различные интерфейсы, которые предоставляют вычислительному устройству 800 возможность взаимодействовать с другими системами, устройствами или вычислительными средами. Примерный интерфейс(ы) 806 могут включать в себя любое количество разных сетевых интерфейсов 820, таких как интерфейсы в локальные сети (LAN), глобальные сети (WAN), беспроводные сети и сеть Интернет. Другой интерфейс(ы) включает в себя пользовательский интерфейс 818 и интерфейс 822 периферийных устройств. Интерфейс(ы) 806 также может включать в себя один или более элементов 818 пользовательского интерфейса. Интерфейс(ы) 806 также может включать в себя один или более интерфейсов периферийных устройств, таких как интерфейсы для принтеров, координатно-указательных устройств (мышей, сенсорной площадки или любого пригодного пользовательского интерфейса, известного рядовым специалистам в данной области техники в настоящее время или раскрытого позже), клавиатур, и тому подобного.

Шина 812 предоставляет процессору(ам) 802, устройству(ам) 804 памяти, интерфейсу(ам) 806, запоминающему устройству(ам) 808 большой емкости и устройству(ам) 810 вода/вывода возможность поддерживать связь друг с другом, а также с другими устройствами или компонентами, присоединенными к шине 812. Шина 812 представляет собой один или более из нескольких типов шинных структур, таких как системная шина, шина PCI (соединения периферийных компонентов), шина стандарта IEEE (Института инженеров по электротехнике и электронике), шина USB (универсальной последовательной шины), и так далее.

В целях иллюстрации, программы и другие исполняемые программные компоненты показаны в материалах настоящей заявки в виде дискретных блоков, хотя понятно, что такие программы и компоненты могут находиться в разные моменты времени в разных запоминающих компонентах вычислительного устройства 800 и выполняются процессором(ами) 802. В качестве альтернативы, системы и процедуры, описанные в материалах настоящей заявки, могут быть реализованы в аппаратных средствах или комбинации аппаратных средств, программного обеспечения и/или встроенных программ. Например, одна или более специализированных интегральных схем (ASIC) могут быть запрограммированы выполнять одну или более из систем и процедур, описанных в материалах настоящей заявки.

Примеры

Нижеследующие примеры относятся к дополнительным вариантам осуществления.

Пример 1 - способ для выявления объектов или признаков в данных с датчиков. Способ включает в себя формирование сцепленной карты признаков на основании кадра с датчика первого типа и кадра с датчика второго типа. Способ включает в себя выявление одного или более объектов на основании сцепленной карты признаков. В способе, одно или более из формирования и выявления включает в себя формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.

В примере 2, способ по примеру 1 дополнительно включает в себя формирование первой карты признаков на основании кадра с датчика первого типа и формирование второй карты признаков на основании кадра с датчика второго типа. Формирование сцепленной карты признаков включает в себя формирование на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.

В примере 3, формирование сцепленной карты признаков по примеру 2 включает в себя формирование сопоставленной карты признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.

В примере 4, кадр с датчика первого типа по любому из примеров 1-3 включает в себя изображение, а кадр с датчика второго типа включает в себя карту дальностей.

В примере 5, рекуррентная связь нейронной сети по любому из примеров 1-4 подает по прямой связи один или более из признаков в предыдущей сцепленной карте признаков, объект, выявленный в предыдущем кадре или периоде времени, и признак в предыдущем кадре с датчика.

В примере 6, кадр с датчика первого типа по любому из примеров 1-5 включает в себя первый кадр с датчика первого типа, кадр с датчика второго типа включает в себя первый кадр с датчика второго типа, сцепленная карта признаков включает в себя первую сцепленную карту признаков, и один или более объектов включают в себя первые один или более объектов. Способ включает в себя формирование второй сцепленной карты признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа. Способ дополнительно включает в себя выявление вторых одного или более объектов на основании второй сцепленной карты признаков. Способ дополнительно включает в себя подачу по прямой связи одного или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.

В примере 7, нейронная сеть как в любом из примеров 1-6 включает в себя входной слой, один или более скрытых слоев и слой классификации. Рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.

В примере 8, способ по любому из примеров 1-7 включает в себя определение признака или выявление объекта для множества подобластей, при этом, признак или объект для множества подобластей подается по прямой связи в виде входного сигнала применительно к соответствующей подобласти для более позднего периода времени.

В примере 9, определение признака или выявление объекта для множества подобластей по примеру 8 включает в себя определение признаков или выявление объектов для подобластей разного размера, чтобы выявлять признаки или объекты разного размера.

В примере 10, рекуррентная связь по любому из примеров 1-9 подает по прямой связи информацию, включающую в себя одно или более из указания типа выявленного объекта или признака или указания расположения объекта или признака.

В примере 11, способ по любому из примеров 1-10 дополнительно включает в себя определение маневра вождения на основании выявленных одного или более объектов или признаков сцепленной карты признаков.

В примере 12, способ по любому из примеров 1-11 дополнительно включает в себя обучение нейронной сети выявлять объекты или признаки с использованием рекуррентной связи.

Пример 13 - машинно-читаемые запоминающие носители, хранящие команды, которые, когда приводятся в исполнение одним или более процессоров, побуждают один или более процессоров реализовывать способ по любому из примеров 1-12.

Пример 14 - система или устройство, которые включают в себя средство для реализации способа или осуществления системы или устройства по любому из примеров 1-13.

В вышеприведенном изобретении была сделана ссылка на прилагаемые чертежи, которые формируют его часть, и на которых, в качестве иллюстрации, показаны конкретные реализации, в которых изобретение может быть осуществлено на практике. Понятно, что могут использоваться другие реализации, и структурные изменения могут быть произведены, не выходя из объема настоящего изобретения. Ссылки в описании изобретения на «один из вариантов осуществления», «вариант осуществления», «примерный вариант осуществления», и т. д., указывают, что описанный вариант осуществления может включать в себя конкретные признак, конструкцию или характеристику, но каждый вариант осуществления не обязательно может включать в себя конкретные признак, конструкцию или характеристику. Более того, такие фразы не обязательно являются указывающими ссылкой на один и тот же вариант осуществления. Кроме того, когда конкретный признак, конструкция или характеристика описаны в связи с вариантом осуществления, предполагается, что он находится в пределах познаний специалиста в данной области техники для осуществления такого признака, конструкции или характеристики в связи с другими вариантами осуществления, описанными или не описанными в прямой форме.

Реализации систем, устройств и способов, раскрытых в материалах настоящей заявки, могут содержать или использовать компьютер специального назначения или общего назначения, включающий в себя компьютерные аппаратные средства, например, такие как один или более процессоров и системная память, как обсуждено в материалах настоящей заявки. Реализации в пределах объема настоящего изобретения также могут включать в себя физические и другие машинно-читаемые носители для переноса или хранения машинно-исполняемых команд и/или структур данных. Такие машиночитаемые носители могут быть любыми имеющимися в распоряжении носителями, к которым может осуществляться доступ компьютерной системой общего назначения или специального назначения. Машинно-читаемые носители, которые хранят машинно-исполняемые команды, являются компьютерными запоминающими носителями (устройствами). Машинно-читаемые носители, которые переносят машинно-исполняемые команды, являются средой передачи данных. Таким образом, в качестве примера, а не ограничения, реализации изобретения могут содержать по меньшей мере две отчетливо разных разновидности машинно-читаемых носителей: компьютерные запоминающие носители (устройства) и среду передачи данных.

Компьютерные запоминающие носители (устройства) включают в себя ОЗУ (оперативное запоминающее устройство, RAM), ПЗУ (постоянное запоминающее устройство, ROM), ЭСППЗУ (электрически стираемое программируемое ПЗУ, EEPROM), CD-ROM (ПЗУ на компакт-диске), твердотельные накопители («SSD») (например, на основе ОЗУ), флэш-память, память на фазовых переходах («PCM»), другие типы памяти, другое оптическое дисковое запоминающее устройство, магнитное дисковое запоминающее устройство или другие магнитные устройства хранения данных, либо любой другой носитель, который может использоваться для хранения требуемого средства управляющей программы в форме машинно-исполняемых команд или структур данных, и к которым может осуществляться доступ компьютером общего назначения или специального назначения.

Реализация устройств, систем и способов, раскрытых в материалах настоящей заявки, может поддерживать связь через компьютерную сеть. «Сеть» определена в качестве одного или более каналов передачи данных, которые делают возможной транспортировку электронных данных между компьютерными системами и/или модулями, и/или другими электронными устройствами. Когда информация переносится или поставляется через сеть или другое соединение связи (проводное, беспроводное, либо комбинацию проводного или беспроводного) в компьютер, компьютер, по сути, рассматривает соединение в качестве среды передачи данных. Среда передачи данных может включать в себя сеть и/или каналы передачи данных, которые могут использоваться для переноса требуемого средства управляющей программы в форме машинно-читаемых команд или структур данных, и к которым может осуществляться доступ компьютером общего назначения или специального назначения. Комбинации приведенного выше также должны быть включены в объем машинно-читаемых носителей.

Машинно-исполняемые команды, например, содержат команды и данные, которые, когда выполняются на процессоре, побуждают компьютер общего назначения, компьютер специального назначения или устройство обработки специального назначения выполнять определенную функцию или группу функций. Машинно-исполняемые команды, например, могут быть двоичным кодом, командами промежуточного формата, такими как на языке ассемблера, или даже исходным кодом. Хотя предмет изобретения был описан на языке, специфичном структурным признакам и/или действиям обобщенных способов, должно быть понятно, что предмет изобретения, определенный в прилагаемой формуле изобретения, не обязательно ограничен описанными признаками или действиями, описанными выше. Скорее, описанные признаки и действия раскрыты в качестве примерных форм реализации формулы изобретения.

Специалисты в данной области техники будут принимать во внимание, что изобретение может быть осуществлено на практике в сетевых вычислительных средах с другими типами конфигураций компьютерных систем, включая встроенный в приборный щиток компьютер транспортного средства, персональные компьютеры, настольные компьютеры, дорожные компьютеры, процессоры сообщений, карманные устройства, многопроцессорные системы, основанную на микропроцессорах или программируемую бытовую электронику, сетевые ПК (персональные компьютеры), миникомпьютеры, универсальные компьютеры, мобильные телефоны, PDA (персональные цифровые секретари), планшеты, пейджеры, маршрутизаторы, коммутаторы, различные запоминающие устройства, и тому подобное. Изобретение также может быть осуществлено на практике в средах распределенной системы, где локальные и удаленные компьютерные системы, которые связаны (проводными каналами передачи данных, беспроводными каналами передачи данных или комбинацией проводных и беспроводных каналов передачи данных) через сеть, те и другие выполняют задания. В среде распределенной системы, программные модули могут быть расположены как в локальном, так и в удаленном запоминающих устройствах памяти.

Кроме того, где уместно, функции, описанные в материалах настоящей заявки, могут выполняться в одном или более из: аппаратных средств, программного обеспечения, встроенных программ, цифровых компонентов или аналоговых компонентов. Например, одна или более специализированных интегральных микросхем (ASIC) могут быть запрограммированы выполнять одну или более из систем и процедур, описанных в материалах настоящей заявки. Определенные термины используются на всем протяжении описания и формулы изобретения для указания ссылкой на конкретные компоненты системы. Термин «модули» и «компоненты» используются в названиях некоторых компонентов, чтобы отражать независимость их реализации в программном обеспечении, аппаратных средствах, схеме, датчиках, или тому подобном. Как будет принимать во внимание специалист в данной области техники, компоненты могут указываться ссылкой разными наименованиями. Данный документ не подразумевает, что следует проводить различие между компонентами, которые отличаются по наименованию, но не по функции.

Следует отметить, что варианты осуществления датчиков, обсужденные выше, могут содержать компьютерные аппаратные средства, программное обеспечение, встроенные программы или любую их комбинацию для выполнения по меньшей мере части своих функций. Например, датчик может включать в себя машинный код, выполненный с возможностью выполняться на одном или более процессоров, и может включать в себя аппаратные логические/электрические схемы, управляемые машинным кодом. Эти примерные устройства предусмотрены в материалах настоящей заявки в целях иллюстрации и не подразумеваются ограничивающими. Варианты осуществления настоящего изобретения могут быть реализованы в дополнительных типах устройств, как было бы известно специалистам в данной области(ях) техники.

По меньшей мере некоторые варианты осуществления изобретения были направлены на компьютерные программные продукты, содержащие такую логику (например, в форме программного обеспечения), хранимую на любом используемом компьютером носителе. Такое программное обеспечение, когда выполняется в одном или более устройств обработки данных, побуждает устройства действовать, как описано в материалах настоящей заявки.

Несмотря на то, что выше были описаны варианты осуществления настоящего изобретения, должно быть понятно, что они были представлены только в качестве примера, а не ограничения. Специалистам в данной области техники будет очевидно, что различные изменения по форме и содержанию могут быть произведены в нем, не выходя из сущности и объема изобретения. Так, широту и объем настоящего изобретения не следует ограничивать никакими из вышеописанных вариантов осуществления, но следует определять только в соответствии с нижеследующей формулой изобретения и ее эквивалентами. Вышеизложенное описание было представлено в целях иллюстрации и описания. Оно не подразумевается исчерпывающим или ограничивающим изобретение точной раскрытой формой. Многие модификации и варианты возможны в свете вышеприведенной доктрины. Кроме того, следует обратить внимание, что любые или все из вышеупомянутых альтернативных реализаций могут использоваться в любой комбинации, требуемой для формирования дополнительных смешанных реализаций изобретения.

Кроме того, хотя были описаны и проиллюстрированы конкретные реализации изобретения, изобретение не должно ограничиваться конкретными формами или устройствами деталей, описанных и проиллюстрированных таким образом. Объем изобретения должен определяться формулой изобретения, прилагаемой к нему, любыми будущими формулами изобретения, представленными на рассмотрение здесь и в других заявках, и их эквивалентами.

Группа изобретений относится к области вычислительной техники и может быть использована для выявления объектов или визуальных признаков. Техническим результатом является обеспечение классификации объектов в динамической окружающей среде. Система содержит компонент датчика и компонент выявления. Компонент датчиков выполнен с возможностью получать первый поток данных с датчиков и второй поток данных с датчиков, при этом каждый из первого потока и второго потока содержат множество кадров с датчика. Компонент выявления выполнен с возможностью формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа, выявлять один или более объектов на основании сцепленной карты признаков. Одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров. 3 н. и 17 з.п. ф-лы, 8 ил.

1. Способ выявления объектов в данных с датчиков, содержащий этапы, на которых:

формируют сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа;

выявляют один или более объектов на основании сцепленной карты признаков; и

предоставляют один или более выявленных объектов в систему автоматического вождения или систему содействия вождению транспортного средства для выполнения маневра вождения на транспортном средстве на основании одного или более выявленных объектов; при этом

одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.

2. Способ по п. 1, дополнительно содержащий этап, на котором формируют первую карту признаков на основании кадра с датчика первого типа и формируют вторую карту признаков на основании кадра с датчика второго типа, при этом формирование сцепленной карты признаков содержит формирование, основанное на высокоуровневых признаках на первой карте признаков или второй карте признаков.

3. Способ по п. 2, в котором формирование сцепленной карты признаков содержит этап, на котором формируют сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.

4. Способ по п. 1, в котором кадр с датчика первого типа содержит изображение и при этом кадр с датчика второго типа содержит карту дальностей.

5. Способ по п. 1, в котором нейронная сеть подает по прямой связи одно или более из:

признака на предыдущей сцепленной карте признаков;

объекта, выявленного в предыдущем кадре или периоде времени; и

признака в предыдущем кадре с датчика.

6. Способ по п. 1, в котором кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков и один или более объектов содержат первые один или более объектов, при этом способ дополнительно содержит этапы, на которых:

формируют вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;

выявляют вторые один или более объектов на основании второй сцепленной карты признаков; и

подают по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.

7. Способ по п. 1, в котором нейронные сети содержат входной слой, один или более скрытых слоев и слой классификации, при этом рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.

8. Система выявления объектов в данных с датчиков, содержащая:

один или более компонентов датчиков, выполненных с возможностью получать первый поток данных с датчиков и второй поток данных с датчиков, при этом каждый из первого потока и второго потока содержат множество кадров с датчика;

компонент выявления, выполненный с возможностью:

формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и

выявлять один или более объектов на основании сцепленной карты признаков; и

систему автоматического вождения или систему содействия вождению транспортного средства, выполненные с возможностью выполнения маневра вождения на транспортном средстве на основании одного или более выявленных объектов;

при этом одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.

9. Система по п. 8, в которой компонент выявления дополнительно выполнен с возможностью формировать первую карту признаков на основании кадра с датчика первого типа и формировать вторую карту признаков на основании кадра с датчика второго типа, при этом компонент выявления формирует сцепленную карту признаков посредством формирования на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.

10. Система по п. 9, в которой компонент выявления выполнен с возможностью формировать сцепленную карту признаков, формируя сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.

11. Система по п. 8, в которой кадр с датчика первого типа содержит изображение и при этом кадр с датчика второго типа содержит карту дальностей.

12. Система по п. 8, в которой рекуррентная связь нейронной сети подает по прямой связи одно или более из:

признака на предыдущей сцепленной карте признаков;

объекта, выявленного на основе предыдущих кадров или предыдущего периода времени; и

признака в предыдущем кадре с датчика.

13. Система по п. 8, в которой кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков и один или более объектов содержат первые один или более объектов, при этом компонент выявления дополнительно выполнен с возможностью:

формировать вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;

выявлять вторые один или более объектов на основании второй сцепленной карты признаков; и

подавать по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.

14. Система по п. 8, в которой нейронные сети содержат входной слой, один или более скрытых слоев и слой классификации, при этом рекуррентная связь подает выходной сигнал слоя классификации из предыдущих кадров в один или более из входного слоя или скрытого слоя из одного или более скрытых слоев во время формирования сцепленной карты признаков или выявления одного или более объектов.

15. Машиночитаемый запоминающий носитель, хранящий команды, которые, когда приводятся в исполнение одним или более процессорами, побуждают один или более процессор:

получать первый поток данных с датчиков и второй поток данных с датчиков, при этом каждый из первого потока и второго потока содержат множество кадров с датчика;

формировать сцепленную карту признаков на основании кадра с датчика первого типа и кадра с датчика второго типа; и

выявлять один или более объектов на основании сцепленной карты признаков; и

предоставлять один или более выявленных объектов в систему автоматического вождения или систему содействия вождению транспортного средства для выполнения маневра вождения на транспортном средстве на основании одного или более выявленных объектов;

при этом одно или более из формирования и выявления содержит формирование или выявление с использованием нейронной сети с рекуррентной связью, которая подает информацию о признаках или объектах из предыдущих кадров.

16. Машиночитаемый запоминающий носитель по п. 15, в котором команды дополнительно побуждают один или более процессор формировать первую карту признаков на основании кадра с датчика первого типа и формировать вторую карту признаков на основании кадра с датчика второго типа, при этом команды побуждают один или более процессор формировать сцепленную карту признаков посредством формирования на основании высокоуровневых признаков на первой карте признаков или второй карте признаков.

17. Машиночитаемый запоминающий носитель по п. 16, в котором команды побуждают один или более процессор формировать сцепленную карту признаков, формируя сопоставленную карту признаков, которая включает в себя признаки как из первой карты признаков, так и второй карты признаков.

18. Машиночитаемый запоминающий носитель по п. 15, в котором кадр с датчика первого типа содержит изображение и при этом кадр с датчика второго типа содержит карту дальностей.

19. Машиночитаемый запоминающий носитель по п. 15, в котором команды дополнительно побуждают один или более процессор подавать по прямой связи, с использованием рекуррентной связи нейронной сети, одно или более из следующего:

признака на предыдущей сцепленной карте признаков;

объекта, выявленного на основе предыдущих кадров или предыдущего периода времени; и

признака в предыдущем кадре с датчика.

20. Машиночитаемый запоминающий носитель по п. 15, в котором кадр с датчика первого типа содержит первый кадр с датчика первого типа, кадр с датчика второго типа содержит первый кадр с датчика второго типа, сцепленная карта признаков содержит первую сцепленную карту признаков и один или более объектов содержат первые один или более объектов, при этом команды дополнительно побуждают один или более процессор:

формировать вторую сцепленную карту признаков на основании второго кадра с датчика первого типа и второго кадра с датчика второго типа;

выявлять вторые один или более объектов на основании второй сцепленной карты признаков; и

подавать по прямой связи один или более из признака второй сцепленной карты признаков или вторых одного или более объектов с использованием рекуррентной связи нейронной сети для формирования первой сцепленной карты признаков или выявления первых одного или более объектов.