Способ и процессор для классификации точек на границе многоугольного участка Российский патент 2025 года по МПК G06T15/30 

Область техники, к которой относится изобретение

[001] Настоящая технология в целом относится к обработке изображений, в частности - к способам и процессорам для классификации точек на границе многоугольного участка.

Уровень техники

[002] В известных решениях предложены и реализованы компьютерные навигационные системы, способствующие навигации и/или управлению транспортными средствами. Известны различные системы такого рода: от простых решений, основанных на определении местоположения по карте и использующих компьютерную систему для помощи водителю в навигации на маршруте от пункта отправления до пункта назначения, до более сложных решений, таких как компьютеризированные и/или автономные системы вождения.

[003] Некоторые из этих систем реализованы в виде широко известной системы круиз-контроля. В этом случае компьютерная система, размещенная на транспортном средстве, поддерживает заданную пользователем скорость движения транспортного средства. Некоторые системы круиз-контроля реализуют систему интеллектуального управления дистанцией, позволяя пользователю задавать расстояние до идущего впереди автомобиля (например, выбирать значение, выраженное в количестве транспортных средств). При этом компьютерная система регулирует скорость транспортного средства, по меньшей мере частично, в зависимости от его приближения к впереди идущему транспортному средству на заранее заданное расстояние. Некоторые из систем круиз-контроля дополнительно оснащены системой предупреждения столкновений, которая при обнаружении транспортного средства (или других препятствий) перед движущимся транспортным средством замедляет или останавливает его.

[004] Некоторые из наиболее передовых систем обеспечивают полностью автономное движение транспортного средства без непосредственного участия оператора (т.е. водителя) в управлении. Такие автономные транспортные средства содержат системы, способные ускорять, замедлять, останавливать, перестраивать в другой ряд и самостоятельно парковать транспортное средство.

[005] Автономные транспортные средства могут использовать картографические данные с целью обработки информации для навигации и управления в дополнение к данным датчиков или вместо них. При этом традиционные карты имеют ряд недостатков, затрудняющих их использование в автономных транспортных средствах, таких как самоуправляемые автомобили и роботы-доставщики. В частности, карты не обеспечивают точности, требуемой для безопасной навигации (например, 10 см или меньше). Системы GPS обеспечивают точность приблизительно 3-5 м, но из-за некоторых условий возникают значительные ошибки и погрешность может превышать 100 м. Это усложняет точное определение местоположения транспортного средства. Традиционные способы поддержки цифровых карт и определения объектов на картах не обеспечивают достаточно точных и актуальных данных для безопасной навигации и управления автономными транспортными средствами.

[006] В патентной заявке US20180188059 описана система, формирующая разделительные линии, обозначающие полосы движения дорог, например, на основе отображения пикселов изображения с камеры, которые с высокой вероятностью соответствуют разделительным линиям.

Раскрытие изобретения

[007] В связи с изложенным требуются системы и способы, позволяющие избегать, уменьшать или преодолевать ограничения известных технологий.

[008] В контексте настоящей технологии модель сегментации применяется для сегментации данных изображения в отношении областей карты для определения объектов и формирования границ для этих объектов в соответствующих областях карты. Предполагается, что эти объекты могут включать в себя участки дороги, доступные дорожным транспортным средствам (например, автомобилям, грузовикам, автобусам и мотоциклам), участки тротуара, доступные пешеходам и относительно небольшим роботизированным транспортным средствам (например, доставочным роботам), участки пути, доступные пешеходам, дорожным транспортным средствам и относительно небольшим роботизированным транспортным средствам, и т.п.

[009] Модель сегментации может применяться на этапе использования в областях карты, не оцененных экспертами. Например, картографу может быть поручено отслеживать границы объектов одного или нескольких классов на карте. При этом получение таких оцененных экспертом данных требует значительных затрат времени и средств. Поскольку получение данных о фактических границах объектов на очень большой карте практически невозможно, разработчики настоящей технологии разработали систему, где информация о фактических границах объектов используется в оцененных экспертом областях карты, а результаты модели сегментации могут использоваться для областей карты, которые не были оценены таким образом.

[010] Разработчики настоящей технологии установили, что несмотря на полезность использования модели сегментации в не оцененных областях, эта модель не обеспечивает удовлетворительного качества прогнозирования в некоторых из этих не оцененных областей. В этой связи разработчики разработали способы и системы, использующие вторую модель для указания на достоверность информации о границе, сформированной моделью сегментации.

[011] В общем случае вторая модель может быть обучена прогнозированию для одной или нескольких точек вдоль границы, сформированной моделью сегментации, оценок достоверности, указывающих на то, правильно ли размещены на карте эти точки. В некоторых вариантах осуществления изобретения можно сказать, что оценки достоверности указывают на вероятность правильного размещения этих точек на карте. В других вариантах осуществления изобретения можно сказать, что оценки достоверности указывают на уровень достоверности правильного размещения этих точек на карте.

[012] Оцененные области карты могут использоваться для обучения второй модели на основе фактических данных от экспертов и данных сегментации из модели сегментации. Когда модель прогнозирования на этапе ее использования определяет, что одна или несколько точек границы, сформированной моделью сегментации для не оцененной области, возможно, неправильно размещены, то эта не оцененная область может быть помечена для оценивания экспертом. Иными словами, модель сегментации может использоваться для формирования границ многоугольных участков в некоторых не оцененных областях без дополнительного ввода данных экспертом, тогда как в других не оцененных областях выходные данные второй модели могут указывать на то, что определение фактических границ должно быть поручено экспертам вместо использования лишь результатов работы модели сегментации.

[013] В соответствии с первым аспектом настоящей технологии реализован способ классификации точек на границе многоугольного участка. Способ выполняется процессором. Способ включает в себя получение процессором данных изображения для обучающей области, содержащей обучающий объект. Способ включает в себя формирование процессором карты сегментации с использованием модели сегментации на основе данных изображения. Карта сегментации содержит множество точек и определяет границу многоугольного участка. Множество точек связано с вектором признаков, сформированным моделью сегментации. Обучающая граница многоугольного участказадает обучающий объект в обучающей области. Обучающая граница многоугольного участкасодержит последовательность точек границы. Положение точки границы в последовательности задано как изменение положения относительно положения предыдущей точки границы из этой последовательности. Способ включает в себя получение процессором фактической границы многоугольного участка, задающей обучающий объект на карте сегментации. Фактическая граница многоугольного участка содержит последовательность ребер границы, определенных экспертом. Способ включает к себя определение для точки границы из последовательности точек границы отклонения ее положения от ближайшего ребра из последовательности ребер. Отклонение указывает на метку точки границы. Способ включает к себя обучение процессором второй модели прогнозированию оценки достоверности для точки границы этапа использования границы многоугольного участка этапа использования. Обучение в ходе итерации обучения включает в себя использование второй моделью для формирования прогнозируемой оценки: положения точки границы, вектора признаков, связанного с точкой границы, и набора векторов признаков соседних точек на карте сегментации, представляющих контекст точки границы. Обучение в ходе итерации обучения включает в себя корректировку второй модели на основе сравнения прогнозируемой оценки и метки.

[014] В некоторых вариантах осуществления способа он дополнительно включает в себя получение процессором данных изображения этапа использования для области этапа использования, содержащей объект этапа использования. Объект этапа использования не был оценен экспертом для формирования фактической границы многоугольного участка, задающей объект этапа использования. Способ дополнительно включает в себя формирование процессором карты сегментации этапа использования, задающей границу многоугольного участка этапа использования, содержащую последовательность точек границы этапа использования, с использованием модели сегментации. Способ дополнительно включает в себя формирование процессором оценки достоверности для точки границы этапа использования из последовательности точек границы этапа использования с использованием второй модели. Способ дополнительно включает в себя автоматическое определение по меньшей мере части области этапа использования для оценивания экспертом, если оценка достоверности указывает на низкую достоверность. Способ включает в себя получение процессором фактической границы многоугольного участка объекта этапа использования от эксперта.

[015] В некоторых вариантах осуществления способа обучающий объект представляет собой участок дороги или участок тротуара.

[016] В некоторых вариантах осуществления способа данные изображения содержат представление вида с высоты птичьего полета для обучающей области.

[017] В некоторых вариантах осуществления способа данные изображения содержат двумерное изображение обучающей области, сформированное из трехмерного облака точек, представляющего обучающую область.

[018] В некоторых вариантах осуществления способа данные изображения содержат одно или несколько растровых изображений.

[019] В некоторых вариантах осуществления способа модель сегментации представляет собой полносверточную нейронную сеть.

[020] В некоторых вариантах осуществления способа вторая модель представляет собой модель классификации, а метка указывает на первый класс, соответствующий классу высокой достоверности, если отклонение меньше заранее заданного порога, или указывает на второй класс, соответствующий классу низкой достоверности, если отклонение больше заранее заданного порога.

[021] В некоторых вариантах осуществления способа вторая модель содержит две головы, при этом первая голова обучена на основе первой метки, указывающей на отклонение от ближайшего ребра, а вторая голова обучена на основе второй метки, указывающей на то, что это отклонение меньше либо больше заранее заданного порога.

[022] В некоторых вариантах осуществления способа граница многоугольного участка на этапе использования хранится в сочетании областью этапа использования и передается второму процессору, связанному с транспортным средством, для навигации транспортного средства в области этапа использования.

[023] В некоторых вариантах осуществления способа транспортное средство представляет собой самоуправляемый автомобиль (SDC, Self-Driving Car), эксплуатируемый на участках дороги.

[024] В некоторых вариантах осуществления способа транспортное средство представляет собой робота-доставщика, эксплуатируемого на участках тротуара.

[025] В соответствии со вторым аспектом настоящей технологии реализован процессор для классификации точек на границе многоугольного участка. Процессор способен получать данные изображения для обучающей области, содержащей обучающий объект. Процессор способен формировать на основе данных изображения карту сегментации с использованием модели сегментации. Карта сегментации содержит множество точек, связанное с вектором признаков, сформированным моделью сегментации, и определяет обучающую границу многоугольного участка. Обучающая граница многоугольного участка задает обучающий объект в обучающей области и содержит последовательность точек границы, при этом положение точки границы в последовательности задано как изменение положения относительно положения предыдущей точки границы из этой последовательности. Процессор способен получать фактическую границу многоугольного участка, задающую обучающий объект на карте сегментации и содержащую последовательность ребер границы, определенных экспертом. Для точки границы из последовательности точек границы процессор способен определять указывающее на метку точки границы отклонение положения от ближайшего ребра из последовательности ребер. Процессор способен обучать вторую модель прогнозированию оценки достоверности для точки границы этапа использования границы многоугольного участка этапа использования. Обучение в ходе итерации обучения включает в себя использование второй моделью вектора признаков, связанного с точкой границы, и набора векторов признаков соседних точек на карте сегментации, представляющих контекст точки границы, для формирования прогнозируемой оценки положения точки границы. Обучение в ходе итерации обучения включает в себя корректировку второй модели на основе сравнения прогнозируемой оценки и метки.

[026] В некоторых вариантах осуществления процессор дополнительно способен получать данные изображения этапа использования для области этапа использования, содержащей объект этапа использования, который не был оценен экспертом, с целью формирования фактической границы многоугольного участка, задающей объект этапа использования. Процессор дополнительно способен формировать карту сегментации этапа использования, задающую границу многоугольного участка этапа использования, содержащую последовательность точек границы этапа использования, с использованием модели сегментации. Процессор дополнительно способен формировать оценку достоверности для точки границы этапа использования из последовательности точек границы этапа использования с использованием второй модели. Процессор дополнительно способен автоматически определять по меньшей мере часть области этапа использования для оценивания экспертом, если оценка достоверности указывает на низкую достоверность. Процессор дополнительно способен получать фактическую границу многоугольного участка объекта этапа использования от эксперта.

[027] В некоторых вариантах осуществления процессора обучающий объект представляет собой участок дороги или участок тротуара.

[028] В некоторых вариантах осуществления процессора данные изображения содержат представление вида с высоты птичьего полета для обучающей области.

[029] В некоторых вариантах осуществления процессора данные изображения содержат двумерное изображение обучающей области, сформированное из трехмерного облака точек, представляющего обучающую область.

[030] В некоторых вариантах осуществления процессора данные изображения содержат одно или несколько растровых изображений.

[031] В некоторых вариантах осуществления процессора модель сегментации представляет собой полносверточную нейронную сеть.

[032] В некоторых вариантах осуществления процессора вторая модель представляет собой модель классификации, а метка указывает на первый класс, соответствующий классу высокой достоверности, если отклонение меньше заранее заданного порога, или указывает на второй класс, соответствующий классу низкой достоверности, если отклонение больше заранее заданного порога.

[033] В некоторых вариантах осуществления процессора вторая модель содержит две головы, при этом первая голова обучена на основе первой метки, указывающей на отклонение от ближайшего ребра, а вторая голова обучена на основе второй метки, указывающей на то, что это отклонение меньше либо больше заранее заданного порога.

[034] В некоторых вариантах осуществления процессора граница многоугольного участка на этапе использования хранится в сочетании областью этапа использования и передается второму процессору, связанному с транспортным средством, для навигации транспортного средства в области этапа использования.

[035] В некоторых вариантах осуществления процессора транспортное средство представляет собой автомобиль SDC, эксплуатируемый на участках дороги.

[036] В некоторых вариантах осуществления процессора транспортное средство представляет собой робота-доставщика, эксплуатируемого на участках тротуара.

[037] В контексте настоящего описания термин «источник света» соответствует любому устройству, способному обеспечивать излучение в виде луча, например, в числе прочего, в виде луча света, содержащего излучение с одной или несколькими длинами волн электромагнитного спектра. В одном примере источник света может представлять собой лазер. Таким образом, источник света может содержать лазер, такой как твердотельный лазер, лазерный диод, лазер большой мощности, или альтернативный источник света, такой как источник света на основе светодиода. В некоторых (не имеющих ограничительного характера) примерах лазер содержит лазерный диод Фабри-Перо, лазер на квантовой яме, лазер с распределенным брэгговским отражателем (DBR, Distributed Bragg Reflector), лазер с распределенной обратной связью (DFB, Distributed FeedBack), волоконный лазер или лазер поверхностного излучения с вертикальным резонатором (VCSEL Vertical-Cavity Surface-Emitting Laser). Кроме того, лазер может излучать световые лучи различных видов, например, световые импульсы, непрерывные колебания (CW, Continuous Wave), квазинепрерывные колебания и т.д. В некоторых не имеющих ограничительного характера примерах лазер может содержать лазерный диод, способный излучать свет с длиной волны в диапазоне приблизительно 650-1150 нм. В качестве альтернативы, источник света может содержать лазерный диод, способный излучать световые лучи с длиной волны в диапазонах приблизительно 800-1000 нм, приблизительно 850-950 нм, приблизительно 1300-1600 нм или в любом другом подходящем диапазоне. Если не указано иное, термин «приблизительно» в отношении числового значения означает отклонение до 10% от указанного значения.

[038] В контексте настоящего описания выражение «выходной луч» может соответствовать пучку излучения, сформированному источником излучения и направленному в сторону интересующей области (ROI, Region Of Interest). Выходной луч может иметь один или несколько параметров, таких как длительность импульса, угловая дисперсия луча, длина волны, мгновенная мощность, плотность фотонов на различных расстояниях от источника света, средняя мощность, интенсивность луча, ширина луча, частота повторения лучей, последовательность лучей, скважность импульсов, фаза и т.д. Выходной луч может быть неполяризованным или поляризованным случайным образом, может не иметь конкретной или фиксированной поляризации (например, поляризация может изменяться с течением времени) или может иметь конкретную поляризацию (например, линейную поляризацию, эллиптическую поляризацию или круговую поляризацию).

[039] В контексте настоящего описания термин «входной луч» означает излучение или свет, попадающий в систему обычно после отражения от одного или нескольких объектов в области ROI. Входной луч также может называться пучком излучения или лучом света. Под отражением подразумевается, что по меньшей мере часть выходного луча, падающего на один или несколько объектов в области ROI, отражается от одного или нескольких объектов. Входной луч может иметь один или несколько параметров, таких как время пролета (т.е. время от излучения до обнаружения), мгновенная мощность (например, сигнатура мощности), средняя мощность по всему обратному импульсу, спектр или сигнал в течение периода обратного импульса и т.д. В зависимости от конкретного варианта использования, часть излучения или света во входном луче может поступать от источников, отличных от отраженного выходного луча. Например, по меньшей мере часть входного луча может содержать шумовое световое излучение из окружающей среды (включая рассеянный солнечный свет) или от других источников света, внешних по отношению к данной системе.

[040] В контексте настоящего описания термин «окрестность» или «окружающая среда» транспортного средства соответствует области или пространству вокруг транспортного средства, содержащему часть его окружающей среды в данный момент времени, доступной для сканирования с использованием одного или нескольких датчиков, установленных на транспортном средстве, например, для формирования 3D-карты (трехмерной карты) такой окрестности или для обнаружения объектов.

[041] В контексте настоящего описания область ROI может содержать часть доступной для наблюдения окружающей среды лидарной системы, где могут быть обнаружены один или несколько объектов. Следует отметить, что область ROI лидарной системы может зависеть от различных условий, таких как ориентация лидарной системы (например, направление оптической оси лидарной системы), положение лидарной системы относительно окружающей среды (например, высота относительно уровня земли и расстояние до соседних элементов рельефа и препятствий), рабочие параметры лидарной системы (например, мощность излучения, вычислительные настройки, заданные углы работы) и т.д. Например, область ROI лидарной системы может быть задана в виде плоского угла или телесного угла. В одном примере область ROI также может задаваться конкретным диапазоном расстояний (например, до 200 м и т.п.).

[042] В контексте настоящего описания термин «сервер» означает компьютерную программу, выполняемую соответствующими аппаратными средствами и способную принимать запросы (например, от электронных устройств) через сеть и выполнять эти запросы или инициировать их выполнение. Аппаратные средства могут представлять собой один физический компьютер или одну компьютерную систему, что не существенно для настоящей технологии. В данном контексте выражение «сервер» не означает, что каждая задача (например, принятая команда или запрос) или некоторая конкретная задача принимается, выполняется или запускается одним и тем же сервером (т.е. одними и теми же программными и/или аппаратными средствами). Это выражение означает, что любое количество программных средств или аппаратных средств может принимать, отправлять, выполнять или инициировать выполнение любой задачи или запроса либо результатов любых задач или запросов. Все эти программные и аппаратные средства могут представлять собой один сервер или несколько серверов, причем оба эти случая подразумеваются в выражении «по меньшей мере один сервер».

[043] В контексте настоящего описания термин «электронное устройство» означает любое компьютерное аппаратное средство, способное выполнять программы, подходящие для решения поставленной задачи. В контексте настоящего описания термин «электронное устройство» подразумевает, что устройство может функционировать в качестве сервера для других электронных устройств, тем не менее, это не обязательно для настоящей технологии. Таким образом, некоторые (не имеющие ограничительного характера) примеры электронных устройств включают в себя блок автономного вождения, персональные компьютеры (настольные, ноутбуки, нетбуки и т.п.), смартфоны и планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Должно быть понятно, что в настоящем контексте функционирование устройства в качестве электронного устройства не означает, что оно не может функционировать в качестве сервера для других электронных устройств.

[044] В контексте настоящего описания выражение «информация» включает в себя информацию любого рода или вида, допускающую хранение в базе данных. Таким образом, информация включает в себя визуальные произведения (например, карты), аудиовизуальные произведения (например, изображения, фильмы, звукозаписи, презентации и т.д.), данные (например, данные о местоположении, метеорологические данные, данные о дорожном движении, числовые данные и т.д.), текст (например, мнения, комментарии, вопросы, сообщения и т.д.), документы, электронные таблицы и т.д., но не ограничивается ими.

[045] В контексте настоящего описания термин «база данных» означает любой структурированный набор данных, независимо от его конкретной структуры, программного обеспечения для управления базой данных или компьютерных аппаратных средств для хранения этих данных, их применения или обеспечения их использования иным способом. База данных может располагаться в тех же аппаратных средствах, где реализован процесс, обеспечивающий хранение или использование информации, хранящейся в базе данных, либо база данных может располагаться в отдельных аппаратных средствах, таких как специализированный сервер или множество серверов.

[046] В контексте настоящего описания числительные «первый», «второй», «третий» и т.д. используются лишь для указания на различие между существительными, к которым они относятся, но не для описания каких-либо определенных взаимосвязей между этими существительными. Как встречается в настоящем описании в другом контексте, ссылка на «первый» элемент и «второй» элемент не исключает того, что эти два элемента в действительности могут быть одним и тем же элементом.

[047] Каждый вариант осуществления настоящей технологии относится к по меньшей мере одной из вышеупомянутых целей и/или к одному из вышеупомянутых аспектов, но не обязательно ко всем ним. Должно быть понятно, что некоторые аспекты настоящей технологии, связанные с попыткой достижения вышеупомянутой цели, могут не соответствовать этой цели и/или могут соответствовать другим целям, явным образом здесь не упомянутым.

[048] Дополнительные и/или альтернативные признаки, аспекты и преимущества вариантов осуществления настоящей технологии содержатся в дальнейшем описании, на приложенных чертежах и в формуле изобретения.

Краткое описание чертежей

[049] Эти и другие признаки, аспекты и преимущества настоящей технологии поясняются в дальнейшем описании, в приложенной формуле изобретения и на следующих чертежах.

[050] На фиг. 1 представлена схема иллюстративной компьютерной системы для реализации некоторых не имеющих ограничительного характера вариантов осуществления настоящей технологии.

[051] На фиг. 2 представлена схема сетевой вычислительной среды, пригодной для использования с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии.

[052] На фиг. 3 представлена схема иллюстративной лидарной системы, реализованной согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии.

[053] На фиг. 4 представлены данные, хранящиеся в устройстве хранения данных сетевой вычислительной среды согласно фиг. 2.

[054] На фиг. 5 приведена карта сегментации, сформированная сервером, представленным на фиг. 2, и содержащая границу многоугольного участка, согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии.

[055] На фиг. 6 приведен процесс формирования карты сегментации с использованием обучающей границы многоугольного участка и фактической границы многоугольного участка, хранящегося в устройстве хранения данных, представленном на фиг. 4, согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии.

[056] На фиг. 7 показаны отклонения точек границы из обучающей границы многоугольного участка ы от ребра фактической границы многоугольного участка, представленного на фиг. 6, согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии.

[057] На фиг. 8 приведен процесс обучения второй модели на основе обучающей границы многоугольного участка и фактической границы многоугольного участка, представленных на фиг. 6, согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии.

[058] На фиг. 9 приведен процесс этапа использования второй модели, представленной на фиг. 8, согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии.

[059] На фиг. 10 представлена блок-схема способа, выполняемого согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии.

[060] На фиг. 11 приведена схема архитектуры машинного обучения, используемой для реализации второй модели, представленной на фиг. 8, согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии.

Осуществление изобретения

[061] Представленные здесь примеры и условный язык предназначены для обеспечения лучшего понимания принципов настоящей технологии, а не для ограничения ее объема до таких специально приведенных примеров и условий. Очевидно, что специалисты в данной области техники способны разработать различные способы и устройства, которые явно не описаны и не показаны, но реализуют принципы настоящей технологии в пределах ее существа и объема.

[062] Кроме того, чтобы способствовать лучшему пониманию, последующее описание может содержать упрощенные варианты реализации настоящей технологии. Специалистам в данной области должно быть понятно, что другие варианты осуществления настоящей технологии могут быть значительно сложнее.

[063] В некоторых случаях приводятся полезные примеры модификаций настоящей технологии. Они способствуют пониманию, но также не определяют объема или границ настоящей технологии. Представленный перечень модификаций не является исчерпывающим и специалист в данной области может разработать другие модификации в пределах объема настоящей технологии. Кроме того, если в некоторых случаях модификации не описаны, это не означает, что они невозможны и/или что описание содержит единственно возможный вариант реализации того или иного элемента настоящей технологии.

[064] Описание принципов, аспектов и вариантов реализации настоящей технологии, а также их конкретные примеры предназначены для охвата их структурных и функциональных эквивалентов, независимо от того, известны они в настоящее время или будут разработаны в будущем. Например, специалистам в данной области техники должно быть понятно, что любые описанные здесь структурные схемы соответствуют концептуальным представлениям иллюстративных принципиальных схем, реализующих основы настоящей технологии. Также должно быть понятно, что любые блок-схемы, схемы процессов, диаграммы изменения состояния, псевдокоды и т.п. соответствуют различным процессам, которые могут быть представлены на машиночитаемом физическом носителе информации и могут выполняться компьютером или процессором, независимо от того, показан такой компьютер или процессор явно или нет.

[065] Функции различных элементов, показанных на чертежах, включая любой функциональный блок, обозначенный как «процессор», могут быть реализованы с использованием специализированных аппаратных средств, а также с использованием аппаратных средств, способных выполнять соответствующее программное обеспечение. Если используется процессор, эти функции могут выполняться одним выделенным процессором, одним совместно используемым процессором или множеством отдельных процессоров, некоторые из которых могут использоваться совместно. Кроме того, явное использование термина «процессор» или «контроллер» не должно трактоваться как указание исключительно на аппаратные средства, способные выполнять программное обеспечение, и может подразумевать, помимо прочего, аппаратные средства цифрового сигнального процессора (DSP), сетевой процессор, специализированную интегральную схему (ASIC), программируемую вентильную матрицу (FPGA), постоянное запоминающее устройство (ПЗУ) для хранения программного обеспечения, оперативное запоминающее устройство (ОЗУ) и/или энергонезависимое запоминающее устройство. Также могут подразумеваться другие аппаратные средства, общего назначения и/или заказные.

[066] Программные модули или просто модули, реализация которых предполагается в виде программных средств, могут быть представлены здесь как любое сочетание элементов блок-схемы или других элементов, указывающих на выполнение шагов процесса и/или содержащих текстовое описание. Такие модули могут выполняться аппаратными средствами, показанными явно или подразумеваемыми.

[067] Далее с учетом вышеизложенных принципов рассмотрены некоторые не имеющие ограничительного характера примеры, иллюстрирующие различные варианты реализации аспектов настоящей технологии.

Компьютерная система

[068] На фиг. 1 представлена схема компьютерной системы 100, пригодной для использования с некоторыми вариантами осуществления настоящей технологии. Компьютерная система 100 содержит различные элементы аппаратных средств, включая один или несколько одноядерных или многоядерных процессоров, обобщенно представленных процессором 110, твердотельный накопитель 120 и память 130, которая может представлять собой ОЗУ или память любого другого вида.

[069] Связь между элементами компьютерной системы 100 может осуществляться через одну или несколько внутренних и/или внешних шин (не показаны), таких как шина PCI, шина USB, шина FireWire стандарта IEEE 1394, шина SCSI, шина Serial-ATA и т.д., с которыми различные аппаратные элементы соединены электронными средствами. Согласно вариантам осуществления настоящей технологии, твердотельный накопитель 120 хранит программные команды, пригодные для загрузки в память 130 и исполнения процессором 110 для определения наличия объекта. Например, программные команды могут входить в состав управляющего приложения транспортного средства, выполняемого процессором 110. Следует отметить, что компьютерная система 100 может содержать дополнительные и/или не обязательные элементы (не показаны), такие как модули передачи данных по сети, модули определения местоположения и т.д.

Сетевая вычислительная среда

[070] На фиг. 2 представлена сетевая вычислительная среда 200, пригодная для использования с некоторыми не имеющими ограничительного характера вариантами осуществления настоящей технологии. Сетевая вычислительная среда 200 содержит электронное устройство 210, связанное с транспортным средством 220 и/или с пользователем (не показан), связанным с транспортным средством 220 (таким как оператор транспортного средства 220). Сетевая вычислительная среда 200 также содержит сервер 235, связанный с электронным устройством 210 через сеть 240 связи (такую как сеть Интернет и т.п., как более подробно описано ниже).

[071] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сетевая вычислительная среда 200 может содержать спутник системы GPS (не показан), передающий сигнал GPS электронному устройству 210 или и/или принимающий сигнал GPS от него. Должно быть понятно, что настоящая технология не ограничивается системой GPS и может использовать технологию определения местоположения, отличную от системы GPS. Следует отметить, что спутник GPS может вовсе отсутствовать.

[072] Транспортное средство 220, с которым связано электронное устройство 210, может представлять собой любое транспортное средство для отдыха или иной деятельности, такое как легковой автомобиль индивидуального или коммерческого использования, грузовой автомобиль, мотоцикл и т.п. Несмотря на то, что транспортное средство 220 изображено в виде наземного транспортного средства, это не обязательно для всех не имеющих ограничительного характера вариантов осуществления настоящей технологии. Например, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии транспортное средство 220 может представлять собой водное транспортное средство, такое как лодка, или воздушное транспортное средство, такое как беспилотный летательный аппарат.

[073] Транспортное средство 220 может управляться пользователем или представлять собой самоуправляемое транспортное средство. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии предполагается, что транспортное средство 220 может быть реализовано в виде автомобиля SDC. Следует отметить, что не накладывается ограничений на конкретные параметры транспортного средства 220, такие как производитель транспортного средства, модель транспортного средства, год выпуска транспортного средства, масса транспортного средства, размеры транспортного средства, распределение массы транспортного средства, площадь поверхности транспортного средства, высота транспортного средства, вид трансмиссии (например, привод на два или на четыре колеса), вид шин, тормозная система, топливная система, пробег, идентификационный номер транспортного средства, рабочий объем двигателя и т.д.

[074] В других вариантах осуществления настоящей технологии транспортное средство 220 может быть реализовано в виде робота-доставщика, способного выполнять доставку. В отличие от автомобилей SDC, эксплуатируемых на дороге, роботы-доставщики обычно эксплуатируются на тротуарах или в других частях географической области, где могут ходить люди. По сравнению с автомобилем SDC, они имеют небольшой размер и могут осуществлять навигацию в окружающей среде для доставки предметов от отправителя к получателю.

[075] Согласно настоящей технологии, на реализацию электронного устройства 210 не накладывается особых ограничений. Например, электронное устройство 210 может быть реализовано в виде блока управления двигателем транспортного средства, центрального процессора транспортного средства, навигатора (например, TomTom™, Garmin™), планшета, персонального компьютера, встроенного в транспортное средство 220, и т.п. Следует отметить, что электронное устройство 210 может быть связано или не связано с транспортным средством 220 постоянным образом. Дополнительно или в качестве альтернативы, электронное устройство 210 может быть реализовано в устройстве беспроводной связи, таком как мобильный телефон (например, смартфон или радиотелефон). В некоторых вариантах осуществления изобретения электронное устройство 210 содержит дисплей 270.

[076] В зависимости от конкретного варианта осуществления изобретения, электронное устройство 210 может содержать некоторые или все элементы компьютерной системы 100, представленной на фиг. 1. В некоторых вариантах осуществления изобретения электронное устройство 210 представляет собой бортовое компьютерное устройство и содержит процессор 110, твердотельный накопитель 120 и память 130. Иными словами, электронное устройство 210 содержит аппаратные средства и/или прикладное программное обеспечение и/или встроенное программное обеспечение либо их сочетание для обработки данных, как более подробно описано ниже.

[077] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сеть 240 связи представляет собой сеть Интернет. В альтернативных не имеющих ограничительного характера вариантах осуществления настоящей технологии сеть 240 связи может быть реализована в виде любой подходящей локальной сети (LAN, Local Area Network), глобальной сети (WAN, Wide Area Network), частной сети связи и т.п. Очевидно, что варианты реализации сети 240 связи приведены лишь в иллюстративных целях. Реализация линии связи (отдельно не обозначена) между электронным устройством 210 и сетью 240 связи зависит, среди прочего, от реализации электронного устройства 210. В качестве примера, не имеющего ограничительного характера, в тех не имеющих ограничительного характера вариантах осуществления настоящей технологии, где электронное устройство 210 реализовано в виде устройства беспроводной связи, такого как смартфон или навигационное устройство, линия связи может быть реализована в виде беспроводной линии связи. В качестве примеров беспроводных линий связи можно привести канал сети связи 3G, канал сети связи 4G и т.п. В сети 240 связи также может использоваться беспроводное соединение с сервером 235.

[078] В некоторых вариантах осуществления настоящей технологии сервер 235 реализован в виде компьютерного сервера и может содержать некоторые или все элементы компьютерной системы 100, представленной на фиг. 1. В одном не имеющем ограничительного характера примере сервер 235 реализован в виде сервера Dell™ PowerEdge™, работающего под управлением операционной системы Microsoft™ Windows Server™, но он также может быть реализован с использованием любых других подходящих аппаратных средств, прикладного программного обеспечения и/или встроенного программного обеспечения либо их сочетания. В представленных не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 235 представляет собой один сервер. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии функции сервера 235 могут быть распределены между несколькими серверами (не показаны).

[079] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 электронного устройства 210 может быть связан с сервером 235 для получения одного или нескольких обновлений. Такие обновления могут содержать обновления программного обеспечения, обновления карт, обновления маршрутов, обновления погодных данных и т.п. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии процессор 110 также может отправлять серверу 235 некоторые рабочие данные, такие как пройденные маршруты, данные о дорожном движении, рабочие характеристики и т.п. Некоторые или все такие данные, передаваемые между транспортным средством 220 и сервером 235, могут быть зашифрованы и/или обезличены.

[080] Следует отметить, что сервер 235 может быть связан с устройством 400 хранения данных. В устройстве 400 хранения данных могут храниться разнообразные данные для использования сервером 235 и/или электронным устройством 210. В некоторых вариантах осуществления изобретения в устройстве хранения данных может быть размещена одна или несколько баз данных. В общем случае база данных представляет собой структурированную коллекцию данных и доступна с помощью электронных средств. Небольшие базы данных могут храниться в файловой системе, а большие базы данных размещаются в компьютерных кластерах или в облачном хранилище данных. Структура баз данных зависит от различных технологий и практических соображений, включая моделирование данных, эффективное представление и хранение данных, языки запросов, безопасность и защита конфиденциальных данных, а также проблемы распределенных вычислений, включая одновременный доступ и отказоустойчивость. По меньшей мере некоторые не имеющие ограничительного характера примеры данных, хранящихся в устройстве 400 хранения данных, описаны ниже со ссылкой на фиг. 4.

[081] В других вариантах осуществления настоящей технологии сервер 235 может выполнять один или несколько алгоритмов машинного обучения (MLA, Machine Learned Algorithm). В общем случае алгоритмы MLA способны обучаться на обучающих образцах и обеспечивать прогнозирование на основе новых (неизвестных) данных. Алгоритмы MLA обычно используются для первоначального построения модели на основе обучающих входных данных, чтобы затем осуществлять прогнозы или принимать решения на основе данных, выраженные в виде выходных данных, а не выполнять статические машиночитаемые команды.

[082] Алгоритмы MLA обычно используются в качестве моделей оценивания, моделей классификации, моделей регрессии, моделей сегментации и т.п. Должно быть понятно, что для различных задач могут использоваться алгоритмы MLA различных видов с различными структурами или топологиями. Используемые при обучении данные могут сохраняться и быть доступными в устройстве 400 хранения данных, а также могут дополнительно обрабатываться для формирования обучающих образцов.

[083] Алгоритмы MLA одного конкретного вида включают в себя нейронные сети (NN, Neural Network). В общем случае сеть NN состоит из взаимосвязанных групп искусственных нейронов, обрабатывающих информацию с использованием коннекционного подхода к вычислениям. Сети NN используются для моделирования сложных взаимосвязей между входными и выходными данными (без фактической информации об этих взаимосвязях) или для поиска закономерностей в данных. Сети NN сначала адаптируются на этапе обучения, когда они обеспечиваются известным набором входных данных и информацией для адаптации сети NN с целью формирования надлежащих выходных данных (для ситуации, в отношении которой выполняется попытка моделирования). На этом этапе обучения сеть NN адаптируется к изучаемой ситуации и изменяет свою структуру так, чтобы быть способной обеспечивать адекватное предсказание выходных данных для входных данных в новой ситуации (на основе того, что было выучено). Таким образом, вместо попытки определения сложных статистических распределений или математических алгоритмов для ситуации сеть NN пытается предоставить «интуитивный» ответ на основе «восприятия» ситуации.

[084] Сети NN широко используются во многих таких ситуациях, где важно получить выходные данные на основе входных данных и менее важно или вовсе не важно то, как получаются выходные данные. Например, сети NN широко используются для оптимизации распределения веб-трафика между серверами, автоматического перевода текста на различные языки, а также при обработке данных, включая фильтрацию, кластеризацию, векторизацию и т.п.

[085] Реализация алгоритма MLA может быть разделена на два основных этапа: этап обучения и этап использования. В общем случае алгоритм MLA сначала «строится» (или обучается) с использованием обучающих данных и обучающих целей. На итерации обучения алгоритм MLA получает на вход обучающие входные данные и формирует соответствующий прогноз. Затем сервер 235, в известном смысле, способен корректировать алгоритм MLA на основе сравнения прогноза с обучающей целью для обучающих входных данных. Например, корректировка может выполняться сервером 235, использующим один или несколько способов машинного обучения, таких как способ обратного распространения и т.п. После большого количества итераций обучения алгоритм MLA корректируется так, чтобы формировать на основе введенных данных прогнозы, близкие к соответствующим обучающим целям.

[086] Как показано на фиг. 2, сервер 235 может выполнять модель 650 сегментации и модель 850 прогнозирования. Модель 650 сегментации может представлять собой алгоритм MLA, способный выполнять сегментацию данных изображения. В общем случае сегментация изображения представляет собой процесс разделения цифрового изображения на множество сегментов изображения и может использоваться для определения местоположения объектов и/или границ (линий, кривых и т.д.) на изображениях. В некоторых вариантах осуществления изобретения предполагается, что модель 650 сегментации может, среди прочего, назначать метки для пикселов введенного изображения так, чтобы пикселы с одинаковой меткой имели одинаковую характеристику (или несколько характеристик). В одном примере пикселы, связанные с меткой, могут представлять один и тот же объект на введенном изображении. Также предполагается, что множество алгоритмов может применяться в отношении размеченных пикселов с целью определения контура или границы объекта на введенном изображении.

[087] В некоторых вариантах осуществления настоящей технологии модель 650 сегментации может быть реализована в виде сверточной нейронной сети (CNN, Convolutional Neural Network), обученной для сегментирования изображений. В одном варианте осуществления изобретения сеть CNN может иметь архитектуру U-Net. В общем случае такая сеть CNN состоит из сверточной части и разверточной части, формирующих U-образную архитектуру. Сверточная часть представляет собой сеть CNN, состоящую из повторно применяемых сверток, за каждой из которых следует блок усеченного линейного преобразования (ReLU, Rectifier Linear Unit) и операция пулинга с определением максимума. В ходе сверток количество пространственной информации уменьшается, а количество информации признаков увеличивается. В разверточной части информация признаков и пространственная информация объединяются путем последовательности обратных сверток (up-convolutions) и конкатенаций с признаками высокого разрешения из сверточной части. Архитектура U-Net может предусматривать большое количество каналов признаков в ее части с повышенным разрешением, благодаря которым сеть способна передавать контекстную информацию в слои более высокого разрешения.

[088] В некоторых вариантах осуществления изобретения модель 650 сегментации может быть реализована подобно сети CNN, описанной в работе «U-net: Convolutional Networks for Biomedical Image Segmentation» авторов Olaf Ronneberger et al., опубликованной 18 мая 2015 г., содержание которой полностью включено в настоящий документ посредством ссылки.

[089] Как более подробно описано ниже, модель 650 сегментации может применяться для сегментирования данных изображения об областях карты с целью определения объектов и формирования границ этих объектов в соответствующих областях карты. Предполагается, что эти объекты могут включать в себя участки дороги, доступные дорожным транспортным средствам (например, автомобилям, грузовикам, автобусам и мотоциклам), участки тротуара, доступные пешеходам и относительно небольшим роботизированным транспортным средствам (например, доставочным роботам), участки пути, доступные пешеходам, дорожным транспортным средствам и относительно небольшим роботизированным транспортным средствам, и т.п.

[090] Следует отметить, что модель 650 сегментации может применяться на этапе ее использования в областях карты, не оцененных экспертами. Например, картографу может быть поручено отслеживать границы объектов одного или нескольких классов на карте. При этом получение таких оцененных экспертом данных требует значительных затрат времени и средств. Поскольку определение фактических границ объектов на очень большой карте практически невозможно, разработчики настоящей технологии разработали систему, где в оцененных экспертом областях карты используется фактическая информация о границах объектов, а результаты модели 650 сегментации могут использоваться для областей карты, которые не были оценены таким образом.

[091] Разработчики настоящей технологии установили, что, несмотря на пользу от использования модели 650 сегментации в не оцененных областях, эта модель 650 не обеспечивает удовлетворительного качества прогнозирования в некоторых из этих не оцененных областей. В этой связи разработчики разработали способы и системы, использующие модель 850 прогнозирования для формирования указания на достоверность информации о границе, сформированной моделью 650 сегментации.

[092] В общем случае модель 850 прогнозирования может быть обучена прогнозированию для одной или нескольких точек вдоль границы, сформированной моделью 650 сегментации, оценок достоверности, указывающих на то, правильно ли размещены на карте эти точки. В некоторых вариантах осуществления изобретения можно сказать, что оценки достоверности указывают на вероятность правильного размещения этих точек на карте. В других вариантах осуществления изобретения можно сказать, что оценки достоверности указывают на уровень достоверности правильного размещения этих точек на карте. Оцененные области карты могут использоваться для обучения прогнозирования модели 850 прогнозирования на основе фактических данных от экспертов и данных сегментации из модели 650 сегментации. Ниже более подробно описано обучение модели 850 прогнозирования. Следует отметить, что когда модель 850 прогнозирования на этапе ее использования определяет, что одна или несколько точек границы, сформированной моделью 650 сегментации для не оцененной области, возможно, неправильно размещены, то эта не оцененная область может быть помечена для оценивания экспертом. Иными словами, модель 650 сегментации может использоваться для формирования границ многоугольных участков в некоторых не оцененных областях без дополнительного ввода данных экспертом, тогда как в других не оцененных областях выходные данные модели 850 прогнозирования могут указывать на то, что экспертам должно быть поручено определение фактических границ вместо использования лишь результатов работы модели 650 сегментации.

[093] Следует отметить, что электронное устройство 210 может использовать множество датчиков и систем для сбора информации об окрестности 250 транспортного средства 220 (см. фиг. 2). Как показано, транспортное средство 220 может быть оснащено множеством систем 280 датчиков. Следует отметить, что различные системы датчиков из множества систем 280 датчиков могут использоваться для сбора данных различных видов об окрестности 250 транспортного средства 220.

[094] В одном примере множество систем 280 датчиков может содержать различные оптические системы, включая, среди прочего, одну или несколько систем датчиков вида «камера», установленных на транспортном средстве 220 и связанных с процессором 110 электронного устройства 210. В общем случае одна или несколько систем датчиков вида «камера» могут собирать данные изображения о различных частях окрестности 250 транспортного средства 220. В некоторых случаях данные изображения, предоставленные одной или несколькими системами датчиков вида «камера», могут быть использованы электронным устройством 210 для выполнения процедур обнаружения объекта. Например, электронное устройство 210 может вводить данные изображения, предоставленные одной или несколькими системами датчиков вида «камера», в нейронную сеть обнаружения объектов (ODNN, Object Detection Neural Network), обученную определению местоположения и классификации потенциальных объектов в окрестности 250 транспортного средства 220.

[095] В другом примере множество систем 280 датчиков может содержать одну или несколько систем радиолокационных датчиков, установленных на транспортном средстве 220 и связанных с процессором 110. В общем случае одна или несколько систем радиолокационных датчиков могут использовать радиоволны, чтобы собирать данные изображения для различных частей окрестности 250 транспортного средства 220. Например, одна или несколько систем радиолокационных датчиков могут собирать радиолокационные данные о потенциальных объектах в окрестности 250 транспортного средства 220, при этом такие данные потенциально могут представлять расстояние до объектов от радиолокационной системы датчиков, ориентацию объектов, скорость объектов и т.п.

[096] Следует отметить, что множество систем 280 датчиков может содержать системы датчиков других видов в дополнение к неисчерпывающим образом описанным выше без выхода за границы настоящей технологии.

[097] В некоторых вариантах осуществления настоящей технологии транспортное средство 220 может быть реализовано в виде доставочного робота. Доставочные роботы или автономные роботы-доставщики представляют собой транспортные средства относительно небольшого размера, используемые для доставки. Например, они могут осуществлять навигацию на тротуарах и приспособлены для преодоления разнообразных препятствий на маршруте до пункта назначения. В качестве преимуществ автономных роботов-доставщиков можно привести сокращение потребности в крупных грузовиках с потенциально большими выбросами вредных веществ при движении в густонаселенных городах и уменьшение количества водителей, требуемых для быстрой доставки пользователям предметов, заказанных в сети Интернет.

Лидарная система

[098] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, транспортное средство 220 (см. фиг. 2) оснащено по меньшей мере одной лидарной системой, такой как лидарная система 300, для сбора информации об окрестности 250 транспортного средства 220. Несмотря на то, что здесь представлено описание лишь для случая крепления на транспортном средстве 220, также предполагается, что лидарная система 300 может работать автономно или может быть связана с другой системой.

[099] В зависимости от варианта осуществления изобретения, транспортное средство 220 может содержать больше или меньше лидарных систем 300, чем показано. В зависимости от варианта осуществления изобретения, применение конкретных систем из множества систем 280 датчиков может зависеть от варианта осуществления лидарной системы 300. Лидарная система 300 может быть установлена на транспортном средстве 220 изначально или при его модернизации в различных местах и/или в различных конфигурациях.

[0100] Например, в зависимости от варианта реализации транспортного средства 220 и лидарной системы 300, лидарная система 300 может быть установлена с внутренней стороны на верхней части ветрового стекла транспортного средства 220. Тем не менее, в пределах объема настоящей технологии возможны и другие места монтажа лидарной системы 300, включая заднее окно, боковые окна, передний капот, крышу, переднюю решетку, передний бампер или боковую поверхность транспортного средства 220 (см. фиг. 2). В некоторых случаях лидарная система 300 может быть установлена в специальном кожухе, установленном сверху транспортного средства 220.

[0101] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения система из множества лидарных систем 300 установлена на крыше транспортного средства 220 в поворотной конфигурации (см. фиг. 2). Например, лидарная система 300, установленная на транспортном средстве 220 с возможностью вращения, может содержать меньшей мере некоторые элементы, способные поворачиваться на 360 градусов вокруг оси вращения лидарной системы 300. В случае установки в поворотной конфигурации лидарная система 300 может собирать данные о большинстве частей окрестности 250 транспортного средства 220.

[0102] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии лидарная система 300 установлена, например, на боковой поверхности или на передней решетке, в неповоротной конфигурации (см. фиг. 2). В частности, лидарная система 300, установленная на транспортном средстве 220 без возможности вращения, может содержать меньшей мере некоторые элементы, которые не поворачиваются на 360 градусов, но обеспечивают сбор данных о заранее заданных частях окрестности 250 транспортного средства 220.

[0103] Независимо от конкретного местоположения и/или конкретной конфигурации, лидарная система 300 способна фиксировать данные об окрестности 250 транспортного средства 220, используемые, например, для построения многомерной карты объектов в окрестности 250 транспортного средства 220. Ниже подробно описана конфигурация лидарных систем 300 для фиксации данных об окрестности 250 транспортного средства 220.

[0104] Следует отметить, что несмотря на то, что в представленном здесь описании лидарная система 300 реализована в виде времяпролетной (Time of Flight) лидарной системы и, следовательно, содержит соответствующие элементы, подходящие для ее реализации, также возможны и другие варианты реализации лидарной системы 300 без выхода за границы настоящей технологии. Например, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии лидарная система 300 также может быть реализована в виде лидарной системы непрерывного излучения с частотной модуляцией (FMCW, Frequency-Modulated Continuous Wave) согласно одному или нескольким вариантам реализации и основываться на соответствующих элементах, как описано в патентной заявке RU2020117983 «Способы и системы обнаружения лидаров», поданной 01 июня 2020 г., содержание которой полностью включено в настоящий документ посредством ссылки.

[0105] На фиг. 3 представлена схема одного конкретного варианта осуществления лидарной системы 300, реализованного согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии.

[0106] В общем случае лидарная система 300 содержит множество внутренних элементов, в числе прочего, таких как (а) источник 302 света (также называется лазером или источником излучения), (б) светоделительный элемент 304, (в) сканирующий блок 308 (также называется сканером или блоком сканера), (г) блок 306 обнаружения (также называется системой обнаружения, блоком приема или детектором) и (д) контроллер 310. Предполагается, что в дополнение к элементам представленного выше открытого перечня, лидарная система 300 может содержать множество датчиков (таких как датчик температуры, датчик влаги и т.д.), которые опущены на фиг. 3 для упрощения.

[0107] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии один или несколько внутренних элементов лидарной системы 300 размещены в общем корпусе 330, как показано на фиг. 3. В некоторых вариантах осуществления настоящей технологии контроллер 310 может быть размещен вне общего корпуса 330 и связан с расположенными внутри него элементами. Как описано ниже, в корпусе 330 со стороны окрестности транспортного средства 220 предусмотрено окно 380, через которое лучи света могут выходить из корпуса 330 и проникать в корпус 330.

[0108] В общем случае лидарная система 300 работает следующим образом: источник света 302 лидарной системы 300 излучает световые импульсы, образующие выходной луч 314, сканирующий блок 308 сканирует выходным лучом 314 через окно 380 окрестность 250 транспортного средства 220 с целью определения местоположения или фиксации данных о заранее неизвестных объектах (таких как объект 320), например, для формирования многомерной карты окрестности 250, на которой объекты (включая объект 320) представлены в виде одной или нескольких точек данных. Ниже более подробно описаны источник 302 света и сканирующий блок 308.

[0109] В некоторых не имеющих ограничительного характера примерах объект 320 может включать в себя полностью или частично человека, транспортное средство, мотоцикл, грузовой автомобиль, поезд, велосипед, инвалидную коляску, детскую коляску, пешехода, животное, дорожный знак, светофор, разделительную линию, дорожную разметку, парковочное место, пилон, ограждение, дорожный барьер, выбоину, железнодорожный переезд, препятствие на дороге или рядом с ней, бордюр, остановившееся на дороге или рядом с ней транспортное средство, столб, дом, здание, мусорный бак, почтовый ящик, дерево, любой другой подходящий объект или любое подходящее сочетание двух или более объектов либо их частей.

[0110] Кроме того, можно предположить, что объект 320 расположен на расстоянии 318 от лидарной системы 300. Когда выходной луч 314 достигает объекта 320, объект 320 обычно отражает по меньшей мере часть света из выходного луча 314 и некоторые из отраженных световых лучей могут вернуться в лидарную систему 300, где принимаются в виде входного луча 316. Под отражением подразумевается, что по меньшей мере часть светового луча из выходного луча 314 отражается от объекта 320. Часть светового луча из выходного луча 314 может быть поглощена или рассеяна объектом 320.

[0111] Входной луч 316 фиксируется и обнаруживается лидарной системой 300 с использованием блока 306 обнаружения. При этом блок 306 обнаружении способен формировать один или несколько репрезентативных сигналов данных. Например, блок 306 обнаружении может формировать выходной электрический сигнал (не показан), представляющий входной луч 316. Блок 306 обнаружения также может выдавать сформированный таким образом электрический сигнал в контроллер 310 для дальнейшей обработки. Контроллер 310 рассчитывает расстояние 318 до объекта 320 путем измерения времени между излучением выходного луча 314 и приемом входного луча 316.

[0112] Как более подробно описано ниже, светоделительный элемент 304 используется для направления выходного луча 314 из источника 302 света в сканирующий блок 308 и для направления входного луча 316 из сканирующего блока в блок 306 обнаружения.

[0113] Ниже описаны использование и реализация этих элементов лидарной системы 300 согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии.

Источник света

[0114] Источник 302 света связан с контроллером 310 и способен излучать свет с определенной рабочей длиной волны. С этой целью в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии источник 302 света может содержать по меньшей мере один лазер, заранее настроенный для работы с определенной рабочей длиной волны. Рабочая длина волны источника 302 света может соответствовать инфракрасной, видимой и/или ультрафиолетовой частям электромагнитного спектра. Например, источник 302 света может содержать по меньшей мере один лазер с рабочей длиной волны в диапазоне приблизительно 650-1150 нм. В качестве альтернативы, источник 302 света может содержать лазерный диод, способный излучать свет с длиной волны в диапазонах приблизительно 800-1000 нм, приблизительно 850-950 нм или приблизительно 1300-1600 нм. В некоторых других вариантах осуществления изобретения источник 302 света может содержать светодиод.

[0115] Источник 302 света лидарной системы 300 обычно представляет собой безопасный для зрения лазер или, иными словами, лидарная система 300 может быть классифицирована как безопасная для зрения лазерная система или лазерное изделие. В общем случае безопасный для зрения лазер, лазерная система или лазерное изделие может представлять собой систему, в которой некоторые или все параметры из числа длины волны излучения, средней мощности, пиковой мощности, пиковой интенсивности, энергии импульса, размера луча, расходимости луча, продолжительности воздействия или траектории выходного луча таковы, что риск повреждения глаз человека излученным из этой системы светом незначителен или полностью отсутствует.

[0116] Согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии, рабочая длина волны источника 302 света может находиться в пределах частей электромагнитного спектра, соответствующих солнечному свету. Поэтому в некоторых случаях солнечный свет может представлять собой фоновый шум, способный заглушать световой сигнал, обнаруживаемый лидарной системой 300. Этот солнечный фоновый шум может приводить к ложноположительным обнаружениям и/или может иным образом искажать результаты измерений лидарной системы 300. Несмотря на то, что в некоторых случаях возможно увеличение отношения сигнал-шум (SNR, Signal-to-Noise Ratio) лидарной системы 300 путем повышения уровня мощности выходного луча 314, это может быть нежелательным в по меньшей мере некоторых ситуациях. Например, в некоторых вариантах реализации изобретения может быть нежелательно повышать мощность выходного луча 314 до уровней, превышающих безопасные для глаз пороги.

[0117] Источник 302 света содержит импульсный лазер, способный формировать и излучать световые импульсы определенной длительности. Например, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии источник 302 света может излучать импульсы с длительностью импульса (с шириной импульса) от 10 пс до 100 нс. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии источник 302 света может излучать импульсы с частотой повторения импульсов приблизительно от 100 кГц до 5 МГц или с периодом импульсов (со временем между следующими друг за другом импульсами) приблизительно от 200 нс до 10 мкс. В общем случае источник 302 света может формировать выходной луч 314 с любой подходящей средней оптической мощностью. Кроме того, выходной луч 314 может содержать оптические импульсы с любой подходящей для данного варианта применения энергией импульса или пиковой оптической мощностью.

[0118] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии источник 302 света может содержать один или несколько лазерных диодов, включая, в числе прочего, лазерный диод Фабри-Перо, лазер на квантовой яме, лазер с отражателем DBR, лазер с обратной связью DFB или лазер VCSEL. Например, лазерный диод, работающий в источнике 302 света, может представлять собой лазерный диод на арсениде алюминия-галлия (AlGaAs), лазерный диод на арсениде галлия-индия (InGaAs), лазерный диод на арсениде-фосфиде галлия-индия (InGaAsP) или любой другой подходящий лазерный диод. Также предполагается, что источник 302 света может содержать один или несколько лазерных диодов с модуляцией током для формирования оптических импульсов.

[0119] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии источник 302 света в целом способен излучать коллимированный выходной луч 314. Тем не менее, предполагается, что формируемый луч может иметь любую подходящую для данного варианта применения расходимость луча. В общем случае расходимость выходного луча 314 представляет собой угловую меру увеличения размера поперечного сечения луча (например, радиуса или диаметра луча) по мере удаления выходного луча 314 от источника 302 света или от лидарной системы 300. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии выходной луч 314 может иметь по существу круглое поперечное сечение.

[0120] Также предполагается, что выходной луч 314, излученный источником 302 света, может быть неполяризованным или поляризованным случайным образом, может не иметь конкретной или фиксированной поляризации (например, поляризация может изменяться с течением времени) или может иметь конкретную поляризацию (например, выходной луч 314 может иметь линейную поляризацию, эллиптическую поляризацию или круговую поляризацию).

[0121] В по меньшей мере некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии выходной луч 314 и входной луч 316 могут быть в основном соосными. Иными словами, выходной луч 314 и входной луч 316 могут по меньшей мере частично перекрываться или иметь общую ось распространения так, чтобы входной луч 316 и выходной луч 314 распространялись вдоль практически одного и того же оптического пути (но в противоположных направлениях). Тем не менее, в других не имеющих ограничительного характера вариантах осуществления настоящей технологии выходной луч 314 и входной луч 316 могут быть несоосными или, иными словами, могут не перекрываться или не иметь общей оси распространения внутри лидарной системы 300 без выхода за границы настоящей технологии.

[0122] Следует отметить, что в по меньшей мере некоторых не имеющих ограничительного характера осуществления вариантах настоящей технологии источник 302 света может поворачиваться, например, на 360 градусов или меньше, вокруг оси вращения (не показана) лидарной системы 300, если лидарная система 300 реализована в поворотной конфигурации. В других вариантах осуществления изобретения источник 302 света может быть неподвижным, даже когда лидарная система 300 реализована в поворотной конфигурации, без выхода за границы настоящей технологии.

Светоделительный элемент

[0123] На фиг. 3 также представлен светоделительный элемент 304, расположенный в корпусе 330. Например, как описано выше, светоделительный элемент 304 способен направлять выходной луч 314 из источника 302 света в сканирующий блок 308. Светоделительный элемент 304 также способен направлять входной луч 316, отраженный от объекта 320, в блок 306 обнаружения для его дальнейшей обработки контроллером 310.

[0124] Тем не менее, согласно другим не имеющим ограничительного характера вариантам осуществления настоящей технологии, светоделительный элемент 304 может разделять выходной луч 314 на по меньшей мере две составляющие меньшей интенсивности, включая сканирующий луч (отдельно не показан), используемый для сканирования окрестности 250 лидарной системы 300, и опорный луч (отдельно не показан), направляемый в блок 306 обнаружения.

[0125] Иными словами, можно сказать, что в этих вариантах осуществления изобретения светоделительный элемент 304 может разделять интенсивность (оптическую мощность) выходного луча 314 между сканирующим лучом и опорным лучом. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии светоделительный элемент 304 может разделять интенсивность выходного луча 314 между сканирующим лучом и опорным лучом поровну. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии светоделительный элемент 304 может разделять интенсивность выходного луча 314 в любом заранее заданном отношении. Например, светоделительный элемент 304 может использовать до 80% интенсивности выходного луча 314 для формирования сканирующего луча и оставшиеся до 20% интенсивности выходного луча 314 - для формирования опорного луча. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии светоделительный элемент 304 может изменять отношение деления для формирования сканирующего луча (например, от 1% до 95% интенсивности выходного луча 314).

[0126] Также следует отметить, что некоторая часть (например, до 10%) интенсивности выходного луча 314 может поглощаться материалом светоделительного элемента 304, что зависит от его конкретной конструкции.

[0127] В зависимости от варианта реализации лидарной системы 300, светоделительный элемент 304 может быть различного вида, включая, в числе прочего, светоделительный элемент на основе стеклянной призмы, светоделительный элемент на основе полупосеребренного зеркала, светоделительный элемент на основе дихроичной зеркальной призмы, волоконно-оптический светоделительный элемент и т.п.

[0128] Таким образом, согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, открытый перечень настраиваемых параметров, связанных со светоделительным элементом 304 может, например, в зависимости от конкретного варианта его применения, включать в себя диапазон рабочих длин волн, который может изменяться от конечного количества длин волн до более широкого спектра света (например, 1200-1600 нм), угол падения входного луча, наличие или отсутствие поляризации и т.п.

[0129] В конкретном не имеющем ограничительного характера примере светоделительный элемент 304 может быть реализован в виде волоконно-оптического светоделительного элемента, например, поставляемого компанией OZ Optics Ltd. (219 Westbrook Rd Ottawa, Ontario K0A 1L0, Canada (Канада)). Очевидно, что светоделительный элемент 304 может быть реализован в виде любого другого подходящего оборудования.

Внутренние пути лучей

[0130] Как схематически показано на фиг. 3, в лидарной системе 300 предусмотрено множество внутренних путей 312 лучей, вдоль которых распространяются выходной луч 314 (сформированный источником 302 света) и входной луч 316 (полученный из окрестности 250). В частности, свет распространяется вдоль внутренних путей 312 лучей следующим образом: свет из источника 302 света проходит через светоделительный элемент 304 в сканирующий блок 308, который направляет выходной луч 314 наружу в сторону окрестности 250.

[0131] Подобным образом входной луч 316 распространяется вдоль множества внутренних путей 312 лучей в блок 306 обнаружения. В частности, входной луч 316 направляется сканирующим блоком 308 в лидарную систему 300 - через светоделительный элемент 304 в блок 306 обнаружения. В некоторых вариантах осуществления изобретения в лидарной системе 300 могут быть предусмотрены пути лучей, направляющие входной луч 316 из окрестности 250 непосредственно в блок 306 обнаружения (без прохождения входного луча 316 через сканирующий блок 308).

[0132] Следует отметить, что в различных не имеющих ограничительного характера вариантах осуществления настоящей технологии множество внутренних путей 312 луча может содержать разнообразные оптические элементы. Например, лидарная система 300 может содержать один или несколько оптических элементов, способных обрабатывать, придавать форму, фильтровать, модифицировать или направлять выходной луч 314 и/или входной луч 316. Например, лидарная система 300 может содержать один или несколько элементов из числа линз, зеркал, фильтров (например, полосовых или интерференционных фильтров), оптических волокон, циркуляторов, светоделителей, поляризаторов, поляризационных светоделителей, волновых пластин (например, полуволновых или четвертьволновых пластин), дифракционных элементов, микроэлектромеханических элементов, коллимационных элементов или голографических элементов.

[0133] Предполагается, что в по меньшей мере некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии для внутреннего пути луча и другого внутреннего пути луча из множества внутренних путей 312 луча могут совместно использоваться по меньшей мере некоторые общие оптические элементы. Тем не менее, это не обязательно для всех вариантов осуществления настоящей технологии.

Сканирующий блок

[0134] В общем случае сканирующий блок 308 направляет выходной луч 314 в одном или в нескольких направлениях в сторону окрестности 250. Сканирующий блок 308 связан с контроллером 310. Контроллер 310 способен управлять сканирующим блоком 308 так, чтобы направлять выходной луч 314 в требуемом направлении и/или согласно заранее заданной схеме сканирования. В общем случае в контексте настоящего описания схема сканирования может соответствовать схеме или траектории, согласно которой выходной луч 314 направляется сканирующим блоком 308 при его работе.

[0135] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии контроллер 310 может обеспечивать развертку выходного луча 314 сканирующим блоком 308 во множестве горизонтальных угловых диапазонов и/или вертикальных угловых диапазонов. Суммарный угловой диапазон, в котором сканирующий блок 308 сканирует выходным лучом 314, иногда называется полем зрения (FOV, Field Of View). Предполагается, что конкретная конструкция, ориентация и/или угловые диапазоны могут зависеть от конкретного варианта реализации лидарной системы 300. Поле зрения обычно содержит множество областей ROI, заданных в виде частей поля FOV, которые могут, например, содержать интересующие объекты. В некоторых вариантах осуществления изобретения сканирующий блок 308 может дополнительно исследовать выбранную область 325 ROI. Область 325 ROI лидарной системы 300 может соответствовать площади, объему, зоне, угловому диапазону и/или части (или нескольким частям) окрестности 250, где лидарная система 300 способна выполнять сканирование и/или фиксировать данные.

[0136] Следует отметить, что местоположение объекта 320 в окрестности 250 транспортного средства 220 может перекрываться, содержаться или охватываться, по меньшей мере частично, областью 325 ROI лидарной системы 300.

[0137] Согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии, сканирующий блок 308 может сканировать выходным лучом 314 по горизонтали и/или по вертикали и поэтому область 325 ROI лидарной системы 300 может иметь горизонтальное направление и вертикальное направление. Например, область 325 ROI может быть задана углом 45 градусов по горизонтали и углом 45 градусов по вертикали. В некоторых вариантах осуществления изобретения различные оси сканирования могут иметь различную ориентацию.

[0138] Сканирующий блок 308 может содержать первый отражающий элемент 350 и второй отражающий элемент 360. Первый отражающий элемент 350 может перенаправлять выходной луч 314 из светоделительного элемента в сторону второго отражающего элемента 360, обеспечивая распределение выходного луча вдоль первой оси. Второй отражающий элемент 360 может перенаправлять выходной луч 314 из первого отражающего элемента 350 в сторону окрестности 250 (через окно 380 корпуса 330), обеспечивая распределение выходного луча вдоль второй оси. Вторая ось может быть перпендикулярна и/или ортогональна первой оси. Благодаря тому, что выходной луч 314 таким образом перенаправляется и распределяется с использованием сочетания первого отражающего элемента 350 и второго отражающего элемента 360, возможно сканирование окрестности 250 транспортного средства 220 вдоль по меньшей мере двух перпендикулярных или ортогональных осей.

[0139] Можно сказать, что сканирующий блок может сканировать окрестность вдоль пары осей. Например, выходной луч 314 может распределяться первым отражающим элементом 350 вдоль первой оси и вторым отражающим элементом 360 вдоль второй оси. В одном варианте осуществления изобретения первая ось может представлять собой вертикальную ось, а вторая ось может представлять собой горизонтальную ось. В другом варианте осуществления изобретения первая ось может представлять собой горизонтальную ось, а вторая ось может представлять собой вертикальную ось.

[0140] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сканирующий блок может дополнительно содержать множество других оптических элементов и/или механических элементов для сканирования выходным лучом. Например, сканирующий блок может содержать одно или несколько зеркал, призм, линз, микроэлектромеханических элементов, пьезоэлектрических элементов, оптических волокон, делителей, дифракционных элементов, коллимационных элементов и т.п. Следует отметить, что сканирующий блок также может содержать один или несколько дополнительных приводов (отдельно не показаны), обеспечивающих, например, вращение, наклон, поворот или угловое перемещение вокруг одной или нескольких осей по меньшей мере некоторых других оптических элементов.

[0141] Представленная на фиг. 3, лидарная система 300 может использовать заранее заданную схему сканирования для формирования облака точек, по существу покрывающего область 325 ROI лидарной системы 300. Это облако точек лидарной системы 300 может быть использовано для формирования многомерной карты объектов в окрестности 250 транспортного средства 220.

Блок обнаружения

[0142] Согласно некоторым не имеющим ограничительного характера вариантам осуществления настоящей технологии, блок 306 обнаружения связан с контроллером 310 и может быть реализован множеством способов. Согласно настоящей технологии, блок 306 обнаружения содержит фотодетектор, но может, в числе прочего, содержать фотоприемник, оптический приемник, оптический датчик, детектор, оптический детектор, оптические волокна и т.п. Как описано выше, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии блок 306 обнаружения может получать или обнаруживать по меньшей мере часть входного луча 316 и формировать электрический сигнал, соответствующий входному лучу 316. Например, если входной луч 316 содержит оптический импульс, то блок 306 обнаружения может сформировать импульс электрического тока или напряжения, соответствующий оптическому импульсу, обнаруженному блоком 306 обнаружения.

[0143] Предполагается, что в различных не имеющих ограничительного характера вариантах осуществления настоящей технологии блок 306 обнаружения может быть реализован с использованием одного или нескольких лавинных фотодиодов (APD, Avalanche PhotoDiode), одного или нескольких однофотонных лавинных диодов (SPAD, Single-Photon Avalanche Diode), одного или нескольких PN-фотодиодов (например, структуры фотодиода, образованной полупроводником p-типа и полупроводником n-типа), одного или нескольких PIN-фотодиодов (например, структуры фотодиода, образованной областью нелегированного полупроводника, расположенной между областями p-типа и n-типа) и т.п.

[0144] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения блок 306 обнаружения также может содержать схему, выполняющую усиление сигнала, выборку, фильтрацию, преобразование сигнала, аналого-цифровое преобразование, преобразование время-код, обнаружение импульсов, пороговое обнаружение, обнаружение нарастающего фронта, обнаружение спадающего фронта и т.п. Например, блок 306 обнаружения может содержать электронные элементы, способные преобразовывать полученный фототок (например, ток, сформированный лавинным фотодиодом в ответ на принятый оптический сигнал) в сигнал напряжения. Блок 306 обнаружения также может содержать дополнительную схему для формирования аналогового или цифрового выходного сигнала, соответствующего одной или нескольким характеристикам (например, нарастающему фронту, спадающему фронту, амплитуде, длительности и т.п.) принятого оптического импульса.

Контроллер

[0145] В зависимости от варианта реализации, контроллер 310 может содержать один или несколько процессоров, схему ASIC, матрицу FPGA и/или другую подходящую схему. Контроллер 310 также может содержать машиночитаемую физическую память для хранения команд, исполняемых контроллером 310, и данных, которые контроллер 310 может формировать на основе сигналов, полученных от других внутренних элементов лидарной системы 300, и/или сигналов, выдаваемых в другие внутренние элементы лидарной системы 300. Память может содержать энергозависимые элементы (например, ОЗУ) и/или энергонезависимые элементы (например, флэш-память, жесткий диск). Контроллер 310 может формировать данные во время работы и сохранять их в памяти. Например, эти данные, сформированные контроллером 310, могут указывать на точки данных в облаке точек лидарной системы 300.

[0146] Предполагается, что в по меньшей мере некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии контроллер 310 может быть реализован подобно электронному устройству 210 и/или компьютерной системе 100 без выхода за границы настоящей технологии. Помимо сбора данных от блока 306 обнаружения, контроллер 310 может выдавать управляющие сигналы в источник 302 света и в сканирующий блок 308 и потенциально принимать от них диагностические данные.

[0147] Как описано выше, контроллер 310 связан с источником 302 света, со сканирующим блоком 308 и с блоком 306 обнаружения. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии контроллер 310 может получать от источника 302 света электрические запускающие импульсы, каждый из которых соответствует излучению оптического импульса источником 302 света. Контроллер 310 также может выдавать в источник 302 света команды, управляющий сигнал и/или запускающий сигнал, указывающие на то, когда источник 302 света должен формировать оптические импульсы, например, образующие выходной луч 314.

[0148] Например, контроллер 310 может отправлять электрический запускающий сигнал, содержащий электрические импульсы, так, чтобы источник 302 света излучал оптический импульс, который может быть представлен выходным лучом 314, в ответ на каждый электрический импульс электрического запускающего сигнала. Также предполагается, что контроллер 310 может обеспечивать корректировку источником 302 света одной или нескольких характеристик выходного луча 314, формируемого источником 302 света, таких как частота, период, длительность, энергия импульса, пиковая мощность, средняя мощность, длина волны оптических импульсов и т.д.

[0149] Согласно настоящей технологии, контроллер 310 способен определять значение «времени пролета» для оптического импульса с целью определения расстояния между лидарной системой 300 и одним или несколькими объектами в поле зрения, как описано ниже. Время пролета основано на информации о времени, связанной (а) с первым моментом времени излучения оптического импульса (например, из выходного луча 314) источником 302 света и (б) со вторым моментом времени обнаружения или приема блоком 306 обнаружения части оптического импульса (например, из входного луча 316). В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии первый момент может указывать на момент времени выдачи контроллером 310 соответствующего электрического импульса, связанного с оптическим импульсом, а второй момент времени может указывать на момент времени получения контроллером 310 от блока 306 обнаружения электрического сигнала, сформированного в ответ на получение части оптического импульса из входного луча 316.

[0150] В других не имеющих ограничительного характера вариантах осуществления настоящей технологии, где светоделительный элемент 304 может разделять выходной луч 314 на сканирующий луч (не показан) и опорный луч (не показан), первый момент времени может соответствовать моменту времени получения от блока 306 обнаружения первого электрического сигнала, сформированного в ответ на получение части опорного луча. Соответственно, в этих вариантах осуществления изобретения второй момент времени может быть определен как момент времени получения контроллером 310 от блока 306 обнаружения второго электрического сигнала, сформированного в ответ на получение другой части оптического импульса из входного луча 316.

[0151] Согласно настоящей технологии, контроллер 310 способен на основе первого момента времени и второго момента времени определять значение времени пролета и/или значение фазовой модуляции для излученного импульса из выходного луча 314. Значение времени T пролета, в известном смысле, соответствует времени прохождения излученного импульса в обоих направлениях: от лидарной системы 300 до объекта 320 и обратно до лидарной системы 300. Таким образом, контроллер 310 может определять расстояние 318 согласно следующему уравнению:

, (1)

где D - расстояние 318, T - значение времени пролета, c - скорость света (приблизительно 3,0×10⁸ м/с).

[0152] Как описано выше, лидарная система 300 может использоваться для определения расстояния 318 до одного или нескольких других потенциальных объектов, расположенных в окрестности 250. Путем сканирования выходным лучом 314 области 325 ROI лидарной системы 300 согласно заранее заданной схеме сканирования контроллер 310 способен сопоставлять расстояния (подобные расстоянию 318) с соответствующими точками данных в области 325 ROI лидарной системы 300. В результате контроллер 310 способен отображать эти последовательно зафиксированные точки данных (например, облако точек) в виде многомерной карты. В некоторых вариантах осуществления изобретения данные об измеренном времени пролета и/или расстоянии до объектов могут отображаться в различных информационных форматах.

[0153] Например, такая многомерная карта может использоваться электронным устройством 210 для обнаружения объектов или идентификации их иным образом либо для определения формы или расстояния до потенциальных объектов в области 325 ROI лидарной системы 300. Предполагается, что лидарная система 300 может циклически или итеративно фиксировать и/или формировать облака точек с любой подходящей для данного варианта применения скоростью.

[0154] Следует отметить, что такие многомерные карты могут записываться и храниться как часть данных журнала, связанных с транспортным средством 220. В результате данные облака точек, зафиксированные лидарными системами в парке транспортных средств, могут сохраняться для последующего использования. Кроме того, многомерные карты, зафиксированные лидарной системой, могут использоваться для определения местоположения автомобиля SDC при его эксплуатации. Ниже описано использование данных облака точек, зафиксированных лидарной системой при эксплуатации, для определения местоположения транспортного средства 220.

Устройство хранения данных

[0155] На фиг. 4 представлено устройство 400 хранения данных. Устройство 400 хранения данных может быть связано с сервером 235 и с электронным устройством 210 транспортного средства 220 (см. фиг. 2). Устройство 400 хранения данных может использоваться сервером 235 и/или электронным устройством 210 для хранения данных, собранных при эксплуатации транспортного средства 220. Устройство 400 хранения данных может использоваться сервером 235 и/или электронным устройством 210 для определения по меньшей части сохраненных данных, подлежащих обновлению. Устройство 400 хранения данных может использоваться сервером 235 и/или электронным устройством 210 для получения данных, которые должны использоваться при эксплуатации транспортного средства 220.

[0156] В некоторых вариантах осуществления настоящей технологии устройство 400 хранения данных может получать данные, собранные датчиками множества 404 транспортных средств, например, сотен или тысяч транспортных средств, реализованных подобно транспортному средству 220. Транспортные средства собирают данные датчиков, зафиксированные во время движения по различным маршрутам, и отправляют их устройству 400 хранения данных. В результате можно сказать, что в устройстве 400 хранения данных могут храниться данные 406 журналов для множества 404 транспортных средств (для парка транспортных средств).

[0157] В других вариантах осуществления настоящей технологии сервер 235 может использовать данные 406 журналов для создания и/или обновления представления 402 карты географической области, где действует и/или действовало множество 404 транспортных средств. Предполагается, что сервер 235 может создавать представление 402 карты для карт географической области на основе совокупной информации, полученной от множества 404 транспортных средств, и сохранять представление 402 карты в устройстве 400 хранения данных.

[0158] Сервер 235 может отправлять данные, соответствующие представлению 402 карты, электронным устройствам, связанным с транспортными средствами из множества 404 транспортных средств. Например, если транспортное средство 220 должно двигаться по маршруту, то электронное устройство 210 может предоставлять информацию, описывающую маршрут движения, серверу 235. В ответ сервер 235 предоставляет представление 402 карты (или его части) для движения по этому маршруту. Предполагается, что представление 402 карты может периодически выдаваться для локального сохранения электронным устройством 210 с целью использования без выхода за границы настоящей технологии.

[0159] В одном варианте осуществления изобретения сервер 235 отправляет части представления 402 карты транспортным средствам в сжатом виде, чтобы для передаваемых данных требовалась меньшая полоса пропускания канала связи. Сервер 235 может получать от различных транспортных средств информацию, описывающую данные, локально сохраненные электронным устройством 210. Если сервер 235 определяет, что транспортное средство 220 не содержит некоторую локально сохраненную часть представления 402 карты, то сервер 235 может отправлять эту часть представления 402 карты. Если сервер 235 определяет, что транспортное средство 220 ранее получило эту конкретную часть представления карты, но соответствующие данные были обновлены сервером 235 после последнего получения данных транспортным средством 220, то сервер 235 может отправлять электронному устройству 210 обновление для этой части представления 402 карты.

[0160] Следует отметить, что сервер 235 может формировать представление 402 карты на основе данных 406 журналов. Сервер 235 обновляет ранее рассчитанные картографические данные путем получения более новой информации от транспортных средств, недавно перемещавшихся по маршрутам, для которых изменена информация карты. В одном варианте осуществления изобретения способы совмещения карт с использованием итеративных алгоритмов ближайших точек (ICP, Iterative Closest Point) (и их вариантов) могут быть использованы сервером 235 для соответствующих точек с наименьшим расстоянием на различных картах облаков из данных 406 журналов, чтобы объединить их и расширить или увеличить представление карты географической области, в которой были зафиксированы данные облака из данных 406 журналов.

[0161] В по меньшей мере некоторых вариантах осуществления настоящей технологии сервер 235 может формировать двумерное представление области на основе трехмерного представления области. Например, сервер 235 может проецировать множество расположенных по вертикали точек на элемент двумерной сетки. Различные характеристики множества расположенных по вертикали точек могут использоваться с целью определения значения для этого элемента. В одном не имеющем ограничительного характера примере значения интенсивности из множества расположенных по вертикали точек могут объединяться для определения значения, которое должно быть связано с элементом двумерной сетки. Можно сказать, что в результате проецирования 3D-точек на двухмерную сетку возможно формирование данных изображения, представляющих различные области карты. Можно сказать, что в по меньшей мере некоторых вариантах осуществления изобретения в устройстве 400 хранения данных хранятся одно или несколько изображений, представляющих карту.

[0162] Кроме того, в устройстве 400 хранения данных могут храниться дополнительные данные 410. В некоторых вариантах осуществления изобретения дополнительные данные 410 содержат информацию, указывающую на фактические границы многоугольного участка, предоставленные экспертами для по меньшей мере некоторых областей представления 402 карты. В других вариантах осуществления изобретения в устройстве 400 хранения данных может храниться множество графовых структур. Например, в устройстве 400 хранения данных может храниться графовая структура, представляющая тротуары. В другом примере в устройстве 400 хранения данных может храниться графовая структура, представляющая местоположение дорог и направление движения по этим дорогам. В еще одном примере в устройстве 400 хранения данных может храниться графовая структура, представляющая пути, которые могут использоваться пешеходами и транспортными средствами. В дополнительном примере в устройстве 400 хранения данных может храниться графовая структура, представляющая пешеходные переходы, которые могут использоваться пешеходами и относительно небольшими роботизированными транспортными средствами.

[0163] В некоторых вариантах осуществления изобретения предполагается, что информация, указывающая на одну или несколько графовых структур, может храниться в сочетании с соответствующими областями представления карты. Также предполагается, что одна или несколько графовых структур могут быть растрированы и полученные в результате данные изображения могут храниться в сочетании с соответствующими областями представления карты.

[0164] В некоторых вариантах осуществления настоящей технологии по меньшей мере некоторые данные изображения могут храниться в виде файлов GeoTIFF. Вкратце, GeoTIFF - это открытый стандарт метаданных, позволяющий внедрять в файл изображения информацию о географической привязке. С использованием формата GeoTIFF геопространственные метаданные внедряются в файлы изображений, такие как аэрофотографии, спутниковые изображения и оцифрованные карты, таким образом, чтобы их можно было использовать в геоинформационных системах.

[0165] В частности, географические метаданные формата GeoTIFF описывают фактическое местоположение в пространстве, представляемое каждым пикселом изображения. При формировании файла GeoTIFF пространственная информация включается в состав файла «.tif» в виде внедренных тегов, которые могут содержать метаданные растрового изображения, такие как начало отсчета по горизонтали и по вертикали, пространственная протяженность (т.е. область, которую покрывает набор данных), система координат (CRS, Coordinate Reference System), используемая для хранения данных, пространственное разрешение (количество независимых пикселов на единицу длины), количество слоев в файле «.tif», эллипсоиды и геоиды (например, расчетные модели формы Земли), математические правила картографического проецирования для преобразования данных трехмерного пространства в двумерное изображение и т.д.

[0166] На фиг. 5 представлен многоугольный участок 500 на изображении 510 области 520 карты. Как показано, многоугольный участок 500 может содержать ступенчатые границы. Также представлен многоугольный участок 502 на изображении 512 области 522 карты. Как показано, многоугольник 502 может содержать закругленные углы и/или слегка недотянутые углы и границы. Также представлен многоугольный участок 504 на изображении 514 области 524 карты. Как показано, многоугольный участок 504 может иметь ошибочные границы, не соответствующие действительности. В этом примере изображения 510, 512 и 514 представляют собой файлы GeoTIFF.

[0167] На фиг. 6 приведено представление 600 для формирования моделью 650 сегментации карты 630 сегментации на основе данных 620 изображения. В некоторых вариантах осуществления изобретения данные 620 изображения могут содержать двумерное представление области карты. Такое изображение может быть сформировано путем проецирования точек из трехмерного облака точек на двумерную сетку. В других вариантах осуществления изобретения один или несколько дополнительных каналов 610 данных изображения могут подаваться в модель сегментации для формирования карты 630 сегментации. Например, одна или несколько графовых структур могут быть растрированы и введены как изображения в модель 650 сегментации.

[0168] Карта 630 сегментации содержит множество точек (без числового обозначения). Каждая точка из множества точек связана с вектором признаков, сформированным моделью 650 сегментации. Например, векторы признаков могут содержать признаки, полученные из изображений GeoTiff моделью 650 сегментации. Следует отметить, что вектор признаков, сформированный для пиксела, может по меньшей мере частично основываться на признаках, сформированных для соседних пикселов.

[0169] Соседние пикселы для данного пиксела могут определяться или зависеть от конкретного варианта реализации модели 650 сегментации. В по меньшей мере некоторых вариантах осуществления изобретения множество точек может соответствовать последовательности точек, образующих границу многоугольного участка, где соседние точки для точки из последовательности могут включать в себя одну или несколько предшествующих точек и/или одну или несколько последующих точек для этой точки из последовательности.

[0170] Карта 630 сегментации также содержит указание на границу многоугольного участка 640. Можно сказать, что граница многоугольного участка640 представляет собой оценку части карты 630 сегментации, содержащей объект. Можно сказать, что граница многоугольного участка640 представляет собой оценку периметра, задающего объект в области. Граница многоугольного участка640 содержит последовательность точек границы (без числового обозначения).

[0171] Сервер 235 способен получать фактическую границу многоугольного участка 660, связанную с объектом, хранящимся в устройстве 400 хранения данных в сочетании с областью. Как описано выше, фактическая граница многоугольного участка660 предоставлена экспертом (например, картографом). В частности, эксперту может быть поручено вручную определять последовательность ребер границы, представляющих фактическое местоположение объекта в области.

[0172] Сервер 235 может формировать метки для точек из последовательности точек границы для границы многоугольного участка 640. Эти метки могут быть определены путем отображения фактической границы многоугольного участка 660 на карту 630 сегментации и сравнения точек границы из границы многоугольного участка 640 с ребрами фактической границы многоугольного участка 660.

[0173] На фиг. 7 приведено представление 700 для определения сервером 235 меток для соответствующих точек границы многоугольного участка 640. Здесь представлено ребро 710 из последовательности ребер фактической границы многоугольного участка 660. Также представлена подпоследовательность 750 точек границы из последовательности точек границы, содержащая первую точку 720 границы, вторую точку 730 границы и третью точку 740 границы.

[0174] Предполагается, что положение точки границы в последовательности точек границы может быть задано как изменение положения относительно положения предыдущей точки границы из этой последовательности точек границы. Например, положение второй точки 730 границы может быть задано как изменение положения относительно положения первой точки 720 границы, положение третьей точки 740 границы может быть задано как изменение положения относительно положения второй точки 730 границы, следующая точка границы из последовательности точек границы может быть задана с помощью изменения положения относительно положения третьей точки 740 границы и т.д.

[0175] Сервер 235 может определять отклонение положения от ближайшего ребра из последовательности ребер. Следует отметить, что в не имеющем ограничительного характера примере, представленном на фиг. 7, ближайшему к первой точке 720 границы, ко второй точке 730 границы и к третьей точке 740 границы ребру соответствует ребро 710, но это не обязательно для всех вариантов осуществления настоящей технологии. Например, каждой точке из числа первой точки 720 границы, второй точки 730 границы и третьей точки 740 границы могут соответствовать различные ближайшие ребра.

[0176] Сервер 235 может определять первое отклонение 721 для первой точки 720 границы и второе отклонение 722 для второй точки 730 границы, а также может определять, что третья точка 740 границы находится на ребре 710 (т.е. определять нулевое отклонение и/или то, что ребро 710 проходит через точку на карте сегментации, положение которой соответствует третьей точке 740 границы).

[0177] Сервер 235 может определять метки для точек из последовательности 750 точек границы на основе соответствующих отклонений. В некоторых вариантах осуществления изобретения, где вторая модель способна выполнять задачу классификации, сервер 235 может определять, что отклонение оказывается меньшим или большим заранее заданного порога. Например, сервер 235 может определять метку, указывающую на первый класс, для первой точки 720 границы на основе первого отклонения 721, если первое отклонение 721 меньше заранее заданного порога, и может определять метку, указывающую на второй класс, для второй точки 730 границы на основе второго отклонения 722, если второе отклонение 722 больше заранее заданного порога. Например, заранее заданный порог отклонения может быть равен 20 см.

[0178] В других вариантах осуществления изобретения, где вторая модель способна выполнять задачу регрессии, сервер 235 может использовать отклонение в качестве метки для соответствующей точки границы. Например, сервер 235 может определять метки для точек границы, которые указывают на значение смещения (например, на отклонения) для соответствующих точек границы. Как более подробно описано ниже, в по меньшей мере некоторых вариантах осуществления изобретения вторая модель может содержать несколько выходных голов, где первая голова для классификации способна решать задачу классификации, вторая голова для регрессии способна решать задачу регрессии, при этом метки для обеих голов формируются на основе отклонений, рассчитанных для соответствующих точек границы.

[0179] Предполагается, что выходные данные головы для регрессии могут применяться на этапе использования отдельно и/или в сочетании с выходными данными головы для классификации. Например, выходные данные головы для регрессии могут применяться на этапе использования для определения значения смещения для точки границы. Таким образом сервер может автоматически корректировать точку границы для компенсации этого значения смещения.

[0180] В не имеющем ограничительного характера примере во второй модели при выполнении задачи классификации могут применяться сверточные сети на основе одномерных сверток, рекуррентные сети и/или трансформеры с архитектурами машинного обучения (ML, Machine Learning) на основе механизма внимания. Сверточные сети на основе ML-архитектур с одномерными свертками могут быть реализованы, как описано в работе «Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation» авторов Liang-Chieh Chen et al., опубликованной в 2018 г., содержание которой полностью включено в настоящий документ посредством ссылки. ML-архитектуры рекуррентных сетей могут быть реализованы, как описано в работе «Sequence to Sequence Learning with Neural Networks» авторов Ilya Sutskever et al., опубликованной в 2014 г., содержание которой полностью включено в настоящий документ посредством ссылки. Трансформеры с ML-архитектурами на основе механизма внимания могут быть реализованы, как описано в работе «Attention is All you Need» авторов Ashish Vaswani et al., опубликованной в 2017 г., содержание которой полностью включено в настоящий документ посредством ссылки.

[0181] В других вариантах осуществления изобретения предполагается, что вторая модель может содержать различные части для выполнения задачи классификации и задачи регрессии. В этих вариантах осуществления изобретения сервер 235 может определять несколько меток для точки границы. Несколько меток могут включать в себя первую метку, указывающую на отклонение от ближайшего ребра, и вторую метку, указывающую на то, что это отклонение меньше или больше заранее заданного порога.

[0182] На фиг. 11 приведена блок-схема ML-архитектуры, которая может использоваться для реализации второй модели, где могут использоваться два канала меток, а именно: первый канал для первых меток и второй канал для вторых меток.

[0183] В частности, ML-архитектура может содержать нейронную сеть для выделения признаков (neural network backbone), в которую подаются входные признаки. В некоторых вариантах осуществления изобретения входные признаки содержат тензор, размер которого зависит от количества точек границы и от количества признаков изображения. Например, размер тензора может быть равен[N×(2 + K)], где N - количество точек границы, а K - количество необработанных признаков из первой модели, при этом каждая точка границы может быть закодирована с использованием различия положения относительно непосредственно предшествующей точки границы из последовательности точек границы и вектора необработанных признаков из первой сети для пиксела, соответствующего этой точке границы.

[0184] Нейронная сеть для выделения признаков формирует признаки точек границы, которые могут отображаться с использованием тензора, размер которого зависит от количества точек границы и от количества признаков изображения. Например, размер тензора может быть равен[N×M], где N - количество точек границы, а M - количество признаков из второй модели. Признаки точек границы могут включать в себя необработанные признаки для каждой точки границы, на основе которых впоследствии прогнозируются отклонения и/или классы.

[0185] Как показано на фиг. 11, ML-архитектура содержит голову для классификации и голову для регрессии, которые могут представлять собой две различные нейронные сети, используемые при прогнозировании классов и отклонений. В некоторых вариантах осуществления изобретения голова для классификации и голова для регрессии могут образовывать многослойный перцептрон.

[0186] Голова для классификации формирует классы точек границы в виде тензора размера[N×1], а голова для регрессии формирует отклонения точек границы в виде тензора размера[N×2]. Разработчики установили, что голова для классификации может быть обучена на основе первого канала меток класса (указывающих на классы), а голова для регрессии может быть обучена на основе второго канала меток регрессии (указывающих на значение смещения). Предполагается, что сервер 235 может применять голову для регрессии в зависимости от прогнозируемого головой для классификации класса набора данных этапа использования.

[0187] В некоторых вариантах осуществления настоящей технологии вторая модель может быть реализована согласно алгоритму CatBoost. Вкратце, CatBoost - это алгоритм градиентного бустинга, предназначенный для обработки категориальных признаков. Алгоритм CatBoost работает в рамках фреймворка градиентного бустинга (популярное средство обучения ансамбля). Модель итеративно строит ансамбль деревьев решений с целью создания сильной прогнозирующей модели. Каждое дерево исправляет ошибки своего предшественника, в результате чего улучшаются общие прогнозы. В этих вариантах осуществления изобретения предполагается, что первая модель CatBoost может быть обучена и использоваться для решения задачи классификации с использованием первого канала меток класса, а вторая модель CatBoost может быть обучена и использоваться для решения задачи регрессии с использованием второго канала меток регрессии, как описано выше. В этих вариантах осуществления изобретения входные данные могут содержать данные, указывающие на соседние точки, определенные сервером 235 для входных точек.

[0188] На фиг. 8 приведено представление 800 для процедуры обучения, которую сервер 235 может выполнять для второй модели 850 на основе границы многоугольного участка 640 и фактической границы многоугольного участка 660.

[0189] Сервер 235 может формировать обучающие данные на основе (а) положений точек границы из последовательности точек границы, (б) векторов признаков, связанных с точками границы из последовательности точек границы, (в) векторов признаков других точек с карты сегментации, которые являются соседними для точек границы из последовательности точек границы, и (г) меток, связанных с точками границы из последовательности точек границы.

[0190] На фиг. 8 представлена последовательность 810 положений, соответствующих положениям последовательности точек границы. Можно предположить, что положения 811, 812 и 813 соответствуют положениям первой точки 720 границы, второй точки 730 границы и третьей точки 740 границы, соответственно.

[0191] Следует отметить, что положение 812 второй точки 730 границы связано с вектором 815 признаков, связанным со второй точкой 730 границы и со множеством 818 соседних векторов признаков, связанных с соседними точками второй точки 730 границы. Можно сказать, что множество 818 соседних векторов признаков представляет контекст второй точки 730 границы. Предполагается, что модель может определять множество 818 соседних векторов признаков на основе соседних точек.

[0192] Выбор соседа может, среди прочего, зависеть от конкретных вариантов реализации сети UNet (которая обрабатывает точки контура): для управления размером окрестности могут использоваться количество слоев, параметры и соединения между слоями. Например, точки могут равномерно выбираться на контуре, а затем в отношении них может применяться полносверточная сеть с одномерными свертками. В зависимости от количества сверток и их параметров, точка, так сказать, «наблюдает» за окрестностью некоторого размера. Например, в результате одной одномерной свертки с конфигурацией ядра размером 3 точка может обладать информацией об окрестности с радиусом 1, в результате одной свертки с конфигурацией ядра размером 5 точка может обладать информацией об окрестности с радиусом 2, в результате двух последовательных сверток с конфигурацией ядра размером 5 точка может обладать информацией об окрестности с радиусом 4.

[0193] Сервер 235 может вводить соответствующие положения из последовательности 810 положений с векторами признаков во вторую модель 850, которая формирует прогнозируемые оценки из последовательности 830 прогнозируемых оценок. Например, вторая модель 850 может формировать прогнозируемую оценку 832 для положения 812 и соответствующих векторов признаков.

[0194] Сервер 235 способен сравнивать прогнозируемые оценки из последовательности 830 прогнозируемых оценок с последовательностью 820 меток. Например, последовательность 820 меток может содержать метки 821, 822 и 823 для соответствующих точек из числа первой точки 720 границы, второй точки 730 границы и третьей точки 740 границы. Таким образом, сервер 235 может сравнивать прогнозируемую оценку 832 с меткой 822. Сервер 235 может корректировать вторую модель 850 на основе результатов этих сравнений прогнозируемых значений и меток.

[0195] На фиг. 9 приведено представление 900 для работы второй модели 850 на этапе использования. Вторая модель 850 может получать последовательность 910 положений, соответствующих положениям последовательности точек границы из многоугольного участка на этапе использования, сформированного моделью 650 сегментации в не оцененной области карты. Последовательность 910 положений содержит положения 911, 912 и 913.

[0196] Следует отметить, что положение 912, соответствующее точке границы многоугольного участка этапа использования, связано с вектором 915 признаков, связанным со второй точкой границы и со множеством 918 соседних векторов признаков, связанных с соседними точками этой точки границы. Можно сказать, что множество 918 соседних векторов признаков представляет контекст точки границы.

[0197] Сервер 235 может вводить положения из последовательности 910 положений этапа использования с векторами признаков во вторую модель 850, которая формирует прогнозируемые оценки (оценки достоверности) этапа использования из последовательности 930 прогнозируемых оценок. Например, вторая модель 850 может формировать прогнозируемую оценку 932 для положения 912 и соответствующих векторов признаков.

[0198] В некоторых вариантах осуществления изобретения, если одна или несколько прогнозируемых оценок из последовательности 930 прогнозируемых оценок указывают на то, что точки границы этапа использования размещены неправильно, сервер 235 может определять многоугольный участок на этапе использования (и/или его часть) и/или не оцененную область карты для последующего оценивания экспертом.

[0199] На фиг. 10 представлена блок-схема способа 1000, выполняемого процессором (например, процессором сервера 235). Далее более подробно описаны шаги способа 1000.

Шаг 1002: получение данных изображения для обучающей области, содержащей обучающий объект.

[0200] Способ 1000 начинается с шага 1002, на котором процессор получает данные изображения для обучающей области, содержащей обучающий объект. В некоторых вариантах осуществления изобретения обучающий объект представляет собой участок дороги или участок тротуара. Следует отметить, что данные изображения для обучающей области и данные об обучающем объекте могут использоваться при эксплуатации транспортного средства в обучающей области. В некоторых вариантах осуществления изобретения транспортное средство может представлять собой автомобиль SDC, эксплуатируемый на участках дороги. В других вариантах осуществления изобретения транспортное средство может представлять собой робота-доставщика, эксплуатируемого на участках тротуара.

[0201] Предполагается, что данные изображения могут содержать множество файлов данных изображения. В некоторых вариантах осуществления изобретения данные изображения могут содержать представление вида с высоты птичьего полета для обучающей области. В других вариантах осуществления изобретения данные изображения могут содержать двумерное изображение обучающей области, сформированное процессором из трехмерного облака точек, представляющего обучающую область. В других вариантах осуществления изобретения данные изображения могут содержать одно или несколько растровых изображений.

Шаг 1004: формирование карты сегментации с использованием модели сегментации на основе данных изображения.

[0202] Способ 1000 продолжается на шаге 1004, на котором процессор способен формировать на основе данных изображения карту сегментации с использованием модели 650 сегментации. Модель 650 сегментации может представлять собой алгоритм MLA, способный выполнять сегментацию данных изображения. В некоторых вариантах осуществления изобретения предполагается, что модель 650 сегментации может, среди прочего, назначать метки для пикселов введенного изображения так, чтобы пикселы с одинаковой меткой имели одинаковую характеристику (или несколько характеристик). В одном примере пикселы, связанные с меткой, могут представлять один и тот же объект на введенном изображении. Также предполагается, что множество алгоритмов может применяться в отношении размеченных пикселов с целью определения контура или границы объекта на введенном изображении.

[0203] В некоторых вариантах осуществления настоящей технологии модель 650 сегментации может быть реализована в виде сети CNN, обученной для сегментирования изображений. В одном варианте осуществления изобретения сеть CNN может иметь архитектуру U-Net.

[0204] Можно сказать, что выходные данные модели 650 сегментации (карта сегментации) могут содержать множество точек, задающих обучающую границу многоугольного участка. Выходные данные модели 650 сегментации могут содержать соответствующим образом связанные векторы признаков для множества точек.

[0205] Обучающая многоугольная граница, сформированная моделью 650 сегментации, может представлять собой сформированную компьютером границу, соответствующую попытке определения обучающего объекта в обучающей области. Обучающая граница многоугольного участкасодержит последовательность точек границы, при этом положение точки границы в последовательности задано как изменение положения относительно положения предыдущей точки границы из этой последовательности.

Шаг 1006: получение фактической границы многоугольного участка, задающей обучающий объект на карте сегментации.

[0206] Способ 1000 продолжается на шаге 1006, на котором процессор способен получать фактическую границу многоугольного участка, задающую обучающий объект на карте сегментации. Фактическая граница многоугольного участка содержит последовательность ребер границы, определенных экспертом (например, картографом). Данные, указывающие на фактическую границу многоугольного участка, могут храниться в устройстве 400 хранения данных в сочетании с обучающей областью. В некоторых вариантах осуществления изобретения эксперту может быть поручено вручную определять последовательность ребер границы, представляющих фактическое местоположение обучающего объекта в обучающей области.

Шаг 1008: определение отклонения положения от ближайшего ребра из последовательности ребер, указывающего на метку точки границы, для точки границы из последовательности точек границы.

[0207] Способ 1000 продолжается на шаге 1008, на котором процессор способен для точки границы из последовательности точек обучающей границы многоугольного участка определять отклонение ее положения от ближайшего ребра из последовательности ребер фактической границы многоугольного участка. Следует отметить, что определенное таким образом отклонение указывает на метку точки границы, подлежащую использованию для обучения второй модели.

Шаг 1010: обучение второй модели прогнозированию оценки достоверности для точки границы этапа использования границы многоугольного участка этапа использования.

[0208] Способ 1000 продолжается на шаге 1010, на котором для точки границы из последовательности точек границы процессор способен обучать вторую модель 850 прогнозированию оценки достоверности для точки границы этапа использования границы многоугольного участка этапа использования.

[0209] Обучение в ходе итерации обучения включает в себя использование второй моделью вектора признаков, связанного с точкой границы, и набора векторов признаков соседних точек на карте сегментации, представляющих контекст точки границы, для формирования прогнозируемой оценки положения точки границы. Обучение в ходе итерации обучения включает в себя корректировку второй модели 850 на основе сравнения прогнозируемой оценки и метки.

[0210] В некоторых вариантах осуществления изобретения предполагается, что набор векторов признаков соседних точек может соответствовать векторам признаков соседних точек вдоль границы многоугольного участка (например, последовательности точек границы). В частности, соседние точки могут включать в себя одну или несколько предшествующих точек границы и/или одну или несколько последующих точек границы из последовательности точек границы, образующих границу многоугольного участка.

[0211] В некоторых вариантах осуществления изобретения вторая модель 850 представляет собой модель классификации, а метка указывает на первый класс, соответствующий классу высокой достоверности, если отклонение меньше заранее заданного порога, или указывает на второй класс, соответствующий классу низкой достоверности, если отклонение больше заранее заданного порога. Например, заранее заданный порог может быть равен 20 см.

[0212] В других вариантах осуществления изобретения предполагается, что вторая модель 850 может содержать различные части или различные головы для выполнения задачи классификации и задачи регрессии. В этих вариантах осуществления изобретения процессор может определять несколько меток для точки границы. Несколько меток могут включать в себя первую метку, указывающую на отклонение от ближайшего ребра, и вторую метку, указывающую на то, что это отклонение меньше или больше заранее заданного порога.

[0213] Предполагается, что процессор может получать данные изображения этапа использования для области этапа использования, содержащей объект этапа использования, не оцененный экспертом. Процессор с использованием модели 650 сегментации может формировать карту сегментации этапа использования, задающую границу многоугольного участка этапа использования, подобно тому, как модель 650 сегментации формирует обучающий многоугольный участок. Затем процессор может использовать обученную вторую модель 850 с целью формирования оценки достоверности этапа использования для точки границы этапа использования из последовательности точек границы этапа использования. Если оценка достоверности указывает на низкую достоверность (т.е. указывает на соответствующий класс и/или оказывается меньшей порогового значения), то процессор может автоматически назначать по меньшей мере часть области этапа использования для оценивания экспертом и получать фактическую границу многоугольного участка объекта этапа использования от эксперта.

[0214] Следует отметить, что многоугольные участки могут отправляться с сервера 235 электронному устройству 210, связанному с транспортным средством, для целей навигации. Например, один или несколько алгоритмов навигации и/или управления, выполняемых электронным устройством 210, могут использовать многоугольные участки одного или нескольких элементов из области карты для навигации и/или для управления работой транспортного средства в этой области карты.

[0215] Для специалиста в данной области могут быть очевидными возможные изменения и усовершенствования описанных выше вариантов осуществления настоящей технологии. Предшествующее описание приведено лишь в иллюстративных целях, а не для ограничения объема изобретения. Объем охраны настоящей технологии определяется исключительно объемом приложенной формулы изобретения.

Группа изобретений относится к области обработки изображений. Способ классификации точек границы многоугольного участка объекта на изображении карты окрестности включает в себя получение данных изображения для обучающей области, содержащей обучающий объект, формирование карты сегментации, содержащей множество точек, на основе данных изображения и определение обучающей границы многоугольного участка. Множество точек связано с вектором признаков, сформированным моделью сегментации. Способ включает в себя получение фактической границы многоугольного участка, определение отклонения положения от ближайшего ребра из последовательности ребер, указывающего на метку точки границы, и обучение второй модели. Итерация обучения включает в себя использование вектора признаков, связанного с точкой границы, и набора векторов признаков соседних точек для формирования прогнозируемой оценки положения точки границы, а также корректировку второй модели на основе результата сравнения прогнозируемой оценки и метки. Технический результат – повышение точности навигации и безопасности управления автономными транспортными средствами. 2 н. и 22 з.п. ф-лы, 11 ил.

1. Способ классификации точек границы многоугольного участка объекта на изображении карты окрестности, выполняемый процессором и включающий в себя:

получение процессором данных изображения для обучающей области, содержащей обучающий объект, от по меньшей мере одного датчика;

формирование процессором на основе данных изображения карты сегментации с использованием модели сегментации, причем карта сегментации содержит множество точек, связанных с соответствующим вектором признаков, сформированным моделью сегментации, и определяет обучающую границу многоугольного участка, задающую обучающий объект в обучающей области и содержащую последовательность точек границы, при этом положение точки границы в последовательности задано как изменение положения относительно положения предыдущей точки границы из этой последовательности;

получение процессором фактической границы многоугольного участка, задающей обучающий объект на карте сегментации и содержащей последовательность ребер границы, определенных экспертом;

определение для точки границы из последовательности точек границы отклонения ее положения от ближайшего ребра из последовательности ребер, указывающего на метку точки границы;

обучение процессором второй модели прогнозированию оценки достоверности для точки границы этапа использования границы многоугольного участка этапа использования, при этом обучение на итерации обучения включает в себя:

- использование второй моделью вектора признаков, связанного с точкой границы, и набора векторов признаков соседних точек на карте сегментации, представляющих контекст точки границы, для формирования прогнозируемой оценки положения точки границы;

- корректировку второй модели на основе результата сравнения прогнозируемой оценки и метки;

классификацию процессором на основе полученных данных изображения для области этапа использования точек границы многоугольного участка с использованием обученной второй модели.

2. Способ по п. 1, отличающийся тем, что он дополнительно включает в себя:

получение процессором данных изображения на этапе использования для области этапа использования, содержащей объект этапа использования, который не был оценен экспертом, для формирования фактической границы многоугольного участка, задающей объект этапа использования;

формирование процессором карты сегментации на этапе использования, задающей границу многоугольного участка этапа использования, содержащую последовательность точек границы этапа использования, с использованием модели сегментации;

формирование процессором оценки достоверности для точки границы этапа использования из последовательности точек границы этапа использования с использованием второй модели;

в ответ на определение низкой оценки достоверности автоматическое определение по меньшей мере части области этапа использования для оценивания экспертом;

получение процессором фактической границы многоугольного участка объекта на этапе использования от эксперта.

3. Способ по п. 1, отличающийся тем, что обучающий объект представляет собой участок дороги или участок тротуара.

4. Способ по п. 1, отличающийся тем, что данные изображения содержат представление вида с высоты птичьего полета для обучающей области.

5. Способ по п. 1, отличающийся тем, что данные изображения содержат двумерное изображение обучающей области, сформированное из трехмерного облака точек, представляющего обучающую область.

6. Способ по п. 1, отличающийся тем, что данные изображения содержат одно или несколько растровых изображений.

7. Способ по п. 1, отличающийся тем, что модель сегментации представляет собой полносверточную нейронную сеть.

8. Способ по п. 1, отличающийся тем, что вторая модель представляет собой модель классификации, а метка указывает на первый класс, соответствующий классу высокой достоверности, если отклонение меньше заранее заданного порога, или указывает на второй класс, соответствующий классу низкой достоверности, если отклонение больше заранее заданного порога.

9. Способ по п. 1, отличающийся тем, что вторая модель содержит две головы, при этом первая голова обучена на основе первой метки, указывающей на отклонение от ближайшего ребра, а вторая голова обучена на основе второй метки, указывающей на то, что это отклонение меньше либо больше заранее заданного порога.

10. Способ по п. 1, отличающийся тем, что граница многоугольного участка на этапе использования хранится в сочетании с областью этапа использования и передается второму процессору, связанному с транспортным средством, для навигации транспортного средства в области этапа использования.

11. Способ по п. 10, отличающийся тем, что транспортное средство представляет собой самоуправляемый автомобиль, эксплуатируемый на участках дороги.

12. Способ по п. 10, отличающийся тем, что транспортное средство представляет собой робота-доставщика, эксплуатируемого на участках тротуара.

13. Процессор для классификации точек границы многоугольного участка объекта на изображении карты окрестности, выполненный с возможностью:

получения данных изображения для обучающей области, содержащей обучающий объект, от по меньшей мере одного датчика;

формирования на основе данных изображения карты сегментации с использованием модели сегментации, при этом карта сегментации содержит множество точек, связанных с соответствующим вектором признаков, сформированным моделью сегментации, и определяет обучающую границу многоугольного участка, задающую обучающий объект в обучающей области и содержащую последовательность точек границы, при этом положение точки границы в последовательности задано как изменение положения относительно положения предыдущей точки границы из этой последовательности;

получения фактической границы многоугольного участка, задающей обучающий объект на карте сегментации и содержащей последовательность ребер границы, определенных экспертом;

определения для точки границы из последовательности точек границы отклонения ее положения от ближайшего ребра из последовательности ребер, указывающего на метку точки границы;

обучения второй модели прогнозированию оценки достоверности для точки границы этапа использования границы многоугольного участка этапа использования, при этом обучение на итерации обучения включает в себя:

- использование второй моделью вектора признаков, связанного с точкой границы, и набора векторов признаков соседних точек на карте сегментации, представляющих контекст точки границы, для формирования прогнозируемой оценки положения точки границы;

- корректировку второй модели на основе результата сравнения прогнозируемой оценки и метки;

классификации на основе полученных данных изображения для области этапа использования точек границы многоугольного участка с использованием обученной второй модели.

14. Процессор по п. 13, отличающийся тем, что дополнительно выполнен с возможностью:

получения данных изображения этапа использования для области этапа использования, содержащей объект этапа использования, который не был оценен экспертом, для формирования фактической границы многоугольного участка, задающей объект этапа использования;

формирования карты сегментации этапа использования, задающей границу многоугольного участка этапа использования, содержащую последовательность точек границы этапа использования, с использованием модели сегментации;

формирования оценки достоверности для точки границы этапа использования из последовательности точек границы этапа использования с использованием второй модели;

автоматического определения по меньшей мере части области этапа использования для оценивания экспертом, если оценка достоверности указывает на низкую достоверность;

получения фактической границы многоугольного участка объекта этапа использования от эксперта.

15. Процессор по п. 13, отличающийся тем, что обучающий объект представляет собой участок дороги или участок тротуара.

16. Процессор по п. 13, отличающийся тем, что данные изображения содержат представление вида с высоты птичьего полета для обучающей области.

17. Процессор по п. 13, отличающийся тем, что данные изображения содержат двумерное изображение обучающей области, сформированное из трехмерного облака точек, представляющего обучающую область.

18. Процессор по п. 13, отличающийся тем, что данные изображения содержат одно или несколько растровых изображений.

19. Процессор по п. 13, отличающийся тем, что модель сегментации представляет собой полносверточную нейронную сеть.

20. Процессор по п. 13, отличающийся тем, что вторая модель представляет собой модель классификации, а метка указывает на первый класс, соответствующий классу высокой достоверности, если отклонение меньше заранее заданного порога, или указывает на второй класс, соответствующий классу низкой достоверности, если отклонение больше заранее заданного порога.

21. Процессор по п. 13, отличающийся тем, что вторая модель содержит две головы, при этом первая голова обучена на основе первой метки, указывающей на отклонение от ближайшего ребра, а вторая голова обучена на основе второй метки, указывающей на то, что это отклонение меньше либо больше заранее заданного порога.

22. Процессор по п. 13, отличающийся тем, что граница многоугольного участка на этапе использования хранится в сочетании c областью этапа использования и передается второму процессору, связанному с транспортным средством, для навигации транспортного средства в области этапа использования.

23. Процессор по п. 22, отличающийся тем, что транспортное средство представляет собой самоуправляемый автомобиль, эксплуатируемый на участках дороги.

24. Процессор по п. 22, отличающийся тем, что транспортное средство представляет собой робота-доставщика, эксплуатируемого на участках тротуара.