СПОСОБЫ И СИСТЕМЫ ДЛЯ СИНХРОНИЗАЦИИ ДАТЧИКОВ БЕСПИЛОТНЫХ ТРАНСПОРТНЫХ СРЕДСТВ (SDV) ОНЛАЙН Российский патент 2023 года по МПК B60W30/00 G01S7/42 G01S17/86 

Область техники, к которой относится изобретение

[0001] Настоящая технология относится к компьютеризированным способам и системам для синхронизации датчиков, используемых беспилотным транспортным средством (SDV) для осуществления навигации; более конкретно, настоящая технология относится к синхронизации лидара (LIDAR) и камеры.

Уровень техники

[0002] В предшествующем уровне техники предложены и реализованы несколько компьютерных навигационных систем, которые выполнены с возможностью помощи при навигации и/или управлении транспортным средством. Эти системы варьируются от более базовых решений на основе картографической локализации (т.е. от использования компьютерной системы для того, чтобы помогать водителю в осуществлении навигации по маршруту из начального пункта в пункт назначения) до более сложных решений (компьютеризированных и/или автономных от водителя систем вождения).

[0003] Некоторые из этих систем реализуются как то, что общеизвестно в качестве системы "оптимального регулирования скорости" или системы “круиз-контроля”. В этих системах компьютерная система на борту транспортных средств поддерживает заданную пользователем скорость транспортного средства. Часть системы оптимального регулирования скорости реализует систему "интеллектуального управления дистанцией", за счет которой пользователь может устанавливать дистанцию до потенциального автомобиля впереди (к примеру, выбирать значение, выражаемое в числе транспортных средств), и компьютерная система регулирует скорость транспортного средства, по меньшей мере частично на основе транспортного средства, приближающегося к впереди идущему потенциальному транспортному средству в пределах предварительно заданной дистанции. Некоторые системы оптимального регулирования скорости дополнительно оснащаются системой управления столкновениями, причем эти системы при обнаружении транспортного средства (или другого препятствия) перед движущимся транспортным средством замедляют или останавливают транспортное средство.

[0004] Некоторые усовершенствованные системы обеспечивают полностью автономное вождение транспортного средства без прямого управления оператора (т.е. водителя). Эти автономные транспортные средства (также, называемые в данном документе "беспилотными транспортными средствами", "SDV") включают в себя компьютерные системы, которые могут побуждать транспортное средство ускоряться, тормозить, останавливаться, сменять полосу движения и автоматически парковаться.

[0005] Чтобы эффективно выполнять эти действия, компьютерные системы включают в себя или иным образом соединены с возможностью связи с множеством датчиков, включающих в себя, например, камеру и лидарный (LIDAR) датчик на основе оптического обнаружения и дальнометрии. При установке на транспортном средстве, лидарный датчик и камера, по умолчанию работают независимо, собирая данные, указывающие окрестность транспортного средства. Лидарный датчик вращается, с предварительно определенной частотой вращения (например, с одним циклом вращения в 200 мс), вокруг своей вертикальной центральной оси, собирая данные в форме облаков лидарных точек. Камера собирает данные в форме съемки моментальных снимков в идентичном направлении (поскольку жестко зафиксирована в нем) с предварительно определенной частотой съемки (например, один раз в 30 мс). Во время процесса установки (или, например, процесса техобслуживания), лидарный датчик и камера могут синхронизироваться, чтобы иметь возможность собирать данные, указывающие один и тот же предварительно определенный участок окрестностей транспортного средства, в идентичный момент времени.

[0006] Тем не менее, в ходе работы транспортного средства лидарный датчик и камера могут десинхронизироваться вследствие различных причин. Эти причины могут включать в себя, например, различные моменты времени обновлений данных лидара и камеры, или некоторые механические эффекты: резкое ускорение/замедление транспортного средства, вождение по дорожной неровности или в резком повороте. Все эти причины могут вызывать десинхронизацию лидара и камеры, которая приводит в результате, например, приему компьютерной системой транспортного средства несогласованных данных относительно объекта (другого транспортного средства, пешехода или любого препятствия) из лидара и камеры.

[0007] Острота этой проблемы проиллюстрирована посредством следующего гипотетического сценария. Предположим, что SDV едет по маршруту, определенному посредством компьютерной системы, на основе данных, принимаемых из лидара и камеры. В один момент, компьютерная система транспортного средства может принимать, из лидарного датчика, данные, указывающие другое транспортное средство, перемещающееся впереди транспортного средства; тогда как согласно данным, принимаемым из камеры, это транспортное средство уже может выходить из вида SDV. Такое несоответствие во входных данных, принимаемых из различных датчиков, ассоциированных с SDV, может усложнять формирование траектории для SDV.

[0008] Международная заявка номер WO 2019079511 A1, опубликованная 25 апреля 2019 года, принадлежащая DeepMap, Inc. и озаглавленная "LIDAR and Camera Synchronization", раскрывает способ и систему для синхронизации лидара и камеры на автономном транспортном средстве. Система выбирает множество выборок с трассы для маршрута, включающих в себя сканирование лидара и изображение. Для каждой выборки с трассы, система вычисляет сдвиг по времени посредством итеративного прохождения по множеству дельт времени. Для каждой дельты времени, система регулирует временную метку камеры посредством этой дельты времени, проецирует сканирование лидара на изображение в качестве проецирования лидара согласно отрегулированной временной метке камеры и вычисляет количественный показатель совмещения проецирования лидара для этой дельты времени. Система задает сдвиг по времени для каждой выборки с трассы в качестве дельты времени с наибольшим количественным показателем совмещения. Система затем моделирует уход времени камеры по сравнению с лидаром на основе вычисленных сдвигов по времени для выборок с трассы и синхронизирует лидар и камеру согласно смоделированному уходу времени.

Сущность изобретения

[0009] Задача настоящей технологии заключается в том, чтобы улучшать по меньшей мере некоторые неудобства, присутствующие в предшествующем уровне техники. Варианты осуществления настоящей технологии могут обеспечивать и/или расширять объем подходов и/или способов достижения целей и задач настоящей технологии.

[0010] Разработчики настоящей технологии принимают во внимание по меньшей мере одну техническую проблему, ассоциированную с подходами предшествующего уровня техники.

[0011] Разработчики выявили, что имеется потребность в динамической синхронизации времени, когда камера осуществляет моментальный снимок, со временем, когда лидарный датчик проецирует свой лазер(ы). Другими словами, неограничивающие варианты осуществления настоящей технологии разработаны на основе оценки разработчиками потребности в синхронизации данных, сформированных посредством камеры и лидарного датчика в реальном времени в то время, когда транспортное средство перемещается. Более конкретно, разработчики намереваются создавать способ синхронизации камеры и лидарного датчика без необходимости специального техобслуживания транспортного средства для синхронизации, остановки для синхронизации или иной необходимости синхронизации в условиях гаража или лаборатории. За счет этого компьютерная система должна получать дополнительную устойчивость к вышеуказанным механическим эффектам, вызывающим десинхронизацию лидарного датчика и камеры, что позволяет уменьшать время (и финансовые затраты) для техобслуживания транспортного средства.

[0012] Разработчики настоящей технологии выяснили, что идентифицированная проблема, ассоциированная с синхронизацией лидарного датчика и камеры, может разрешаться посредством ассоциирования предварительно определенной частоты сканирования лидара и предварительно определенной частоты сканирования камеры с астрономическим временем. За счет этого, компьютерная система, во-первых, может определять соответствующие первые и вторые временные метки, в которых лидар и камера собирают данные предварительно определенного участка окрестности транспортного средства; и, во-вторых, компьютерная система может определять временное смещение между первыми и вторыми временными метками. После определения временного смещения компьютерная система может использовать его для того, чтобы модифицировать (например, уменьшать) предварительно определенную частоту сканирования камеры, чтобы синхронизироваться с лидарным датчиком для сбора данных предварительно определенного участка окрестностей транспортного средства одновременно.

[0013] Разработчики принимают во внимание, что итеративное повторение вышеуказанных этапов должно поддерживать синхронизацию лидарного датчика и камеры "на ходу", т.е. в реальном времени, по меньшей мере частично разрешая рекуррентные случаи десинхронизации.

[0014] В отличие от некоторых подходов предшествующего уровня техники настоящая технология для определения временного смещения использует общее начало отсчета времени на основе астрономического времени вместо общих объектов, идентифицированных как в моментальном снимке с помощью камеры, так и в соответствующем облаке лидарных точек.

[0015] В соответствии с одним широким аспектом настоящей технологии предусмотрен компьютерно-реализуемый способ синхронизации данных для работы беспилотного транспортного средства (SDV). Данные формируются посредством камерной системы и лидарной системы, и камерная система и лидарная система соединена с возможностью связи с электронным устройством. Данные включают в себя: (i) данные изображений камерной системы, установленной на SDV для формирования данных изображений относительно предварительно определенного участка окрестностей SDV, причем данные камер имеют форму последовательности моментальных снимков, сформированных посредством камерной системы, причем последовательность моментальных снимков представляет предварительно определенный участок в различные моменты времени, и (ii) картографические данные из лидарной системы, установленной на SDV для формирования картографических данных относительно окрестностей SDV, включающих в себя предварительно определенный участок, причем картографические данные имеют форму точек данных, сформированных посредством лидарной системы, причем точки данных представляют объекты, расположенные в различных участках окрестностей SDV, в различные моменты времени. Способ содержит: побуждение, посредством электронного устройства, камерной системы и лидарной системы обеспечивать данные изображений и картографические данные в электронное устройство в общем начале отсчета времени, при этом общее начало отсчета времени представляет собой индикатор абсолютного времени, в течение которого формируются данные; определение, посредством электронного устройства, первой временной метки для картографических данных, причем первая временная метка соответствует данному моменту времени в общем начале отсчета времени, в течение которого лидарная система формирует точки данных, представляющие объекты, расположенные в предварительно определенном участке; определение, посредством электронного устройства, второй временной метки для данных изображений, причем вторые временные метки соответствуют другому данному моменту времени в общем начале отсчета времени, в течение которого камерная система формирует данный моментальный снимок предварительно определенного участка; определение, посредством электронного устройства, временного смещения между первой временной меткой и второй временной меткой, причем временное смещение указывает разность между данным моментом времени и другим данным моментом времени в общем начале отсчета времени; использование, посредством электронного устройства, временного смещения для того, чтобы инициировать задержку между последующими моментальными снимками, сформированными посредством камерной системы, так что (i) по меньшей мере один последующий моментальный снимок формируется посредством камерной системы, и (ii) последующие точки данных относительно предварительно определенного участка формируются посредством лидарной системы в идентичный будущий момент времени в общем начале отсчета времени.

[0016] В некоторых реализациях способа использование временного смещения выполняется в ходе работы SDV.

[0017] В некоторых реализациях способа синхронизация данных для работы SDV выполняется по существу непрерывно в ходе работы SDV.

[0018] В некоторых реализациях способа побуждение камерной системы обеспечивать данные изображений выполняется в ходе первой итерации операции камерной системы, и при этом использование выполняется для последующей операции камерной системы.

[0019] В некоторых реализациях способа последующая операция представляет собой предварительно определенное число последующих итераций.

[0020] В некоторых реализациях способа вышеописанный способ повторяется после предварительно определенного числа последующих итераций для дополнительного числа последующих итераций.

[0021] В некоторых реализациях способа камерная система имеет поле зрения, которое совпадает с предварительно определенным участком окрестностей SDV при монтаже на SDV.

[0022] В некоторых реализациях способа побуждение включает в себя использование PTP-протокола посредством электронного устройства для передачи индикатора абсолютного времени в систему камер и лидарную систему.

[0023] В некоторых реализациях способа индикатор абсолютного времени представляет собой индикатор астрономического времени.

[0024] В некоторых реализациях способа лидарная система представляет собой вращательную лидарную систему таким образом, что лидарная система формирует точки данных, представляющие объекты, расположенные в первом участке окрестностей SDV в первый момент времени, и при этом первый участок ассоциирован с угловой позицией лидарной системы в первый момент времени.

[0025] В некоторых реализациях способа лидарная система формирует точки данных, представляющие объекты, расположенные во втором участке окрестностей SDV во второй момент времени, и при этом второй участок ассоциирован с угловой позицией лидарной системы во второй момент времени, причем угловая позиция лидарной системы отличается в первый момент времени и во второй момент времени, при этом первый участок отличается от второго участка.

[0026] В некоторых реализациях способа определение первой временной метки содержит: получение, посредством электронного устройства, индикатора предварительно определенной угловой позиции лидарной системы таким образом, что когда лидар находится в предварительно определенной угловой позиции, лидар формирует точки данных относительно объектов, расположенных в предварительно определенном участке, определение, посредством электронного устройства, первой временной метки в качестве момента времени в общем начале отсчета времени, в который лидарная система находится в предварительно определенной угловой позиции.

[0027] В некоторых реализациях способа определение первой временной метки выполняется посредством электронного устройства с использованием алгоритма определения временных меток.

[0028] В некоторых реализациях способа данный моментальный снимок формируется посредством камерной системы в течение интервала времени для формирования моментального снимка, при этом вторая временная метка представляет собой момент времени в общем начале отсчета времени, который соответствует средней точке в интервале времени для формирования моментального снимка.

[0029] В некоторых реализациях способа использование посредством электронного устройства временного смещения для инициирования задержки между последующими моментальными снимками, сформированными посредством камерной системы, содержит: побуждение камерной системы добавлять временную задержку моментального снимка после данного будущего моментального снимка.

[0030] В некоторых реализациях способа временная задержка моментального снимка представляет собой множество временных задержек моментального снимка, добавленных после соответствующих будущих моментальных снимков, которые равны по времени длительности временного смещения.

[0031] В некоторых реализациях способа, в которых лидарная система работает в циклах вращения, указывающих частоту сканирования лидара, и камерная система работает в фазах сканирования, указывающих частоту сканирования камеры, и при этом данный цикл вращения лидарной системы равен предварительно определенному числу-множителю фаз сканирования камерной системы, и при этом множество временных задержек моментального снимка распределены по числу будущих моментальных снимков, соответствующему предварительно определенному числу-множителю фаз сканирования камерной системы.

[0032] В соответствии с другим широким аспектом настоящей технологии предусмотрено электронное устройство. Электронное устройство содержит процессор; машиночитаемый носитель долговременной памяти, содержащий данные, причем данные формируются посредством камерной системы и лидарной системы, соединенных с возможностью связи, через интерфейс связи, с процессором и установленных на беспилотном транспортном средстве (SDV). Данные включают в себя: (i) данные изображений камерной системы, установленной на SDV для формирования данных изображений относительно предварительно определенного участка окрестностей SDV, причем данные камер имеют форму последовательности моментальных снимков, сформированных посредством камерной системы, причем последовательность моментальных снимков представляет предварительно определенный участок в различные моменты времени, и (ii) картографические данные из лидарной системы, установленной на SDV для формирования картографических данных относительно окрестностей SDV, включающих в себя предварительно определенный участок, причем картографические данные имеют форму точек данных, сформированных посредством лидарной системы, причем точки данных представляют объекты, расположенные в различных участках окрестностей SDV, в различные моменты времени. Процессор выполнен с возможностью побуждать систему камер и лидарную систему обеспечивать данные изображений и картографические данные в общем начале отсчета времени, при этом общее начало отсчета времени представляет собой индикатор абсолютного времени, в течение которого формируются данные; определять первую временную метку для картографических данных, причем первая временная метка соответствует данному моменту времени в общем начале отсчета времени, в течение которого лидарная система формирует точки данных, представляющие объекты, расположенные в предварительно определенном участке; определять вторую временную метку для данных изображений, причем вторые временные метки соответствуют другому данному моменту времени в общем начале отсчета времени, в течение которого камерная система формирует данный моментальный снимок предварительно определенного участка; определять, посредством электронного устройства, временное смещение между первой временной меткой и второй временной меткой, причем временное смещение указывает разность между данным моментом времени и другим данным моментом времени в общем начале отсчета времени; использовать временное смещение для того, чтобы инициировать задержку между последующими моментальными снимками, сформированными посредством камерной системы, так что (i) по меньшей мере один последующий моментальный снимок формируется посредством камерной системы, и (ii) последующие точки данных относительно предварительно определенного участка формируются посредством лидарной системы в идентичный будущий момент времени в общем начале отсчета времени.

[0033] В некоторых реализациях электронного устройства процессор выполнен с возможностью использовать временное смещение в ходе работы SDV.

[0034] В некоторых реализациях электронного устройства процессор дополнительно выполнен с возможностью побуждать систему камер обеспечивать данные изображений в ходе первой итерации операции камерной системы, дополнительно выполнен с возможностью использовать временное смещение для последующей операции камерной системы.

[0035] В контексте настоящего описания изобретения "сервер" представляет собой компьютерную программу, которая выполняется на соответствующих аппаратных средствах и допускает прием запросов (например, из клиентских устройств) по сети и выполнение этих запросов либо побуждение выполнения этих запросов. Аппаратные средства могут реализовываться как один физический компьютер или одна физическая компьютерная система, но ни одно из означенного не должно обязательно иметь место относительно настоящей технологии. В настоящем контексте использование выражения "сервер" не означает, что каждая задача (например, принимаемые инструкции или запросы) или любая конкретная задача должна приниматься, выполняться или побуждаться к выполнению посредством идентичного сервера (т.е. идентичного программного обеспечения и/или аппаратных средств); оно означает, что любое число программных элементов или аппаратных устройств может быть предусмотрено при приеме/отправке, выполнении или побуждении к выполнению любой задачи или запроса либо результатов любой задачи или запроса; и все это программное обеспечение и аппаратные средства могут представлять собой один сервер либо несколько серверов, причем все из означенного включается в выражение "по меньшей мере один сервер".

[0036] В контексте настоящего описания изобретения "электронное устройство" представляет собой любые компьютерные аппаратные средства, которые допускают выполнение программного обеспечения, соответствующего рассматриваемой релевантной задаче. В контексте настоящего описания изобретения термин "электронное устройство" подразумевает, что устройство может функционировать в качестве сервера для других электронных устройств и клиентских устройств; тем не менее, это не должно обязательно иметь место относительно настоящей технологии. Таким образом, некоторые (неограничивающие) примеры электронных устройств включают в себя персональные компьютеры (настольные компьютеры, переносные компьютеры, нетбуки и т.д.), смартфоны и планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Следует понимать, что в настоящем контексте тот факт, что устройство функционирует в качестве электронного устройства, не означает того, что оно не может функционировать в качестве сервера для других электронных устройств. Использование выражения "электронное устройство" не исключает использование нескольких клиентских устройств при приеме/отправке, выполнении или побуждении к выполнению любой задачи или запроса либо результатов любой задачи или запроса, или этапов любого способа, описанного в данном документе.

[0037] В контексте настоящего описания изобретения "клиентское устройство" представляет собой любые компьютерные аппаратные средства, которые допускают выполнение программного обеспечения, соответствующего рассматриваемой релевантной задаче. В контексте настоящего описания изобретения в общем термин "клиентское устройство" ассоциирован с пользователем клиентского устройства. Таким образом, некоторые (неограничивающие) примеры клиентских устройств включают в себя персональные компьютеры (настольные компьютеры, переносные компьютеры, нетбуки и т.д.), смартфоны и планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Следует отметить, что устройство, выступающее в качестве клиентского устройства в настоящем контексте, не исключается из выступания в качестве сервера для других клиентских устройств. Использование выражения "клиентское устройство" не исключает использование нескольких клиентских устройств при приеме/отправке, выполнении или побуждении к выполнению любой задачи или запроса либо результатов любой задачи или запроса, или этапов любого способа, описанного в данном документе.

[0038] В контексте настоящего описания изобретения выражение "информация" включает в себя информацию вообще любого характера или вида, допускающую сохранение в базе данных. Таким образом, информация включает в себя, но не только, аудиовизуальные произведения (изображения, фильмы, звукозаписи, презентации и т.д.), данные (данные местоположения, числовые данные и т.д.), текст (мнения, комментарии, вопросы, сообщения и т.д.), документы, электронные таблицы и т.д.

[0039] В контексте настоящего описания изобретения выражение "программный компонент" включает в себя программное обеспечение (соответствующее конкретному аппаратному контексту), которое является необходимым и достаточным для того, чтобы осуществлять конкретную упоминаемую функцию(и).

[0040] В контексте настоящего описания изобретения выражение "компьютерные носители хранения информации" (также называемые "носителями хранения данных") включает в себя носители вообще любого характера и вида, в том числе, без ограничения, RAM, ROM, диски (CD-ROM, DVD, гибкие диски, накопители на жестких дисках и т.д.), флэш-накопители, полупроводниковые накопители, накопители на ленте и т.д. Множество компонентов могут комбинироваться, чтобы формировать компьютерные носители хранения информации, включающие в себя два или более компонентов носителей идентичного типа и/или два или более компонентов носителей различных типов.

[0041] В контексте настоящего описания изобретения "база данных" представляет собой любую структурированную совокупность данных, независимо от ее конкретной структуры, программного обеспечения управления базами данных или компьютерных аппаратных средств, на которых данные сохраняются, реализуются или становятся доступными иными способами для использования. База данных может постоянно размещаться в идентичных аппаратных средствах с процессом, который сохраняет или использует информацию, сохраненную в базе данных, либо она может постоянно размещаться в отдельных аппаратных средствах, таких как выделенный сервер или множество серверов.

[0042] В контексте настоящего описания изобретения слова "первый", "второй", "третий" и т.д. использованы в качестве прилагательных только для целей обеспечения различения существительных, которые они модифицируют, друг от друга, а не для целей описания конкретных взаимосвязей между этими существительными. Таким образом, например, следует понимать, что использование терминов "первая база данных" и "третий сервер" не подразумевает конкретный порядок, тип, хронологию, иерархию или ранжирование (например) относительно сервера, и их использование не (непосредственно) подразумевает то, что "второй сервер" должен обязательно существовать в любой данной ситуации. Дополнительно, как пояснено в данном документе в других контекстах, ссылка на "первый" элемент и "второй" элемент не исключает того, что два элемента представляют собой идентичный фактический элемент реального мира. Таким образом, например, в некоторых случаях, "первый" сервер и "второй" сервер могут представлять собой идентичные программные и/или аппаратные компоненты, в других случаях они могут представлять собой различные программные и/или аппаратные компоненты.

[0043] Реализации настоящей технологии имеют, по меньшей мере, одну из вышеуказанных целей и/или аспектов, но не обязательно имеют все из них. Следует понимать, что некоторые аспекты настоящей технологии, полученные в результате попытки достигнуть вышеуказанной цели, могут не удовлетворять этой цели и/или могут удовлетворять другим целям, не изложенным конкретно в данном документе.

[0044] Дополнительные и/или альтернативные признаки, аспекты и преимущества реализаций настоящей технологии должны становиться очевидными из нижеприведенного описания, прилагаемых чертежей и прилагаемой формулы изобретения.

Краткое описание чертежей

[0045] Эти и другие признаки, аспекты и преимущества настоящей технологии должны становиться более понятными при рассмотрении нижеприведенного описания, прилагаемой формулы изобретения и прилагаемых чертежей, на которых:

[0046] Фиг. 1 иллюстрирует принципиальную схему примерной компьютерной системы для реализации конкретных вариантов осуществления систем и/или способов настоящей технологии.

[0047] Фиг. 2 иллюстрирует сетевое вычислительное окружение, подходящее для использования с некоторыми реализациями настоящей технологии.

[0048] Фиг. 3 иллюстрирует принципиальную схему системы синхронизации, в соответствии с неограничивающими вариантами осуществления настоящей технологии.

[0049] Фиг. 4 иллюстрирует принципиальную схему вида сверху транспортного средства сетевого вычислительного окружения по фиг. 2, в соответствии с неограничивающими вариантами осуществления настоящей технологии.

[0050] Фиг. 5 иллюстрирует временную диаграмму работы, посредством процессора компьютерной системы по фиг. 1, камерной системы сетевого вычислительного окружения по фиг. 2, в соответствии с неограничивающими вариантами осуществления настоящей технологии.

[0051] Фиг. 6 иллюстрирует временную диаграмму работы, посредством процессора компьютерной системы по фиг. 1, лидарной системы сетевого вычислительного окружения по фиг. 2, в соответствии с неограничивающими вариантами осуществления настоящей технологии.

[0052] Фиг. 7 иллюстрирует комбинированную временную диаграмму работы, посредством процессора компьютерной системы по фиг. 1, камерной системы сетевого вычислительного окружения по фиг. 2 и лидарной системы сетевого вычислительного окружения по фиг. 2 до их синхронизации, в соответствии с неограничивающими вариантами осуществления настоящей технологии.

[0053] Фиг. 8 иллюстрирует комбинированную временную диаграмму работы, посредством процессора компьютерной системы по фиг. 1, камерной системы сетевого вычислительного окружения по фиг. 2 и лидарной системы сетевого вычислительного окружения по фиг. 2 после их синхронизации, в соответствии с неограничивающими вариантами осуществления настоящей технологии.

[0054] Фиг. 9 иллюстрирует блок-схему последовательности операций способа для синхронизации данных для работы транспортного средства сетевого вычислительного окружения по фиг. 2, согласно неограничивающим вариантам осуществления настоящей технологии.

Подробное описание изобретения

[0055] Примеры и условный язык, изложенный в данном документе, преимущественно помогают читателю в понимании принципов настоящей технологии, а не ограничивать ее объем такими конкретно изложенными примерами и условиями. Следует принимать во внимание, что специалисты в данной области техники могут разрабатывать различные компоновки, которые, хотя и не описаны или показаны явно в данном документе, тем не менее, осуществляют принципы настоящей технологии и включаются в пределы ее сущности и объема.

[0056] Кроме того, в качестве помощи в понимании, нижеприведенное описание может описывать относительно упрощенные реализации настоящей технологии. Специалисты в данной области техники должны понимать, что различные реализации настоящей технологии могут иметь большую сложность.

[0057] В некоторых случаях также может быть изложено то, что считается полезными примерами модификаций настоящей технологии. Это осуществляется просто в качестве помощи в понимании и, кроме того, не должно не задавать объем или излагать ограничения настоящей технологии. Эти модификации не представляют собой исчерпывающий список, и специалисты в данной области техники могут вносить другие модификации при одновременном пребывании в пределах объема настоящей технологии. Дополнительно, если примеры модификаций не изложены, не следует интерпретировать это таким образом, что модификации невозможны, и/или таким образом, что то, что описывается, представляет собой единственный способ реализации этого элемента настоящей технологии.

[0058] Кроме того, все утверждения в данном документе, излагающие принципы, аспекты и реализации технологии, а также их конкретные примеры, охватывают их конструктивные и функциональные эквиваленты независимо от того, являются они известными в настоящее время или разрабатываются в будущем. Таким образом, например, специалисты в данной области техники должны признавать, что блок-схемы в данном документе представляют концептуальные виды иллюстративной схемы, осуществляющей принципы настоящей технологии. Аналогично следует принимать во внимание, что все блок-схемы последовательности операций, блок-схемы, схемы переходов состояния, псевдокод и т.п. представляют различные процессы, которые могут представляться большей частью на машиночитаемых носителях, и в силу этого выполняются посредством компьютера или процессора, независимо от того, показан или нет в явной форме такой компьютер или процессор.

[0059] Функции различных элементов, показанных на чертежах, включающих в себя все функциональные блоки, помеченные как "процессор", могут обеспечиваться с помощью специализированных аппаратных средств, а также аппаратных средств, допускающих выполнение программного обеспечения, в ассоциации с надлежащим программным обеспечением. При обеспечении посредством процессора, функции могут обеспечиваться посредством одного специализированного процессора, посредством одного совместно используемого процессора или посредством множества отдельных процессоров, некоторые из которых могут совместно использоваться. Кроме того, явное использование термина "процессор" или "контроллер" не должно истолковываться как означающее исключительно аппаратные средства, допускающие выполнение программного обеспечения, и может неявно включать в себя, без ограничений, аппаратные средства процессора цифровых сигналов (DSP), сетевой процессор, специализированную интегральную схему (ASIC), программируемую пользователем вентильную матрицу (FPGA), постоянное запоминающее устройство (ROM) для сохранения программного обеспечения, оперативное запоминающее устройство (RAM) и энергонезависимое устройство хранения. Также могут быть включены другие аппаратные средства, традиционные и/или специализированные.

[0060] Программные модули или просто модули, которые подразумеваются как программные, могут представляться в данном документе в качестве любой комбинации элементов блок-схемы последовательности операций способа или других элементов, указывающих выполнение этапов процесса, и/или текстового описания. Такие модули могут выполняться посредством аппаратных средств, которые показаны явно или неявно.

[0061] С учетом этих основных принципов, далее рассматриваются некоторые неограничивающие примеры, чтобы иллюстрировать различные реализации аспектов настоящей технологии.

Компьютерная система

[0062] При обращении первоначально к фиг. 1, показана компьютерная система 100, подходящая для использования с некоторыми реализациями настоящей технологии, причем компьютерная система 100 содержит различные аппаратные компоненты, включающие в себя один или более одно- или многоядерных процессоров, совместно представленных посредством процессора 110, полупроводниковый накопитель 120, запоминающее устройство 130, которое может представлять собой оперативное запоминающее устройство или любой другой тип запоминающего устройства. Связь между различными компонентами компьютерной системы 100 может осуществляться посредством одной или более внутренних и/или внешних шин (не показаны) (например, посредством PCI-шины, универсальной последовательной шины, шины по стандарту IEEE1394 Firewire, шины SCSI, шины Serial ATA и т.д.), с которыми электронно соединяются различные аппаратные компоненты. Согласно вариантам осуществления настоящей технологии полупроводниковый накопитель 120 сохраняет программные инструкции, подходящие для загрузки в запоминающее устройство 130 и выполняемые посредством процессора 110 для определения присутствия объекта. Например, программные инструкции могут представлять собой часть управляющего приложения транспортного средства, выполняемого посредством процессора 110. Следует отметить, что компьютерная система 100 может иметь дополнительные и/или необязательные компоненты (не проиллюстрированы), такие как модули сетевой связи, модули локализации и т.п.

Сетевое компьютерное окружение

[0063] Фиг. 2 иллюстрирует сетевое компьютерное окружение 200, подходящее для использования с некоторыми вариантами осуществления систем и/или способов настоящей технологии. Сетевое компьютерное окружение 200 содержит электронное устройство 210, ассоциированное с транспортным средством 220 или ассоциированное с пользователем (не проиллюстрирован), который может управлять транспортным средством 220. Сетевое компьютерное окружение 200 дополнительно содержит сервер 235, поддерживающий связь с электронным устройством 210 через сеть 245 связи (например, через Интернет и т.п., как подробнее описывается ниже в данном документе). Необязательно, сетевое компьютерное окружение 200 также может включать в себя GPS-спутник (не проиллюстрирован), передающий и/или принимающий GPS-сигнал в/из электронного устройства 210. Следует понимать, что настоящая технология не ограничена GPS и может использовать технологию позиционирования, отличную от GPS. Следует отметить, что GPS-спутник может вообще опускаться.

[0064] Транспортное средство 220, с которым ассоциировано электронное устройство 210, может содержать любое туристическое или перевозное транспортное средство, такое как личный или коммерческий автомобиль, грузовик, мотоцикл и т.п. Транспортное средство может представлять собой управляемое пользователем или безоператорное транспортное средство. Следует отметить, что конкретные параметры транспортного средства 220 не являются ограничивающими, причем эти конкретные параметры включают в себя: производителя транспортных средств, модель транспортного средства, год изготовления транспортного средства, вес транспортного средства, габариты транспортного средства, распределение веса транспортного средства, площадь поверхности транспортного средства, высоту транспортного средства, тип приводной передачи (например, 2x или 4x), тип шин, тормозную систему, топливную систему, пробег, идентификационный номер транспортного средства и рабочий объем двигателя.

[0065] Реализация электронного устройства 210 не ограничена конкретным образом, но в качестве примера, электронное устройство 210 может реализовываться как блок управления двигателем транспортного средства, CPU транспортного средства, навигационное устройство транспортного средства (например, TomTom^TM, Garmin^TM), планшетный компьютер, персональный компьютер, встроенный в транспортное средство 220, и т.п. Таким образом, следует отметить, что электронное устройство 210 может или не может быть постоянно ассоциировано с транспортным средством 220. Дополнительно или альтернативно электронное устройство 210 может реализовываться в устройстве беспроводной связи, таком как мобильный телефон (например, смартфон или радиотелефон). В конкретных вариантах осуществления электронное устройство 210 имеет дисплей 270.

[0066] Электронное устройство 210 может содержать часть или все компоненты компьютерной системы 100, проиллюстрированной на фиг. 1. В конкретных вариантах осуществления электронное устройство 210 представляет собой бортовое компьютерное устройство и содержит процессор 110, полупроводниковый накопитель 120 и запоминающее устройство 130. Другими словами, электронное устройство 210 содержит аппаратные средства и/или программное обеспечение, и/или микропрограммное обеспечение либо комбинацию вышеозначенного для определения присутствия объекта вокруг транспортного средства 220, как подробнее описано ниже.

[0067] В соответствии с неограничивающими вариантами осуществления настоящей технологии электронное устройство 210 дополнительно содержит или имеет доступ к первому датчику 230. Дополнительно электронное устройство 210 дополнительно может содержать второй датчик 240. Первый датчик 230 выполнен с возможностью захватывать изображение окружающей области 250, и второй датчик 240 выполнен с возможностью захватывать облако лидарных точек окружающей области 250 и других датчиков (не проиллюстрированы). Первый датчик 230 и второй датчик 240 соединен с возможностью связи с процессором 110 для передачи такой захваченной информации в процессор 110 для ее обработки, как подробнее описывается ниже в данном документе.

Первый датчик

[0068] В конкретном неограничивающем примере первый датчик 230 содержит камеру. То, как камера реализуется, не ограничено конкретным образом. Например, в конкретных неограничивающих вариантах осуществления настоящей технологии камера может реализовываться как монокамера с разрешением, достаточным для того, чтобы обнаруживать объекты на предварительно определенных дистанциях около до 30 м (хотя камеры с другими разрешениями и дальностями находятся в пределах объема настоящего раскрытия сущности). Камера может устанавливаться в салоне, в верхнем участке ветрового стекла транспортного средства 220, но другие местоположения находятся в пределах объема настоящего раскрытия сущности, в том числе заднее окно, боковые окна, передний капот, крыша, решетка радиатора или передний бампер транспортного средства 220. В некоторых неограничивающих вариантах осуществления настоящей технологии первый датчик 230 может устанавливаться в выделенном корпусе (не проиллюстрирован), установленном на крыше транспортного средства 220.

[0069] В некоторых неограничивающих вариантах осуществления настоящей технологии первый датчик 230 может реализовываться как множество камер. Например, множество камер могут иметь достаточное число камер для того, чтобы захватывать окружающее/панорамное изображение окружающих областей 250.

[0070] В некоторых неограничивающих вариантах осуществления настоящей технологии камера (либо одна или более камер, которые составляют реализацию первого датчика 230) выполнена с возможностью захватывать предварительно определенный участок окружающей области 250 вокруг транспортного средства 220. В некоторых вариантах осуществления настоящей технологии камера выполнена с возможностью захватывать изображение (или последовательность изображений), которое представляет около 90 градусов окружающей области 250 вокруг транспортного средства 220, т.е. вдоль пути перемещения транспортного средства 220.

[0071] В других неограничивающих вариантах осуществления настоящей технологии камера выполнена с возможностью захватывать изображение (или последовательность изображений), которое представляет около 180 градусов окружающей области 250 вокруг транспортного средства 220, т.е. вдоль пути перемещения транспортного средства 220.

[0072] В еще дополнительных вариантах осуществления настоящей технологии камера выполнена с возможностью захватывать изображение (или последовательность изображений), которое представляет около 360 градусов окружающей области 250 вокруг транспортного средства 220, т.е. вдоль пути перемещения транспортного средства 220 (другими словами, полностью окружающую область вокруг транспортного средства 220).

[0073] В конкретном неограничивающем примере первый датчик 230 может быть реализован, может иметь тип, предлагаемый компанией FLIR Integrated Imaging Solutions Inc., 12051 Riverside Way, Ричмонд, BC, V6W 1K7, Канада. Следует четко понимать, что первый датчик 230 может реализовываться в любом другом подходящем оборудовании.

[0074] В неограничивающих вариантах осуществления настоящей технологии первый датчик 230 может быть выполнен с возможностью осуществлять моментальные снимки с предварительно определенной частотой сканирования камеры (например, один моментальный снимок в 30 мс), за счет этого формируя данные изображений предварительно определенного участка (проиллюстрирован на фиг. 4) окружающей области 250 транспортного средства 220.

Второй датчик

[0075] В конкретном неограничивающем примере второй датчик 240 содержит лидарный (LIDAR) измерительный прибор на основе оптического обнаружения и дальнометрии. Лидар означает оптическое обнаружение и дальнометрию. Предполагается, что специалисты в данной области техники должны понимать функциональность лидарного измерительного прибора, но вкратце, передающее устройство (не проиллюстрировано) второго датчика 240, реализованного в качестве лидара, отправляет лазерный импульс, и световые частицы (фотоны) рассеиваются обратно в приемное устройство (не проиллюстрировано) второго датчика 240, реализованного в качестве лидарного измерительного прибора. Фотоны, которые возвращаются в приемное устройство, собираются с помощью телескопа и подсчитываются в качестве функции от времени. С использованием скорости света (~3×10⁸ м/с) процессор 110 затем может вычислять то, насколько далеко перемещены фотоны (при полном обходе). Фотоны могут рассеиваться с отражением от многих различных объектов, окружающих транспортное средство 220, таких как другие частицы (аэрозоли или молекулы) в атмосфере, другой автомобиль, стационарные объекты или потенциальные преграды в окружающей области 250 транспортного средства 220. Эти фотоны содержат так называемые облака лидарных точек и указывают картографические данные, сформированные посредством второго датчика 240.

[0076] В конкретном неограничивающем примере второй датчик 240 может реализовываться как лидарный датчик, который может иметь тип, предлагаемый компанией Velodyne LiDAR, Inc. 5521 Hellyer Avenue, Сан-Хосе, CA 95138, США. Следует четко понимать, что второй датчик 240 может реализовываться в любом другом подходящем оборудовании.

[0077] В некоторых вариантах осуществления настоящей технологии второй датчик 240 может реализовываться как множество лидарных датчиков, к примеру, как три, например, или любое другое подходящее число. В некоторых вариантах осуществления настоящей технологии второй датчик 240 (независимо от того, реализован он в качестве одного лидарного датчика либо нескольких лидарных датчиков) может размещаться в вышеуказанном корпусе (не проиллюстрирован отдельно), расположенном на крыше транспортного средства 220.

[0078] В тех вариантах осуществления настоящей технологии в которых второй датчик 240 реализуется как несколько лидарных датчиков, размещенных в корпусе (не проиллюстрирован), пространственное размещение нескольких лидарных датчиков может проектироваться с учетом конкретной технической конфигурации нескольких лидарных датчиков, конфигурации корпуса, погодных условий области, в которой должно использоваться транспортное средство 220 (к примеру, частый дождь, снег и другие элементы), и т.п.

[0079] В неограничивающих вариантах осуществления настоящей технологии второй датчик 240 может устанавливаться на транспортном средстве 220 с вращением на нем с предварительно определенной частотой (например, с одним циклом вращения в 200 мс), что упоминается в данном документе как предварительно определенная частота сканирования лидара. В связи с этим, второй датчик 240 может быть выполнен с возможностью формировать картографические данные окружающей области 250 транспортного средства 220 с предварительно определенной частотой сканирования лидара.

Другие датчики

[0080] В дополнительных неограничивающих вариантах осуществления настоящей технологии электронное устройство 210 дополнительно может содержать или иметь доступ к третьему датчику (не проиллюстрирован). Третий датчик (не проиллюстрирован) может содержать (радарный) измерительный прибор на основе радиообнаружения и дальнометрии. Вкратце, радарный измерительный прибор представляет собой обнаруживающий измерительный прибор с использованием радиоволн, чтобы определять дальность, угол и/или скорость объектов. Радарный измерительный прибор включает в себя передающее устройство, формирующее электромагнитные волны, антенну, используемую для передачи и приема электромагнитных волн, приемное устройство и процессор для того, чтобы определять свойства обнаруженных объектов. В альтернативных вариантах осуществления настоящей технологии могут быть предусмотрены отдельная антенна для приема волн и отдельная антенна для передачи волн. Процессор, используемый для определения свойств окружающих объектов, может представлять собой процессор 110.

[0081] В некоторых вариантах осуществления настоящей технологии третий датчик (не проиллюстрирован) может содержать радарные датчики большой, средней и малой дальности действия. В качестве неограничивающего примера, радарный датчик большой дальности действия может использоваться для адаптивной системы оптимального регулирования скорости, автоматического экстренного торможения и системы выдачи предупреждений относительно прямых столкновений, в то время как радарные датчики средней и малой дальности действия могут использоваться для помощи при парковке, оповещения относительно пересекающихся потоков движения, помощи на скрещении дорог и обнаружения на слепой стороне.

[0082] В конкретном неограничивающем примере третий датчик (не проиллюстрирован) может иметь тип, предлагаемый компанией Robert Bosch GmbH Robert-Bosch-Platz 1, 70839 Герлинген, Германия. Следует четко понимать, что третий датчик (не проиллюстрирован) может реализовываться в любом другом подходящем оборудовании.

[0083] В некоторых вариантах осуществления настоящей технологии первый датчик 230 и второй датчик 240 могут калиброваться таким образом, что для изображения, захваченного посредством первого датчика 230, и облака лидарных точек, захваченного посредством второго датчика 240, процессор 110 выполнен с возможностью идентифицировать данную область изображения, которая соответствует данной области облака лидарных точек, захваченного посредством второго датчика 240. В других вариантах осуществления настоящей технологии первый датчик 230, второй датчик 240 и третий датчик (не проиллюстрирован) калибруются таким образом, что для изображения, захваченного посредством первого датчика 230, облака лидарных точек, захваченного посредством второго датчика 240, и радарных данных, захваченных посредством третьего датчика (не проиллюстрирован), процессор 110 выполнен с возможностью идентифицировать данную область изображения, которая соответствует данной области облака лидарных точек и радарным данным.

[0084] Третий датчик (не проиллюстрирован) в силу этого может обеспечивать дополнительную информацию или пополнять то, что получается посредством первого датчика 230 и/или второго датчика 240. В качестве неограничивающего примера, показано, что в определенных случаях радарный датчик может работать лучше лидарного измерительного прибора при конкретных погодных условиях, к примеру, при тумане, дожде, снеге и пыли. Дополнительно радарный датчик может точно определять относительную скорость трафика или скорость движущегося объекта с использованием сдвига доплеровской частоты. Таким образом, третий датчик (не проиллюстрирован) может использоваться в комбинации с первым датчиком 230, в комбинации со вторым датчиком 240 либо в комбинации с первым датчиком 230 и вторым датчиком 240. В некоторых вариантах осуществления настоящей технологии третий датчик (не проиллюстрирован), например, может использоваться только временно, к примеру, при сложных погодных условиях.

[0085] В неограничивающих вариантах осуществления настоящей технологии электронное устройство 210 дополнительно может содержать или иметь доступ к другим датчикам (не проиллюстрированы). Другие датчики (не проиллюстрированы) включают в себя одно или более из следующего: блок инерциальных измерений (IMU), измерительный прибор на основе глобальной навигационной спутниковой системы (GNSS), радары скорости относительно земли, ультразвуковые сонарные датчики, одометрические датчики, включающие в себя акселерометры и гироскопы, механические датчики наклона, магнитный компас и другие датчики, обеспечивающие работу транспортного средства 220.

[0086] В качестве неограничивающего примера, IMU может прикрепляться к транспортному средству 220 и содержать три гироскопа и три акселерометра для обеспечения данных по вращательному движению и прямолинейному движению транспортного средства 220, которые могут использоваться для того, чтобы вычислять движение и позицию транспортного средства 220.

[0087] Эта калибровка может выполняться во время изготовления и/или установки транспортного средства 220. Альтернативно, калибровка может выполняться в любое подходящее время после этого, либо, другими словами, калибровка может выполняться во время модернизации транспортного средства 220 за счет первого датчика 230, второго датчика 240 и третьего датчика 236 в соответствии с неограничивающими вариантами осуществления настоящей технологии, предполагаемыми в данном документе. Альтернативно, калибровка может выполняться во время оснащения транспортного средства 220 первым датчиком 230, вторым датчиком 240 и третьим датчиком 236 в соответствии с неограничивающими вариантами осуществления настоящей технологии, предполагаемыми в данном документе.

Сеть связи

[0088] В некоторых вариантах осуществления настоящей технологии сеть 245 связи представляет собой Интернет. В альтернативных неограничивающих вариантах осуществления сеть связи может реализовываться как любая подходящая локальная вычислительная сеть (LAN), глобальная вычислительная сеть (WAN), частная сеть связи и т.п. Следует четко понимать, что реализации для сети связи предназначаются только для целей иллюстрации. То, как реализуется линия связи (без отдельной ссылки с номером) между электронным устройством 210 и сетью 245 связи, должно зависеть, в числе прочего, от того, как реализуется электронное устройство 210. Просто в качестве примера, а не в качестве ограничения, в тех вариантах осуществления настоящей технологии, в которых электронное устройство 210 реализуется как устройство беспроводной связи, такое как смартфон или навигационное устройство, линия связи может реализовываться как линия беспроводной связи. Примеры линий беспроводной связи включают в себя, но не только, сетевую 3G-линию связи, сетевую 4G-линию связи и т.п. Сеть 245 связи также может использовать беспроводное соединение с сервером 215.

Сервер

[0089] В некоторых вариантах осуществления настоящей технологии сервер 215 реализуется как традиционный компьютер-сервер и может содержать часть или все компоненты компьютерной системы 1 по фиг. 1. В одном неограничивающем примере сервер 112 реализуется как сервер Dell™ PowerEdge™ под управлением операционной системы Windows Server™ Microsoft™, но также может реализовываться в любых других подходящих аппаратных средствах, программном обеспечении и/или микропрограммном обеспечении либо в комбинации вышеозначенного. В проиллюстрированных неограничивающих вариантах осуществления настоящей технологии сервер представляет собой один сервер. В альтернативных неограничивающих вариантах осуществления настоящей технологии (не показаны) функциональность сервера 215 может распределяться и может реализовываться через несколько серверов.

[0090] В некоторых неограничивающих вариантах осуществления настоящей технологии процессор 110 электронного устройства 210 может поддерживать связь с сервером 215, чтобы принимать одно или более обновлений. Обновления могут представлять собой, но не только, обновления программного обеспечения, обновления карт, обновления маршрутов, обновления прогноза погоды и т.п. В некоторых вариантах осуществления настоящей технологии процессор 110 также может быть выполнен с возможностью передавать на сервер 215 определенные рабочие данные, такие как проезжаемые маршруты, данные трафика, данные рабочих характеристик и т.п. Некоторые или все данные, передаваемые между транспортным средством 220 и сервером 215, могут шифроваться и/или анонимизироваться.

[0091] В неограничивающих вариантах осуществления настоящей технологии сервер 215 выполнен с возможностью обеспечивать, через сеть 245 связи, в электронное устройство 210 индикаторы абсолютного времени, что описывается ниже со ссылкой на фиг. 3.

Система синхронизации

[0092] Ссылаясь теперь на фиг. 3, проиллюстрирована система 300 синхронизации, реализованная в соответствии с неограничивающим вариантом осуществления настоящей технологии. Система 300 синхронизации выполнена с возможностью синхронизации работы первого датчика 230 и второго датчика 240, в соответствии с неограничивающими вариантами осуществления настоящей технологии. Система 300 синхронизации включает в себя процессор (например, процессор 110 электронного устройства 210), камерную систему 302, содержащую первый датчик 230, и лидарную систему 304, содержащую второй датчик 240.

[0093] Согласно неограничивающим вариантам осуществления настоящей технологии камерная система 302дополнительно может содержать компонент 306 синхронизации камеры. Лидарная система 304 дополнительно может содержать компонент 308 синхронизации лидара.

[0094] Вообще говоря, система 300 синхронизации выполнена с возможностью совмещать, во времени, захват данных 310 изображений предварительно определенного участка окружающей области 250, сформированных посредством камерной системы 302, с захватом картографических данных 312, представляющих точки данных объектов, расположенных в предварительно определенном участке, картографических данных, которые сформированы посредством лидарной системы 304. С этой целью в неограничивающих вариантах осуществления настоящей технологии процессор 110 выполнен с возможностью обеспечивать для камерной системы 302 и лидарной системы 304 общую привязку по времени для захвата и обработки данных.

[0095] В этом отношении, как упомянуто выше, процессор 110 может быть выполнен с возможностью принимать, из сервера 215, индикатор 320 абсолютного времени. В неограничивающих вариантах осуществления настоящей технологии абсолютное время представляет собой астрономическое время.

[0096] В неограничивающих вариантах осуществления настоящей технологии астрономическое время представляет собой UT1-версию всемирного времени. Более конкретно, астрономическое время представляет собой среднее солнечное время на долготе в 0°. Астрономическое время вычисляется из наблюдений за дальними квазарами с использованием интерферометрии с длинными базами, лазерной дальнометрии Луны и искусственных спутников, а также определения орбит GPS-спутников. Астрономическое время, как упомянуто в данном документе, является идентичным на всей планете Земля и является пропорциональным углу вращения Земли относительно дальних квазаров, а именно, согласно Международной небесной системы координат (ICRF), с игнорированием некоторых небольших регулирований.

[0097] В некоторых неограничивающих вариантах осуществления настоящей технологии астрономическое время дополнительно может аппроксимироваться посредством UTC-версии всемирного времени (всемирного координированного времени). В этих вариантах осуществления, астрономическое время представляет атомную временную шкалу для UT1, при этом оно отсчитывается с помощью секунд, обеспеченных посредством стандарта международного атомного времени (TAI-стандарта), что приводит к 86400 секунд в день с эпизодическими введениями потерянной секунды.

[0098] Как упомянуто выше, камерная система 302 включает в себя первый датчик 230 и компонент 306 синхронизации камеры. Компонент 306 синхронизации камеры соединяется с возможностью связи с первым датчиком 230 с использованием любого совместимого интерфейса в зависимости от типа компонента 306 синхронизации камеры и типа первого датчика 230 и соответствующего программного обеспечения (драйверов). С процессором 110 компонент 306 синхронизации камеры соединен с возможностью связи через линию 314 связи.

[0099] В конкретных неограничивающих вариантах осуществления настоящей технологии компонент 306 синхронизации камеры может иметь тип Jetson TX2, предлагаемый компанией NVIDIA Corporation, расположенной по адресу 2788 San Tomas Expy, Санта-Клара, CA 95051, США. Следует четко понимать, что компонент 306 синхронизации камеры может реализовываться в любом другом подходящем оборудовании.

[0100] Вообще говоря, компонент 306 синхронизации камеры выполнен с возможностью передачи в процессор 110, через линию 314 связи, данных, указывающих фазы сканирования первого датчика 230. Дополнительно компонент 306 синхронизации камеры выполнен с возможностью приема, из процессора 110, на основе индикатора 320 абсолютного времени, отрегулированного расписания для работы первого датчика 230. Расписание формируется таким образом, что по меньшей мере один из последующих моментальных снимков данных 310 изображений осуществляется, посредством первого датчика 230, в будущий момент времени, одновременно со вторым датчиком 240, формирующим картографические данные 312 объектов в нем (т.е. чтобы обеспечивать то, что осуществление последующих моментальных снимков данных 310 изображений координируется во времени с формированием картографических данных 312). Ниже описываются фазы сканирования первого датчика 230 и формирование расписания со ссылкой на фиг. 4-8.

[0101] В некоторых неограничивающих вариантах осуществления настоящей технологии линия 314 связи может быть основана на протоколе точного времени (PTP). Вкратце, PTP-протокол задается в стандарте IEEE 1588 в качестве высокоточной тактовой синхронизации для сетевых измерительных и управляющих систем и разработан для того, чтобы синхронизировать тактовые генераторы в сетях с коммутацией пакетов, которые включают в себя распределенные тактовые генераторы устройств с варьирующейся точностью и стабильностью. Стандарты IEEE 1588, задающие PTP-протокол, описывают иерархическую архитектуру с ведущими и ведомыми узлами для распределения общих привязок по времени. Согласно этой архитектуре, компоненты системы 300 синхронизации могут представляться как любой источник (например, "ведущий узел", процессор 110 в системе 300 синхронизации) или назначение (например, "ведомый узел", компонент 306 синхронизации камеры) для опорного сигнала синхронизации (индикатора 320 абсолютного времени). PTP-протокол основан на TAI-стандарте времени, по сути, UTC-время может вычисляться из времени, принимаемого посредством гроссмейстерского (корневого исходного) PTP-времени. Соответственно, в локальной вычислительной сети, PTP-протокол может достигать точности тактовых генераторов в диапазоне долей микросекунд.

[0102] В других неограничивающих вариантах осуществления настоящей технологии линия 314 связи может быть основана на протоколе сетевого времени (NTP). Вкратце, NTP-протокол представляет собой протокол, используемый для того, чтобы синхронизировать времена компьютерного такта в сети, которая типично использует сервер-клиентскую архитектуру. NTP-клиент инициирует обмен временными запросами с NTP-сервером. Как результат этого обмена, клиент имеет возможность вычислять задержку в линии связи и свое локальное смещение и регулировать своей локальный тактовый генератор таким образом, что он совпадает с тактовым генератором в компьютере сервера. NTP-протокол использует UTC для того, чтобы синхронизировать времена компьютерного такта, и, по сути, может достигаться точность синхронизации менее чем в 1 миллисекунду в локальной вычислительной сети и точность синхронизации по Интернету в десятки миллисекунд.

[0103] В неограничивающих вариантах осуществления настоящей технологии компонент 308 синхронизации лидара выполнен с возможностью передавать в процессор 110, через линию 316 связи, данные, указывающие моменты времени и соответствующие угловые позиции второго датчика 240 в данном цикле. Затем, компонент 308 синхронизации лидара выполнен с возможностью принимать, из процессора 110, временные метки лидара, сформированные на основе индикатора 320 абсолютного времени для последующих циклов операции второго датчика 240. Каждая из временных меток лидара соответствует будущим моментам времени, когда второй датчик 240 находится в предварительно определенной угловой позиции, для формирования картографических данных 312 объектов, расположенных в предварительно определенном участке окружающей области 250. В дальнейшем подробно описывается то, как лидарная система 304 выполнена с возможностью формировать картографические данные 312, и то, как процессор 110 выполнен с возможностью формировать временные метки лидара со ссылкой на фиг. 4 и 6.

[0104] Согласно неограничивающим вариантам осуществления настоящей технологии линия 316 связи может быть основана на PTP-протоколе, описанном выше.

[0105] Вообще говоря, в неограничивающих вариантах осуществления настоящей технологии компонент 308 синхронизации лидара может реализовываться как отдельная плата, включающая в себя микроконтроллер (не проиллюстрирован). Микроконтроллер (не проиллюстрирован) соединяется с процессором 110 через линию 316 связи, как описано выше, например, с использованием Ethernet-интерфейса. Микроконтроллер (не проиллюстрирован) дополнительно соединяется со вторым датчиком 240 с использованием интерфейса универсальных асинхронных приемо-передающих устройств (UART) и сигналов числа импульсов в секунду (PPS), сформированных точно один раз в секунду. Это обеспечивает возможность компоненту 308 синхронизации лидара передавать временные метки лидара, принятые из процессора 110, за счет этого управляя вторым датчиком 240 в общей привязке по времени, как подробнее описано ниже со ссылкой на фиг. 4-8.

[0106] Ниже со ссылкой на фиг. 4 схематично проиллюстрирован вид сверху транспортного средства 220, включающего в себя камерную систему 302 и лидарную систему 304, установленные на нем, согласно неограничивающим вариантам осуществления настоящей технологии. В вариантах осуществления по фиг. 4 камерная система 302 жестко установлена на транспортном средстве 220 таким образом, что первый датчик 230 направлен на предварительно определенный участок 402 окружающей области 250. Иначе говоря, первый датчик 230 имеет поле зрения, которое совпадает с предварительно определенным участком 402 окружающей области 250. С этой целью камерная система 302 выполнена с возможностью захватывать, с использованием первого датчика 230, данные 310 изображений предварительно определенного участка 402 окружающей области 250 в различные моменты времени.

[0107] В неограничивающих вариантах осуществления настоящей технологии лидарная система 304, установленная на крыше транспортного средства 220 и работающая одновременно с камерной системой 302, может представлять собой вращательную лидарную систему. С этой целью, второй датчик 240 вращается в направлении 414 вокруг своей центральной вертикальной оси. Соответственно, лидарная система 304 может быть выполнена с возможностью формировать, посредством использования второго датчика 240, картографические данные объектов, расположенных в окружающей области 250 транспортного средства 220. Чтобы принимать как данные 310 изображений, так и картографические данные 312 предварительно определенного участка 402 одновременно, процессор 110 может быть выполнен с возможностью синхронизировать работу камерной системы 302 и лидарной системы 304 на основе индикатора 320 абсолютного времени, принимаемого из сервера 215. Ниже описывается то, как реализуется синхронизация со ссылкой на фиг. 7-8.

[0108] Теперь следует обратиться к фиг. 4 и 5. На фиг. 5, проиллюстрирована временная диаграмма 500 работы, посредством процессора 110, первого датчика 230 камерной системы 302, согласно неограничивающим вариантам осуществления настоящей технологии. Первый датчик 230 выполнен с возможностью, посредством процессора 110, работать в фазах сканирования; в каждой фазе сканирования, первый датчик 230 осуществляет соответствующий моментальный снимок предварительно определенного участка 402, за счет этого формируя данные 310 изображений, которые включают в себя множество моментальных снимков предварительно определенного участка 402.

[0109] Фаза 502 сканирования первого датчика 230 включает в себя фазу 504 съемки и фазу 506 паузы в работе. Длительность фазы 502 сканирования зависит от рабочей частоты первого датчика 230, которая, например, может составлять один моментальный снимок предварительно определенного участка 402 за 30 мс. Фаза 504 съемки представляет собой фазу, в которой первый датчик 230 осуществляет данный моментальный снимок предварительно определенного участка 402. Фаза 506 паузы в работе представляет собой фазу, в которой первый датчик 230 подготавливается к осуществлению следующего моментального снимка предварительно определенного участка 402. То, как фаза 502 сканирования разбивается на фазу 504 съемки и фазу 506 паузы в работе, не ограничено, и по сути, их длительность может быть предварительно определена посредством конкретной конфигурации первого датчика 230.

[0110] В неограничивающих вариантах осуществления настоящей технологии длительность фазы 506 паузы в работе может модифицироваться (например, увеличиваться), что вызывает соответствующее изменение длительности фазы 502 сканирования.

[0111] Ссылаясь на фиг. 3 и 5, в неограничивающих вариантах осуществления настоящей технологии компонент 306 синхронизации камеры камерной системы 302 может быть выполнен с возможностью принимать, из первого датчика 230, данные, указывающие начало и конец фазы 504 съемки. Дополнительно компонент 306 синхронизации камеры может быть выполнен с возможностью передавать принимаемые данные в процессор 110. Соответственно, процессор 110, на основе общей привязки 510 по времени, принимаемой из сервера 215, может быть выполнен с возможностью формировать временные метки 508 камеры для последующих фаз сканирования первого датчика 230 и передавать данные, указывающие их, обратно назад в компонент 306 синхронизации камеры. За счет этого, процессор 110 выполнен с возможностью побуждать камерную систему 302 формировать данные 310 изображений предварительно определенного участка 402 в общей привязке 510 по времени.

[0112] В некоторых неограничивающих вариантах осуществления настоящей технологии каждая из временных меток 508 камеры может выбираться в качестве средней точки соответствующей фазы съемки. Например, временная метка t₁ камеры из временных меток 508 камеры выбирается в качестве средней точки фазы 504 съемки. В неограничивающих вариантах осуществления настоящей технологии первый датчик 230 выполнен с возможностью формировать каждый моментальный снимок данных 310 изображений, в фазе 504 съемки, посредством пиксельных линий: линия за линией, сверху вниз. В связи с этим, средняя точка фазы 504 съемки может вычисляться, посредством процессора 110, так что она соответствует моменту времени, когда первый датчик 230 сканирует половину пиксельных линий соответствующего моментального снимка данных 310 изображений.

[0113] Тем не менее, способ выбора посредством процессора 110 временных меток 508 камеры не ограничен, и в других неограничивающих вариантах осуществления настоящей технологии может включать в себя выбор данной временной метки камеры в начале соответствующей фазы съемки или в ее конце.

[0114] Теперь, следует обратиться к фиг. 4 и 6. На фиг. 6, проиллюстрирована временная диаграмма 600 работы, посредством процессора 110, второго датчика 240 лидарной системы 304, согласно неограничивающим вариантам осуществления настоящей технологии. Второй датчик 240 выполнен с возможностью формировать картографические данные 602 окружающей области 250 транспортного средства 220 в циклах вращения. Один цикл вращения (например, цикл 604 вращения), например, может составлять 200 мс. Цикл 604 вращения соответствует времени полного оборота на 360 градусов второго датчика 240 вокруг своей центральной вертикальной оси, которое может быть предварительно определено посредством конфигурации второго датчика 240. С этой целью, в каждый момент времени в цикле 604 вращения, второй датчик 240 имеет различную соответствующую угловую позицию, после чего второй датчик 240 выполнен с возможностью формировать картографические данные объектов, расположенных в соответствующих участках окружающей области 250 транспортного средства 220.

[0115] Таким образом, в вариантах осуществления фиг. 4 и 6, проиллюстрированы три угловых позиции второго датчика 240, соответствующие трем соответствующим моментам времени в цикле 604 вращения второго датчика 240: первая угловая позиция 408 в первый момент T₁ времени, вторая угловая позиция 410 во второй момент T₂ времени и третья угловая позиция в третий момент T₃ времени. В этом отношении, датчик 234, в первой угловой позиции 408, выполнен с возможностью формировать картографические данные 312 объектов, расположенных в предварительно определенном участке 402 в первый момент T₁ времени. Во второй угловой позиции 410, соответствующей второму моменту T₂ времени, второй датчик 240 выполнен с возможностью формировать картографические данные (не проиллюстрированы) объектов, расположенных во втором участке 404 окружающей области 250. В завершение, в третьей угловой позиции 412, соответствующей третьему моменту T₃ времени, второй датчик 240 выполнен с возможностью формировать картографические данные (не проиллюстрированы) объектов, расположенных в третьем участке 406 окружающей области 250.

[0116] Также ссылаясь на фиг. 3, согласно неограничивающим вариантам осуществления настоящей технологии компонент 308 синхронизации лидара выполнен с возможностью, посредством процессора 110, записывать, в каждый из моментов T₁, T₂ и T₃ времени, данные, указывающие первую угловую позицию 408, вторую угловую позицию 410 и третью угловую позицию 412, соответственно. Дополнительно компонент 308 синхронизации лидара выполнен с возможностью передавать записанные данные, указывающие угловые позиции второго датчика 240, в процессор 110. Процессор 110, на основе общей привязки 510 по времени, выполнен с возможностью формировать временные метки 608 лидара для последующих циклов вращения второго датчика 240 и передавать назад их индикатор в компонент 308 синхронизации лидара. Каждая из временных меток 608 лидара соответствует надлежащему моменту времени в цикле вращения второго датчика 240, когда второй датчик 240 находится в первой угловой позиции 408. Например, временная метка Tl₂ лидара из временных меток 608 лидара соответствует первой угловой позиции второго датчика 240 в цикле вращения после цикла 604 вращения. За счет этого, процессор 110 выполнен с возможностью побуждать лидарную систему 304 формировать картографические данные 312 предварительно определенного участка 402 в общей привязке 510 по времени.

[0117] Следует четко понимать, что первая угловая позиция 408, вторая угловая позиция 410 и третья угловая позиция 412 второго датчика 240 проиллюстрированы на фиг. 4 просто в качестве помощи в понимании настоящей технологии; и в неограничивающих вариантах осуществления настоящей технологии компонент 308 синхронизации лидара может быть выполнен с возможностью записывать и передавать данные, указывающие более чем трех угловых позиций второго датчика 240, причем их число может составлять сотни, тысячи или даже сотни тысяч.

[0118] После формирования временных меток 508 камеры и временных меток 608 лидара на основе общей привязки 510 по времени, процессор 110 дополнительно может быть выполнен с возможностью синхронизировать фазы сканирования камерной системы 302 и, по меньшей мере один последующий цикл вращения лидарной системы 304.

[0119] Со ссылкой на фиг. 7 проиллюстрирована комбинированная временная диаграмма 700, включающая в себя временную диаграмму 600 лидарной системы 304 и временную диаграмму 500 камерной системы 302 . Согласно временной диаграмме 700, камерная система 302 выполнена с возможностью формировать каждый моментальный снимок данных 310 изображений в соответствующей одной из временных меток 508 камеры; и лидарная система 304 выполнена с возможностью формировать картографические данные 312 объектов, расположенных в предварительно определенном участке 402, в соответствующей одной из временных меток 608 лидара. Таким образом, как камерная система 302, так и лидарная система 304 побуждается, посредством процессора 110, обеспечивать данные 310 изображений и картографические данные 312 в общей привязке 510 по времени.

[0120] Допустим, что в вариантах осуществления по фиг. 7 временная метка t₁ камеры из временных меток 508 камеры соответствует текущей фазе сканирования камерной системы 302. Из временной диаграммы 700 можно принимать во внимание, что фазы сканирования камерной системы 302 и циклы вращения лидарной системы 304 десинхронизируются, поскольку временная метка t₁ камеры из временных меток 508 камеры не совпадает с временной меткой Tl₁ лидара из временных меток 608 лидара. Соответственно, процессор 110 может быть выполнен с возможностью синхронизировать идущую сразу временную метку Tl₂ лидара из временных меток 608 лидара с ближайшей к нему последующей из временных меток 508 камеры, например, с временной меткой t₇ камеры. Другими словами, процессор 110 может быть выполнен с возможностью определять временную метку лидара для синхронизации в качестве ближайшей временной метки лидара, соответствующей моменту времени, когда второй датчик 240 находится в первой угловой позиции 408. С этой целью в неограничивающих вариантах осуществления настоящей технологии процессор 110 также может быть выполнен с возможностью принимать, из компонента 308 синхронизации лидара, индикатор первой угловой позиции 408.

[0121] В некоторых неограничивающих вариантах осуществления настоящей технологии процессор 110 может быть выполнен с возможностью применять алгоритм определения временных меток для определения временной метки лидара для синхронизации.

[0122] Во-первых, согласно неограничивающим вариантам осуществления настоящей технологии процессор 110 выполнен с возможностью определять временное смещение 702 между временной меткой t₇ камеры и временной меткой Tl₂ лидара в общей привязке 510 по времени. Во-вторых, после определения временного смещения 702, процессор 110 выполнен с возможностью использовать его для того, чтобы инициировать задержку между последующими моментальными снимками данных 310 изображений таким образом, что временная метка t₇ камеры и временная метка Tl₂ лидара должны совпадать в будущий момент времени, за счет этого формируя отрегулированное расписание для работы первого датчика 230.

[0123] В некоторых неограничивающих вариантах осуществления настоящей технологии процессор 110 выполнен с возможностью использовать временное смещение 702 в реальном времени в то время, когда транспортное средство перемещается 220. В других неограничивающих вариантах осуществления настоящей технологии процессор 110 выполнен с возможностью использовать временное смещение 702 в то время, когда транспортное средство 220 не перемещается (т.е. остановлено, припарковано и т.п.).

[0124] Со ссылкой на фиг. 8 проиллюстрирована временная диаграмма 800 работы камерной системы 302 и лидарной системы 304 в общей привязке 510 по времени. Временная диаграмма 800 отличается от временной диаграммы 700 только в том, что временная диаграмма 500 работы камерной системы 302 заменена временной диаграммой 802.

[0125] В некоторых неограничивающих вариантах осуществления настоящей технологии процессор 110 может быть выполнен с возможностью использовать временное смещение 702 посредством его одинакового разделения между всеми фазами сканирования камерной системы 302, предшествующими временной метке лидара, за счет чего процессор 110 выполнен с возможностью выполнять синхронизацию, т.е. в вариантах осуществления по фиг. 8, временной метки Tl₂ лидара. Следовательно, из временной диаграммы 802 можно принимать во внимание, что процессор 110 может быть выполнен с возможностью увеличивать фазы паузы в работе соответствующих фаз сканирования, соответствующих временным меткам t₁, t₂, t₃, t₄, t₅ и t₆ камеры из временных меток 508 камеры, посредством временной задержки 804, при этом временная задержка 804 составляет одну шестую от временного смещения 702.

[0126] Таким образом, в тех неограничивающих вариантах осуществления настоящей технологии, в которых цикл вращения второго датчика 240 равен предварительно определенному числу-множителю фаз сканирования первого датчика 230, процессор 110 выполнен с возможностью использовать временное смещение 702 посредством его равномерного распределения между предварительно определенным числом-множителем последующих фаз сканирования первого датчика 230, предшествующих временной метке Tl₂ лидара в общей привязке 510 по времени.

[0127] Таким образом, посредством добавления временной задержки 804 во все фазы сканирования, предшествующие временную метке Tl₂ лидара в общей привязке 510 по времени, камерной системы 302, процессор 110 выполнен с возможностью сдвигать временную метку t₇ камеры таким образом, что она должна совпадать с временной меткой Tl₂ лидара.

[0128] В других неограничивающих вариантах осуществления настоящей технологии процессор 110 выполнен с возможностью использовать временное смещение 702, чтобы инициировать задержку только между двумя данными последовательными моментальными снимками данных 310 изображений. С этой целью, процессор 110 может быть выполнен с возможностью увеличивать фазу паузы в работе только одной фазы сканирования, соответствующей надлежащей одной из временных меток 508 камеры, предшествующих временной метке Tl₂ лидара в общей привязке 510 по времени.

[0129] В некоторых неограничивающих вариантах осуществления настоящей технологии процессор 110 может быть выполнен с возможностью использовать временное смещение 702 для инициирования задержки между последующими моментальными снимками данных 310 изображений посредством реализации задержки на уровне кадра, которая может вставляться между концом считывания последней строки и началом сброса первой строки следующего кадра. Это типично упоминается в качестве периода гашения горизонтальной развертки в перечнях технических характеристик изготовителей камер.

[0130] Если такой вариант не доступен, в некоторых неограничивающих вариантах осуществления настоящей технологии процессор 110 может быть выполнен с возможностью использовать временное смещение 702 для инициирования задержки между последующими моментальными снимками данных 310 изображений, посредством побуждения компонента 306 синхронизации камеры формировать соответствующий электрический сигнал в моменты, соответствующие надлежащим из множества временных меток 508 камеры. Соответственно, первый датчик 230 выполнен с возможностью осуществлять последующий моментальный снимок данных 310 изображений в соответствующем электрическом сигнале, сформированном посредством компонента 306 синхронизации камеры. В некоторых неограничивающих вариантах осуществления настоящей технологии побуждение компонента 306 синхронизации камеры формировать соответствующий электрический сигнал выполняется с использованием начала кадровой синхронизации (FSIN).

[0131] Снова ссылаясь на фиг. 3, после модификации фаз сканирования камерной системы 302, предшествующих временной метке Tl₂ лидара в общей привязке 510 по времени, процессор 110 выполнен с возможностью передавать модифицированные фазы сканирования, т.е. отрегулированное расписание, в компонент 306 синхронизации камерной системы 302 для работы первого датчика 230, за счет этого модифицируя его предварительно определенную частоту сканирования камеры. Таким образом, камерная система 302 должна формировать, по меньшей мере один последующий моментальный снимок данных 310 изображений (соответствующий временной метке t₇ камеры), и лидарная система 304 формирует картографические данные 312 объектов, расположенных в предварительно определенном участке 402 в идентичный будущий момент времени, на основе общей привязки 510 по времени.

[0132] В некоторых неограничивающих вариантах осуществления настоящей технологии процессор 110 дополнительно может быть выполнен с возможностью повторять процедуру синхронизации, описанную выше со ссылкой на фиг. 4-8, с некоторой периодичностью. Например, процессор 110 может быть выполнен с возможностью повторять процедуру синхронизации для каждого последующего цикла вращения второго датчика 240, т.е. синхронизацию, по меньшей мере одной последующей из временных меток 508 камеры с каждой последующей из временных меток 608 лидара. Другими словами, синхронизация данных 310 изображений и картографических данных 312 может выполняться по существу непрерывно в ходе работы транспортного средства 220, т.е. в каждом последующем будущем цикле вращения второго датчика 240.

[0133] В других неограничивающих вариантах осуществления настоящей технологии процессор 110 может быть выполнен с возможностью повторять процедуру синхронизации после предварительно определенного числа циклов вращения второго датчика 240.

[0134] В некоторых неограничивающих вариантах осуществления настоящей технологии такое определенное временное смещение 702 используется для одного цикла вращения второго датчика 240. В других неограничивающих вариантах осуществления настоящей технологии такое определенное временное смещение 702 используется для предварительно определенного числа будущих циклов вращения второго датчика 240. Соответственно, процессор 110 может быть выполнен с возможностью, в последующем цикле вращения второго датчика 240, итеративно повторно вычислять временное смещение 702 в реальном времени, в ходе работы транспортного средства 220, после вышеприведенного описания в отношении фиг. 6-8.

[0135] Таким образом, в неограничивающих вариантах осуществления настоящей технологии после побуждения камерной системы 302 обеспечивать данные 310 изображений в общей привязке 510 по времени в данной фазе сканирования (например, в фазе сканирования, соответствующей временной метке t₁ из временных меток 508 камеры) и вычислять временное смещение 702, процессор 110 выполнен с возможностью использовать его, по меньшей мере для предварительно определенного числа последующих фаз сканирования камерной системы 302 (например, пяти (5) последующих фаз сканирования, как проиллюстрировано в вариантах осуществления по фиг. 7 и 8) для синхронизации только в одном последующем цикле вращения второго датчика 240 (например, в цикле вращения, соответствующем временной метке Tl₂ лидара из временных меток 608 лидара).

[0136] В других неограничивающих вариантах осуществления процессор 110 выполнен с возможностью использовать временное смещение 702 для дополнительного предварительно определенного числа фаз сканирования камерной системы 302 для синхронизации в пределах более одного последующего цикла вращения второго датчика 240.

[0137] С учетом архитектуры и примеров, обеспеченных выше, можно осуществлять способ синхронизации данных для работы SDV (например, транспортного средства 220). Со ссылкой теперь на фиг. 9 проиллюстрирована блок-схема последовательности операций способа 900, согласно неограничивающим вариантам осуществления настоящей технологии. Способ 900 осуществляется посредством процессора 110. Процессор 110, например, может представлять собой часть электронного устройства 210.

[0138] В неограничивающих вариантах осуществления настоящей технологии процессор 110 соединен с возможностью связи с камерной системой и лидарной системой (например, с камерной системой 302 и лидарной системой 304, проиллюстрированными на фиг. 3), установленными на транспортном средстве 220. Камерная система 302 включает в себя первый датчик 230 и компонент 306 синхронизации камеры. Лидарная система 304 включает в себя второй датчик 240 и компонент 308 синхронизации лидара.

[0139] Камерная система 302 выполнена с возможностью захватывать, посредством первого датчика 230, данные 310 изображений предварительно определенного участка 402 окружающей области 250 транспортного средства 220. Данные 310 изображений содержат последовательность моментальных снимков, сформированных посредством первого датчика 230, предварительно определенного участка 402 в различные моменты времени с предварительно определенной частотой сканирования камеры. В связи с этим, в некоторых неограничивающих вариантах осуществления настоящей технологии первый датчик 230 камерной системы 302 имеет поле зрения, которое совпадает с предварительно определенным участком 402, когда камерная система 302 установлена на транспортном средстве 220.

[0140] Как подробно описано со ссылкой на фиг. 4 и 5, камерная система 302 выполнена с возможностью работать в фазах сканирования, длительность которых указывает предварительно определенную частоту сканирования камеры. Каждая фаза сканирования имеет фазу съемки и фазу паузы в работе (например, фаза 502 сканирования включает в себя фазу 504 съемки и фазу 506 паузы в работе). В фазе 504 съемки, камерная система 302 выполнена с возможностью формировать данный моментальный снимок данных 310 изображений. В фазе 506 паузы в работе, камерная система 302 находится в режиме ожидания (т.е. без осуществления моментальных снимков) с тем, чтобы подготавливаться к осуществлению последующего моментального снимка. Как фаза 504 съемки, так и фаза 506 паузы в работе могут быть предварительно определены посредством конкретной конфигурации камерной системы 302. В некоторых неограничивающих вариантах осуществления настоящей технологии фаза 506 паузы в работе может модифицироваться (например, увеличиваться).

[0141] Лидарная система 304 выполнена с возможностью формировать, посредством второго датчика 240, картографические данные окружающей области 250 транспортного средства 220. Картографические данные окружающей области 250 транспортного средства 220 содержат точки данных, сформированные посредством второго датчика 240. Точки данных представляют объекты, расположенные в окружающей области 250 транспортного средства 220 в различные моменты времени. Картографические данные окружающей области 250 включают в себя картографические данные 312 предварительно определенного участка 402.

[0142] В некоторых неограничивающих вариантах осуществления настоящей технологии лидарная система 304 может представлять собой вращательную лидарную систему. В этом отношении, лидарная система 304 выполнена с возможностью формировать картографические данные окружающей области 250 транспортного средства 220 в циклах вращения, причем каждый цикл вращения соответствует полному обороту на 360 градусов второго датчика 240 вокруг своей центральной вертикальной оси, например, в направлении 414, как проиллюстрировано на фиг. 4. В связи с этим, лидарная система 304 выполнена с возможностью, в каждой угловой позиции второго датчика 240, формировать картографические данные объектов, расположенных в соответствующем участке окружающей области 250 транспортного средства 220.

[0143] Как описано со ссылкой на фиг. 4 и 6, в неограничивающих вариантах осуществления настоящей технологии лидарная система 304 выполнена с возможностью формировать картографические данные 312 объектов, расположенных в предварительно определенном участке 402 окружающей области 250, когда второй датчик 240 находится в первой угловой позиции 408.

ЭТАП 902 - ПОБУЖДЕНИЕ, ПОСРЕДСТВОМ ЭЛЕКТРОННОГО УСТРОЙСТВА, КАМЕРНОЙ СИСТЕМЫ И ЛИДАРНОЙ СИСТЕМЫ ОБЕСПЕЧИТЬ ДАННЫЕ ИЗОБРАЖЕНИЙ И КАРТОГРАФИЧЕСКИЕ ДАННЫЕ В ЭЛЕКТРОННОЕ УСТРОЙСТВО В ОБЩЕМ НАЧАЛЕ ОТСЧЕТА ВРЕМЕНИ

[0144] На этапе 902, процессор 110 выполнен с возможностью побуждать камерную систему 302 и лидарную систему 304 обеспечить данные 310 изображений предварительно определенного участка 402 и картографические данные 312 объектов, расположенных в предварительно определенном участке в общей привязке по времени, например, в общей привязке 510 по времени.

[0145] С этой целью сначала процессор 110 выполнен с возможностью принимать индикатор абсолютного времени (например, индикатор 320 абсолютного времени, принимаемый из сервера 215). Как подробно описано выше со ссылкой на фиг. 3, индикатор 320 абсолютного времени может представлять собой индикатор астрономического времени.

[0146] Во-вторых, как подробно описано выше со ссылкой на фиг. 3 и 5, компонент 306 синхронизации камерной системы 302 выполнен с возможностью регистрировать данные, указывающие начало и конец фазы 504 съемки фазы 502 сканирования, и передавать эти данные, через линию 314 связи, в процессор 110. Дополнительно процессор 110 выполнен с возможностью, на основе принимаемых данных, формировать временные метки 508 камеры в общей привязке 510 по времени для последующих фаз сканирования. В завершение, процессор 110 выполнен с возможностью передавать, через линию 314 связи, данные, указывающие сформированные временные метки 508 камеры обратно в компонент 306 синхронизации камеры.

[0147] В некоторых неограничивающих вариантах осуществления настоящей технологии каждая из временных меток 508 камеры может вычисляться, посредством процессора, в качестве средней точки фазы 504 съемки, как подробно описано выше со ссылкой на фиг. 5.

[0148] Относительно лидарной системы 304, во-первых, компонент 308 синхронизации лидара выполнен с возможностью регистрировать данные, указывающие множество угловых позиций второго датчика 240 и соответствующих моментов времени в одном цикле вращения (например, в цикле 604 вращения, как проиллюстрировано на фиг. 6). Во-вторых, как подробно описано со ссылкой на фиг. 3, 4 и 6, компонент 308 синхронизации лидара выполнен с возможностью передавать эти данные, через линию 316 связи, в процессор 110. В ответ, процессор 110, на основе передаваемых данных, выполнен с возможностью формировать множество временных меток 608 лидара в общей привязке 510 по времени. Каждая из множества временных меток 608 лидара соответствует будущему моменту времени, когда второй датчик 240 должен находиться в первой угловой позиции 408 в последующем цикле вращения второго датчика 240. Другими словами, каждая из множества временных меток 608 лидара соответствует моменту времени, когда второй датчик 240 формирует картографические данные 312 объектов, расположенных в предварительно определенном участке 402 окружающей области 250. В завершение, процессор 110, через линию 316 связи, выполнен с возможностью передавать множество временных меток 608 лидара в компонент 308 синхронизации лидара.

[0149] В неограничивающих вариантах осуществления настоящей технологии линия 314 связи и линия 316 связи основаны на PTP-протоколе, описанном выше со ссылкой на фиг. 3.

ЭТАП 904 - ОПРЕДЕЛЕНИЕ ПОСРЕДСТВОМ ЭЛЕКТРОННОГО УСТРОЙСТВА ПЕРВОЙ ВРЕМЕННОЙ МЕТКИ ДЛЯ КАРТОГРАФИЧЕСКИХ ДАННЫХ

[0150] На этапе 904, процессор выполнен с возможностью определять последующую временную метку лидара из множества временных меток 608 лидара, посредством которой процессор 110 должен синхронизировать захват данных 310 изображения и захват картографических данных 312. С этой целью, процессор 110 выполнен с возможностью принимать, из компонента 308 синхронизации лидара, индикатор первой угловой позиции 408 второго датчика 240.

[0151] В некоторых неограничивающих вариантах осуществления настоящей технологии процессор 110 выполнен с возможностью определять последующую временную метку лидара в качестве идущей сразу последующей временной метки лидара из множества временных меток 608 лидара, например, временной метки Tl₂ лидара в вариантах осуществления по фиг. 7.

[0152] В других неограничивающих вариантах осуществления настоящей технологии процессор 110 выполнен с возможностью использовать алгоритм определения временных меток для определения временной метки лидара для синхронизации данных 310 изображений и картографических данных 312.

ЭТАП 906 - ОПРЕДЕЛЕНИЕ ПОСРЕДСТВОМ ЭЛЕКТРОННОГО УСТРОЙСТВА ВТОРОЙ ВРЕМЕННОЙ МЕТКИ ДЛЯ ДАННЫХ ИЗОБРАЖЕНИЙ

[0153] На этапе 906, процессор выполнен с возможностью определять последующую временную метку камеры из временных меток 508 камеры. В некоторых неограничивающих вариантах осуществления настоящей технологии процессор 110 определяет последующую временную метку камеры в качестве последующей временной метки камеры из временных меток 508 камеры, предшествующих временной метке Tl₂ лидара в общей привязке 510 по времени, которая в вариантах осуществления по фиг. 7 представляет собой временную метку t₇ камеры.

ЭТАП 908 - ОПРЕДЕЛЕНИЕ ПОСРЕДСТВОМ ЭЛЕКТРОННОГО УСТРОЙСТВА ВРЕМЕННОГО СМЕЩЕНИЯ МЕЖДУ ПЕРВОЙ ВРЕМЕННОЙ МЕТКОЙ И ВТОРОЙ ВРЕМЕННОЙ МЕТКОЙ

[0154] На этапе 908, после определения временной метки Tl₂ лидара и временной метки t₇ камеры для синхронизации данных 310 изображений и картографических данных 312, процессор 110 дополнительно выполнен с возможностью вычислять временное смещение между ними, которое примерно иллюстрируется посредством временного смещения 702 и описывается выше со ссылкой на фиг. 7.

[0155] В неограничивающих вариантах осуществления настоящей технологии временное смещение 702 указывает разность между моментами времени, в общей привязке 510 по времени, надлежащим образом соответствующей временной метке Tl₂ лидара и временной метке t₇ камеры.

ЭТАП 910 - ИСПОЛЬЗОВАНИЕ ПОСРЕДСТВОМ ЭЛЕКТРОННОГО УСТРОЙСТВА ВРЕМЕННОГО СМЕЩЕНИЯ ДЛЯ ТОГО, ЧТОБЫ ИНИЦИИРОВАТЬ ЗАДЕРЖКУ МЕЖДУ ПОСЛЕДУЮЩИМИ МОМЕНТАЛЬНЫМИ СНИМКАМИ, СФОРМИРОВАННЫМИ ПОСРЕДСТВОМ КАМЕРНОЙ СИСТЕМЫ, ТАК ЧТО (I) ПО МЕНЬШЕЙ МЕРЕ ОДИН ПОСЛЕДУЮЩИЙ МОМЕНТАЛЬНЫЙ СНИМОК ФОРМИРУЕТСЯ ПОСРЕДСТВОМ КАМЕРНОЙ СИСТЕМЫ, И (II) ПОСЛЕДУЮЩИЕ ТОЧКИ ДАННЫХ ОТНОСИТЕЛЬНО ПРЕДВАРИТЕЛЬНО ОПРЕДЕЛЕННОГО УЧАСТКА ФОРМИРУЮТСЯ ПОСРЕДСТВОМ ЛИДАРНОЙ СИСТЕМЫ В ИДЕНТИЧНЫЙ БУДУЩИЙ МОМЕНТ ВРЕМЕНИ В ОБЩЕМ НАЧАЛЕ ОТСЧЕТА ВРЕМЕНИ

[0156] На этапе 910, процессор выполнен с возможностью использовать временное смещение 702 для того, чтобы инициировать задержку между последующими моментальными снимками данных 310 изображений таким образом, что временная метка Tl₂ лидара и временная метка t₇ камеры должны совпадать в будущий момент времени, и в силу этого захват данных 310 изображений и захват картографических данных 312 синхронизируются посредством этого будущего момента времени, за счет этого формируя отрегулированное расписание для работы первого датчика 230.

[0157] В неограничивающих вариантах осуществления настоящей технологии процессор 110 выполнен с возможностью использовать временное смещение 702 посредством увеличения фаз паузы в работе из соответствующих фаз сканирования первого датчика 230, за счет этого модифицируя предварительно определенную частоту сканирования камеры.

[0158] В некоторых неограничивающих вариантах осуществления настоящей технологии процессор 110 выполнен с возможностью увеличивать фазу паузы в работе только одной соответствующей последующей фазы сканирования. В этих вариантах осуществления процессор 110 выполнен с возможностью инициировать задержку только между двумя последующими фазами съемки соответствующих фаз сканирования первого датчика 230, предшествующих временной метке Tl₂ лидара в общей привязке 510 по времени.

[0159] В других неограничивающих вариантах осуществления настоящей технологии процессор 110 выполнен с возможностью разделять временное смещение 702 одинаково между последующими фазами сканирования первого датчика 230, предшествующими временной метке Tl₂ лидара в общей привязке 510 по времени, и дополнительно одинаково увеличивать каждую соответствующую фазу паузы в работе. В этих вариантах осуществления процессор 110 выполнен с возможностью инициировать равную задержку между каждыми двумя последовательными фазами съемки соответствующих фаз сканирования первого датчика 230, предшествующими временной метке Tl₂ лидара в общей привязке 510 по времени.

[0160] В связи с этим, в тех неограничивающих вариантах осуществления настоящей технологии, в которых цикл вращения второго датчика 240 равен предварительно определенному числу-множителю фаз сканирования первого датчика 230, процессор 110 выполнен с возможностью использовать временное смещение 702 посредством его равномерного распределения между предварительно определенным числом-множителем последующих фаз сканирования первого датчика 230, предшествующих временной метке Tl₂ лидара в общей привязке 510 по времени.

[0161] В неограничивающих вариантах осуществления настоящей технологии процессор 110 дополнительно выполнен с возможностью передавать такие модифицированные фазы сканирования, т.е. отрегулированное расписание для работы первого датчика 230, в компонент 306 синхронизации камеры.

[0162] В неограничивающих вариантах осуществления настоящей технологии процессор 110 выполнен с возможностью выполнять вышеописанную процедуру синхронизации, включающую в себя использование временного смещения 702, в ходе работы транспортного средства 220, т.е. в реальном времени, например, в то время, когда транспортное средство 220 перемещается.

[0163] В неограничивающих вариантах осуществления настоящей технологии процессор 110 может быть выполнен с возможностью повторно вычислять временное смещение 702, за счет этого повторяя процедуру синхронизации, описанную выше.

[0164] В некоторых вариантах осуществления настоящей технологии процессор 110 выполнен с возможностью повторять процедуру синхронизации перед каждой последующей временной меткой лидара из множества временных меток 608 лидара, т.е. для каждого последующего цикла вращения второго датчика 240. Таким образом, можно сказать, что процессор 110 может быть выполнен с возможностью синхронизации захвата данных 310 изображений и захвата картографических данных 312 по существу непрерывно в ходе работы транспортного средства 220.

[0165] В других неограничивающих вариантах осуществления настоящей технологии процессор 110 выполнен с возможностью повторять процедуру синхронизации после предварительно определенного числа последующих циклов вращения второго датчика 240.

[0166] Таким образом, в неограничивающих вариантах осуществления настоящей технологии после побуждения камерной системы 302 обеспечить данные 310 изображений в общей привязке 510 по времени в данной фазе сканирования (например, в фазе сканирования, соответствующей временной метке t₁ из временных меток 508 камеры) и вычислять временное смещение 702, процессор 110 выполнен с возможностью использовать его, по меньшей мере для предварительно определенного числа последующих фаз сканирования камерной системы 302 (например, пяти (5), в вариантах осуществления фиг. 7 и 8) для синхронизации только в одном последующем цикле вращения второго датчика 240 (например, в цикле вращения, соответствующем временной метке Tl₂ лидара из временных меток 608 лидара).

[0167] В других неограничивающих вариантах осуществления процессор 110 выполнен с возможностью использовать временное смещение 702 для дополнительного предварительно определенного числа фаз сканирования камерной системы 302 для синхронизации, с использованием такого определенного временного смещения 702, в пределах более одного последующего цикла вращения второго датчика 240.

[0168] Следует четко понимать, что не все технические эффекты, упомянутые в данном документе, должны использоваться в каждом варианте осуществления настоящей технологии.

[0169] Модификации и улучшения вышеописанных реализаций настоящей технологии могут становиться очевидными для специалистов в данной области техники. Вышеприведенное описание должно быть примерным, а не ограничивающим. В силу этого, объем настоящей технологии может быть ограничен исключительно объемом прилагаемой формулы изобретения.

Изобретение относится к компьютеризированным способам и системам для синхронизации датчиков, используемых беспилотным транспортным средством (SDV) для осуществления навигации, в частности к синхронизации лидара (LIDAR) и камеры. Способ для синхронизации данных для работы беспилотного транспортного средства содержит: побуждение, посредством электронного устройства, камерной системы и лидарной системы обеспечивать данные изображений и картографические данные в электронное устройство в общем начале отсчета времени, определение, посредством электронного устройства, первой временной метки для картографических данных, второй временной метки для данных изображений и временного смещения между первой временной меткой и второй временной меткой. Временное смещение используется для инициирования задержки между последующими моментальными снимками, сформированными посредством системы камер. Повышается надежность системы при эксплуатации. 2 н. и 18 з.п. ф-лы, 9 ил.

1. Компьютеризированный способ синхронизации данных для работы беспилотного транспортного средства (SDV), причем данные формируют посредством камерной системы и лидарной системы, причем камерная система и лидарная система соединены с возможностью связи с электронным устройством,

причем данные включают в себя:

(i) данные изображений камерной системы, установленной на SDV для формирования данных изображений о предварительно определенном участке окрестностей SDV,

причем данные камеры имеют форму последовательности моментальных снимков, сформированных посредством камерной системы с частотой сканирования камеры,

причем последовательность моментальных снимков представляет предварительно определенный участок в различные моменты времени,

(ii) картографические данные от лидарной системы, установленной на SDV для формирования картографических данных об окрестностях SDV, включающих в себя предварительно определенный участок,

причем картографические данные имеют форму точек данных, сформированных посредством лидарной системы,

причем точки данных представляют объекты, расположенные в различных участках окрестностей SDV в различные моменты времени,

причем способ осуществляют посредством электронного устройства, при этом способ содержит этапы, на которых:

побуждают посредством электронного устройства камерную систему и лидарную систему обеспечить данные изображений и картографические данные в электронное устройство в общем начале отсчета времени,

причем общее начало отсчета времени представляет собой индикатор абсолютного времени, в течение которого формируют данные;

определяют посредством электронного устройства первую временную метку для картографических данных,

причем первая временная метка соответствует данному моменту времени в общем начале отсчета времени, в течение которого лидарная система формирует точки данных, представляющие объекты, расположенные в предварительно определенном участке;

определяют посредством электронного устройства вторую временную метку для данных изображений,

причем вторые временные метки соответствуют другому данному моменту времени в общем начале отсчета времени, в течение которого камерная система формирует данный моментальный снимок предварительно определенного участка;

определяют посредством электронного устройства временное смещение между первой временной меткой и второй временной меткой,

причем временное смещение указывает разность между данным моментом времени и другим данным моментом времени в общем начале отсчета времени;

используют посредством электронного устройства временное смещение для того, чтобы инициировать задержку между последующими моментальными снимками, сформированными посредством камерной системы,

причем регулируют частоту сканирования камеры путем деления длительности временного смещения между несколькими последующими снимками для добавления к ним соответствующей временной задержки, так что (i) по меньшей мере один последующий моментальный снимок формируют посредством камерной системы, и (ii) последующие точки данных относительно предварительно определенного участка формируют посредством лидарной системы в идентичный будущий момент времени в общем начале отсчета времени.

2. Способ по п. 1, в котором использование временного смещения выполняют в ходе работы SDV.

3. Способ по п. 1, в котором синхронизацию данных для работы SDV выполняют по существу непрерывно в ходе работы SDV.

4. Способ по п. 1, в котором побуждение системы камер обеспечить данные изображений выполняют в ходе первой итерации операции камерной системы, и при этом использование выполняют для последующей операции камерной системы.

5. Способ по п. 4, в котором последующая операция представляет собой предварительно определенное число последующих итераций.

6. Способ по п. 5, при этом способ по п. 1 повторяют после предварительно определенного числа последующих итераций для дополнительного числа последующих итераций.

7. Способ по п. 1, в котором камерная система имеет поле зрения, которое совпадает с предварительно определенным участком окрестностей SDV при установке на SDV.

8. Способ по п. 1, в котором побуждение включает в себя этап, на котором используют PTP-протокол (протокол точного времени) посредством электронного устройства для того, чтобы передавать индикатор абсолютного времени в камерную систему и лидарную систему.

9. Способ по п. 1, в котором индикатор абсолютного времени представляет собой индикатор астрономического времени.

10. Способ по п. 1, в котором лидарная система представляет собой вращательную лидарную систему, таким образом, что лидарная система формирует точки данных, представляющие объекты, расположенные в первом участке окрестностей SDV в первый момент времени, и при этом первый участок ассоциирован с угловой позицией лидарной системы в первый момент времени.

11. Способ по п. 10, в котором лидарная система формирует точки данных, представляющие объекты, расположенные во втором участке окрестностей SDV во второй момент времени, и при этом второй участок ассоциирован с угловой позицией лидарной системы во второй момент времени,

причем угловая позиция лидарной системы отличается в первый момент времени и во второй момент времени, при этом первый участок отличается от второго участка.

12. Способ по п. 10, в котором определение первой временной метки содержит этапы, на которых:

получают посредством электронного устройства индикатор предварительно определенной угловой позиции лидарной системы,

так что, когда лидар находится в предварительно определенной угловой позиции, лидар формирует точки данных относительно объектов, расположенных в предварительно определенном участке,

определяют посредством электронного устройства первую временную метку в качестве момента времени в общем начале отсчета времени, в который лидарная система находится в предварительно определенной угловой позиции.

13. Способ по п. 12, в котором определение первой временной метки выполняют посредством электронного устройства с использованием алгоритма определения временных меток.

14. Способ по п. 1, в котором данный моментальный снимок формируют посредством камерной системы в течение интервала времени для формирования моментального снимка, при этом вторая временная метка представляет собой момент времени в общем начале отсчета времени, который соответствует средней точке в интервале времени для формирования моментального снимка.

15. Способ по п. 1, в котором использование посредством электронного устройства временного смещения для того, чтобы инициировать задержку между последующими моментальными снимками, сформированными посредством камерной системы, содержит этап, на котором: побуждают камерную систему добавлять временную задержку моментального снимка после данного будущего моментального снимка.

16. Способ по п. 15, в котором временная задержка моментального снимка представляет собой множество временных задержек моментального снимка, добавленных после соответствующих будущих моментальных снимков, которые равны по времени длительности временного смещения.

17. Способ по п. 16, в котором лидарная система работает в циклах вращения, указывающих частоту сканирования лидара, и камерная система работает в фазах сканирования, указывающих частоту сканирования камеры, и при этом данный цикл вращения лидарной системы равен предварительно определенному числу-множителю фаз сканирования камерной системы, и при этом множество временных задержек моментального снимка распределены по числу будущих моментальных снимков, соответствующему предварительно определенному числу-множителю фаз сканирования камерной системы.

18. Электронное устройство, содержащее:

процессор;

машиночитаемый носитель долговременной памяти, содержащий данные, причем данные формируются посредством камерной системы и лидарной системы, соединенных с возможностью связи, через интерфейс связи, с процессором,

причем данные включают в себя:

(i) данные изображений камерной системы, установленной на SDV для формирования данных изображений относительно предварительно определенного участка окрестностей SDV,

причем данные камеры имеют форму последовательности моментальных снимков, сформированных посредством камерной системы с частотой сканирования камеры,

причем последовательность моментальных снимков представляет предварительно определенный участок в различные моменты времени,

(ii) картографические данные от лидарной системы, установленной на SDV для формирования картографических данных относительно окрестностей SDV, включающих в себя предварительно определенный участок,

причем картографические данные имеют форму точек данных, сформированных посредством лидарной системы,

причем точки данных представляют объекты, расположенные в различных участках окрестностей SDV в различные моменты времени,

причем электронное устройство устанавливается на беспилотном транспортном средстве (SDV);

причем процессор выполнен с возможностью:

побуждать камерную систему и лидарную систему обеспечить данные изображений и картографические данные в общем начале отсчета времени,

причем общее начало отсчета времени представляет собой индикатор абсолютного времени, в течение которого формируются данные;

определять первую временную метку для картографических данных,

причем первая временная метка соответствует данному моменту времени в общем начале отсчета времени, в течение которого лидарная система формирует точки данных, представляющие объекты, расположенные в предварительно определенном участке;

определять вторую временную метку для данных изображений,

причем вторые временные метки соответствуют другому данному моменту времени в общем начале отсчета времени, в течение которого камерная система формирует данный моментальный снимок предварительно определенного участка;

определять посредством электронного устройства временное смещение между первой временной меткой и второй временной меткой,

причем временное смещение указывает разность между данным моментом времени и другим данным моментом времени в общем начале отсчета времени;

использовать временное смещение для того, чтобы инициировать задержку между последующими моментальными снимками, сформированными посредством камерной системы,

регулировать частоту сканирования камеры путем деления длительности временного смещения между несколькими последующими снимками для добавления к ним соответствующей временной задержки,

так что (i) по меньшей мере один последующий моментальный снимок формируется посредством камерной системы, и (ii) последующие точки данных относительно предварительно определенного участка формируются посредством лидарной системы в идентичный будущий момент времени в общем начале отсчета времени.

19. Электронное устройство по п. 18, в котором процессор дополнительно выполнен с возможностью использовать временное смещение в ходе работы SDV.

20. Электронное устройство по п. 18, в котором процессор дополнительно выполнен с возможностью побуждать камерную систему обеспечивать данные изображений в ходе первой итерации операции камерной системы, дополнительно выполнен с возможностью использовать временное смещение для последующей операции камерной системы.