СПОСОБ И УСТРОЙСТВО ДЛЯ ПРОГНОЗИРОВАНИЯ МЕСТОПОЛОЖЕНИЙ ВИРТУАЛЬНЫХ ДОРОЖНЫХ ЗНАКОВ Российский патент 2024 года по МПК G06V10/98 

Настоящее изобретение относится к реализуемому компьютером способу и устройству для прогнозирования местоположений виртуальных дорожных знаков, при этом виртуальные дорожные знаки могут накладываться на данные об окружающей среде для отображения в, например, навигационной системе транспортного средства.

УРОВЕНЬ ТЕХНИКИ

В навигационных системах дополненной реальности на данные о физической окружающей среде транспортного средства обычно накладывается информация из цифровой базы данных дорог, хранящейся в навигационной системе. Физическая окружающая среда транспортного средства обычно захватывается в виде изображений сцены с помощью камеры переднего вида, которая расположена на транспортном средстве, при этом изображения сцены выводятся как данные окружающей среды в навигационную систему. Затем на дисплее навигационной системы водитель видит изображения сцены, на которые накладывается дополнительная, дополняющая информация/контент, например, виртуальные дорожные знаки, подсказки о маневрах или другие навигационные указания.

Однако, особенно на сложных перекрестках, часто бывает трудно точно разместить дополняющую информацию по отношению к отображаемому изображению сцены. Могут возникнуть несоответствия между расположением дополняющей информации и отображаемым изображением сцены.

КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Настоящее изобретение относится к реализуемому компьютером способу прогнозирования местоположений виртуальных дорожных знаков. Способ включает в себя следующие этапы:

сбор в качестве первого подмножества обучающих данных одного или более аэрофотоснимков и/или спутниковых снимков заданной области;

получение в качестве второго подмножества обучающих данных геоцентрических местоположений маркеров ключевых точек в заданной области;

предоставление первого подмножества обучающих данных и второго подмножества обучающих данных в глубокую нейронную сеть в качестве набора обучающих данных;

обучение глубокой нейронной сети на наборе обучающих данных для прогнозирования местоположений маркеров ключевых точек в области интереса, причем местоположения маркеров ключевых точек соответствуют местоположениям виртуальных дорожных знаков;

определение области интереса в качестве набора входных данных; и

обработка набора входных данных с помощью обученной глубокой нейронной сети для прогнозирования местоположений маркеров ключевых точек в области интереса, причем местоположения маркеров ключевых точек соответствуют местоположениям виртуальных дорожных знаков.

Этапы способа могут выполняться в указанном порядке. Спрогнозированные местоположения маркеров ключевых точек могут применяться для наложения на данные об окружающей среде (т. е. изображения сцены), отображаемые водителю транспортного средства, причем данные об окружающей среде выводятся с помощью камеры переднего вида транспортного средства. Спрогнозированные местоположения маркеров ключевых точек могут быть сохранены в базе данных. Таким образом, может быть получена база данных местоположений маркеров ключевых точек, которая может периодически обновляться путем периодического выполнения способа. База данных может, например, храниться в бортовой навигационной системе транспортного средства, чтобы приложение дополненной навигации могло применять спрогнозированные местоположения маркеров ключевых точек для наложения виртуальных дорожных знаков на отображаемое изображение сцены, чтобы помочь в маневрах вождения. База данных спрогнозированных местоположений маркеров ключевых точек может применяться для наложения маркеров ключевых точек в виде виртуальных дорожных знаков на карту стандартной четкости (SD), тем самым избегая применения более крупных карт высокой четкости (HD), для которых требуется больший объем памяти.

Аэрофотоснимки и спутниковые снимки могут представлять собой фрагменты карты изображений земли, в частности фрагменты карты, содержащие дорожную инфраструктуру, такую как, например, перекрестки. Ключевые точки могут, например, включать в себя точки поворота и/или места/знаки смены полосы движения.

Способ включает в себя фазу обучения и фазу вывода. Фаза обучения включает в себя этапы сбора первого подмножества обучающих данных, получения второго подмножества обучающих данных, предоставления первого подмножества обучающих данных и второго подмножества обучающих данных в виде набора обучающих данных в глубокую нейронную сеть и обучения глубокой нейронной сети на наборе обучающих данных для прогнозирования местоположений маркеров ключевых точек в области интереса. Фаза вывода включает в себя этапы определения области интереса в качестве набора входных данных и обработки набора входных данных с помощью обученной глубокой нейронной сети для прогнозирования местоположений маркеров ключевых точек в определенной области интереса. Фаза вывода может дополнительно включать в себя этап сохранения местоположений маркеров ключевых точек в базе данных.

С помощью второго подмножества обучающих данных, т. е. геоцентрических положений маркеров ключевых точек в заданной области, можно пометить первое подмножество обучающих данных, то есть аэрофотоснимки и/или спутниковые снимки заданной области (также называемые размеченными), причем метки представляют собой геоцентрические положения/местоположения маркеров ключевых точек. Например, если ключевые точки представляют собой точки поворота, метки представляют собой геоцентрические положения, т. е. координаты, в частности градусы долготы и широты, точек поворота в пределах всего набора или подмножества перекрестков и пересечений дорог на аэрофотоснимках и/или спутниковых снимках.

Геоцентрические положения маркеров ключевых точек могут быть получены, например, посредством пользовательского ввода, через одну или более краудсорсинговых платформ и/или путем предоставления установленных геоцентрических положений маркеров ключевых точек в заданной области. Этот список вариантов получения геоцентрических положений маркеров ключевых точек не является исчерпывающим. В случае, если геоцентрические положения маркеров ключевых точек получены посредством пользовательского ввода, людям/пользователям может быть предложено ввести метки, указывающие геоцентрические положения маркеров ключевых точек в заданной области, в специально разработанную компьютерную систему, которая может быть выполнена с возможностью отображения аэрофотоснимков и/или спутниковых снимков заданных областей. В случае, если геоцентрические положения маркеров ключевых точек получают путем предоставления установленных геоцентрических положений маркеров ключевых точек в заданной области, установленные геоцентрические положения маркеров ключевых точек могут быть куплены у поставщика, уже имеющего требуемые геоцентрические положения маркеров ключевых точек.

Глубокая нейронная сеть может представлять собой сверточную нейронную сеть. Во время обучения глубокой нейронной сети веса глубокой нейронной сети устанавливаются таким образом, чтобы глубокая нейронная сеть начала прогнозировать, для области интереса, которая представляет собой заданную область, применяемую во время обучения, местоположения маркеров ключевых точек как можно ближе к местоположениям маркеров ключевых точек, включенных во второе подмножество обучающих данных.

Глубокая нейронная сеть может прогнозировать местоположения маркеров ключевых точек, т. е. местоположения виртуальных дорожных знаков, так что, для перекрестка, маркеры ключевых точек расположены в центре каждой дороги или полосы движения, входящей в перекресток. Перекрестки могут включать в себя пересечения дорог, Т-образные перекрестки и т. п. Глубокая нейронная сеть также может прогнозировать местоположения маркеров ключевых точек таким образом, чтобы маркеры ключевых точек, т. е. виртуальные дорожные знаки, имели превосходную видимость, например, не закрывались объектами окружающей среды, такими как здания и т. п.

Способ по настоящему изобретению, т. е. его фазу обучения, а также его фазу вывода, можно выполнять автономно, т. е. не в режиме реального времени, а в автономном режиме. Могут применяться специально разработанные серверы с соответствующими вычислительными ресурсами. При автономной обработке область интереса, которая служит в качестве входных данных для глубокой нейронной сети на фазе вывода, может быть определена заранее. В случае автономной обработки спрогнозированные местоположения маркеров ключевых точек могут быть сохранены в базе данных для дальнейшего распространения на мобильные устройства, такие как смартфоны и автомобильные навигационные системы, где виртуальные дорожные знаки накладываются в спрогнозированных местоположениях маркеров ключевых точек на захваченные изображения сцены, например, с помощью камеры переднего вида транспортного средства. При необходимости может быть выполнено преобразование координат для спрогнозированных местоположений маркеров ключевых точек, так что система координат, применяемая для местоположений маркеров ключевых точек, преобразуется в систему координат, применяемую для пикселей изображений сцены.

В автономном режиме может быть предусмотрен механизм обратной связи/проверки, чтобы убедиться, что обученная глубокая нейронная сеть надлежащим образом прогнозирует местоположения маркеров ключевых точек. Может быть предусмотрена отдельная вторая нейронная сеть, в которую аэрофотоснимки и/или спутниковые снимки заданной области, которые применялись в качестве первого подмножества обучающих данных, предоставляются в качестве входных данных для проверки. Вторая нейронная сеть анализирует входные данные для проверки и обнаруживает перекрестки в заданной области/первом подмножестве обучающих данных. Затем путем сравнения проверяется, совпадают ли местоположения маркеров ключевых точек, спрогнозированные с помощью обученной глубокой нейронной сети, с обнаруженными перекрестками или нет. Может быть предусмотрен диапазон допуска, учитывающий некоторое расстояние между спрогнозированными местоположениями маркеров ключевых точек и обнаруженными перекрестками. Если спрогнозированные местоположения маркеров ключевых точек не совпадают с обнаруженными перекрестками, то заданная соответствующая область помечается для ручной маркировки (например, путем помещения ее в соответствующую очередь), т. е. для ручного назначения одного или более местоположений маркеров ключевых точек соответствующим перекресткам. После ручной маркировки заданную область можно применять при следующем применении обученной глубокой нейронной сети к заданной области.

В качестве альтернативы фаза вывода способа может выполняться онлайн (в режиме онлайн), например, на мобильном устройстве, таком как смартфон или навигационная система, применяемая в транспортном средстве, по мере того, как мобильное устройство перемещается по маршруту вместе с транспортным средством. В этом случае области интереса могут быть определены в режиме реального времени, например, водителем. То есть набор входных данных для обученной глубокой нейронной сети предоставляется в обученную глубокую нейронную сеть и обрабатывается ней в режиме реального времени. В случае обработки в режиме онлайн спрогнозированные маркеры ключевых точек могут быть немедленно применены, так что виртуальные дорожные знаки накладываются в режиме реального времени на изображения сцены, захваченные с помощью камеры переднего вида транспортного средства, в спрогнозированных местоположениях маркеров ключевых точек. Спрогнозированные маркеры ключевых точек выбираются для наложения на основе текущего положения транспортного средства и информации о маршруте, так что выбираются маркеры ключевых точек, относящиеся к текущему маршруту. Опять-таки, при необходимости может быть выполнено преобразование координат для спрогнозированных местоположений маркеров ключевых точек, так что система координат, применяемая для местоположений маркеров ключевых точек, преобразуется в систему координат, применяемую для пикселей изображений сцены.

В режиме онлайн, если ключевая точка, такая как точка поворота или возможность смены полосы движения, отображается навигационной системой транспортного средства, но при этом не наложен виртуальный дорожный знак или отображаемый виртуальный дорожный знак расположен недопустимо далеко от ключевой точки, это может быть обнаружено посредством механизма обратной связи/проверки способа (или посредством пользовательского ввода). В этом случае местоположение, т. е. координаты, ключевой точки и местоположение, т. е. координаты, неправильно расположенного виртуального дорожного знака/спрогнозированного маркера ключевой точки (если таковые имеются) могут быть загружены вместе с диапазоном допуска в сервер или т. п. для дополнительного анализа. Если в ходе анализа в базе данных спрогнозированных местоположений маркеров ключевых точек будет обнаружена ошибка, отсутствующий маркер ключевой точки будет размещен вручную, т. е. его местоположение будет выбрано вручную, и применен при следующем применении обученной глубокой нейронной сети для той же области интереса.

Настоящее изобретение дополнительно относится к устройству для прогнозирования местоположений маркеров ключевых точек, которые должны быть наложены на данные об окружающей среде транспортного средства, причем устройство содержит средства для выполнения способа согласно настоящему изобретению. Например, устройство содержит процессор и запоминающее устройство, которые можно применять для фазы обучения и фазы вывода глубокой нейронной сети. Обученная глубокая нейронная сеть и/или спрогнозированные местоположения маркеров ключевых точек, т. е. спрогнозированные местоположения дорожных знаков, которые генерируются с помощью глубокой нейронной сети, могут быть сохранены в запоминающем устройстве.

В способе согласно настоящему изобретению используется тот факт, что аэрофотоснимки и спутниковые снимки земли включают в себя дорожную инфраструктуру, которая содержит такую информацию, как, например, перекрестки, которую можно применять для определения местоположений маркеров ключевых точек. С помощью данного способа маркеры ключевых точек/виртуальные дорожные знаки, которые могут сопровождаться дополнительным, дополняющим контентом (например, название объездной улицы на перекрестке), могут быть надлежащим образом размещены по отношению к их соответствующим ключевым точкам, например, перекресткам, на отображаемом изображении сцены, чтобы водитель транспортного средства, навигационные приложения и/или автономные системы планирования пути могли эффективно выполнять маневры вождения.

Настоящее изобретение может быть применено к так называемым системам дополненной навигации, применяемым в транспортных средствах, но не ограничивается этим конкретным применением. Настоящее изобретение может быть применено, например, к любой компьютерной системе, в которой применяется дисплей, такой как экран компьютера, или другие средства визуализации, при этом навигационные указания, такие как виртуальный дорожный знак, должны накладываться на изображения реального мира, полученные, например, с помощью камеры переднего вида.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Варианты осуществления описаны в качестве примера со ссылкой на прилагаемые графические материалы, выполненные не в масштабе, на которых одинаковые ссылочные позиции относятся к аналогичным элементам.

На фиг. 1 показан пример системы дополненной навигации, размещенной в передней части транспортного средства.

На фиг. 2 показано изображение сцены, отображаемое в системе дополненной навигации, дополненной маркером точки поворота и дополнительным навигационным содержимым/информацией.

На фиг. 3 показан пример набора обучающих данных (обучающих входных данных) для глубокой нейронной сети по настоящему изобретению (слева) и соответствующие местоположения маркеров ключевых точек, спрогнозированные с помощью обученной глубокой нейронной сети по настоящему изобретению (справа).

На фиг. 4 показан пример спрогнозированных местоположений маркеров ключевых точек, указанных в данных об окружающей среде.

На фиг. 5 показан еще один пример спрогнозированных местоположений маркеров ключевых точек, указанных в данных об окружающей среде.

На фиг. 6 показан пример глубокой нейронной сети, применяемой в настоящем изобретении.

На фиг.7 показана блок-схема варианта осуществления способа прогнозирования местоположений виртуальных дорожных знаков.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

На фиг. 1 показан пример системы 100 дополненной навигации. На дисплее системы 100 дополненной навигации отображается изображение 102 сцены, которое было захвачено, например, с помощью фронтальной камеры (не показана), которая установлена на транспортном средстве. На изображение 102 сцены накладывается дополнительная информация/контент 104, 106, например, максимальная скорость, текущая температура, текущее время и расстояние до пункта назначения, местоположение пункта назначения (номер улицы «7»), название улицы, по которой в настоящее время осуществляется поездка, и следующая объездная улица в сочетании с маркером 106 точки поворота. Маркер 106 точки поворота представляет собой виртуальный дорожный знак. На фиг. 2 показан дополнительный пример (часть) дисплея системы дополненной навигации, в котором отображаемое изображение 202 сцены дополнено маркером 206 точки поворота в виде виртуального дорожного знака, указывающего левый поворот.

Маркеры 106, 206 точек поворота, показанные на фиг.1 и 2, представляют собой маркеры ключевых точек, обозначающие ключевые точки на маршруте движения транспортного средства. В ключевых точках водитель может пожелать выполнить маневр вождения, например, повернуть направо или налево, или сменить полосу движения. Маркер ключевой точки, т. е. виртуальный дорожный знак или виртуальный знак смены полосы движения, наложенный на изображение сцены, должен помочь водителю в принятии решения о маневрировании. Маркеры ключевых точек привязаны к конкретным местоположениям, т. е. ключевым точкам, в физической окружающей среде транспортного средства и, следовательно, имеют известные геоцентрические координаты, в частности, известные градусы широты и долготы.

На фиг. 3 слева показан иллюстративный набор 300 обучающих данных, применяемый в качестве входных данных для глубокой нейронной сети, применяемой в настоящем изобретении. Набор 300 обучающих данных включает в себя аэрофотоснимок или спутниковый снимок 302 заданной области в качестве первого подмножества обучающих данных и геоцентрические положения 304 маркеров ключевых точек в виде маркеров точек поворота в заданной области. В правой части фиг. 3 показаны иллюстративные выходные данные, сгенерированные с помощью обученной глубокой нейронной сети на фазе вывода. Область 306 интереса представляет собой набор входных данных для обученной глубокой нейронной сети на фазе вывода и может предоставляться в обученную глубокую нейронную сеть, например, в виде аэрофотоснимка или спутникового снимка. Для области 306 интереса обученная глубокая нейронная сеть делает вывод и, таким образом, прогнозирует местоположения 308 маркеров ключевых точек, соответствующие местоположениям виртуальных дорожных знаков. Местоположения 308 маркеров ключевых точек в этом примере соответствуют местоположениям точек поворота, размещенным в центре полосы движения или дороги.

На фиг. 4 показан пример местоположений 402 маркеров ключевых точек, которые были спрогнозированы глубокой нейронной сетью по настоящему изобретению в области 400 интереса, которая была предоставлена в обученную глубокую нейронную сеть в качестве входных данных во время вывода. Как и на фиг. 3, справа, спрогнозированные местоположения 402 маркеров ключевых точек представляют собой местоположения маркеров точек поворота на перекрестках, таких как пересечения дорог или Т-образные перекрестки, и могут быть расположены в центре полосы движения или дороги, входящей в перекресток.

Местоположения маркеров ключевых точек также могут быть спрогнозированы с помощью обученной глубокой нейронной сети, так что маркеры ключевых точек расположены на криволинейном пути, соединяющем два смежных местоположения маркеров потенциальных ключевых точек в центрах дорог/полос движения. В этом случае местоположения маркеров ключевых точек (т. е. местоположения виртуальных дорожных знаков) могут быть выбраны на криволинейном пути так, чтобы маркеры ключевых точек/виртуальные дорожные знаки были более визуально заметными/лучше видимыми/лучше различимыми для водителя, например, не были закрыты зданием, а размещенными перед зданием. На фиг. 5 показан пример, где два смежных местоположения 502 и 504 маркеров потенциальных ключевых точек соединены криволинейным путем 506, на котором маркер М ключевой точки, т. е. виртуальный дорожный знак, затем размещается таким образом, чтобы он мог быть лучше или легче воспринимается водителем, чем если бы маркер ключевой точки был размещен в местоположениях 502 или 504.

На фиг. 6 показан пример глубокой нейронной сети по настоящему изобретению. Глубокая нейронная сеть может представлять собой сверточную нейронную сеть 602, которая может быть обучена и, после обучения, сохранена в устройстве 600 по настоящему изобретению. Сверточная нейронная сеть 602 может содержать множество блоков 604 свертки, множество блоков 606 развертки и выходной слой 608. Каждый блок может содержать несколько слоев. Во время обучения набор обучающих данных предоставляется в первый из блоков 604 свертки. Во время вывода набор входных данных, т. е. определенная область интереса, предоставляется в первый из блоков 604 свертки. Блоки 604 свертки и блоки 606 развертки могут быть двумерными. Блоки 606 развертки, за которыми следует выходной слой 608, могут преобразовывать окончательные выходные данные блоков 604 свертки в набор выходных данных (выходные прогнозы), который затем выводится выходным слоем 608. Набор выходных данных включает в себя спрогнозированные местоположения маркеров ключевых точек, т. е. спрогнозированные местоположения виртуальных дорожных знаков. Набор выходных данных сверточной нейронной сети 602 может быть задан пиксельной картой возможных перекрестков в заданной области (фаза обучения) или в определенной области интереса (фаза вывода) со значением вероятности (оценкой вероятности), связанным с каждым пикселем. Те пиксели, для которых оценка вероятности высока, т. е. превышает заданный порог (например, 90% (0,9)), затем идентифицируются как спрогнозированные местоположения маркеров ключевых точек.

На фиг. 7 показана блок-схема 700 варианта осуществления способа по настоящему изобретению. На этапе 701 аэрофотоснимки и/или спутниковые снимки заданной области собирают в качестве первого подмножества обучающих данных для глубокой нейронной сети. На последующем этапе 702 геоцентрические положения маркеров ключевых точек, например, маркеров точек поворота и/или маркеров смены полосы движения, в заданной области получают как второе подмножество обучающих данных. Порядок этапов 701 и 702 может быть изменен. Этапы 701 и 702 также могут выполняться параллельно. На последующем этапе 703 первое подмножество обучающих данных и второе подмножество обучающих данных предоставляют в глубокую нейронную сеть в качестве набора обучающих данных. Затем на последующем этапе 704 глубокую нейронную сеть обучают на наборе обучающих данных, так что она прогнозирует местоположения маркеров ключевых точек в заданной области и, следовательно, в области интереса. Местоположения маркеров ключевых точек соответствуют, в частности, идентичны, местоположениям виртуальных дорожных знаков, которые могут быть наложены на изображения сцены, захваченные с помощью фронтальной камеры транспортного средства. Этапы с 701 по 704 составляют фазу обучения глубокой нейронной сети. После этапа 704 начинается фаза вывода согласно способу. На этапе 705, который следует за этапом 704, область интереса определяется, например, водителем, в качестве набора входных данных для обученной глубокой нейронной сети. На последующем этапе 705 набор входных данных обрабатывается обученной нейронной сетью для прогнозирования местоположений маркеров ключевых точек, в частности местоположений маркеров точек поворота и местоположений маркеров смены полосы движения, в заданной области интереса. Опять-таки, местоположения маркеров ключевых точек соответствуют, в частности, идентичны, местоположениям виртуальных дорожных знаков. На последующем этапе 706 спрогнозированные местоположения маркеров ключевых точек, вычисленные глубокой нейронной сетью на этапе 705, могут быть сохранены в базе данных.

Изобретение относится к области прогнозирования местоположений виртуальных дорожных знаков. Техническим результатом заявленного решения является обеспечение прогнозирования местоположений виртуальных дорожных знаков для точного размещения на изображении сцены. Технический результат достигается тем, что в заявленном решении обучают глубокую нейронную сеть с использованием аэрофотоснимков, спутниковых снимков заданной области, а также геоцентрических местоположений маркеров ключевых точек в заданной области для прогнозирования местоположений маркеров ключевых точек в области интереса; причем местоположения маркеров ключевых точек соответствуют местоположениям виртуальных дорожных знаков; определяют области интереса в качестве набора входных данных; обрабатывают набор входных данных с помощью обученной глубокой нейронной сети для прогнозирования местоположений маркеров ключевых точек в области интереса, причем местоположения маркеров ключевых точек соответствуют местоположениям виртуальных дорожных знаков; осуществляют наложение виртуальных дорожных знаков в спрогнозированных местоположениях маркеров ключевых точек на данные об окружающей среде, отображаемые водителю транспортного средства. 2 н. и 9 з.п. ф-лы, 7 ил.

1. Реализуемый компьютером способ прогнозирования местоположений виртуальных дорожных знаков, включающий в себя следующие этапы:

сбора в качестве первого подмножества обучающих данных одного или более аэрофотоснимков и/или спутниковых снимков заданной области;

получения в качестве второго подмножества обучающих данных геоцентрических местоположений маркеров ключевых точек в заданной области;

предоставления первого подмножества обучающих данных и второго подмножества обучающих данных в глубокую нейронную сеть в качестве набора обучающих данных;

обучения глубокой нейронной сети на наборе обучающих данных для прогнозирования местоположений маркеров ключевых точек в области интереса, причем местоположения маркеров ключевых точек соответствуют местоположениям виртуальных дорожных знаков;

определения области интереса в качестве набора входных данных;

обработки набора входных данных с помощью обученной глубокой нейронной сети для прогнозирования местоположений маркеров ключевых точек в области интереса, причем местоположения маркеров ключевых точек соответствуют местоположениям виртуальных дорожных знаков; и

наложения виртуальных дорожных знаков в спрогнозированных местоположениях маркеров ключевых точек на данные об окружающей среде, отображаемые водителю транспортного средства.

2. Способ по п.1, в котором спрогнозированные местоположения маркеров ключевых точек хранятся в базе данных.

3. Способ по п.1, в котором ключевые точки включают в себя по меньшей мере одну из точек поворота и смены полосы движения.

4. Способ по п.1, в котором глубокая нейронная сеть представляет собой сверточную нейронную сеть.

5. Способ по п.1, в котором геоцентрические положения ключевых точек получают посредством по меньшей мере одного из пользовательского ввода, одной или более краудсорсинговых платформ и предоставления установленных геоцентрических положений ключевых точек в заданной области.

6. Способ по п.1, в котором глубокая нейронная сеть прогнозирует местоположения маркеров ключевых точек, так что для перекрестка маркеры ключевых точек расположены в центре каждой дороги или полосы движения, входящей в перекресток.

7. Способ по п.1, в котором глубокая нейронная сеть прогнозирует местоположение маркера ключевой точки, так чтобы соответствующий маркер ключевой точки можно было легко воспринимать при наложении на данные об окружающей среде.

8. Способ по п.1, в котором набор входных данных предоставляется в глубокую нейронную сеть и обрабатывается в ней в автономном режиме.

9. Способ по п.1, в котором первое подмножество обучающих данных предоставляется во вторую нейронную сеть в качестве входных данных, вторая нейронная сеть обнаруживает перекрестки в первом подмножестве обучающих данных и проверяется, совпадают ли местоположения маркеров ключевых точек, спрогнозированные с помощью обученной глубокой нейронной сети, с обнаруженными перекрестками.

10. Способ по п.1, в котором набор входных данных предоставляется в глубокую нейронную сеть и обрабатывается в ней в режиме реального времени с помощью мобильного устройства, предусмотренного в транспортном средстве во время поездки.

11. Устройство для прогнозирования местоположений виртуальных дорожных знаков, содержащее средства для выполнения способа по одному или более предшествующим пунктам.