СПОСОБ И УСТРОЙСТВО ФОРМИРОВАНИЯ ВЫХОДНЫХ ДАННЫХ ВИРТУАЛЬНОГО ДАТЧИКА Российский патент 2024 года по МПК G01S17/89 G06N3/08 

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится, в общем, к робототехнике, компьютерному зрению, сканированию трехмерных (3D) объектов, навигации, и, в частности, к способу и устройству формирования выходных данных виртуального датчика.

Описание предшествующего уровня техники

[0002] Для различных применений необходимо собрать данные от разных датчиков в разных пространствах, таких как помещения, открытые пространства и т.д., которые включают в себя разные наборы объектов. Однако подготовка множества таких реальных пространств является трудной, очень продолжительной по времени и дорогостоящей задачей. Гораздо проще и быстрее сгенерировать любое количество виртуальных пространств с требуемыми наборами объектов, сгенерировать виртуальные датчики и в виртуальных пространствах получить данные виртуальных датчиков, которые можно использовать для различных применений, таких как, например, устройства виртуальной/дополненной реальности, навигационные устройства, устройства одновременного определения местоположения и построения карты (SLAM), устройства распознавания объектов и т.д., в том числе и для использования в качестве обучающих данных для различных устройств на основе моделей искусственного интеллекта (ИИ).

[0003] В настоящее время широко используется подход, в котором генерируются виртуальные пространства и виртуальные датчики для получения требуемых данных. Однако разработанные решения не учитывают все параметры, по меньшей мере такие как погрешности измерений/выходных данных реальных датчиков, материалы объектов, углы падения сигналов датчика, изменение сигналов датчика при взаимодействии их с зеркалом (распознавание зеркала или отражающих объектов), прохождение сигналов датчика через прозрачные объекты (распознавание прозрачных объектов) и распространение сигнала, на пути которого расположено более одного объекта.

[0004] В уровне техники известны технические решения для формирования выходных данных виртуального датчика с использованием виртуального пространства.

[0005] Заявка на патент США US2021072397A1, опубликованная 11.03.2021 и озаглавленная «GENERATION OF SYNTHETIC LIDAR SIGNALS», предлагает генератор для генерации трехмерных облаков точек синтезированных сигналов лидара из набора реальных физических сигналов. Модель включает в себя генератор случайных чисел и систему машинного обучения (нейронную сеть). Однако в этом техническом решении не учитываются материалы объектов, углы падения сигнала датчика, и это техническое решение не работает в реальном времени.

[0006] Заявка на патент США US2020301799A1, опубликованная 24.09.2020 и озаглавленная «SYSTEMS AND METHODS FOR GENERATING SYNTHETIC SENSOR DATA VIA MACHINE LEARNING», предлагает системы и способы, которые объединяют системы, основанные на физике, с машинным обучением для генерации синтезированных сигналов лидара, которые имитируют реальную систему. Однако в этом техническом решении не учитываются ошибки при оценке глубины, стандартный шум, материалы объектов.

[0007] Заявка на патент США US2018203445А1, опубликованная 19.07.2018 и озаглавленная «GENERATING SIMULATED SENSOR DATA FOR TRAINING AND VALIDATION OF DETECTION MODELS», предлагает общий конвейер генерации данных для обучения и проверки правильности данных. Конвейер включает в себя моделирование восприятия 3D-модели несколькими датчиками, в том числе лидаром. Имитация выходных сигналов датчика может включать искусственный шум, добавленный для реалистичности. Однако в этом техническом решении не раскрыто обучение виртуального датчика на сигналах, принятых реальным датчиком от разных объектов.

[0008] Заявка на патент США US2019303759А1, опубликованная 03.10.2019 и озаглавленная «TRAINING, TESTING, AND VERIFYING AUTONOMOUS MACHINES USING SIMULATED ENVIRONMENTS», предлагает техническое решение, в котором используется симулятор и виртуальные датчики для обработки выходных данных глубокой нейронной сети, обученных на реальных данных. Однако в этом техническом решении не раскрыто обучение виртуального датчика на сигналах, принятых реальным датчиком от разных объектов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0009] Задачей настоящего изобретения является обеспечение способа и устройства формирования выходных данных виртуального датчика, которые соответствуют выходным данным конкретного реального датчика. При этом способ и устройство формирования выходных данных виртуального датчика способны увеличить точность соответствия сформированных выходных данных виртуального датчика выходным данным конкретного реального датчика.

[0010] Один аспект настоящего изобретения обеспечивает способ формирования выходных данных виртуального датчика, содержащий этапы, на которых: моделируют трехмерное (3D) виртуальное пространство, соответствующее реальному пространству, при этом смоделированное 3D виртуальное пространство содержит смоделированные объекты, имеющие параметры объектов, и в смоделированном 3D виртуальном пространстве заданы окружающие условия и взаимное расположение смоделированных объектов, причем смоделированные объекты представляют собой модели соответствующих реальных объектов, а окружающие условия и взаимное расположение упомянутых объектов, заданные в смоделированном 3D виртуальном пространстве, представляют собой окружающие условия и взаимное расположение упомянутых объектов в реальном пространстве, соответственно; моделируют виртуальный датчик, соответствующий реальному датчику, перемещение смоделированного виртуального датчика в смоделированном 3D виртуальном пространстве и выходные данные смоделированного виртуального датчика, полученные в разных местоположениях смоделированного виртуального датчика в смоделированном 3D виртуальном пространстве, на основе распространения сигналов в реальном пространстве и с учетом параметров объектов, взаимного расположения и перемещения объекта и датчика, окружающих условий, и распространения сигнала, на пути которого расположено более одного объекта; и формируют выходные данные виртуального датчика посредством обработки обученной моделью искусственного интеллекта (ИИ) виртуального датчика смоделированных выходных данных смоделированного виртуального датчика, погрешностей выходных данных реального датчика и для каждых смоделированных выходных данных смоделированного виртуального датчика указаний объекта, для которого получены смоделированные выходные данные смоделированного виртуального датчика, параметров объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика, полученных из смоделированного 3D виртуального пространства, при этом модель ИИ виртуального датчика обучена с использованием обучающих данных, сформированных из выходных данных реального датчика, полученных для разных реальных объектов, и указания для каждых выходных данных реального датчика параметров объекта, окружающих условий, взаимного расположения и перемещения объекта и датчика, и погрешности выходных данных реального датчика.

[0011] В дополнительном аспекте виртуальный датчик соответствует соответствующему реальному датчику и является одним из виртуального лидара, виртуальной RGB-камеры, виртуальной RGBD-камеры, виртуальной стереокамеры, виртуальной ToF-камеры, виртуальной инфракрасной камеры, виртуального акселерометра, виртуального гироскопа, виртуального магнетометра, виртуального инерциального измерительного блока, виртуального индуктивного датчика, виртуального датчика спутниковой навигации, виртуального ультразвукового датчика, виртуального датчика температуры, виртуального датчика давления, виртуального датчика влажности, виртуального датчика газа, виртуального датчика освещённости и их сочетания, при этом обученная модель ИИ виртуального датчика соответствует модели конкретного реального датчика.

[0012] В другом дополнительном аспекте параметры объекта соответствуют параметрам реального объекта и включают в себя материал объекта и по меньшей мере одно из размеров объекта, формы объекта, температуры объекта, отражательной способности, поглощательной способности, коэффициента рассеяния сигнала.

[0013] В еще одном дополнительном аспекте взаимное расположение и перемещение объекта и датчика в смоделированном 3D виртуальном пространстве и реальном пространстве включает в себя расстояние от датчика до объекта, угол ориентации объекта относительно датчика, скорость вращения объекта относительно датчика, относительную скорость между датчиком и объектом, относительное ускорение между датчиком и объектом.

[0014] В еще одном дополнительном аспекте окружающие условия соответствуют окружающим условиям в реальном пространстве и включают в себя по меньшей мере одно из освещенности, температуры окружающей среды, влажности, атмосферного давления, электромагнитного излучения, газового состава окружающей среды.

[0015] В еще одном дополнительном аспекте при формировании обучающих данных, каждый реальный объект из множества реальных объектов размещается во множестве взаимных расположений и перемещений объекта и датчика, разные реальные объекты имеют разные параметры объекта, и выходные данные реального датчика получают при разных окружающих условиях, и при этом для каждых выходных данных реального датчика вычисляют погрешность выходных данных реального датчика, включающую в себя внутреннюю погрешность реального датчика и погрешность, зависящую от параметров реального объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика в реальном пространстве, и включают погрешности выходных данных реального датчика в модель ИИ виртуального датчика, причем каждая погрешность выходных данных реального датчика ассоциирована с выходными данными реального датчика, для которых погрешность выходных данных реального датчика вычислена.

[0016] Другой аспект настоящего изобретения обеспечивает устройство формирования выходных данных виртуального датчика, содержащее: по меньшей мере один процессор; и память, в которой хранятся обученная модель искусственного интеллекта (ИИ) виртуального датчика и инструкции, которые при выполнении по меньшей мере одним процессором заставляют по меньшей мере один процессор выполнять способ формирования выходных данных виртуального датчика по любому из вариантов осуществления упомянутого способа.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0017] Фиг. 1 является блок-схемой последовательности операций способа формирования выходных данных виртуального датчика.

[0018] Фиг. 2 является блок-схемой устройства формирования выходных данных виртуального датчика.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

[0019] Нижеследующее описание со ссылкой на прилагаемые чертежи приведено, чтобы облегчить полное понимание различных вариантов осуществления настоящего изобретения, заданного формулой изобретения, и его эквивалентов. Описание включает в себя различные конкретные подробности, чтобы облегчить такое понимание, но данные подробности следует считать только примерными. Соответственно, специалисты в данной области техники обнаружат, что можно разработать различные изменения и модификации различных вариантов осуществления, описанных в настоящей заявке, без выхода за пределы объема настоящего изобретения. Кроме того, описания общеизвестных функций и конструкций могут быть исключены для ясности и краткости.

[0020] Термины и формулировки, используемые в последующем описании и формуле изобретения не ограничены библиографическим значениями, а просто использованы создателем настоящего изобретения, чтобы обеспечить четкое и последовательное понимание настоящего изобретения. Соответственно, специалистам в данной области техники должно быть ясно, что последующее описание различных вариантов осуществления настоящего изобретения предлагается только для иллюстрации.

[0021] Следует понимать, что формы единственного числа включают в себя множественность, если контекст явно не указывает иное.

[0022] Следует понимать, что, хотя термины «первый», «второй» и т.д. могут использоваться здесь в отношении элементов настоящего раскрытия, такие элементы не следует толковать как ограниченные этими терминами. Термины используются только для того, чтобы отличить один элемент от других элементов.

[0023] Дополнительно следует понимать, что термины «содержит», «содержащий», «включает в себя» и/или «включающий в себя», при использовании в настоящей заявке, означают присутствие изложенных признаков, значений, операций, элементов и/или компонентов, но не исключают присутствия или добавления одного или более других признаков, значений, операций, элементов, компонентов и/или их групп.

[0024] В различных вариантах осуществления настоящего раскрытия «модуль» или «блок» может выполнять по меньшей мере одну функцию или операцию и может быть реализован с помощью аппаратного обеспечения, программного обеспечения или их комбинации. «Множество модулей» или «множество блоков» может быть реализовано по меньшей мере с одним процессором посредством его интеграции по меньшей мере с одним модулем, отличным от «модуля» или «блока», который необходимо реализовать с помощью специального аппаратного обеспечения.

[0025] По меньшей мере один из множества модулей может быть реализован посредством модели искусственного интеллекта (ИИ). Функция, связанная с ИИ, может выполняться посредством энергонезависимой памяти, энергозависимой памяти и процессора.

[0026] Процессор может включать в себя один или множество процессоров. В то же время один или множество процессоров могут быть процессором общего назначения, таким как центральный процессор (ЦП), процессор приложений (AP) или подобный, процессором для графики, таким как графический процессор (GPU), процессор обработки изображений (VPU) и/или специализированным процессором искусственного интеллекта (ИИ), таким как нейронный процессор (NPU). Настоящее изобретение не ограничено вышеприведенными процессорами и может быть использован любой процессор, обеспечивающий выполнение требуемой задачи.

[0027] Один или более процессоров управляют обработкой входных данных в соответствии с заданным правилом работы или моделью ИИ, хранящимися в энергонезависимой памяти или энергозависимой памяти. Заданное правило работы или модель ИИ обеспечивается посредством обучения.

[0028] В данном случае обеспечение посредством обучения означает, что, применяя алгоритм обучения ко множеству обучающих данных, создается заданное правило работы или модель ИИ требуемой характеристики. Обучение может быть выполнено в самом устройстве, которое содержит ИИ в соответствии с вариантом осуществления, и/или может быть реализовано через отдельный сервер/систему.

[0029] Модель ИИ может состоять из множества слоев нейронной сети. Каждый слой имеет множество весовых значений и выполняет операцию слоя с использованием вычисления предыдущего слоя и множества весов. Примеры нейронных сетей включают в себя, но не ограничиваются ими, сверточную нейронную сеть (CNN), глубокую нейронную сеть (DNN), рекуррентную нейронную сеть (RNN), ограниченную машину Больцмана (RBM), глубокую сеть доверия (DBN), двунаправленную рекуррентную глубокую нейронную сеть (BRDNN), генеративные состязательные сети (GAN) и глубокие Q-сети.

[0030] Алгоритм обучения является способом обучения заранее заданного целевого устройства (например, автоматического устройства) с использованием множества обучающих данных, чтобы заставлять, позволять или управлять целевым устройством для выполнения определения или предсказания. Примеры алгоритмов обучения включают, но не ограничиваются этим, обучение с учителем, обучение без учителя, обучение частично с учителем или обучение с подкреплением.

[0031] В дальнейшем, различные варианты осуществления настоящего изобретения описаны более подробно со ссылкой на прилагаемые чертежи.

[0032] На фиг. 1 показана блок-схема последовательности операций, иллюстрирующая способ 100 формирования выходных данных виртуального датчика. Способ 100 формирования выходных данных виртуального датчика выполняется устройством 200 формирования выходных данных виртуального датчика.

[0033] Способ 100 формирования выходных данных виртуального датчика содержит этапы S101, S103 и S105.

[0034] На этапе S101 моделируют трехмерное (3D) виртуальное пространство. Смоделированное 3D виртуальное пространство соответствует реальному пространству и содержит смоделированные объекты, представляющие собой модели соответствующих реальных объектов. Смоделированные объекты имеют параметры реальных объектов. В смоделированном 3D виртуальном пространстве заданы окружающие условия и взаимное расположение смоделированных объектов. Окружающие условия и взаимное расположение смоделированных объектов, заданные в смоделированном 3D виртуальном пространстве, представляют собой окружающие условия и взаимное расположение упомянутых объектов в реальном пространстве, соответственно.

[0035] Смоделированное 3D виртуальное пространство зависит от применения. Для применения в транспортных средствах моделируют виртуальное пространство, представляющее собой открытое пространство, содержащее проезжие части, разметку проезжих частей, светофоры, дорожные знаки, строения, тротуары, транспортные средства, пешеходов и т.д. Для применения в роботах-пылесосах моделируют виртуальное пространство, представляющее собой помещение с соответственными объектами, такими как, например, стены, пол, двери, шкафы, стулья, кровать и т.д. Следует отметить, что настоящее изобретение не ограничено только вышеприведенными примерами виртуальных пространств и объектов, можно смоделировать любые виртуальные пространства для различных применений.

[0036] На этапе S103 моделируют виртуальный датчик, соответствующий реальному датчику, перемещение смоделированного виртуального датчика в смоделированном 3D виртуальном пространстве и выходные данные смоделированного виртуального датчика, полученные в разных местоположениях смоделированного виртуального датчика в смоделированном 3D виртуальном пространстве, на основе распространения сигналов в реальном пространстве и с учетом параметров объектов, взаимного расположения и перемещения объекта и датчика, окружающих условий, и распространения сигнала, на пути которого расположено более одного объекта.

[0037] В процессе моделирования выходных данных смоделированного виртуального датчика в смоделированном 3D виртуальном пространстве моделируется перемещение виртуального датчика и объектов смоделированного 3D виртуального пространства относительно друг друга. За счет перемещения виртуального датчика и объектов смоделированного 3D виртуального пространства относительно друг друга изменяется взаимное расположение и перемещение объекта и датчика.

[0038] Параметры объекта, взаимное расположение и перемещение объекта и датчика, окружающие условия будут описаны ниже.

[0039] Моделирование 3D виртуального пространства, виртуального датчика, перемещения смоделированного виртуального датчика в смоделированном 3D виртуальном пространстве и выходных данных смоделированного виртуального датчика, выполняемое на этапах S101 и S103, может быть выполнено любым симулятором, способным моделировать виртуальное пространство. Конкретный симулятор может поддерживать работу в реальном времени или нет. Предпочтительно использовать симуляторы, работающие в реальном времени, например, Gazebo, симуляторы на основе Unreal Engine или Unity. Следует отметить, что настоящее изобретение не ограничено только вышеприведенными примерами симуляторов, работающих в реальном времени, и для работы в реальном времени можно использовать любые симуляторы, работающие в реальном времени.

[0040] Каждые смоделированные выходные данные смоделированного виртуального датчика снабжаются указанием объекта, для которого получены смоделированные выходные данные смоделированного виртуального датчика, параметров объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика, полученных из смоделированного 3D виртуального пространства.

[0041] На этапе S105 формируют выходные данные виртуального датчика посредством обработки обученной моделью искусственного интеллекта (ИИ) виртуального датчика смоделированных выходных данных смоделированного виртуального датчика, погрешностей выходных данных реального датчика и для каждых смоделированных выходных данных смоделированного виртуального датчика указаний объекта, для которого получены смоделированные выходные данные смоделированного виртуального датчика, параметров объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика, полученных из смоделированного 3D виртуального пространства.

[0042] Модель ИИ виртуального датчика обучают заранее с использованием обучающих данных, сформированных из выходных данных реального датчика, полученных для разных реальных объектов, и указания для каждых выходных данных реального датчика параметров объекта, окружающих условий, взаимного расположения и перемещения объекта и датчика, и погрешности выходных данных реального датчика.

[0043] Модель ИИ виртуального датчика может представлять собой, например, сверточную нейронную сеть, глубокую сверточную нейронную сеть, рекуррентную нейронную сеть, байесовскую нейронную сеть, глубокую сеть доверия, сеть со смешанным распределением (Mixture Density Network), различные генеративно-состязательные сети, генеративные модели на основе потоков, машину опорных векторов, различные автокодировщики, вероятностные модели, модели внимания, регрессионные модели и т.д. Следует отметить, что модель ИИ виртуального датчика не ограничена вышеприведенными средствами ИИ. Для модели ИИ любого виртуального датчика может быть использована любая модель машинного обучения, исходя из обеспечения нужной точности и скорости работы.

[0044] Виртуальный датчик соответствует соответствующему реальному датчику и может быть одним из виртуального лидара, виртуальной RGB-камеры, виртуальной RGBD-камеры, виртуальной стереокамеры, виртуальной ToF-камеры, виртуальной инфракрасной камеры, виртуального акселерометра, виртуального гироскопа, виртуального магнетометра, виртуального инерциального измерительного блока, виртуального индуктивного датчика, виртуального датчика спутниковой навигации, виртуального ультразвукового датчика, виртуального датчика температуры, виртуального датчика давления, виртуального датчика влажности, виртуального датчика газа, виртуального датчика освещённости и их сочетания. Обученная модель ИИ виртуального датчика соответствует модели конкретного реального датчика, выходные данные которого использовались для обучения модели ИИ виртуального датчика.

[0045] Для моделей ИИ виртуального лидара, виртуального акселерометра, виртуального гироскопа, виртуального магнетометра, виртуального инерциального измерительного блока, виртуального индуктивного датчика, виртуального датчика спутниковой навигации, виртуального ультразвукового датчика, виртуального датчика температуры, виртуального датчика давления, виртуального датчика влажности, виртуального датчика газа, виртуального датчика освещённости предпочтительно использовать регрессионную модель на основе, например, линейной регрессии, полиномиальной регрессии, ступенчатой регрессии, дерева принятия решений, случайного леса, метода опорных векторов, гребневой регрессии, регрессии по методу «лассо» и т.д.

[0046] Для моделей ИИ виртуальной RGB-камеры, виртуальной RGBD-камеры, виртуальной стереокамеры, виртуальной ToF-камеры, виртуальной инфракрасной камеры предпочтительно использовать генеративно-состязательную сеть.

[0047] В процессе формирования обучающих данных, каждый реальный объект из множества реальных объектов размещается во множестве взаимных расположений и перемещений объекта и датчика. Выходные данные реального датчика получают при разных окружающих условиях. Разные реальные объекты имеют разные параметры объекта.

[0048] Каждый реальный объект или смоделированный объект охарактеризован параметрами объекта. Параметры смоделированного объекта соответствуют параметрам реального объекта. Параметры объекта могут включать в себя материал объекта и по меньшей мере одно из размеров объекта, формы объекта, температуры объекта, отражательной способности, поглощательной способности, коэффициента рассеяния сигнала.

[0049] Взаимное расположение и перемещение объекта и датчика в смоделированном 3D виртуальном пространстве и реальном пространстве может включать в себя расстояние от датчика до объекта, угол ориентации объекта относительно датчика, скорость вращения объекта относительно датчика, относительную скорость между датчиком и объектом, относительное ускорение между датчиком и объектом.

[0050] Окружающие условия в смоделированном 3D виртуальном пространстве соответствуют окружающим условиям в реальном пространстве. Окружающие условия могут включать в себя по меньшей мере одно из освещенности, температуры окружающей среды, влажности, атмосферного давления, электромагнитного излучения, газового состава окружающей среды.

[0051] В процессе формирования обучающих данных выбирают набор объектов из разных материалов, таких как металл, дерево, ткань, кожа, стекло, зеркало, пластик и т.д. Следует отметить, что настоящее изобретение не ограничено перечисленными материалами, и могут быть выбраны любые материалы.

[0052] При приеме сигналов от каждого объекта и получении выходных данных реального датчика, либо объект, либо реальный датчик располагают на разных расстояниях от датчика до объекта, под разными углами ориентации объекта относительно датчика. Кроме того, каждый объект может вращаться с разными скоростями вращения и угловыми ускорениями объекта относительно датчика, реальный датчик и/или объект могут перемещаться относительно друг друга с разными относительными скоростями между датчиком и объектом и разными относительными ускорениями между датчиком и объектом. При приеме сигналов от каждого объекта и получении выходных данных реального датчика также изменяют окружающие условия.

[0053] В процессе формирования обучающих данных для каждого объекта сигналы, из которых получаются выходные данные реального датчика, принимаются реальным датчиком во всех возможных комбинациях разных окружающих условий и разных взаимных расположений и перемещений объекта и датчика.

[0054] В обучающих данных каждые выходные данные реального датчика снабжаются указанием параметров объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика и погрешности выходных данных реального датчика.

[0055] В случае прозрачного объекта, например, объекта из стекла или другого прозрачного материала, реальный датчик может принимать сигналы через прозрачный объект от непрозрачного объекта, расположенного за прозрачным объектом. Например, в случае лидара, выходные данные реального датчика будут выдаваться как расстояние от лидара до непрозрачного объекта, расположенного за прозрачным объектом, с погрешностью, включающей в себя внутреннюю погрешность реального датчика и погрешность, зависящую от параметров реального объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика в реальном пространстве. В этом случае, погрешность, зависящая от параметров реального объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика в реальном пространстве, задана шумом сигнала, принятого реальным датчиком. Этот шум сигнала, принятого реальным датчиком, будет вызван прохождением сигнала через прозрачный объект, частичным рассеянием сигнала, частичным отражением сигнала от прозрачного материала, влиянием окружающих условий и взаимного расположения и перемещения объекта и датчика в реальном пространстве на сигнал, принятый реальным датчиком. Пример приведен только для лидара, однако настоящее изобретение не ограничено только вышеприведенным примером и может быть применено к любому датчику, который может принимать сигналы через прозрачный объект. При этом специалисту в данной области техники будет очевидно на основании законов физики, как определить шум сигнала, принятого любым реальным датчиком через прозрачный объект, и, следовательно, определить погрешность выходных данных реального датчика, вызванную прохождением сигнала, принятого реальным датчиком, через прозрачный объект.

[0056] В случае реального датчика, который может принимать сигналы от прозрачного объекта, в качестве выходных данных реального датчика, полученных для прозрачного объекта, задают правильные выходные данные реального датчика, и правильные выходные данные реального датчика снабжаются указанием параметров прозрачного объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика. Например, в случае лидара, правильные выходные данные реального датчика для прозрачного объекта будут расстоянием от лидара до прозрачного объекта. Пример приведен только для лидара, однако настоящее изобретение не ограничено только вышеприведенным примером правильных выходных данных реального датчика и может быть применено к любому датчику, который может принимать сигналы через прозрачный объект.

[0057] В случае отражающего объекта, например, объекта из зеркала или другого материала с высоким коэффициентом отражения, реальный датчик может принимать сигналы от непрозрачного объекта, отражающегося в отражающем объекте. Например, в случае лидара, выходные данные реального датчика будут выдаваться как расстояние от лидара до непрозрачного объекта, отражающегося в отражающем объекте, с погрешностью, заданной внутренней погрешностью реального датчика и погрешностью, зависящей от параметров реального объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика в реальном пространстве. Погрешность, зависящая от параметров реального объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика в реальном пространстве будет зависеть от шума сигнала, принятого реальным датчиком, который вызван рассеянием сигнала на отражающем объекте, окружающими условиями и взаимным расположением и перемещением объекта и датчика. Следует отметить, что лидар приведен только в качестве примера и настоящее изобретение не ограничено только вышеприведенным примером и может быть применено к любому датчику, который может принимать сигналы от отражающих объектов.

[0058] В случае реального датчика, который может принимать сигналы от отражающего объекта, в качестве выходных данных реального датчика, полученных для отражающего объекта, задают правильные выходные данные реального датчика, и правильные выходные данные реального датчика снабжаются указанием параметров объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика. Например, в случае лидара, правильные выходные данные реального датчика будут расстоянием от лидара до отражающего объекта. Пример приведен только для лидара, однако настоящее изобретение не ограничено только вышеприведенным примером правильных выходных данных реального датчика и может быть применено к любому датчику, который может принимать сигналы от отражающего объекта. При этом специалисту в данной области техники будет очевидно на основании законов физики, как определить шум сигнала, принятого любым реальным датчиком от отражающего объекта, и, следовательно, определить погрешность выходных данных реального датчика, вызванную прохождением сигнала, принятого реальным датчиком от отражающего объекта.

[0059] Для каждых выходных данных реального датчика вычисляют погрешность выходных данных реального датчика. Погрешность выходных данных реального датчика включает в себя внутреннюю погрешность реального датчика и погрешность, зависящую от параметров реального объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика в реальном пространстве. Внутренняя погрешность реального датчика известна из технической спецификации реального датчика и определена при изготовлении реального датчика.

[0060] Погрешность выходных данных реального датчика является отклонением выходных данных реального датчика от фактического значения, измеряемого реальным датчиком. Погрешность выходных данных реального датчика вычисляется путем нахождения этого отклонения. Фактическое значение, измеряемое реальным датчиком, может быть получено посредством расчета согласно законам физики, исходя из известности параметров объектов, окружающих условий и взаимного расположения и перемещения объекта и датчика в реальном пространстве. Фактическим значением, измеряемым реальным датчиком, может быть значение, полученное более точным датчиком или устройством измерения, среднее значение набора измерений, выполненных для объекта при одних и тех же окружающих условиях и взаимном расположении и перемещении объекта и датчика в реальном пространстве, значение, полученное путем применения любого другого способа/модели удаления шумов из сигнала, принятого реальным датчиком. Указанные способы нахождения отклонения выходных данных реального датчика от фактического значения, измеряемого реальным датчиком, могут быть применены для любых реальных датчиков.

[0061] Например, для лидара можно выполнить множество замеров расстояния до объекта при одних и тех же окружающих условиях и взаимном расположении и перемещении объекта и датчика в реальном пространстве. После этого в качестве фактического значения расстояния до объекта вычисляется среднее значение этих замеров расстояния. Затем вычисленное фактическое значение расстояния до объекта вычитается из выходных данных лидара для получения погрешности выходных данных лидара. Также фактическое значение расстояния до объекта может быть измерено более точным лазерным дальномером или рулеткой. Пример приведен только для лидара, однако настоящее изобретение не ограничено только вышеприведенным примером и может быть применено к любому датчику.

[0062] Смоделированные выходные данные смоделированного виртуального датчика, полученные на этапе S103, являются точными выходными данными и не полностью соответствуют выходным данным реального датчика, поскольку смоделированные выходные данные смоделированного виртуального датчика не имеют погрешности выходных данных реального датчика. Погрешности выходных данных реального датчика включают в модель ИИ виртуального датчика, чтобы погрешности выходных данных реального датчика включались в выходные данные виртуального датчика, сформированные моделью ИИ виртуального датчика. Включение погрешности выходных данных реального датчика в сформированные выходные данные виртуального датчика позволяют получить более реалистичные выходные данные виртуального датчика, приближенные к выходным данным реального датчика. Каждая погрешность выходных данных реального датчика ассоциирована с выходными данными реального датчика, для которых погрешность выходных данных реального датчика вычислена.

[0063] За счет того, что модель ИИ виртуального датчика обучена на данных от реального датчика и в модель ИИ виртуального датчика включены погрешности выходных данных реального датчика, возможно сформировать более реалистичные выходные данные виртуального датчика, приближенные к выходным данным реального датчика.

[0064] Использование симуляторов, работающих в реальном времени, позволяет обученной модели ИИ виртуального датчика формировать выходные данные виртуального датчика в реальном времени.

[0065] На фиг. 2 показана блок-схема устройства 200 формирования выходных данных виртуального датчика. Устройство 200 формирования выходных данных виртуального датчика способно выполнять способ 100 формирования выходных данных виртуального датчика.

[0066] Устройство 200 формирования выходных данных виртуального датчика содержит по меньшей мере один процессор 201 и память 202. Память 202 хранит обученную модель ИИ виртуального датчика и инструкции, которые при выполнении по меньшей мере одним процессором 201 заставляют по меньшей мере один процессор 201 выполнять способ формирования выходных данных виртуального датчика по любому варианту осуществления.

[0067] По меньшей мере один процессор 201 может представлять собой центральный процессор (ЦП), процессор приложений (AP) или тому подобное или специализированный процессор, такой как, например, нейронный процессор (NPU) или тому подобное.

[0068] Память 202 может представлять собой любую из энергозависимой памяти или энергонезависимой памяти.

[0069] Выходные данные, сформированные моделью ИИ виртуального датчика согласно настоящему изобретению, можно использовать для различных применений, таких как, например, устройства виртуальной/дополненной реальности, навигационные устройства, устройства одновременного определения местоположения и построения карты (SLAM), устройства распознавания объектов и т.д. Кроме того выходные данные, сформированные моделью ИИ виртуального датчика согласно настоящему изобретению, можно использовать в качестве обучающих данных для различных устройств на основе модели ИИ, например, устройств управления роботами, устройств управления дронами, устройств управления транспортными средствами, навигационных устройств, устройств SLAM, устройств распознавания объектов и т.д. Следует отметить, что устройства на основе модели ИИ не ограничены вышеприведенными устройствами и могут быть любыми устройствами на основе модели ИИ, которые обрабатывают выходные данные реальных датчиков.

[0070] Устройства на основе модели ИИ, обрабатывающие выходные данные реальных датчиков, могут быть обучены с использованием выходных данных, сформированных моделью ИИ виртуального датчика согласно настоящему изобретению, для правильного функционирования в реальной среде. В противном случае, если такие устройства обучены с использованием смоделированных выходных данных известного из уровня техники смоделированного виртуального датчика без учета данных реальных датчиков и их погрешностей, то выходные данные этих устройств будут содержать ошибки ввиду разницы между выходными данными реального датчика и выходными данными виртуального датчика.

[0071] Заявителем было проведено сравнение результатов работы а) устройства на основе модели ИИ, обрабатывающего выходные данные реальных датчиков и обученного на смоделированных выходных данных смоделированного виртуального датчика (далее устройство, обученное на смоделированных выходных данных), b) устройства на основе модели ИИ, обрабатывающего выходные данные реальных датчиков и обученного на выходных данных виртуального датчика согласно настоящему изобретению (далее устройство на основе настоящего изобретения), с) эталонного устройства без использования ИИ, обрабатывающего выходные данные реальных датчиков. В качестве эталонного устройства использовалась камера Intel RealSense Depth Camera D435.

[0072] В одном испытании сравнивались результаты отображения цветов на полученном изображении. Изображение получали посредством обработки тестового изображения цветов в виде набора квадратов разного цвета. Тестовое изображение цветов было обработано каждым из вышеприведенных устройств, и результаты обработки тестового изображения цветов камерой Intel RealSense Depth Camera D435 были сравнены с результатами обработки тестового изображения цветов устройством, обученным на смоделированных выходных данных, и устройством на основе настоящего изобретения. Совпадение результатов обработки камеры Intel RealSense Depth Camera D435 и результатов обработки устройства, обученного на смоделированных выходных данных, составило 40%. Совпадение результатов обработки камеры Intel RealSense Depth Camera D435 и результатов обработки устройства на основе настоящего изобретения составило 90%. Очевидно, что устройство на основе настоящего изобретения выдает данные, более близкие к данным, выдаваемым камерой Intel RealSense Depth Camera D435, чем устройство, обученное на смоделированных выходных данных.

[0073] В другом испытании сравнивались точности результатов определения/распознавания объектов, полученных камерой Intel RealSense Depth Camera D435, устройством на основе настоящего изобретения и устройством, обученным на смоделированных выходных данных. Точности результатов определения/распознавания объектов приведены в таблице 1.

Объект Точность результатов определения/распознавания объектов Устройство, обученное на смоделированных выходных данных Камера Intel RealSense Depth Camera D435 Устройство на основе настоящего изобретения Все 66,5% 67,1% 67,5% Стул 50,7% 37,8% 45,5% Диван 92,3% 94,8% 96,6% Стол 67,3% 73,4% 68,8%

Таблица 1.

Точности результатов определения/распознавания объектов, приведенные в таблице 1, показывают, что устройство на основе настоящего изобретения выдает данные, более близкие к данным, выдаваемым камерой Intel RealSense Depth Camera D435, чем устройство, обученное на смоделированных выходных данных.

[0074] В еще одном испытании сравнивались точности результатов определения расстояний до объектов, полученных камерой Intel RealSense Depth Camera D435, устройством на основе настоящего изобретения и устройством, обученным на смоделированных выходных данных. Камера Intel RealSense Depth Camera D435 получила результаты определения расстояний до объектов с точностью 90%. Устройство на основе настоящего изобретения получило результаты определения расстояний до объектов с точностью 80%. Устройство, обученное на смоделированных выходных данных, получило результаты определения расстояний до объектов с точностью 30%. Очевидно, что устройство на основе настоящего изобретения выдает данные, более близкие к данным, выдаваемым камерой Intel RealSense Depth Camera D435, чем устройство, обученное на смоделированных выходных данных.

[0075] Модели ИИ, обрабатывающие выходные данные реальных датчиков, выбираются в зависимости от задач, выполняемых устройствами на основе модели ИИ.

[0076] Настоящее изобретение может применяться для разработки различных роботов, транспортных средств, оборудованных системой автоматического управления, навигационных устройств, устройств генерации данных 3D-пространств, дронов, устройств распознавания объектов и т.д.

[0077] Вышеприведенные описания вариантов осуществления изобретения являются иллюстративными, и модификации конфигурации и реализации не выходят за пределы объема настоящего описания. Например, хотя варианты осуществления изобретения описаны, в общем, в связи с фигурами 1 и 2, приведенные описания являются примерными. Хотя предмет изобретения описан на языке, характерном для конструктивных признаков или методологических операций, понятно, что предмет изобретения не обязательно ограничен конкретными вышеописанными признаками или операциями. Более того, конкретные вышеописанные признаки и операции раскрыты как примерные формы реализации формулы изобретения.

[0078] Соответственно предполагается, что объем вариантов осуществления изобретения ограничивается только нижеследующей формулой изобретения.

Изобретение относится к области вычислительной техники. Технический результат заключается в повышении точности соответствия сформированных выходных данных виртуального датчика выходным данным конкретного реального датчика. Технический результат достигается за счет этапов, на которых моделируют виртуальный датчик, соответствующий реальному датчику, перемещение смоделированного виртуального датчика в смоделированном 3D виртуальном пространстве и выходные данные смоделированного виртуального датчика, полученные в разных местоположениях смоделированного виртуального датчика в смоделированном 3D виртуальном пространстве, на основе распространения сигналов в реальном пространстве и с учетом параметров объектов, взаимного расположения и перемещения объекта и датчика, окружающих условий и распространения сигнала, на пути которого расположено более одного объекта; и формируют выходные данные виртуального датчика посредством обработки обученной моделью искусственного интеллекта (ИИ) виртуального датчика смоделированных выходных данных смоделированного виртуального датчика, погрешностей выходных данных реального датчика и для каждых смоделированных выходных данных смоделированного виртуального датчика указаний объекта, для которого получены смоделированные выходные данные смоделированного виртуального датчика, параметров объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика, полученных из смоделированного 3D виртуального пространства. 2 н. и 5 з.п. ф-лы, 2 ил., 1 табл.

1. Способ обработки выходных данных реального датчика, содержащий этапы, на которых:

получают выходные данные реального датчика посредством приема реальным датчиком сигналов от каждого реального объекта из множества разных реальных объектов при разных окружающих условиях, при этом каждый реальный объект из множества разных реальных объектов размещается во множестве взаимных расположений и перемещений объекта и датчика и;

формируют обучающие данные из выходных данных реального датчика и указания для каждых выходных данных реального датчика параметров объекта, окружающих условий, взаимного расположения и перемещения объекта и датчика и погрешности выходных данных реального датчика;

обучают модель ИИ виртуального датчика с использованием сформированных обучающих данных;

моделируют трехмерное (3D) виртуальное пространство, соответствующее реальному пространству, при этом смоделированное 3D виртуальное пространство содержит смоделированные объекты, имеющие параметры объектов, и в смоделированном 3D виртуальном пространстве заданы окружающие условия и взаимное расположение смоделированных объектов, причем смоделированные объекты представляют собой модели соответствующих реальных объектов, а окружающие условия и взаимное расположение упомянутых объектов, заданные в смоделированном 3D виртуальном пространстве, представляют собой окружающие условия и взаимное расположение упомянутых объектов в реальном пространстве соответственно;

моделируют виртуальный датчик, соответствующий реальному датчику, перемещение смоделированного виртуального датчика в смоделированном 3D виртуальном пространстве и выходные данные смоделированного виртуального датчика, полученные в разных местоположениях смоделированного виртуального датчика в смоделированном 3D виртуальном пространстве, на основе распространения сигналов в реальном пространстве и с учетом параметров объектов, взаимного расположения и перемещения объекта и датчика, окружающих условий и распространения сигнала, на пути которого расположено более одного объекта; и

формируют выходные данные виртуального датчика посредством обработки обученной моделью искусственного интеллекта (ИИ) виртуального датчика смоделированных выходных данных смоделированного виртуального датчика, погрешностей выходных данных реального датчика и для каждых смоделированных выходных данных смоделированного виртуального датчика указаний объекта, для которого получены смоделированные выходные данные смоделированного виртуального датчика, параметров объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика, полученных из смоделированного 3D виртуального пространства;

обучают модель ИИ обработки выходных данных реального датчика с использованием выходных данных виртуального датчика;

получают выходные данные реального датчика посредством приема реальным датчиком сигналов от каждого реального объекта в реальном пространстве;

обрабатывают выходные данные реального датчика обученной моделью ИИ обработки выходных данных реального датчика.

2. Способ по п. 1, в котором виртуальный датчик соответствует соответствующему реальному датчику и является одним из виртуального лидара, виртуальной RGB-камеры, виртуальной RGBD-камеры, виртуальной стереокамеры, виртуальной ToF-камеры, виртуальной инфракрасной камеры, виртуального акселерометра, виртуального гироскопа, виртуального магнетометра, виртуального инерциального измерительного блока, виртуального индуктивного датчика, виртуального датчика спутниковой навигации, виртуального ультразвукового датчика, виртуального датчика температуры, виртуального датчика давления, виртуального датчика влажности, виртуального датчика газа, виртуального датчика освещённости и их сочетания,

при этом обученная модель ИИ виртуального датчика соответствует модели конкретного реального датчика.

3. Способ по п. 1, в котором параметры объекта соответствуют параметрам реального объекта и включают в себя материал объекта и по меньшей мере одно из размеров объекта, формы объекта, температуры объекта, отражательной способности, поглощательной способности, коэффициента рассеяния сигнала.

4. Способ по п. 1, в котором взаимное расположение и перемещение объекта и датчика в смоделированном 3D виртуальном пространстве и реальном пространстве включает в себя расстояние от датчика до объекта, угол ориентации объекта относительно датчика, скорость вращения объекта относительно датчика, относительную скорость между датчиком и объектом, относительное ускорение между датчиком и объектом.

5. Способ по п. 1, в котором окружающие условия соответствуют окружающим условиям в реальном пространстве и включают в себя по меньшей мере одно из освещенности, температуры окружающей среды, влажности, атмосферного давления, электромагнитного излучения, газового состава окружающей среды.

6. Способ по любому из пп. 1-5, в котором при формировании обучающих данных каждый реальный объект из множества реальных объектов размещается во множестве взаимных расположений и перемещений объекта и датчика, разные реальные объекты имеют разные параметры объекта и выходные данные реального датчика получают при разных окружающих условиях, и

при этом для каждых выходных данных реального датчика вычисляют погрешность выходных данных реального датчика, включающую в себя внутреннюю погрешность реального датчика и погрешность, зависящую от параметров реального объекта, окружающих условий и взаимного расположения и перемещения объекта и датчика в реальном пространстве, и включают погрешности выходных данных реального датчика в модель ИИ виртуального датчика, причем каждая погрешность выходных данных реального датчика ассоциирована с выходными данными реального датчика, для которых погрешность выходных данных реального датчика вычислена.

7. Устройство обработки выходных данных реального датчика, содержащее:

по меньшей мере один процессор; и

память, в которой хранятся обученная модель искусственного интеллекта (ИИ) виртуального датчика, обученная модель ИИ обработки выходных данных реального датчика и инструкции, которые при выполнении по меньшей мере одним процессором заставляют по меньшей мере один процессор выполнять способ обработки выходных данных реального датчика по любому из пп. 1-6.