УСТРОЙСТВО ДЛЯ ПОСТРОЕНИЯ КАРТЫ ГЛУБИНЫ В НЕПЛОТНЫХ СРЕДАХ Российский патент 2023 года по МПК G01N29/26 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области устройств для измерения расстояния до объектов, навигации и машинного зрения, конкретнее - к устройствам для измерения расстояния до объектов в неплотных средах, основанным на применении ультразвукового излучения.

УРОВЕНЬ ТЕХНИКИ

Из ряда источников известно о применении ультразвукового излучателя и системы из, по меньшей мере, трех микрофонов для локации удаленного объекта [1][2][3].

В указанных источниках для определения расстояния, которое пройдет звук от излучателя до объекта и, отразившись от объекта до микрофона, используется оценка задержки отраженного сигнала. Как следует из статьи [2] при наличии решетки из, по меньшей мере, 3-ех микрофонов известный способ позволяет получить представление о простейших поверхностях, но не позволяет строить сложные карты глубины и получать представление о сложных поверхностях. Этот недостаток обусловлен малой информативностью сигнала одной частоты, который регистрируется 3-мя микрофонами. Использование сигнала одной частоты не позволяет учитывать дисперсию звуковых волн при вычислении карты глубины. Кроме того, в известном способе никак не учитывается зависимость степени затухания звуковой волны от пройденного расстояния.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задача изобретения состоит в создании устройства построения карты глубины в неплотных средах, таких как воздух, за счет применения ультразвукового сигнала.

Технический результат, обеспечиваемый устройством, состоит в том, что карта глубины может быть построена даже при использовании простого устройства, которое в предельном случае может состоять из одного источника ультразвукового излучения и системы из трех приемников ультразвукового излучения (микрофонов).

Вышеуказанная задача решена благодаря тому, что предлагаемое в соответствии с настоящим изобретением устройство для построения карты глубины в неплотных средах, содержит:

по меньшей мере, один источник направленного ультразвукового излучения (УЗИ), выполненный с возможностью испускания звукового сигнала целиком или предпочтительно в пределах заданного телесного угла,

по меньшей мере, три приемника ультразвукового излучения (ПУИ), расположенных с возможностью приема отраженного от упомянутого объекта ультразвукового сигнала,

средства управления и обработки данных (СУОД), в котором:

упомянутые УЗИ и ПУИ установлены на заранее известном предварительно заданном расстоянии друг от друга,

упомянутый сигнал имеет изменяющуюся в соответствии с предварительно заданной закономерностью частоту на протяжении звукового импульса, при этом диапазон изменения частоты упомянутого сигнала, включает частоту релаксации упомянутой среды,

упомянутые СУОД выполнены с возможностью

- формирования упомянутого сигнала посредством упомянутых УЗИ,

- приема отраженного объектом сигнала каждым из ПУИ таким образом, чтобы обеспечить для каждого из ПУИ регистрацию рядов значений амплитуды волны и времени ее регистрации,

- получения цифрового представления рядов значений амплитуды волны и времени ее регистрации отдельно для каждого ПУИ, и

- обработки полученных цифровых представлений с использованием алгоритмов, включающих нейросетевые алгоритмы с получением карты глубины.

Как будет понятно специалисту в данной области техники, поскольку цифровое представление звуковых сигналов, которое регистрируют с помощью ПУИ содержит в себе информацию об амплитуде звуковой волны в определенные моменты времени. По этим сведениям могут быть определены, по меньшей мере, следующие характеристики звуковой волны:

1) частота,

2) частотный сдвиг (при отражении волны от движущегося объекта),

3) гармонические искажения (зависящие от свойств поверхности объекта, от которого был отражен),

4) степень угасания амплитуды отраженного сигнала по сравнению с излученным сигналом (которая связана с расстоянием, пройденным волной в среде определенным законом),

5) задержка отраженного сигнала,

6) фаза волны.

Поскольку в устройстве применяется ультразвуковая волна с изменяющейся частотой, регистрируемые сигналы содержат в себе набор указанных сведений 1-6 для каждой частоты излучаемого сигнала и дополнительно позволяют учитывать:

7) зависимость скорости распространения звуковой волны от ее частоты;

8) зависимость степени затухания амплитуды волны от частоты. Этот прием, во-первых, при соответствующей обработке сигнала

позволяет снизить влияние артефактов и шумов, которые имели бы место при регистрации излученного сигнала одной частоты, во-вторых, позволяет расширить диапазон глубины регистрации отраженного сигнала (ультразвуковые колебания сильно затухают с расстоянием, поэтому при использовании колебаний постоянной частоты, и, в-третьих, позволяет применять меньшие частоты сигнала (а, следовательно и меньшие длины волн) для увеличения детализации близкорасположенных объектов.

При использовании вышеописанного устройства, на каждом из по меньшей мере 3-х микрофонов можно получить отраженный от объектов сцены акустический сигнал с отличающимися характеристиками, которые обусловлены в том числе тем, что для достижения разных микрофонов звуковая волна будет проходить различный путь.

Если данные с одного микрофона позволяют определить расстояние, которое прошел звук от излучателя до микрофона (например, по изменению амплитуды отраженного сигнала), тем самым определить только расстояние до объекта и некоторые характеристики объекта (качество поверхности и покой/движение), то данные с системы из по меньшей мере 3-х микрофонов, за счет разницы в получаемых данных (обусловленной в частности разностью в пути, который необходимо пройти звуку до каждого из микрофонов), можно определить не только удаление, но и пространственное положение отраженного объекта относительно системы микрофонов. А при использовании изменяющегося по частоте сигнала и нейросетевых алгоритмов обработки становится возможным строить карты глубины для сцен, включающих множество объектов сложной формы.

В предлагаемом приборе излучатель излучает звук не на какой-то фиксированной частоте (например, 100 мс на частоте 40 кГц) а с меняющейся (переменной) частотой. Длительность сигнала может составлять, например, 100 мс, а частота может варьировать, например, в диапазоне от 20 кГц до 40 кГц. - это многократно увеличивает количество информации, получаемой из отраженных сигналов.

Частота колебаний в пределах ультразвукового сигнала может изменяться постепенно по определенному закону, либо ступенчато. При этом даже если она изменяется постепенно, для простоты сигнал можно представить в виде последовательности коротких сигналов, каждый из которых имеет постоянную частоту. В простейшем случае частота каждого следующего короткого сигнала выше частоты предыдущего. Таким образом, при одинаковом значении амплитуды всех коротких сигналов с разной частотой, испускаемых излучателем (фактически при излучении сигнала переменной частоты с одинаковой амплитудой), значения амплитуд отраженных от объекта сигналов, дошедших до микрофона, будут отличаться между собой. Величина угасания амплитуды, т.е. разность амплитуд испускаемого сигнала и сигнала, пришедшего на микрофон, зависит как от пройденного пути, так и от частоты сигнала, а угасание будет тем больше, чем выше частота. Тем самым каждый сигнал, с заданной фиксированной частотой, пришедший на микрофон через величину падения амплитуды также характеризует длину пройденного пути. Это справедливо не только для напрямую отраженных сигналов, но также и для переотраженных сигналов. Учитывая, что излучается звук с переменной частотой (который можно для простоты представить в виде множества коротких сигналов с различной частотой), то отраженные сигналы, которые можно зарегистрировать каждым микрофоном, фактически представляют собой множество источников информации - множество значений падения амплитуд на разных частотах.

При этом на каждом микрофоне также можно зарегистрировать фазу, с которой приходит звуковая волна, благодаря чему, при известной длине звуковой волны, можно рассчитать положение объекта с точностью доли длины волны, т.к. весь ее путь делится на кратное длине волны число плюс небольшой участок длины волны, характеризуемый фазой пришедшего сигнала. Кроме того, поскольку имеется не один сигнал с фиксированной частотой (т.е., упрощая, с фиксированной длиной волны), а сигнал с переменной частотой (т.е., упрощая, множество коротких сигналов с различными длинами волн), то фазовая характеристика каждого из сигналов, позволяет получать достаточно высокую точность, подтверждаемую много раз разными сигналами, различающимися по частоте.

Предпочтительно, когда диапазон частот, в котором изменяется излучаемый ультразвуковой сигнал, включает в себя частоту релаксации для воздушной среды (для углекислого газа при 18 градусах С это - 28 кГц), т.к. это позволяет максимально использовать не только эффект геометрической дисперсии звука, но и релаксационную дисперсию (см. [4])- Это явление обладает важным для целей изобретения набором свойств:

- зависимость фазовой скорости звуковых волн от частоты;

- зависимость геометрической «разрешающей способности» от длины волны (точнее, зависимость дифракционных характеристик сигнала от частоты);

- и даже пусть и слабая, но зависимость коэффициента отражения от частоты сигнала (по формуле Рэлея, через зависимость скорости от частоты).

Отражение звуковых волн с разной длиной волны от поверхностей с разделом сред сложной формы (наличие рельефа, шероховатости и пр.) будут различными.

Таким образом, для решения задачи построения цифровой модели рельефа в предлагаемом приборе из излучателя и, по меньшей мере, 3-х микрофонов, используется иной принцип работы излучателя (излучение сигнала с переменной частотой), что позволяет получить сигнал, содержащий больше информации об окружающей прибор сцене:

1. с определенными временными параметрами для различных частот;

2. с различными амплитудными характеристиками для каждого типа излучаемых частот;

3. с различными фазовыми характеристиками для каждого типа излучаемых частот.

Эти параметры в совокупности позволяют фиксировать и идентифицировать не только прямой отраженный сигнал, от ближайшего объекта, но и переотраженные сигналы.

Также за счет большей информативности регистрируемых сигналов, становится возможным строить достаточно детальные и точные карты глубины.

Продолжительность ультразвукового сигнала может варьироваться. Предпочтительно в диапазоне от 0,1 до 1 сек.

Способ генерации ультразвукового сигнала может быть различным, однако предпочтительным является способ, при котором в ультразвуковой сигнал преобразуют его цифровое представление.

Количество приемников ультразвукового сигнала может быть различным. Однако, случай, когда устройство содержит только 1 приемник не входит в объем настоящего изобретения, так как при этом хотя и можно определить удаленность объекта, тем не менее, даже с использованием различных модификаторов акустического сигнала, отклоняющих или усиливающих акустические колебания в зависимости от ориентации устройства, не обеспечивается возможность локализации объекта в горизонтальной или вертикальной плоскости.

В предпочтительных вариантах осуществления устройство может иметь 3, 4 или более приемника ультразвукового сигнала. В этих случаях для определения расстояния и локализации объекта в горизонтальной и вертикальной плоскостях могут быть использованы приемники, не требуется оснащать приемники модификаторами акустических колебаний (ракушками).

Таким образом, предлагается устройство для построения карты глубины в неплотных средах, содержащее:

по меньшей мере, один источник направленного ультразвукового излучения (УЗИ), выполненный с возможностью испускания звукового сигнала целиком или предпочтительно в пределах заданного телесного угла,

по меньшей мере, три приемника ультразвукового излучения (ПУИ), расположенных с возможностью приема отраженного от упомянутого объекта ультразвукового сигнала,

средства управления и обработки данных (СУОД),

в котором:

упомянутые УЗИ и ПУИ установлены на заранее известном предварительно заданном расстоянии друг от друга,

упомянутый сигнал имеет изменяющуюся в соответствии с предварительно заданной закономерностью частоту на протяжении звукового импульса, при этом диапазон изменения частоты упомянутого сигнала, включает частоту релаксации упомянутой среды,

упомянутые СУОД выполнены с возможностью формирования упомянутого сигнала посредством упомянутых УЗИ, приема отраженного объектом сигнала каждым из ПУИ таким образом, чтобы обеспечить для каждого из ПУИ регистрацию рядов значений амплитуды волны и времени ее регистрации, получения цифрового представления рядов значений амплитуды волны и времени ее регистрации отдельно для каждого ПУИ, и обработки полученных цифровых представлений с использованием алгоритмов, включающих нейросетевые алгоритмы с получением карты глубины.

В одном из особенно предпочтительных вариантов осуществления обработка цифрового представления сигнала включает этап преобразования цифрового представления сигнала из временного представления, при котором сигнал описывается значениями амплитуды в определенные моменты времени, в частотно-временное, при котором сигнал описывается спектрограммой, содержащей информацию о частоте сигнала в определенные моменты времени, посредством Фурье-преобразования или вейвлет-преобразования, а нейросеть состоит из энкодера, полученного путем обучения сверточного автоэнкодера на множестве спектрограмм, и декодера, обученного на множестве спектрограмм и соответствующих им карт глубин, определенных эталонным методом.

В еще одном из особенно предпочтительных вариантов воплощения, вышеупомянутые ПУИ расположены в одной плоскости в вершинах многоугольника, при этом проекция вышеупомянутого УЗИ на упомянутую плоскость лежит внутри упомянутого многоугольника.

Упомянутая неплотная среда представляет может представлять собой газ, предпочтительно, воздух.

В другом из особенно предпочтительных вариантов воплощения, по меньшей мере, один из упомянутых источников направленного ультразвукового излучения выполнен таким образом, что по меньшей мере, 50% всей его акустической мощности, предпочтительно, по меньшей мере, 80% всей его акустической мощности, сосредоточено в телесном угле менее Ч стерадиан.

В некоторых из особенно предпочтительных вариантов воплощения, вышеупомянутые приемники звука могут представлять собой конденсаторные, электретные или мембранные микрофоны.

Вышеупомянутые приемники могут представлять собой микрофоны, снабженные средствами, модифицирующими ультразвуковой сигнал, такими как ракушки.

В одном из особенно предпочтительных вариантов воплощения, устройство содержит только один вышеупомянутый УЗИ и, по меньшей мере, четыре вышеупомянутых ПУИ.

В еще одном из особенно предпочтительных вариантов воплощения, частота вышеупомянутого сигнала равномерно увеличивается или равномерно уменьшается на протяжении импульса.

В другом из особенно предпочтительных вариантов воплощения, частота вышеупомянутого сигнала с изменяющейся в соответствии с предварительно заданной закономерностью частотой изменяется в диапазоне от 25 до 80 кГц.

В еще одном из особенно предпочтительных вариантов воплощения, частота ультразвукового сигнала составляет от 25 до 8 0 кГц.

КРАТКОЕ ОПИСАНИЕ ФИГУР ЧЕРТЕЖЕЙ

На фиг. 1 показаны составные элементы устройства.

На фиг. 2 показаны приемо-передающая часть устройства в 3-х проекциях.

На фиг. 3 показан объект перед устройством с фиг. 2 в боковой проекции Б-Б.

На фиг. 4 показано распространение ультразвукового сигнала (концентрические линии фиолетового цвета), излучаемого устройством с фиг. 2 в направлении объекта (зеленый круг).

На фиг. 5 показано распространение излучаемого (концентрические линии фиолетового цвета) устройством с фиг. 2 и отраженного объектом ультразвукового сигнала (концентрические линии зеленого цвета).

На фиг. 6, 7 и 8 показано, что расстояние между объектом и приемниками, которое проходят отраженные ультразвуковые колебания, различно и составляет L1 для верхних микрофонов и L2 для нижних (фиг. 8).

На фиг. 9 изображен объект перед устройством с фиг. 2 в вертикальной проекции В-В (вид сверху).

На фиг. 10 показано распространение излучаемого сигнала в проекции В-В.

На фиг. 11-14 показано распространение отраженного сигнала (зеленые линии) в проекции В-В. На фиг. 14 показано, что расстояние L3, которое проходит отраженный сигнал до микрофонов, расположенных слева отличается от расстояния L4, которое отраженный сигнал проходит до микрофонов, расположенных справа.

На фиг. 15 показаны проекции пути отраженного сигнала до микрофонов 1, 2, 3 и 4 обозначены L'1, L'2, L'3 и L'4 соответственно.

На фигуре 16 A-D показаны примеры спектрограмм. По оси абсцисс - время, по оси ординат - частота. Цвет соотносится с амплитудой.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

ПРИМЕР 1 (сравнительный) Устройство, содержащее 1 ультразвуковой излучатель и 4 микрофона

Предпочтительный вариант устройства по изобретению включает 1 УЗИ и 4 микрофона, которые для простоты расположены в одной плоскости на одинаковом расстоянии от УЗИ, как показано на фиг. 2).

Определение расстояния до объекта, расположенного на некотором удалении от устройства как показано на фиг. 3 осуществляют следующим образом.

Вначале, как показано на фиг. 3, УЗИ излучает в заданном телесном угле короткий ультразвуковой сигнал с заданными характеристиками.

Затем, как показано на фиг. 5, достигнув объекта, ультразвуковой сигнал отражается от объекта, и отраженный сигнал (обозначен концентрическими линиями зеленого цвета) распространяется в обратном направлении.

Как показано на фиг. 6, 7 и 8 в проекции Б-Б, отраженный сигнал должен пройти определенный путь до верхних и нижних микрофонов. Расстояние, которое отраженный сигнал проходит от объекта до верхних микрофонов можно описать длиной проекцииИ1 отрезка, соединяющего объект с верхним рядом микрофонов 1, 2 на вертикальную плоскость. Аналогично для нижних микрофонов такое расстояние описывается длиной проекции отрезка L2, соединяющего объект с верхними микрофонами 3 и 4 на вертикальную плоскость.

Вследствие этого сигналы, пришедшие на верхние и нижние микрофоны, будут отличаться по своим характеристикам. В частности, отраженный сигнал придет к верхним и нижним микрофонам с разной задержкой по времени (измеренной, например, между фронтом испускаемого ультразвукового сигнала и фронтом отраженного сигнала). Также может отличаться фаза, амплитуда и другие характеристики отраженного сигнала, в один и тот же момент времени на верхних и нижних микрофонах.

Аналогичные различия в характеристиках отраженного сигнала будут наблюдаться у микрофонов 1 и 3, расположенных слева и микрофонов 2, 4, расположенных справа, т.к. расстояние между объектом и левым рядом микрофонов 1 и 3 отличается от расстояния между объектом и правым рядом микрофонов 2, 4, как показано на фиг. 9.

Когда как показано на фиг. 10, УЗИ излучает в заданном телесном угле короткий ультразвуковой сигнал (обозначен фиолетовым цветом) с заданными характеристиками, достигнув объекта он отражается (отраженный сигнал обозначен зеленым цветом) как показано на фиг. 11 и распространяется в обратном направлении.

Расстояние, которое требуется пройти отраженному сигналу до левых и правых микрофонов, как показано на фиг. 12-14, можно описать через длину проекций отрезков L3 и L4, соединяющих объект с левым и правым рядом микрофонов на горизонтальную плоскость, как показано на фиг. 14.

Проекции отрезков L'1, L'2, L'3 и L'4, соединяющих микрофоны 1-4 с объектом на фронтальную плоскость и соответствующие пути отраженного сигнала, показаны на фиг. 15.

Таким образом, по физическим параметрам отраженного сигнала (например, время пролета ультразвукового сигнала от источника к объекту и от объекта к микрофону, фаза, амплитуда колебаний и др.), регистрируемого каждым из микрофонов можно определить положение объекта относительно устройства.

Сигналы с каждого микрофона оцифровывают и далее обрабатывают.

С учетом физических характеристик сигналов, полученных с каждого из микрофонов, вычисляют положение объекта относительно устройства. Для этого могут применяться различные алгоритмы.

Наиболее простой способ, подходящий для тривиальных случаев (один объект простой формы небольшого размера)заключается в том, чтобы сопоставить время достижения отраженного сигнала до каждого из микрофонов и, зная момент формирования звукового сигнала из УЗИ, зная скорость распространения звука в среде, а также моменты времени достижения отраженным сигналом каждого из микрофонов можно вычислить положение объекта решением простой системы уравнений.

Мы рассмотрели механизм работы сравнительного устройства, с 1 УЗИ и системой микрофонов, состоящей из 4-х равноудаленных от УЗИ микрофонов. Важно отметить, что физические принципы заложенные в основу прибора позволяют его реализовать и на большем количестве микрофонов (решетка микрофонов большой размерности) и на меньшем количестве микрофонов: как на 3-ех микрофонах, так и на 2-ух микрофонах, в случае использования специальных звукоотражающих ракушек, которые будут искажать звук из одной плоскости относительно оси микрофонов, и не будут искажать звук из другой плоскости, тем самым обеспечивая возможность различать отраженные сигналы пришедшие из разных полусфер относительно плоскости оси 2-х микрофонов.

С помощью устройства данного типа можно определять положение объектов небольшого размера и простой формы. С его помощью невозможно построить карту глубины для сцен, содержащих большое количество объектов, или наполненных крупными объекты сложной формы, особенно если эта форма не известна заранее.

ПРИМЕР 2

Подходы к обработке сигнала с изменяющейся частотой для построения карты глубины

В связи с отмеченным выше недостатком устройства по примеру 1, для построения карт глубины помимо регистрации задержки отраженного сигнала, которая может быть определена с большой точностью, в устройстве по изобретению предлагается использовать ультразвуковые сигналы с изменяющейся частотой и регистрировать параметры отраженного сигнала, несущие информацию об объектах, образующих сцену и их форме, такие как фаза и амплитуда.

Когда объекты имеют сложную геометрическую форму и большие размеры, либо рядом с устройством находится несколько объектов, т.е. имеется сложная сцена, на характер отраженного сигнала влияет тот факт, что излучаемый сигнал достигает разных точек сцены, отражается и затем регистрируется микрофонами неодновременно. Исходя из описанных выше физических принципов распространения звука и его отражения от границ раздела сред, можно утверждать, что во временном представлении отраженного сигнала с изменяющейся частотой, который регистрируется решеткой микрофонов, содержится информация о геометрическом расположении и физических свойствах объектов, отразивших звуковые сигналы.

Однако наборы формул или простые алгоритмы и сигналы постоянной частоты могут применяться для построения карты глубины лишь в простейших случаях, особенно когда заранее известно какие объекты, в каком количестве и какой формы могут появиться в зоне обнаружения устройства. Именно поэтому для более сложных сцен в соответствии обработки сигнала, которые благодаря обучению через обратное распространение ошибки с настоящим изобретением предлагается использовать сигнал с изменяющейся частотой и нейросетевые алгоритмы обладают отличными аппроксимирующими способностями.

При этом важно отметить, что для решения задачи построения карты глубины могут быть использованы различные архитектуры нейросетей. Хорошие экспериментальные результаты показывает сочетание полносвязной и сверточной архитектур, однако, могут быть использованы и другие архитектуры.

При этом можно выделить три наиболее предпочтительных варианта реализации предварительной обработки сигналов, регистрируемых с помощью микрофонов после преобразования в цифровое представление с помощью АЦП.

1. Либо каждый отсчет сигнала сразу подают на вход отдельному нейрону и, таким образом, подают сигнал на вход нейросети с определенной архитектурой. При этом, необходимо понимать, что существуют различные механизмы заведения в нейросеть информации о времени, начиная с последовательной передачи единиц на нейроны, выполняющие функцию временной линейки, и заканчивая передачей значения времени на вход определенных нейронов, с фиксацией времени между излучением сигнала и первым достигнувшим микрофона отраженным сигналом.

2. Либо сигналы предварительно обрабатывают с помощью одного или нескольких известных алгоритмов обработки сигналов (Фурье-преобразование, вейвлет-преобразование, построение агрегатов над временным рядом (широкий перечень с учетом времени), строят огибающую функцию, и пр.) и уже после предварительной обработки, рассчитанные признаки подают на вход нейронов нейросети с определенной архитектурой.

Наиболее предпочтительными видами предварительной математической обработки сигналов являются такие, которые позволяют вычленить сигнал на заданных частотах и уже в рамках фиксированных частот передавать параметры нейросети на входы: это различные варианты Фурье-преобразований с разными параметрами и варианты вейвлет-преобразований (как дискретных, так и непрерывных).

3. Либо комбинированный вариант, когда и рассчитанные признаки и сами отсчеты (цифровое представление сигнала) подают на вход нейронов нейросети.

Нейросети обучают на наборах данных (датасетах), которые включают сигналы, зарегистрированные при помощи устройства по изобретению и карты глубины, построенные с помощью эталонных методов (например, лидаром), для разных геометрических примитивов и сцен, а также сложных поверхностей с целью минимизировать ошибку рассчитанной нейросетью на основе сигналов, зарегистрированных устройством карты глубины относительно карты глубины, построенной эталонным методом.

ПРИМЕР 3

Построение карты глубины при использовании предварительной обработки сигнала с помощью вейвлет-преобразования

В соответствии с одним из предпочтительных вариантов воплощения изобретения может применяться устройство, описанное в примере 1 с тем отличием, что оно выполнено с возможностью генерировать ультразвуковой сигнал, имеющий изменяющуюся частоту, при этом одновременно регистрируют и оцифровывают сигналы на всех микрофонах, получая временное представление сигнала (содержащее информацию об амплитуде волны в определенные моменты времени и тем самым о ее частоте и фазе), далее преобразуют временное представление сигнала в частотно-временное и обрабатывают частотно-временные представления сигналов посредством нейросетевого алгоритма таким образом, чтобы построить карту глубины. Процесс обработки данных состоит из этапов, описанных ниже. Этап 1.

Для построения карты глубины с помощью прибора по изобретению используют ультразвуковой сигнал определенной длительности с изменяющейся в определенном диапазоне частот частотой. Одновременно осуществляют регистрацию сигнала на всех четырех микрофонах и его оцифровку, которая осуществляется таким образом, чтобы сохранить информацию об амплитуде волны в определенные моменты времени.

Из полученных 4-х оцифрованных сигналов, с помощью непрерывного вейвлет-преобразования с WAVE-вейвлетом (т.е. Гауссовым вейвлетом первого порядка) [5] получают спектрограммы, т.е. частотно-временные спектры. Эти спектрограммы, имеют вид, подобный тем, что изображены на фиг. 16 A-D (см. также [11]). На спектрограммах цветом кодируется характеристика амплитуды.

Этап 2.

Далее все четыре спектрограммы, полученные на этапе 1, преобразуют в тензор сниженного размера,являющийся латентным представлением исходных изображений (т.е. векторным представлением сниженной размерности исходных изображений).

Для этого используют энкодер, то часть от заранее обученного сверточного автокодировщика (для обозначения автокодировщиков также повсеместно употребляется термин «автоэнкодер»).

Автокодировщик представляет собой нейросеть, состоящую из двух основных функциональных блоков: энкодера и декодера, последовательно связанных друг с другом. Автокодировщик может быть обучен таким образом, чтобы данные на входе максимально соответствовали данным (отклику) на выходе [10].

Конкретная структура сверточного автокодировщика (количество слоев нейронов, количество нейронов в каждом из слоев, количество связей нейронов со смежным слоем нейронов и не смежными слоями нейронов и т.п.) может быть различной. Хорошим примером подходящего сверточного автокодировщика может служить автокодировщик, описанный в [6] или [7]. Разумеется, для целей изобретения могут подойти и другие известные сверточные автокодировщики, обычно применяющиеся для обработки изображений, а также еще не описанные в опубликованных источниках сверточные нейросети.

Выбранный для обработки сигнала сверточный автокодировщик обучается так, чтобы при подаче на его вход изображения (которое сначала кодируется энкодером, а затем раскодируется декодером), изображение на выходе как можно лучше соответствовало (в идеальном случае - полностью соответствовало) изображению на выходе; показатель, характеризующий степень различия между изображениями на входе и выходе используют как индикатор обученности автокодировщика, и методом обратного распространения ошибки осуществляют обучение автокодировщика добиваясь минимальных различий между входным и выходным изображением на определенном обучающем датасете, состоящем из множества изображений.

Таким образом, после обучения автокодировщика, его внутренний скрытый слой, состоящий из небольшого количества нейронов после подачи на вход какого-либо изображения, будет содержать всю необходимую информацию, чтобы с помощью соответствующего декодера (правой части автокодировщика) восстановить из него исходное изображение.

Так как получаемые в настоящем примере на этапе 1 спектрограммы по сути представляют собой изображения значительного размера(см. фиг 16 A-D), например, 200×450 пикселей и каждый пиксель имеет цвет, который в системе цветового кодирования RGB передается тремя числовыми значениями, то вектор на входе энкодера, соответствующий спектрограмме с одного микрофона должен иметь размер 3×200×450, а с учетом 4-х микрофонов, размер вектора и, соответственно, количество нейронов входящего слоя энкодера увеличивается до 4×3×200×450. Именно столь большая размерность обуславливает потребность в использовании сверточного автокодировщика, т.е. автокодировщика со слоями свертки (см. [7]), преобразующего вектор большого размера в вектор намного меньшего размера - матрицу весов.

Автокодировщик для такого массива может быть построен и обучен с помощью [8], и может иметь следующую архитектуру:

В результате получаем тензор torch.Size([1, 1024, 12, 28]), кодирующий данные со всех 4-ех микрофонов. Этап 3.

Далее тензор небольшого размера, полученный на этапе 2 на выходе энкодера, преобразуют в карту глубины с помощью декодера, который предварительно обучен преобразовывать данные из вышеописанного энкодера в карты глубины.

Такое преобразование можно осуществить, заставив вышеописанный обученный автокодировщик, строить не идентичное исходному изображение, а карту глубины. Для этого заменяют декодер из вышеописанного обученного автокодировщика на необученный декодер, имеющий архитектуру аналогичную той, что применяется в нейросетях U-Net [9]. Итоговый пайплайн по получению карты глубины из сигналов с микрофонов будет иметь следующую архитектуру:

Далее этот декодер от U-net обучают таким образом, чтобы, получая на вход массив небольшого размера, представляющий собой переработанные данные с 4-х микрофонов, полученный гибридный энкодера-декодер выдавал на выходе карту глубины.

При этом, чтобы обеспечить совместимость вышеописанного энкодера с декодером U-net вначале удваивают размер массива и получают:

Таким образом получают карту глубины размером 450x450 пикселей

При необходимости можно задать и другие размеры и характеристики в зависимости от решаемой задачи и требуемого разрешения.

Для обучения полученной гибридной системы из энкодера и декодера U-net используют датасет, в котором каждому массиву данных A₁, А₂, …, A_n, соответствующему записям с 4-ех микрофонов для той или иной модельной сцены с объектами разной геометрической формы, размеров и расположения, соответствует карта глубины D₁, D₂, …, D_n, определенная эталонным методом

(например, с помощью лидара). Карту глубины для удобства нормируют в диапазоне от 0 до 1 (которым соответствуют реальные значения в диапазоне от 10 см до 10 метров).

При обучении декодера U-net устанавливают параметр threshold равным 0, что эквивалентно установке размера сегмента в 1 пиксель, таким образом на выходном слое декодера U-net в каждом пикселе получают значения нормированной глубины от 0 до 1.

Архитектура пайплайна выглядит следующим образом:

Далее с помощью описанного выше датасета обучают декодер U-net методом обратного распространения ошибки таким образом, чтобы расчетные карты глубины M₁, М₂, …, М_n, определенные с помощью вышеописанной гибридной системы энкодера и декодера для массивов входных данных A₁, А₂, …, А_n, максимально точно соответствовали картам глубины D₁, D₂, …, D_n, определенным эталонным методом.

ПРИМЕР 4

Построение карты глубины без использования предварительной обработки сигнала

В соответствии с теоремой Найквиста-Шеннона-Котельникова, непрерывный сигнал с ограниченным спектром можно точно восстановить по его дискретным отчетам, если они были взяты с частотой дискретизации, превышающей максимальную частоту сигнала минимум в два раза. Иными словами, чтобы достоверно кодировать звуковой сигнал с частотой 4 0 кГц, необходимо иметь частоту дискретизации минимум 80 кГц. Если использовать частоту дискретизации 96 кГц, можно достоверно кодировать и восстанавливать частоты до 48 кГц.

Кроме того важно, какие именно свертки используют для учета значений амплитуд и фаз сигнала на разных частотах. Частота дискретизации в 96 кГц - соответствует 96000 отсчетов (значений амплитуд) за секунду, а каждый отсчет содержит дискретное значение амплитуды. Когда применяют горизонтальную свертку с кратностью 2 (два отсчета) то получающееся после свертки значение на следующем слое нейронов способно характеризовать изменение амплитуды и фазы сигнала с частотой 48 кГц. При этом в свертке один отсчет является более значимым чем другой. В каждом случае веса будут различны и уточняются при последующем обучении, но если предположить различный вклад, например 75/25, то такая свертка будет оптимально фиксировать значение амплитуд и фаз сигнала на частотах ниже чем 48 кГц, в случае приведенного примера (48×0,75+24×0,25 ~ 42 кГц). На результирующих нейронах получают не просто значение амплитуды в определенный момент времени, а некоторое значение, определяемое весами, получаемыми при последующем обучении нейронной сети за счет обратного распространения ошибки - тем самым значениям амплитуд сигналов с частотой, в окрестности 42 кГц соответствуют значения нейрона следующего после свертки слоя. Значения фазы сигнала в нейросети учитывается всегда с максимальной точностью, т.к. параметр «stride», характеризующий шаг, равен 1 (т.е. каждый раз смещаются на один отсчет слева направо без пропусков).

Если же использовать горизонтальную свертку с кратностью не 2, а 3, то мы можно получить обобщающую способность нейросети для другой частоты, которую можно очень приблизительно для условных вкладов 0,4, 0,4 и 0,3 оценить в 48×0,4+48/2×0,3+48/3×0,3 ~ 31,2 кГц. Поскольку параметр «stride», характеризующий шаг, и в этом случае равен 1, и результирующее значение нейрона следующего после свертки слоя, также получают благодаря обучению через обратное распространение ошибки, то за счет использования в самом начале горизонтальных сверток кратных 2, 3, 4 и 5 получают развернутое представление амплитудно-частотных характеристик сигнала на линии времени, что позволяет также и фазы сигналов на различных частотах передать следующим слоям нейросети. При этом для изменения точности и разрешения прибора можно использовать и более высокую частоту дискретизации, и другой диапазон изменения частот излучаемого сигнала и другое количество первоначальных горизонтальных сверток, чтобы получить более точное представление.

Для примера рассмотрим подробно нейросеть для обработки сигнала с переменной частотой от 20 до 40 кГц, охватывающего частоту релаксации воздуха при нормальных условиях. Для этих частот с небольшим запасом выбирают частоту дискретизации 96 кГц.

Для радиуса 20 метров, с учетом средней скорости ультразвука в воздухе 330 м/с необходимо фиксировать сигнал, поступающий на микрофоны в течение 0,15 секунды после излучения сигнала, чему, с учетом частоты дискретизации, соответствует 14400 отсчетов значений амплитуд.

Таким образом входной слой с одного микрофона должен иметь размер 14400 нейронов (1×1×1×14 4 00).

Т.к. частота сигнала изменяется от 20 до 40 кГц, то второй слой должен обладать четырьмя типами одномерных горизонтальных сверток: с кратностью 2, 3, 4 и 5. За счет этого достигается максимальное частотное покрытие в заданном диапазоне.

Т.е. с одного микрофона мы берем значения амплитуд-отсчетов и размещаем их на первом слое 1×1×1×14400, а с 4-ех микрофонов, соответственно 1×4×1×14400. Далее для преобразования используем одномерные свертки 1×2, 1×3, 1×4 и 1×5. Поскольку параметр «Stride» равен 1 и используется padding (паддинг), то размерность получаемого вектора после каждой свертки также будет 1×14400, а учитывая, что используют четыре типа свертки, - с одного микрофона получают тензор размерностью 1×1×4×14400.

С 4-х микрофонов, на втором слое нейронов получают тензор размерностью 4×4×14400 ->1×1×16×14400.

Выше описана левая часть нейросети сверточной структуры. В качестве правой части берут декодер от нейросети с архитектурой U-Net и проводят обучение всей нейросети целиком, подавая на вход данные с микрофонов, и сравнивая с эталонными картами глубины на выходе. Таким образом обратное распространение ошибки осуществляют справа налево целиком по всей сети.

Таким образом, в соответствии с изобретением устройство с 1 излучателем, обеспечивающим формирование ультразвукового сигнала с изменяющейся в определенном диапазоне частотой и решеткой минимум из 3-х микрофонов обеспечивает после цифровой обработки получение матрицы заданного разрешения и чувствительности, в которой каждой точке соответствует значение дальности до отражающего объекта внешней среды в некотором малом телесном угле.

СПИСОК ЛИТЕРАТУРЫ

1. Peremans, Н., Audenaert, К., & Van Campenhout, J. M. (1993). A high-resolution sensor based on tri-aural perception. IEEE TransactionsonRoboticsandAutomation, 9(1), 36-48. doi:10.1109/70.210793.

2. Llata, J.R., Sarabia, E.G. & Oria, J.P. Three-Dimensional Robotic Vision Using Ultrasonic Sensors. Journal of Intelligent and Robotic Systems 33, 267-284 (2002).

https://doi.org/10.1023/A:101508 4 304191.

3. Sarabia EG, Llata JR, Robla S, Torre-Ferrero C, Oria JP. Accurateestimationo fairborneultrasoni ctime-of-flightforoverlappingechoes. Sensors (Basel). 2013 Nov 12;13(11):15465-88. doi: 10.3390/s131115465. PMID: 24284774; PMCID: PMC3871060.

4. http://bse.sci-lib.com/article029100.html

5. https://web.archive.org/web/20230427123951/https://kaf4 01.rloc.ru/DSP/Book/CWT.pdf, стр. 12-13.

6. Zhao W. et al. An FPGA implementation of a

convolutional auto-encoder //Applied Sciences. - 2018. - T. 8. - №. 4. - С.504.https://arxiv.org/pdf/1606.08921.pdf

7. https://ru.wikipedia.org/wiki/Сверточная нейронная сеть

8. http://torch.ch/

9. https://en.wikipedia.org/wi ki/U-Net

10. https://ru.wikipedia.org/wi ki/Автокодировщик

11. https://habr.com/ru/arti cles/449646/

Использование: для построения карты глубины в неплотных средах. Сущность изобретения заключается в том, что устройство для построения карты глубины в неплотных средах, содержащее: по меньшей мере, один источник направленного ультразвукового излучения (УЗИ), выполненный с возможностью испускания звукового сигнала целиком или предпочтительно в пределах заданного телесного угла, по меньшей мере, три приемника ультразвукового излучения (ПУИ), расположенных с возможностью приема отраженного от упомянутого объекта ультразвукового сигнала, средства управления и обработки данных (СУОД), в котором: упомянутые УЗИ и ПУИ установлены на заранее известном предварительно заданном расстоянии друг от друга, упомянутый сигнал имеет изменяющуюся в соответствии с предварительно заданной закономерностью частоту на протяжении звукового импульса, при этом диапазон изменения частоты упомянутого сигнала, включает частоту релаксации упомянутой среды, упомянутые СУОД выполнены с возможностью формирования упомянутого сигнала посредством упомянутых УЗИ, приема отраженного объектом сигнала каждым из ПУИ таким образом, чтобы обеспечить для каждого из ПУИ регистрацию рядов значений амплитуды волны и времени ее регистрации, получения цифрового представления рядов значений амплитуды волны и времени ее регистрации отдельно для каждого ПУИ, и обработки полученных цифровых представлений с использованием алгоритмов, включающих нейросетевые алгоритмы с получением карты глубины. Технический результат: обеспечение возможности построения карты глубины при использовании простого устройства, которое в предельном случае может состоять из одного источника ультразвукового излучения и системы из трех приемников ультразвукового излучения (микрофонов). 10 з.п. ф-лы, 16 ил.

1. Устройство для построения карты глубины в неплотных средах, содержащее:

по меньшей мере, один источник направленного ультразвукового излучения (УЗИ), выполненный с возможностью испускания звукового сигнала целиком или предпочтительно в пределах заданного телесного угла,

по меньшей мере, три приемника ультразвукового излучения (ПУИ), расположенных с возможностью приема отраженного от упомянутого объекта ультразвукового сигнала,

средства управления и обработки данных (СУОД),

в котором:

упомянутые УЗИ и ПУИ установлены на заранее известном предварительно заданном расстоянии друг от друга,

упомянутый сигнал имеет изменяющуюся в соответствии с предварительно заданной закономерностью частоту на протяжении звукового импульса, при этом диапазон изменения частоты упомянутого сигнала включает частоту релаксации упомянутой среды,

упомянутые СУОД выполнены с возможностью формирования упомянутого сигнала посредством упомянутых УЗИ, приема отраженного объектом сигнала каждым из ПУИ таким образом, чтобы обеспечить для каждого из ПУИ регистрацию рядов значений амплитуды волны и времени ее регистрации, получения цифрового представления рядов значений амплитуды волны и времени ее регистрации отдельно для каждого ПУИ, и обработки полученных цифровых представлений с использованием алгоритмов, включающих нейросетевые алгоритмы с получением карты глубины.

2. Устройство по п. 1, в котором обработка цифрового представления сигнала включает этап преобразования цифрового представления сигнала из временного представления, при котором сигнал описывается значениями амплитуды в определенные моменты времени, в частотно-временное, при котором сигнал описывается спектрограммой, содержащей информацию о частоте сигнала в определенные моменты времени, посредством Фурье-преобразования или вейвлет-преобразования, а нейросеть состоит из энкодера, полученного путем обучения сверточного автоэнкодера на множестве спектрограмм, и декодера, обученного на множестве спектрограмм и соответствующих им карт глубин, определенных эталонным методом.

3. Устройство по п. 1, в котором вышеупомянутые ПУИ расположены в одной плоскости в вершинах многоугольника, при этом проекция вышеупомянутого УЗИ на упомянутую плоскость лежит внутри упомянутого многоугольника.

4. Устройство по п. 1, в котором упомянутая неплотная среда представляет собой газ, предпочтительно воздух.

5. Устройство по п. 1, в котором, по меньшей мере, один из упомянутых источников направленного ультразвукового излучения выполнен таким образом, что по меньшей мере, 50% всей его акустической мощности, предпочтительно, по меньшей мере, 80% всей его акустической мощности, сосредоточено в телесном угле менее 1/2 стерадиан.

6. Устройство по п. 1, в котором вышеупомянутые приемники звука представляют собой конденсаторные, электретные или мембранные микрофоны.

7. Устройство по п. 1, в котором вышеупомянутые приемники представляют собой микрофоны, снабженные средствами, модифицирующими ультразвуковой сигнал.

8. Устройство по п. 1, характеризующееся тем, что содержит только один вышеупомянутый УЗИ и, по меньшей мере, четыре вышеупомянутых ПУИ.

9. Устройство по п. 1, в котором частота вышеупомянутого сигнала равномерно увеличивается или равномерно уменьшается на протяжении импульса.

10. Устройство по п. 1, в котором частота вышеупомянутого сигнала с изменяющейся в соответствии с предварительно заданной закономерностью частотой изменяется в диапазоне от 25 до 80 кГц.

11. Устройство по п. 1, в котором частота ультразвукового сигнала составляет от 25 до 80 кГц.