СПОСОБ ОТОБРАЖЕНИЯ ОКРУЖАЮЩЕЙ СРЕДЫ Российский патент 2014 года по МПК G06F19/26 G06T7/00 

Описание патента на изобретение RU2504833C1

Изобретение относится к технологиям дополненной реальности, предусматривающим отображение как объектов окружающей среды, так и различных искусственных элементов, служащих, например, для идентификации этих объектов.

В качестве ближайшего аналога предлагаемого изобретения выбран способ отображения окружающей среды, описанный в заявке на выдачу патента на изобретение США US 2011153198, опубликованной 23.06.2011. Согласно известному из US 2011153198 способу отображения окружающей среды посредством видеокамеры или смартфона получают изображение окружающей среды, преимущественно динамическое изображение. Определяют пространственное положение и/или направление движения средства получения изображения по данным нескольких средств пространственного позиционирования: навигационного приемника по меньшей мере одной спутниковой системы позиционирования и электронного компаса. Сопоставляют полученное изображение с трехмерными моделями окружающей среды и электронными картами или планами, идентифицируют объекты окружающей среды, являющиеся частью изображения, на основании перечисленных выше сведений и дополняют полученное изображение окружающей среды по меньшей мере одним визуально воспринимаемым искусственным элементом, отражающим результаты идентификации объектов окружающей среды.

Недостатком известного способа является невозможность анализа окружающей среды в режиме реального времени, что может привести к некорректному дополнению изображения искусственными объектами. Кроме того, известный способ отображения окружающей среды не учитывает динамические изменения окружающей среды, связанные с погодными условиями, антропогенными изменениями ландшафта и т.п.

В свою очередь предлагаемый способ отображения окружающей среды позволит осуществлять анализ окружающей среды в реальном режиме времени, с учетом динамических изменений окружающей среды, вызванных природными явлениями.

Указанный технический результат будет достигнут при практическом использовании способа отображения окружающей среды, который включает получение соответствующим средством изображения окружающей среды, определение пространственного положения и/или направления движения средства получения изображения по данным нескольких средств пространственного позиционирования, например навигационного приемника по меньшей мере одной спутниковой системы позиционирования. Полученное изображение сопоставляют с трехмерными моделями окружающей среды и электронными картами или планами и идентифицируют объекты окружающей среды, являющиеся частью изображения на основании перечисленных выше сведений. В итоге полученное изображение окружающей среды дополняют по меньшей мере одним визуально воспринимаемым искусственным элементом, отражающим результаты идентификации объектов окружающей среды.

Согласно предложенному изобретению в ходе отображения окружающей среды дополнительно определяют текущее время и учитывают состояние атмосферы на основании доступных средств, выбранных из перечня: качество полученного изображения окружающей среды, текущее время, сведения базы данных метеорологических элементов. Пространственное положение и/или направление движения средства получения изображения определяют по данным по меньшей мере двух доступных средств пространственного позиционирования, выбранных из перечня: навигационный приемник по меньшей мере одной спутниковой системы позиционирования, акселерометр, электронный компас, средства анализа местоположения в сети сотовой связи. Полученное изображение сопоставляют с трехмерными моделями окружающей среды и электронными картами или планами, хранящимися в соответствующей динамически пополняемой базе знаний. При использовании предложенного способа в городских условиях получают изображение городского ландшафта, причем упомянутая база знаний содержит сведения о расположении объектов городской инфраструктуры, включая информацию о вывесках, надписях, указателях и дорожных знаках, а база данных метеорологических элементов содержит сведения о микроклимате. При использовании предложенного способа внутри помещений получают изображение интерьера, причем упомянутая база знаний содержит сведения об отделке, обстановке и расположении оборудования, мебели или других элементов интерьера.

Объекты окружающей среды, являющиеся частью изображения, идентифицируют на основании перечисленных выше сведений с использованием обучаемой искусственной нейронной сети, связанной с упомянутой базой знаний, и пополняют упомянутую базу знаний новыми сведениями, полученными в результате такой идентификации. Для наиболее эффективного использования предложенного способа упомянутую базу знаний пополняют новыми сведениями, поступающими от множества пользовательских средств получения изображения окружающей среды.

Предложенный способ осуществляется следующим образом.

Для получения изображения окружающей среды (съемки) могут быть использованы любые известные средства 1, обеспечивающие получение и управляемую обработку изображений: мобильные терминалы связи, оснащенные видеокамерами (смартфоны, коммуникаторы и т.п.), стационарные программируемые терминалы, связанные с удаленными видеокамерами. Очевидно, что в большинстве случаев такие средства 1 будут использованы для получения динамического видеоизображения, при возможности получения моментальных фотоснимков.

Одновременно с получением изображения выполняется комплексный анализ условий, при которых было получено это изображение. При помощи таймера 2 терминала связи или видеокамеры 11 определяется текущее время (время суток, календарная дата). Пространственное положение и/или направление движения средства получения изображения, то есть и положение объектов в поле прямой видимости, определяют по данным нескольких (по меньшей мере двух доступных исходя из условий съемки) средств пространственного позиционирования. В состав указанных средств пространственного позиционирования входит: навигационный приемник по меньшей мере одной спутниковой системы позиционирования (GPS Navstar, ГЛОНАСС, Galileo, Бейдоу, IRNSS) 3, акселерометр 4, электронный компас 5, средства анализа местоположения в сети сотовой связи (LBS) 6. Таким образом, даже при потере сигнала от спутниковых систем позиционировании и/или средств анализа местоположения в сети сотовой связи, по данным акселерометра 4 и электронного компаса 5 будет определено направление движения средства получения изображения 11 и, соответственно, будет определено положение объектов в поле прямой видимости и сохранена возможность учета данных позиционирования при идентификации объектов окружающей среды. В благоприятных условиях, обеспечивающих прием 3 сигнала от спутниковых систем позиционирования и средств анализа местоположения в сети сотовой связи 6, а также работу акселерометра 4 и электронного компаса 5, будет обеспечено как точное определение географических координат (широта и долгота), так и точное определение направления движения средства получения изображения 11. В любом случае совместное использование перечисленных средства пространственного позиционирования исключит потерю пространственной ориентации средства получения изображения и, следовательно, некорректную идентификацию объектов окружающей среды.

Одновременно исходя из текущего времени съемки (время суток, время года), качества получаемого изображения, сведений базы данных метеорологических элементов 7 определяется состояние атмосферы (освещенность и т.п.) на направлении объектива средства получения изображения, что обеспечивает внесение необходимых поправок на качество съемки. Таким образом, исходя из времени получения изображения, качества полученного изображения и данных позиционирования на основании данных 7 базы метеорологических элементов (температура окружающей среды, атмосферное давление, влажность, скорость и направление ветра, наличие осадков и т.п.) учитываются текущие погодные и климатические условия съемки. В дополнение к метеорологическим данным, соответствующим той или иной точке земной поверхности, могут быть учтены данные по городскому микроклимату или микроклимату закрытых помещений. Очевидно, что учет условий, при которых было получено изображение, обеспечивает необходимую коррекцию алгоритма идентификации объектов и позволит предотвратить грубые ошибки при дополнении полученного изображения искусственными элементами.

На основании данных, полученных перечисленными выше средствами пространственного позиционирования и учета состояния атмосферы, полученное при съемке изображение сопоставляют с объективной информацией 8 об окружающей среде. В качестве информации 8 об окружающей среде используют трехмерные модели окружающей среды, электронные карты или планы зданий и сооружений. Для съемок в городских условиях используют изображения городского ландшафта, сведения о расположении объектов городской инфраструктуры, включая информацию о вывесках, надписях, указателях и дорожных знаках. Для съемок в закрытых помещениях изображения интерьера, сведения об отделке, обстановке и расположении оборудования. Для хранения перечисленных сведений используется база знаний 9, динамически пополняемая в процессе съемок и одновременно используемая в качестве ресурса разнообразной информации, необходимой для распознавания изображений объектов окружающей среды и их идентификации.

Объекты окружающей среды, являющиеся частью полученного изображения, идентифицируют на основании перечисленных выше сведений. Для идентификации объектов окружающей среды используют обучаемую искусственную нейронную сеть 10, связанную с упомянутой выше динамически пополняемой в результате съемок и процесса идентификации базой знаний 9. Совместное использование обучаемой искусственной нейронной сети 10 и динамически пополняемой базы знаний 9, накопление и использование информации, собранной в результате ранее выполненных съемок, обеспечивает практически полный учет изменений окружающей среды, например изменений городского ландшафта, что исключит некорректную идентификацию объектов окружающей среды из-за использования неактуализированных электронных карт, помех, возникающих при съемке, перекрытий объектов при съемке и т.п. Пополнение базы знаний 9 сведениями, поступающими от множества пользовательских средств 1 получения изображения окружающей среды, обеспечит практически безошибочную идентификацию объектов окружающей среды. В итоге полученное изображение окружающей среды дополняют по меньшей мере одним визуально воспринимаемым искусственным элементом (например, сведениями о качестве проезжей части; различными сведениями о зданиях и сооружениях), отражающим результаты идентификации объектов окружающей среды.

Таким образом, предложен способ отображения окружающей среды, обеспечивающий качество распознавания объектов окружающей среды и точность дополнения изображения реальной среды искусственными объектами.

Похожие патенты RU2504833C1

название год авторы номер документа
МНОГОФУНКЦИОНАЛЬНЫЙ МОБИЛЬНЫЙ КОМПЛЕКС ОБЕСПЕЧЕНИЯ ПОТРЕБИТЕЛЕЙ МОНИТОРИНГОВОЙ ИНФОРМАЦИЕЙ (МКОПМИ) 2011
  • Железнов Сергей Александрович
  • Макаров Михаил Иванович
  • Меньшиков Валерий Александрович
  • Морозов Кирилл Валерьевич
  • Пичурин Юрий Георгиевич
  • Полоз Игнат Вадимович
  • Пушкарский Сергей Васильевич
  • Радьков Александр Васильевич
  • Селивёрстов Владимир Михайлович
  • Шеметов Валентин Константинович
RU2475968C1
УСТРОЙСТВО И СИСТЕМА РЕГИСТРАЦИИ ДОРОЖНОЙ ОБСТАНОВКИ 2020
  • Куховаренко Антон Олегович
RU2749527C1
Комплекс навигации и управления кораблем 2022
  • Чернявец Владимир Васильевич
RU2786251C1
СПОСОБ АВТОМАТИЗИРОВАННОГО СОЗДАНИЯ ТРЕХМЕРНЫХ СИСТЕМ ГОРОДСКИХ ПАНОРАМ НА ОСНОВЕ ДАННЫХ ЛАЗЕРНОГО СКАНИРОВАНИЯ 2015
  • Ильичев Олег Анатольевич
  • Геворков Сергей Юрьевич
  • Иванченко Дмитрий Леонидович
  • Павлюченков Алексей Васильевич
RU2601165C2
АВТОМАТИЗИРОВАННАЯ СИСТЕМА ИДЕНТИФИКАЦИИ ОБЪЕКТА И РЕГИСТРАЦИИ ЕГО СОСТОЯНИЯ 2011
  • Курсин Сергей Борисович
  • Бродский Павел Григорьевич
  • Жуков Юрий Николаевич
  • Леньков Валерий Павлович
  • Руденко Евгений Иванович
  • Чернявец Владимир Васильевич
  • Шалагин Николай Николаевич
RU2444055C1
СПОСОБ ОПРЕДЕЛЕНИЯ СОСТОЯНИЯ ЛЕДЯНОГО ПОКРОВА 2010
  • Добротворский Александр Николаевич
  • Бродский Павел Григорьевич
  • Зверев Сергей Борисович
  • Аносов Виктор Сергеевич
  • Воронин Василий Алексеевич
  • Новиков Алексей Иванович
  • Чернявец Владимир Васильевич
  • Тарасов Сергей Павлович
RU2449326C2
Оптико-электронная система преобразования данных изображения в элементы вектора состояния судна 2023
  • Студеникин Дмитрий Евгеньевич
  • Куку Эдем Аметович
RU2808873C1
АВТОНОМНАЯ ОПТИЧЕСКАЯ СИСТЕМА ЛОКАЛЬНОГО ПОЗИЦИОНИРОВАНИЯ И НАВИГАЦИИ 2023
  • Парий Александр Витальевич
  • Парий Валерий Александрович
  • Непряхин Николай Владимирович
RU2816087C1
ТЕХНОЛОГИЯ РЕСУРСНОЙ ОЦЕНКИ ПАСТБИЩНЫХ УГОДИЙ СЕВЕРНОГО ОЛЕНЯ ПО СПЕКТРОЗОНАЛЬНЫМ СПУТНИКОВЫМ ДАННЫМ 2013
  • Елсаков Владимир Валерьевич
RU2521755C1
СПОСОБ И АППАРАТНО-ПРОГРАММНЫЙ КОМПЛЕКС ДЛЯ ПРИЕМА И ОБРАБОТКИ ЗАЯВОК ОТ ВНЕШНИХ ПОТРЕБИТЕЛЕЙ НА ПРОВЕДЕНИЕ СПУТНИКОВОЙ СЪЕМКИ, КОМПЛЕКСНОЙ ОБРАБОТКИ СПУТНИКОВЫХ ДАННЫХ И ФОРМИРОВАНИЯ ВЫХОДНЫХ ИНФОРМАЦИОННЫХ ПРОДУКТОВ ДЛЯ ВНЕШНИХ ПОТРЕБИТЕЛЕЙ 2011
  • Полушковский Юрий Александрович
  • Скрипачев Владимир Олегович
  • Суровцева Ирина Вячеславовна
  • Спиричев Дмитрий Леонидович
RU2465617C1

Реферат патента 2014 года СПОСОБ ОТОБРАЖЕНИЯ ОКРУЖАЮЩЕЙ СРЕДЫ

Изобретение относится к средствам отображения окружающей среды. Техническим результатом является повышение точности отображения искусственных объектов на изображении окружающей среды в реальном времени за счет анализа динамических изменений окружающей среды. В способе определяются характеристики текущего времени, учитывают состояние атмосферы, определяют пространственное положение средства получения изображения, по данным средств пространственного позиционирования, полученное изображение сопоставляют с трехмерными моделями окружающей среды и электронными картами, хранящимися в динамически пополняемой базе знаний, идентифицируют объекты окружающей среды, являющиеся частью изображения, с использованием средств распознавания и идентификации образов, связанных с упомянутой базой, где упомянутая база постоянно пополняется и уточняется новыми сведениями, полученными в результате идентификации указанных объектов. 3 з.п. ф-лы, 1 ил.

Формула изобретения RU 2 504 833 C1

1. Способ отображения окружающей среды, включающий
получение соответствующим средством изображения окружающей среды,
определение пространственного положения и/или направления движения средства получения изображения по данным нескольких средств пространственного позиционирования, например навигационного приемника по меньшей мере одной спутниковой системы позиционирования,
сопоставление полученного изображения с трехмерными моделями окружающей среды и электронными картами или планами,
идентификацию объектов окружающей среды, являющихся частью изображения на основании перечисленных выше сведений,
дополнение полученного изображения окружающей среды по меньшей мере одним визуально воспринимаемым искусственным элементом, отражающим результаты идентификации объектов окружающей среды, отличающийся тем, что
(a) определяются характеристики текущего времени: всемирное время, время года и время суток,
причем учитывается состояние атмосферы на основании доступных средств, выбранных из перечня: качество полученного изображения окружающей среды, текущее время, сведения базы данных метеорологических элементов,
(b) определяется пространственное положение и/или направление движения средства получения изображения по данным по меньшей мере двух доступных средств пространственного позиционирования, выбранных из перечня: навигационный приемник по меньшей мере одной спутниковой системы позиционирования, акселерометр, электронный компас, средства анализа местоположения в сети сотовой связи,
при этом полученное изображение сопоставляется с трехмерными моделями окружающей среды и электронными картами или планами, хранящимися в соответствующей динамически пополняемой базе знаний,
(c) идентифицируются объекты окружающей среды, являющиеся частью изображения на основании перечисленных выше сведений, с использованием средств распознавания и идентификации образов, связанных с упомянутой базой знаний, например с использованием обучаемой искусственной нейронной сети,
причем упомянутая база знаний постоянно пополняется и уточняется новыми сведениями, полученными в результате такой идентификации.

2. Способ по п.1, отличающийся тем, что формируется детальное описание городского ландшафта, содержащее сведения о расположении объектов городской инфраструктуры, включая информацию о вывесках, надписях, указателях и дорожных знаках, а также база данных метеорологических элементов, содержащая сведения о микроклимате отдельных локаций в определенный период.

3. Способ по п.1, отличающийся тем, что получают изображение интерьера, причем упомянутая база знаний содержит сведения об отделке, обстановке и расположении оборудования, мебели или других элементов интерьера.

4. Способ по любому из предшествующих пунктов, отличающийся тем, что упомянутую базу знаний динамически пополняют новыми многофакторными сведениями, поступающими от множества пользовательских средств получения изображения окружающей среды.

Документы, цитированные в отчете о поиске Патент 2014 года RU2504833C1

МЕЖДУНАРОДНАЯ АЭРОКОСМИЧЕСКАЯ АВТОМАТИЗИРОВАННАЯ СИСТЕМА МОНИТОРИНГА ГЛОБАЛЬНЫХ ГЕОФИЗИЧЕСКИХ ЯВЛЕНИЙ И ПРОГНОЗИРОВАНИЯ ПРИРОДНЫХ И ТЕХНОГЕННЫХ КАТАСТРОФ (МАКАСМ) 2007
  • Баскин Илья Михайлович
  • Кондрашев Виктор Петрович
  • Королев Александр Николаевич
  • Макаров Михаил Иванович
  • Меньшиков Валерий Александрович
  • Останков Владимир Иванович
  • Павлов Сергей Владимирович
  • Перминов Анатолий Николаевич
  • Пирютин Сергей Олегович
  • Пичурин Юрий Георгиевич
  • Радьков Александр Васильевич
  • Хашба Нодар Владимирович
  • Шевченко Виктор Григорьевич
RU2349513C2
ОТОБРАЖЕНИЕ ОБЪЕКТОВ СЕТИ НА МОБИЛЬНЫХ УСТРОЙСТВАХ НА ОСНОВАНИИ ГЕОПОЗИЦИИ 2007
  • Хамюнен Киммо
  • Корхонен Паси
  • Кахари Маркус
  • Сорвари Антти
  • Хухтала Ика
  • Мёрфи Дэвид
  • Пааласмаа Йонас
RU2417437C2
US 6035057 A, 07.03.2000
Приспособление для суммирования отрезков прямых линий 1923
  • Иванцов Г.П.
SU2010A1
Пломбировальные щипцы 1923
  • Громов И.С.
SU2006A1

RU 2 504 833 C1

Авторы

Малолин Андрей Юрьевич

Мартиросян Ваган Ишханович

Резников Владимир Борисович

Даты

2014-01-20Публикация

2012-07-19Подача