СПОСОБ ОТОБРАЖЕНИЯ ОКРУЖАЮЩЕЙ СРЕДЫ Российский патент 2014 года по МПК G06F19/26 G06T7/00 

Изобретение относится к технологиям дополненной реальности, предусматривающим отображение как объектов окружающей среды, так и различных искусственных элементов, служащих, например, для идентификации этих объектов.

В качестве ближайшего аналога предлагаемого изобретения выбран способ отображения окружающей среды, описанный в заявке на выдачу патента на изобретение США US 2011153198, опубликованной 23.06.2011. Согласно известному из US 2011153198 способу отображения окружающей среды посредством видеокамеры или смартфона получают изображение окружающей среды, преимущественно динамическое изображение. Определяют пространственное положение и/или направление движения средства получения изображения по данным нескольких средств пространственного позиционирования: навигационного приемника по меньшей мере одной спутниковой системы позиционирования и электронного компаса. Сопоставляют полученное изображение с трехмерными моделями окружающей среды и электронными картами или планами, идентифицируют объекты окружающей среды, являющиеся частью изображения, на основании перечисленных выше сведений и дополняют полученное изображение окружающей среды по меньшей мере одним визуально воспринимаемым искусственным элементом, отражающим результаты идентификации объектов окружающей среды.

Недостатком известного способа является невозможность анализа окружающей среды в режиме реального времени, что может привести к некорректному дополнению изображения искусственными объектами. Кроме того, известный способ отображения окружающей среды не учитывает динамические изменения окружающей среды, связанные с погодными условиями, антропогенными изменениями ландшафта и т.п.

В свою очередь предлагаемый способ отображения окружающей среды позволит осуществлять анализ окружающей среды в реальном режиме времени, с учетом динамических изменений окружающей среды, вызванных природными явлениями.

Указанный технический результат будет достигнут при практическом использовании способа отображения окружающей среды, который включает получение соответствующим средством изображения окружающей среды, определение пространственного положения и/или направления движения средства получения изображения по данным нескольких средств пространственного позиционирования, например навигационного приемника по меньшей мере одной спутниковой системы позиционирования. Полученное изображение сопоставляют с трехмерными моделями окружающей среды и электронными картами или планами и идентифицируют объекты окружающей среды, являющиеся частью изображения на основании перечисленных выше сведений. В итоге полученное изображение окружающей среды дополняют по меньшей мере одним визуально воспринимаемым искусственным элементом, отражающим результаты идентификации объектов окружающей среды.

Согласно предложенному изобретению в ходе отображения окружающей среды дополнительно определяют текущее время и учитывают состояние атмосферы на основании доступных средств, выбранных из перечня: качество полученного изображения окружающей среды, текущее время, сведения базы данных метеорологических элементов. Пространственное положение и/или направление движения средства получения изображения определяют по данным по меньшей мере двух доступных средств пространственного позиционирования, выбранных из перечня: навигационный приемник по меньшей мере одной спутниковой системы позиционирования, акселерометр, электронный компас, средства анализа местоположения в сети сотовой связи. Полученное изображение сопоставляют с трехмерными моделями окружающей среды и электронными картами или планами, хранящимися в соответствующей динамически пополняемой базе знаний. При использовании предложенного способа в городских условиях получают изображение городского ландшафта, причем упомянутая база знаний содержит сведения о расположении объектов городской инфраструктуры, включая информацию о вывесках, надписях, указателях и дорожных знаках, а база данных метеорологических элементов содержит сведения о микроклимате. При использовании предложенного способа внутри помещений получают изображение интерьера, причем упомянутая база знаний содержит сведения об отделке, обстановке и расположении оборудования, мебели или других элементов интерьера.

Объекты окружающей среды, являющиеся частью изображения, идентифицируют на основании перечисленных выше сведений с использованием обучаемой искусственной нейронной сети, связанной с упомянутой базой знаний, и пополняют упомянутую базу знаний новыми сведениями, полученными в результате такой идентификации. Для наиболее эффективного использования предложенного способа упомянутую базу знаний пополняют новыми сведениями, поступающими от множества пользовательских средств получения изображения окружающей среды.

Предложенный способ осуществляется следующим образом.

Для получения изображения окружающей среды (съемки) могут быть использованы любые известные средства 1, обеспечивающие получение и управляемую обработку изображений: мобильные терминалы связи, оснащенные видеокамерами (смартфоны, коммуникаторы и т.п.), стационарные программируемые терминалы, связанные с удаленными видеокамерами. Очевидно, что в большинстве случаев такие средства 1 будут использованы для получения динамического видеоизображения, при возможности получения моментальных фотоснимков.

Одновременно с получением изображения выполняется комплексный анализ условий, при которых было получено это изображение. При помощи таймера 2 терминала связи или видеокамеры 1₁ определяется текущее время (время суток, календарная дата). Пространственное положение и/или направление движения средства получения изображения, то есть и положение объектов в поле прямой видимости, определяют по данным нескольких (по меньшей мере двух доступных исходя из условий съемки) средств пространственного позиционирования. В состав указанных средств пространственного позиционирования входит: навигационный приемник по меньшей мере одной спутниковой системы позиционирования (GPS Navstar, ГЛОНАСС, Galileo, Бейдоу, IRNSS) 3, акселерометр 4, электронный компас 5, средства анализа местоположения в сети сотовой связи (LBS) 6. Таким образом, даже при потере сигнала от спутниковых систем позиционировании и/или средств анализа местоположения в сети сотовой связи, по данным акселерометра 4 и электронного компаса 5 будет определено направление движения средства получения изображения 1₁ и, соответственно, будет определено положение объектов в поле прямой видимости и сохранена возможность учета данных позиционирования при идентификации объектов окружающей среды. В благоприятных условиях, обеспечивающих прием 3 сигнала от спутниковых систем позиционирования и средств анализа местоположения в сети сотовой связи 6, а также работу акселерометра 4 и электронного компаса 5, будет обеспечено как точное определение географических координат (широта и долгота), так и точное определение направления движения средства получения изображения 1₁. В любом случае совместное использование перечисленных средства пространственного позиционирования исключит потерю пространственной ориентации средства получения изображения и, следовательно, некорректную идентификацию объектов окружающей среды.

Одновременно исходя из текущего времени съемки (время суток, время года), качества получаемого изображения, сведений базы данных метеорологических элементов 7 определяется состояние атмосферы (освещенность и т.п.) на направлении объектива средства получения изображения, что обеспечивает внесение необходимых поправок на качество съемки. Таким образом, исходя из времени получения изображения, качества полученного изображения и данных позиционирования на основании данных 7 базы метеорологических элементов (температура окружающей среды, атмосферное давление, влажность, скорость и направление ветра, наличие осадков и т.п.) учитываются текущие погодные и климатические условия съемки. В дополнение к метеорологическим данным, соответствующим той или иной точке земной поверхности, могут быть учтены данные по городскому микроклимату или микроклимату закрытых помещений. Очевидно, что учет условий, при которых было получено изображение, обеспечивает необходимую коррекцию алгоритма идентификации объектов и позволит предотвратить грубые ошибки при дополнении полученного изображения искусственными элементами.

На основании данных, полученных перечисленными выше средствами пространственного позиционирования и учета состояния атмосферы, полученное при съемке изображение сопоставляют с объективной информацией 8 об окружающей среде. В качестве информации 8 об окружающей среде используют трехмерные модели окружающей среды, электронные карты или планы зданий и сооружений. Для съемок в городских условиях используют изображения городского ландшафта, сведения о расположении объектов городской инфраструктуры, включая информацию о вывесках, надписях, указателях и дорожных знаках. Для съемок в закрытых помещениях изображения интерьера, сведения об отделке, обстановке и расположении оборудования. Для хранения перечисленных сведений используется база знаний 9, динамически пополняемая в процессе съемок и одновременно используемая в качестве ресурса разнообразной информации, необходимой для распознавания изображений объектов окружающей среды и их идентификации.

Объекты окружающей среды, являющиеся частью полученного изображения, идентифицируют на основании перечисленных выше сведений. Для идентификации объектов окружающей среды используют обучаемую искусственную нейронную сеть 10, связанную с упомянутой выше динамически пополняемой в результате съемок и процесса идентификации базой знаний 9. Совместное использование обучаемой искусственной нейронной сети 10 и динамически пополняемой базы знаний 9, накопление и использование информации, собранной в результате ранее выполненных съемок, обеспечивает практически полный учет изменений окружающей среды, например изменений городского ландшафта, что исключит некорректную идентификацию объектов окружающей среды из-за использования неактуализированных электронных карт, помех, возникающих при съемке, перекрытий объектов при съемке и т.п. Пополнение базы знаний 9 сведениями, поступающими от множества пользовательских средств 1 получения изображения окружающей среды, обеспечит практически безошибочную идентификацию объектов окружающей среды. В итоге полученное изображение окружающей среды дополняют по меньшей мере одним визуально воспринимаемым искусственным элементом (например, сведениями о качестве проезжей части; различными сведениями о зданиях и сооружениях), отражающим результаты идентификации объектов окружающей среды.

Таким образом, предложен способ отображения окружающей среды, обеспечивающий качество распознавания объектов окружающей среды и точность дополнения изображения реальной среды искусственными объектами.

Изобретение относится к средствам отображения окружающей среды. Техническим результатом является повышение точности отображения искусственных объектов на изображении окружающей среды в реальном времени за счет анализа динамических изменений окружающей среды. В способе определяются характеристики текущего времени, учитывают состояние атмосферы, определяют пространственное положение средства получения изображения, по данным средств пространственного позиционирования, полученное изображение сопоставляют с трехмерными моделями окружающей среды и электронными картами, хранящимися в динамически пополняемой базе знаний, идентифицируют объекты окружающей среды, являющиеся частью изображения, с использованием средств распознавания и идентификации образов, связанных с упомянутой базой, где упомянутая база постоянно пополняется и уточняется новыми сведениями, полученными в результате идентификации указанных объектов. 3 з.п. ф-лы, 1 ил.

1. Способ отображения окружающей среды, включающий
получение соответствующим средством изображения окружающей среды,
определение пространственного положения и/или направления движения средства получения изображения по данным нескольких средств пространственного позиционирования, например навигационного приемника по меньшей мере одной спутниковой системы позиционирования,
сопоставление полученного изображения с трехмерными моделями окружающей среды и электронными картами или планами,
идентификацию объектов окружающей среды, являющихся частью изображения на основании перечисленных выше сведений,
дополнение полученного изображения окружающей среды по меньшей мере одним визуально воспринимаемым искусственным элементом, отражающим результаты идентификации объектов окружающей среды, отличающийся тем, что
(a) определяются характеристики текущего времени: всемирное время, время года и время суток,
причем учитывается состояние атмосферы на основании доступных средств, выбранных из перечня: качество полученного изображения окружающей среды, текущее время, сведения базы данных метеорологических элементов,
(b) определяется пространственное положение и/или направление движения средства получения изображения по данным по меньшей мере двух доступных средств пространственного позиционирования, выбранных из перечня: навигационный приемник по меньшей мере одной спутниковой системы позиционирования, акселерометр, электронный компас, средства анализа местоположения в сети сотовой связи,
при этом полученное изображение сопоставляется с трехмерными моделями окружающей среды и электронными картами или планами, хранящимися в соответствующей динамически пополняемой базе знаний,
(c) идентифицируются объекты окружающей среды, являющиеся частью изображения на основании перечисленных выше сведений, с использованием средств распознавания и идентификации образов, связанных с упомянутой базой знаний, например с использованием обучаемой искусственной нейронной сети,
причем упомянутая база знаний постоянно пополняется и уточняется новыми сведениями, полученными в результате такой идентификации.

2. Способ по п.1, отличающийся тем, что формируется детальное описание городского ландшафта, содержащее сведения о расположении объектов городской инфраструктуры, включая информацию о вывесках, надписях, указателях и дорожных знаках, а также база данных метеорологических элементов, содержащая сведения о микроклимате отдельных локаций в определенный период.

3. Способ по п.1, отличающийся тем, что получают изображение интерьера, причем упомянутая база знаний содержит сведения об отделке, обстановке и расположении оборудования, мебели или других элементов интерьера.

4. Способ по любому из предшествующих пунктов, отличающийся тем, что упомянутую базу знаний динамически пополняют новыми многофакторными сведениями, поступающими от множества пользовательских средств получения изображения окружающей среды.