СПОСОБ ОТОБРАЖЕНИЯ ОБЪЕКТА НА ПРОСТРАНСТВЕННОЙ МОДЕЛИ Российский патент 2016 года по МПК G06T17/00 

Изобретение относится к области информационных технологий, компьютерной техники, а именно обработке и генерации данных изображения, обработке изображений для машинной графики, и может быть использовано для визуализации трехмерных моделей на изображении.

Наиболее близким по технической сущности - прототипом является способ картографирования ледниковой геоморфологии, содержащий этапы, на которых: принимают изображение исследуемого района, полученное с помощью спутника; принимают цифровую модель возвышений исследуемого района; идентифицируют равнины и гряды на цифровой модели возвышений; идентифицируют болота и леса на изображении, полученном с помощью спутника; и формируют гляциологическую карту, имеющую ледниковые признаки, на основе идентифицированных равнин, гряд, болот и леса (см. RU 2519667 С2, кл. G01C 11/06, G06T 17/05).

Известный способ может быть реализован для визуализации результатов моделирования природных процессов с учетом картографической информации местности.

Недостатком известного способа является ограниченность его применения лишь отображением результатов моделирования процессов на местности, для которой существуют цифровые карты возвышенностей. Известный способ не может быть использован для отображения результатов моделирования на поверхности движимых объектов или объектах, не привязанных к местности.

Известное решение не позволяет осуществлять внедрение дополнительных объектов в построенную модель и определять результаты взаимодействия дополнительных объектов с моделью.

Указанный недостаток ограничивает область применения известного способа.

Техническим результатом является расширение области применения за счет обеспечения возможности формирования пространственной модели без привлечения дополнительных данных об исследуемом районе, обеспечения возможности формирования пространственной модели движимых объектов или внутреннего пространства объектов, а также обеспечение возможности получения результатов взаимодействия пространственной модели с моделями различных объектов.

Указанный результат достигается тем, что в способе отображения объекта на пространственной модели, заключающемся в получении сформированного с помощью видеокамеры изображения и формировании модели, выявляют на кадрах изображения точки интереса и определяют их координаты на кадре, осуществляют перемещение видеокамеры, получают данные о параметрах осуществленного перемещения видеокамеры, на основе которых вычисляют прогнозные значения пространственных координат секторов, в которых возможно нахождение деталей реального пространства, отображаемых на изображении соответствующими точками интереса, в результате осуществленного перемещении видеокамеры, и определяют координаты области на кадре, для каждого из указанных секторов, в которой ожидают обнаружение соответствующей точки интереса, осуществляют поиск точки интереса в пределах указанной области на кадре и при ее обнаружении сохраняют в памяти пространственные координаты соответствующего сектора, уточняют пространственные координаты указанных секторов путем осуществления перечисленных действий на последующих кадрах изображения, полученных из разных точек траектории движения видеокамеры, сопоставляют изображения точек интереса пространственным координатам соответствующих им секторов на пространственной модели, выявляют на пространственной модели плоские и/или искривленные поверхности, извлекают из памяти модель дополнительного объекта и формируют сигналы ее управления в пределах пространственной модели, вычисляют результаты взаимодействия модели дополнительного объекта с параметрами пространственной модели, формируют и выводят для отображения на дисплее сигнал изображения дополнительного объекта, наложенного на изображение, формируемое видеокамерой в реальном времени.

Кроме того:

- точкой интереса является группа рядом расположенных точек изображения, обладающих характерной конфигурацией, сохраняющейся на множестве следующих друг за другом кадров изображения,

- область поиска точки интереса на кадре соответствует пространственному сектору, угловые координаты которого определяют с учетом параметров оптической системы видеокамеры,

- размер изображения дополнительного объекта выбирают исходя из размеров пространственной модели и/или пользователем вручную,

- осуществляют масштабирование и/или поворот, и/или пространственное преобразование и/или ситуативную трансформацию изображения дополнительного объекта при его взаимодействии с параметрами пространственной модели,

- получают данные о параметрах перемещения видеокамеры в виде сигналов, содержащих оценку направления и величины перемещения видеокамеры, формируемых средствами покадрового анализа видеоизображения,

- получают данные о параметрах перемещения видеокамеры в виде сигналов, содержащих оценку направления и величины перемещения видеокамеры, формируемых на выходе гироскопических датчиков или датчиков скорости и направления движения, или датчиков ускорения,

- сигналы управления моделью дополнительного объекта формируют путем воздействия пользователя на органы управления устройства формирования изображения,

- перемещение видеокамеры осуществляют в произвольном направлении и/или в соответствии с заранее определенными рекомендациями,

- сохраняют в качестве уточненных пространственных координат секторов лишь те пространственные координаты сектора, которые совпадают с вычисленными на предыдущем кадре видеоизображения,

- осуществляют обнаружение образов заранее определенных объектов и встраивают их пространственные свойства в пространственную модель,

- сохраняют в памяти фрагменты модели, в том числе соответствующие тем реальным деталям пространства, которые перестали попадать в поле зрения видеокамеры,

- выявляют на пространственной модели плоские и/или искривленные поверхности исходя из анализа пространственных координат секторов,

- выявляют на пространственной модели плоские и/или искривленные поверхности исходя из анализа параметров изображения участков кадра, охватывающих множество точек интереса.

Способ отображения объекта на пространственной модели поясняется с помощью чертежей, где на Фиг. 1 схематично показан один из вариантов осуществления способа в игре, связанной с автомобильной тематикой, на Фиг. 2 схематично показан процесс уточнения пространственных координат в результате обработки изображений трех кадров видеоизображения, на Фиг. 3 - часть дисплея с изображением монитора, на котором имеются характерные конфигурации контрастных точек, определенных как точки интереса, на Фиг. 4 - функциональная схема устройства формирования изображения для осуществления способа отображения объекта на пространственной модели, на Фиг. 5 - структурная схема программы управления процессором.

На чертежах сделаны следующие обозначения.

1 - дисплей устройства формирования изображения, 2 - траектория перемещения видеокамеры устройства формирования изображения, 3 - плоская поверхность отображаемой сцены, 4 - цилиндрическая поверхность отображаемой сцены, 5 - изображение дополнительного объекта визуализируемого на дисплее устройства формирования изображения, 6, 7, 8 - первый, второй и третий кадры соответственно, полученные из разных точек траектории перемещения видеокамеры, 9 - направление на деталь сцены, вычисленное по результатам обработки первого кадра, 10 - угловые размеры сектора, в котором ожидается наблюдение детали сцены, соответствующей точке интереса, из точки траектории, соответствующей второму кадру, 11 - угловые размеры сектора из точки траектории третьего кадра, в котором ожидается наблюдение детали сцены, соответствующей точке интереса, 12 - заштрихованная область уточненных пространственных координат детали сцены, вычисленных по трем кадрам, 13 - деталь сцены, формирующая изображение, определенное как точка интереса, 14 - примеры выявления точек интереса, обладающих характерной конфигурацией, 15 - вычислительные средства устройства формирования изображения, 16 - видеокамера формирования цифрового изображения, 17 - средства выявления точек интереса, 18 - средства вычисления координат точек интереса на кадре, 19 - средства вычисления пространственных координат сектора, в котором ожидается наблюдение соответствующей детали на следующем кадре, 20 - средства вычисления области ожидаемых координат точки интереса на кадре, 21 - средства формирования пространственной модели, 22 - средства извлечения модели дополнительного объекта, 23 - органы управления, формирующие сигналы команд управления моделью дополнительного объекта, 24 - средства вычисления результатов взаимодействия модели дополнительного объекта с пространственной моделью, 25 - средства формирования сигнала итогового изображения, 26 - дисплей для вывода изображения, 27 - операция начала формирования изображения и извлечение модели дополнительного объекта, 28 - выявление точки интереса, 29 - вычисление координат точки интереса, 30 - вычисление пространственных координат сектора и координат области кадра, где ожидается обнаружение точки интереса, 31 - проверка условия существования пространственной модели, 32 - вычисление результатов взаимодействия пространственной модели с моделью дополнительного объекта, 33, 34 - формирование итогового сигнала изображения и вывод его на дисплей соответственно, 35 - проверка наличия команды завершения программы, 36 - завершение программы, 37 - проверка условия обнаружения точки интереса в ожидаемой области кадра, 38 - уточнение пространственных координат сектора, 39 - переход к следующему кадру.

Способ отображения объекта на пространственной модели заключается в том, что получают сформированное с помощью видеокамеры изображение, попавшее в поле зрения видеокамеры пространства, выявляют на кадрах изображения точки интереса, то есть группы рядом расположенных точек изображения, обладающих характерной конфигурацией, сохраняющейся на множестве следующих друг за другом кадров изображения, и определяют их координаты на кадре. Осуществляют перемещение видеокамеры в произвольном направлении и/или в соответствии с заранее определенными рекомендациями и получают данные о параметрах осуществленного перемещения видеокамеры, на основе которых вычисляют прогнозируемые пространственные координаты секторов, в которых возможно нахождение деталей реального пространства, отображаемых на изображении соответствующими точками интереса, в результате такого осуществленного перемещении видеокамеры. При этом данные о параметрах перемещения видеокамеры получают в виде сигналов, содержащих оценку направления и величины перемещения видеокамеры, формируемых средствами покадрового анализа видеоизображения или формируемых на выходе гироскопических датчиков или датчиков скорости и направления движения, или датчиков ускорения.

Определяют также координаты области на кадре, для каждого из указанных секторов, в которой ожидают обнаружение соответствующей точки интереса, осуществляют поиск точки интереса в пределах указанной области на кадре, а при ее обнаружении сохраняют в памяти пространственные координаты соответствующего сектора. При этом область кадра поиска точки интереса на кадре соответствует пространственному сектору, угловые координаты которого определяют с учетом параметров оптической системы - объектива видеокамеры.

Далее при обработке следующего кадра уточняют пространственные координаты указанных секторов путем осуществления перечисленных действий на последующих кадрах изображения, полученных из точек траектории движения видеокамеры, и сопоставляют изображения точек интереса пространственным координатам соответствующих им секторов для построения пространственной модели. При этом в качестве уточненных пространственных координат секторов сохраняют лишь те пространственные координаты сектора, которые совпадают с вычисленными на предыдущем кадре видеоизображения.

Кроме того, выявляют на пространственной модели плоские и/или искривленные поверхности исходя из анализа пространственных координат секторов, и/или параметров изображения участков кадра, охватывающих множество точек интереса, соответствующих этим секторам.

Сохраняют в памяти фрагменты модели, в том числе соответствующие тем реальным деталям пространства, которые перестали попадать в поле зрения видеокамеры.

Осуществляют также обнаружение и распознавание образов заранее определенных объектов, образы которых хранят в памяти и встраивают их пространственные свойства в пространственную модель.

На каком-то этапе извлекают из памяти модель дополнительного объекта и формируют сигналы ее управления в пределах пространственной модели путем воздействия пользователя на органы управления устройства формирования изображения. Если к этому времени пространственная модель уже построена, вычисляют результаты взаимодействия модели дополнительного объекта с параметрами пространственной модели. Размер изображения дополнительного объекта выбирают исходя из размеров пространственной модели и/или пользователем вручную. Осуществляют также масштабирование и/или поворот, и/или пространственное преобразование и/или ситуативную трансформацию изображения дополнительного объекта при его взаимодействии с параметрами пространственной модели.

Формируют и выводят на дисплей сигнал изображения дополнительного объекта, наложенного на изображение, формируемое видеокамерой.

Способ отображения объекта на пространственной модели с дополнительным объектом реализуют следующим образом.

Формируют с помощью перемещаемой пользователем видеокамеры сигналы изображения, попавшего в поле ее зрения пространства - сцены, характеризуемой наличием различных деталей и присутствием отдельных объектов. Выявляют на кадрах изображения его фрагменты, обладающие характерной конфигурацией и присутствующие на множестве следующих друг за другом кадров видеоизображения, обозначаемые как точки интереса. Точки интереса характеризуются наличием контрастного перехода яркости или цвета и могут соответствовать, например, блестящей кромке предмета, попавшего в поле зрения видеокамеры, или изгибу металлической поверхности и пр.

Определяют координаты точек интереса на кадре изображения.

Видеокамеру перемещают внутри или вокруг сцены, относительно которой намереваются сформировать пространственную модель. Вычисляют пространственные координаты деталей пространства или сцены, отображаемых в виде точек интереса на кадрах изображения и наблюдаемых из разных точек перемещения видеокамеры. При этом используют данные оптической системы видеокамеры для определения направления на соответствующую деталь сцены и прогнозируют изменение этого направления, вызванного перемещением видеокамеры.

Для формирования этого прогноза получают данные о параметрах уже осуществленного перемещения, которые могут быть получены путем применения соответствующих алгоритмов покадрового анализа изменяющегося изображения, либо с выходов гироскопических датчиков, либо с датчиков скорости и направления движения.

Прогнозное направление, на котором ожидают обнаружить соответствующую деталь пространства, формируют в виде сектора, представляющего собой конус с вершиной в месте нахождения видеокамеры.

По начальному кадру определяют лишь направления наблюдения деталей сцены, соответствующих точкам интереса, используя данные о фокусном расстоянии объектива видеокамеры и координат соответствующей точки интереса на кадре. При получении последующих кадров, сделанных уже из других точек траектории перемещения видеокамеры, направления на соответствующие детали сцены могут измениться, вследствие чего изменятся и координаты соответствующих точек интереса на кадре. При этом, чем ниже точность прогноза, тем шире должен быть сектор ожидаемого направления наблюдения соответствующей детали сцены.

Сектору ожидаемого направления наблюдения соответствует область поиска на кадре, в пределах которого осуществляют поиск соответствующей точки интереса. Область поиска является проекцией соответствующего сектора ожидаемых направлений, и его величина также зависит от точности прогноза. Кроме того, величина области поиска точки интереса определяется также скоростью перемещения видеокамеры.

При обнаружении точек интереса в соответствующих областях поиска пространственные координаты соответствующих областей сохраняют в памяти как элементы пространственной модели. В процессе многократного обнаружения точек интереса в соответствующих областях поиска пространственные координаты секторов уточняются, так как наблюдение происходит из разных точек пространства. Уточнение пространственных координат сектора означает его уменьшение, что позволяет увеличивать точность пространственной модели до бесконечности.

При этом уточнение пространственных координат касается лишь неподвижных деталей пространства.

Набор пространственных координат секторов, соответствующих точкам интереса, определяет пространственную модель.

Далее пространственные координаты секторов анализируют с учетом параметров изображения соответствующих участков на кадре. Если координаты некоторых секторов образуют плоскость, а цвет и яркость соответствующего участка изображения характеризуются постоянством или плавностью изменения, то делают вывод о наличии фрагмента модели с плоской поверхностью, ограниченной соответствующими секторами, отображаемыми на кадре соответствующими точками интереса.

Вычисленные координаты секторов могут изменяться нелинейно и характеризовать, например, цилиндрическую поверхность, в этом случае яркость соответствующего участка изображения также будет меняться в одном из направлений по экспоненциальному закону. Для таких фрагментов делают вывод о наличии цилиндрической поверхности.

Таким образом, могут быть выявлены фрагменты пространственной модели с различными свойствами поверхности.

Осуществляют также обнаружение образов заранее определенных объектов, например карандаш, кружка и т.п., и встраивают их пространственные свойства в пространственную модель.

После построения модели, по команде пользователя, формирующего соответствующие сигналы посредством органов управления устройства формирования изображения, выбирают модель дополнительного объекта и помещают его внутрь пространственной модели. Органами управления устройства формирования изображения являются механические и сенсорные кнопки и клавиши, джойстики, средства голосового ввода и пр.

Дополнительным объектом могут быть как виртуальные существа, так и различные виртуальные предметы и устройства, например автомобиль.

Модель дополнительного объекта характеризуется определенными свойствами и может быть запрограммирована на совершение определенных действий или быть управляемой пользователем, который формирует с помощью органов управления сигналы соответствующих команд для отработки их моделью дополнительного объекта.

Вычислительными средствами устройства формирования изображения осуществляют вычисление результатов взаимодействия свойств модели дополнительного объекта с параметрами пространственной модели. Такими результатами являются различные перемещения, трансформации изображения модели дополнительного объекта или участков пространственной модели, звуковые сигналы и пр.

Формируют сигналы итогового изображения, включающего видеоизображение, формируемое видеокамерой в реальном времени и наложенное на него изображение объекта.

Устройство формирования изображения для осуществления способа отображения объекта на пространственной модели включает видеокамеру, выход которой подключен к соответствующему входу средств обнаружения точек интереса, выход которых соединен со входом средств вычисления координат точек интереса, выход которого через средства вычисления пространственных координат сектора подключен ко входу средств вычисления ожидаемых координат точки интереса на кадре, выход которого подключен к соответствующему входу средств обнаружения точек интереса, выход средств вычисления координат точек интереса подключен ко входу средств формирования пространственной модели, электронную память, выход которой через средства извлечения моделей дополнительных объектов подключен ко входу средств вычисления результатов взаимодействия моделей, выход которых через средства формирования сигналов изображения подключен ко входу дисплея, средства вычисления параметров перемещения, подключенные ко входам средств вычисления пространственных координат сектора, и органы управления, подключенные ко входам средств вычисления результатов взаимодействия моделей.

Устройство формирования изображения работает следующим образом.

Сигналы цифрового изображения с выхода видеокамеры поступают на средства обнаружения точек интереса, где выявляют фрагменты изображения, принимаемые в дальнейшем за точки интереса. Средства вычисления координат точек интереса обеспечивают вычисление координат выявленных точек интереса, на основе которых (а также с учетом параметров объектива видеокамеры и данных перемещения видеокамеры средствами вычисления пространственных координат сектора) вычисляют угловые координаты пространственного сектора, в котором ожидают наличие детали пространства, изображение которой ранее приняли за точку интереса. На основе пространственных координат сектора вычисляют координаты ожидаемой области обнаружения точки интереса на кадре.

На основе координат обнаруженных точек интереса и с учетом параметров объектива видеокамеры средствами формирования пространственной модели строят пространственную модель, соответствующую пространственной сцене, попавшей в поле зрения видеокамеры.

Средства формирования пространственной модели обеспечивают также анализ пространственных координат секторов на предмет выявления плоских или искривленных поверхностей.

С помощью органов управления извлекают из памяти модель дополнительного объекта и размещают ее в созданной пространственной модели, а также осуществляют ее управление.

Средства вычисления результатов взаимодействия моделей обеспечивают вычисление возможных перемещений, трансформаций и иных действий модели дополнительного объекта, находящейся в условиях, определяемых свойствами пространственной модели. Результатами взаимодействия могут являться изменение положения, изображения дополнительного объекта, его трансформации звуки и пр.

В средствах формирования изображения формируют сигнал итогового изображения, в котором изображение дополнительного объекта накладывают на формируемое в реальном времени изображение пространственной сцены, который подают для визуализации на дисплей.

Вычислительные средства 15 устройства формирования изображения выполнены на основе процессора, реализующего программу, структурная схема которого представлена на Фиг. 5. Указанная структурная схема реализует осуществление способа в отношении одной точки интереса. Для реализации способа в отношении множества точек интереса добавят те же операции в отношении остальных точек интереса.

Программа начинается получением видеоизображения с выхода видеокамеры и формированием команды на извлечение из памяти модели дополнительного объекта, а также помещением изображения дополнительного объекта на изображении.

Затем следуют операции выявления точки интереса и определения ее координат, а также вычисления пространственных координат сектора и координат области ожидания точки интереса на следующем кадре.

Далее если пространственная модель еще не создана, то переходят к обработке следующего кадра, если пространственная модель уже построена, то вычисляют результат взаимодействия моделей.

Формируют итоговый сигнал изображения и выводят его на дисплей.

Проверяют наличие команды завершения программы, если команда поступила, то программу завершают, если такой команды нет, то переходят к обнаружению точки интереса в определенной ранее области ожидаемого нахождения точки интереса на кадре.

Если точка интереса в ожидаемой области кадра не обнаруживается, то переходят к следующему кадру. Если же точка интереса обнаружена в ожидаемой области кадра, то осуществляют уточнение пространственных координат сектора, в котором находится деталь пространственной сцены, соответствующая точке интереса.

Способ отображения объекта на пространственной модели может быть осуществлен как в отношении участков местности, так и в отношении перемещаемых объектов, в том числе в отношении внутреннего пространства помещений, и не требует использования специальных карт поверхности.

Способ отображения объекта на пространственной модели позволяет формировать пространственные модели и моделировать взаимодействие различных объектов со свойствами построенных пространственных моделей.

Пример 1

В процессе реализации игры, которую условно можно охарактеризовать как виртуальный питомец, пользователь наводит видеокамеру мобильного телефона, являющегося устройством формирования изображения на объекты, формирующие сцену, в которую желает поместить виртуального питомца. Сцена содержит различные предметы и поверхности.

Сигналы изображения захваченной видеокамерой пространственной сцены поступают на вычислительные средства мобильного телефона, где они обрабатывается. В процессе обработки сигналов изображения осуществляют выявление на изображении точек, обладающих характерной конфигурацией: точек интереса. Точки интереса представляют собой совокупность рядом расположенных пикселей изображения, являющихся отображением контрастных деталей поверхности сцены, например углов, выступов и пр.

При этом угловые значения φ направлений на детали пространственной сцены, соответствующие точкам интереса на кадре, определяют, например, согласно выражению:

φ=arctg(d/f),

где:

d - координата отклонения от оптической оси,

f - фокусное расстояние оптической системы видеокамеры.

Осуществляют перемещение видеокамеры мобильного телефона произвольно или в соответствии с подсказками, формируемыми программным способом, направленным на ускорение создания пространственной модели.

В результате покадрового анализа видеоизображения получают оценку параметров осуществленного перемещения видеокамеры мобильного телефона, при этом продолжают вывод изображения на дисплей.

На основе полученной оценки параметров перемещения прогнозируют угловые секторы, где ожидают увидеть детали сцены, которым соответствуют точки интереса. Этим угловым секторам соответствуют области поиска на кадре видеоизображения. В пределах указанных областей поиска осуществляют поиск и обнаружение соответствующих точек интереса и вычисляют области пространственных координат соответствующей детали сцены.

Дальнейшим перемещением видеокамеры и вычислением пространственных координат из разных ракурсов наблюдения обеспечивают уточнение пространственных координат соответствующих секторов, на основе которых формируют пространственную модель.

В пространственной модели выявляют фрагменты плоской или искривленной поверхности. Так если координаты части секторов характеризуются плоскостью, а соответствующее им изображение имеют равномерную яркость и цвет, то предполагают, что этот фрагмент модели соответствует плоской поверхности и назначают участку модели в контуре указанной группы точек свойства плоской поверхности.

Далее в соответствии с командами пользователя выбирают из памяти, по меньшей мере, одного питомца и помещают его на изображение, которое уже описано пространственной моделью.

Питомец представляет собой модель некоего существа, действия которого во времени запрограммированы заранее. Питомец в соответствии с заложенной для него программой может перемещаться, расти, издавать звуки, реагируя на препятствия и пр. Программа модели питомца предполагает также различные трансформации его изображения.

Кроме того, программа модели питомца помимо автономных перемещений предполагает и управление им пользователем с помощью органов управления мобильного телефона.

Сигнал итогового изображения, включающего изображение питомца, наложенное на изображение захваченной видеокамерой сцены, подают на соответствующие входы дисплея мобильного телефона для отображения.

Пример 2

В процессе реализации игры, на автомобильную тематику, пользователь наводит видеокамеру мобильного телефона или смартфона, являющегося устройством формирования изображения, на горизонтальную поверхность, например стол, на котором расставлены различные предметы: ваза, карандаши, книга и другие предметы.

Формируемое видеокамерой видеоизображение поступает на вычислительные средства мобильного телефона для обработки. В процессе обработки видеоизображения осуществляют обнаружение контрастных, устойчивых во времени, состоящих из нескольких пикселей объектов на изображении и признают их точками интереса.

Перемещают видеокамеру мобильного телефона, измеряя координаты частей пространственной сцены, соответствующих точкам интереса на полученных кадрах. При этом параметры перемещения видеокамеры вычисляют на основе сигналов, полученных с выходов гироскопических датчиков мобильного телефона.

Вычисляют пространственные координаты секторов, соответствующих точкам интереса, и уточняют их по результатам обработки изображений последующих кадров. Уточненные в процессе перемещения видеокамеры пространственные координаты секторов, ассоциированных с соответствующими точками интереса, определяют собой пространственную модель.

В составе пространственной модели выделяют фрагменты, в пределах которых координаты секторов характеризуются как плоские или изогнутые поверхности. Это может соответствовать, например, поверхности стола или иного предмета.

Если цвет группы соседних точек равномерный, а форма их контура имеет линейную вытянутую структуру, то предполагают, что эта группа точек соответствует карандашу и присваивают указанной группе точек свойства твердого объекта, возвышение которого над поверхностью соответствует его ширине, и т.д.

После того как пространственная модель построена, по команде пользователя выбирают транспортное средство из набора хранящихся в памяти мобильного телефона для вывода его на изображение. Выбранное транспортное средство, например внедорожник, имеет пропорциональные размерам кадра начальные размеры, например 1/20 площади изображения, которые могут корректироваться пользователем. При изменении положения видеокамеры мобильного телефона размеры изображения транспортного средства сохраняют пропорциональными расстояниям между секторами, соответствующим точкам интереса или размерам выявленных объектов. Например, при приближении видеокамеры к столу, на котором стоит ваза, изображение внедорожника формируют так, чтобы его размер оставался пропорциональным размеру вазы и/или стола.

Далее пользователь формирует команды на перемещение транспортного средства в пределах изображения, используя органы управления телефона.

Вычислительные средства обеспечивают сопоставление параметров модели транспортного средства с параметрами поверхности, на которой оказалось указанное транспортное средство, и определяют возможность выполнения перемещения в заданном направлении. Если перемещение возможно, то формируют изображение перемещающегося транспортного средства, если заданное перемещение не возможно, например, из-за наличия на пути преграды, превышающей размеры транспортного средства, то формируют изображение остановившегося перед препятствием транспортного средства с визуализацией аварийной ситуации.

В ситуациях преодоления препятствий изображение транспортного средства формируют с соответствующими деформациями оси и кузова, наклонами, вращающимися элементами, опрокидыванием, если поверхность, предусмотренная моделью, оказалась наклонной и пр. Так, например, диаметр колес автомобиля может позволить ему преодолеть лежащий на его пути карандаш, но стоящая на его пути ваза будет непреодолимым препятствием, повлекшим остановку автомобиля.

Модель автомобиля, извлеченная из памяти, характеризуется определенными параметрами, ограничениями скорости, размерами колес, параметрами подвески и пр., которые используют при отработке перемещений автомобиля и изменении его изображения в процессе перемещения, например в поворотах, или при преодолении препятствий.

В процессе осуществления игры формируют видеосигнал, предполагающий наложение изображения транспортного средства на формируемое видеокамерой изображение, и подают его на входы дисплея мобильного телефона для отображения.

Пользователь, реагируя на изображение перемещающегося транспортного средства, корректирует направление перемещения, формируя команды с помощью органов управления мобильного телефона.

Пример 3

Устройство формирования изображения установлено на автомобиле и предназначено для помощи водителю в сложной обстановке. Оно включает видеокамеру, процессор со средствами памяти и монитор. Сценой является участок дороги перед или за автомобилем.

В процессе преодоления препятствий изображение с выхода видеокамеры поступает на вычислительные средства, где выявляют точки интереса изображения, контуры некоторых объектов, имеющих характерную яркость и/или цвет и их координаты.

В процессе движения автомобиля на входы процессора поступают также сигналы, характеризующие величину перемещения, скорость и направление.

Вычисляя пространственные координаты участков дороги, соответствующих точкам интереса, формируют пространственную модель участка дороги, попавшего в поле зрения видеокамеры.

При этом некоторые участки дороги могут иметь характерные особенности. Так лужа отображается как отражающая поверхность, яма и кочка имеют освещенные и затемненные участки, по которым можно делать выводы о наличии этих объектов на дороге. Также могут быть выявлены элементы разметки, край дороги, бордюр, крутые подъемы или спуски, стволы деревьев и пр.

Пространственная модель, содержащая свойства выявленных объектов, позволяет прогнозировать последствия перемещения автомобиля в заданном направлении. Если в соответствии с действующим направлением и скоростью возможны опасные последствия из-за наличия одного из выявленных препятствий, то это препятствие выделяют на итоговом изображении цветом в зависимости от опасности.

Итоговое изображение является суммой полученного с видеокамеры участка дороги и наложенного на него, спрогнозированного на несколько секунд вперед, положения автомобиля, а также выделенных опасных участков. Это итоговое изображение выводят на дисплей так, чтобы водитель имел возможность изменить параметры движения в случае необходимости.

В этом примере моделью дополнительного объекта являются технические характеристики автомобиля и параметры его движения, начальными координатами являются фиксированные координаты в начале движения.

Способ отображения объекта на пространственной модели может быть реализован с использованием стандартных элементов и компонентов цифровой электронной базы, включая средства преобразования оптической информации в электрические сигналы, средства вычисления и электронную память и средства вывода изображения.

Таким образом, изобретение имеет более широкую область применения за счет обеспечения возможности формирования пространственной модели без привлечения дополнительных данных об исследуемом районе, таких как карты возвышенностей, обеспечения возможности формирования пространственной модели движимых объектов или внутреннего пространства объектов, а также обеспечивает возможность получения результатов взаимодействия пространственной модели с моделями различных объектов.

Изобретение относится к области обработки и генерации данных изображения. Технический результат - обеспечение формирования пространственной модели и получение результатов взаимодействия пространственной модели с моделями дополнительных объектов. Способ отображения объекта на пространственной модели заключается в получении сформированного с помощью видеокамеры изображения и формировании модели, при котором выявляют на кадрах изображения точки интереса и определяют их координаты, осуществляют перемещение видеокамеры, получают данные о параметрах перемещения, на основе которых прогнозируют пространственные координаты секторов, в которых возможно нахождение деталей реального пространства, определяют координаты области на кадре, для каждого из указанных секторов, в которой ожидают обнаружение соответствующей точки интереса, осуществляют поиск точки интереса в пределах указанной области на кадре и при ее обнаружении сохраняют в памяти пространственные координаты соответствующего сектора, сопоставляют изображения точек интереса пространственным координатам соответствующих им секторов на пространственной модели, извлекают из памяти модель дополнительного объекта и формируют сигналы ее управления в пределах пространственной модели. 13 з.п. ф-лы, 5 ил.

1. Способ отображения объекта на пространственной модели, заключающийся в получении сформированного с помощью видеокамеры изображения и формировании модели, отличающийся тем, что выявляют на кадрах изображения точки интереса и определяют их координаты на кадре, осуществляют перемещение видеокамеры, получают данные о параметрах осуществленного перемещения видеокамеры, на основе которых прогнозируют пространственные координаты секторов, в которых возможно нахождение деталей реального пространства, отображаемых на изображении соответствующими точками интереса, в результате осуществленного перемещения видеокамеры, и определяют координаты области на кадре, для каждого из указанных секторов, в которой ожидают обнаружение соответствующей точки интереса, осуществляют поиск точки интереса в пределах указанной области на кадре и при ее обнаружении сохраняют в памяти пространственные координаты соответствующего сектора, уточняют пространственные координаты указанных секторов путем осуществления перечисленных действий на последующих кадрах изображения, полученных из точек траектории движения видеокамеры, сопоставляют изображения точек интереса пространственным координатам соответствующих им секторов на пространственной модели, выявляют на пространственной модели плоские и/или искривленные поверхности, извлекают из памяти модель дополнительного объекта и формируют сигналы ее управления в пределах пространственной модели, вычисляют результаты взаимодействия модели дополнительного объекта с параметрами пространственной модели, формируют и выводят для отображения на дисплее сигнал изображения дополнительного объекта, наложенный на изображение, формируемое видеокамерой.

2. Способ по п. 1, отличающийся тем, что точкой интереса является группа рядом расположенных точек изображения, обладающих характерной конфигурацией, сохраняющейся на множестве следующих друг за другом кадров изображения.

3. Способ по п. 1, отличающийся тем, что область поиска точки интереса на кадре соответствует пространственному сектору, угловые координаты которого определяют с учетом параметров оптической системы видеокамеры.

4. Способ по п. 1, отличающийся тем, что размер изображения дополнительного объекта выбирают исходя из размеров пространственной модели и/или пользователем вручную.

5. Способ по п. 1, отличающийся тем, что осуществляют масштабирование и/или поворот, и/или пространственное преобразование и/или ситуативную трансформацию изображения дополнительного объекта при его взаимодействии с параметрами пространственной модели.

6. Способ по п. 1, отличающийся тем, что получают данные о параметрах перемещения видеокамеры в виде сигналов, содержащих оценку направления и величины перемещения видеокамеры, формируемых средствами покадрового анализа видеоизображения.

7. Способ по п. 1, отличающийся тем, что получают данные о параметрах перемещения видеокамеры в виде сигналов, содержащих оценку направления и величины перемещения видеокамеры, формируемых на выходе гироскопических датчиков или датчиков скорости и направления движения, или датчиков ускорения.

8. Способ по п. 1, отличающийся тем, что сигналы управления моделью дополнительного объекта формируют путем воздействия пользователя на органы управления устройства формирования изображения.

9. Способ по п. 1, отличающийся тем, что перемещение видеокамеры осуществляют в произвольном направлении и/или в соответствии с заранее определенными рекомендациями.

10. Способ по п. 1, отличающийся тем, что сохраняют в качестве уточненных пространственных координат секторов лишь те пространственные координаты сектора, которые совпадают с вычисленными на предыдущем кадре видеоизображения.

11. Способ по п. 1, отличающийся тем, что осуществляют обнаружение образов заранее определенных объектов и встраивают их пространственные свойства в пространственную модель.

12. Способ по п. 1, отличающийся тем, что сохраняют в памяти фрагменты модели, в том числе соответствующие тем реальным деталям пространства, которые перестали попадать в поле зрения видеокамеры.

13. Способ по п. 1, отличающийся тем, что выявляют на пространственной модели плоские и/или искривленные поверхности исходя из анализа пространственных координат секторов.

14. Способ по п. 1, отличающийся тем, что выявляют на пространственной модели плоские и/или искривленные поверхности исходя из анализа параметров изображения участков кадра, охватывающих множество точек интереса.