СПОСОБ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ И УПРАВЛЕНИЯ ВИРТУАЛЬНОЙ СФЕРОЙ В МОБИЛЬНОМ УСТРОЙСТВЕ Российский патент 2018 года по МПК G06F3/01 G06F3/41 G09G5/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к системе дополненной реальности и, в частности, касается способа имитационного моделирования и управления виртуальной сферой в мобильном устройстве.

УРОВЕНЬ ТЕХНИКИ

С распространением мобильных устройств и технологий большое значение приобрела разработка и совершенствование систем дополненной реальности на мобильных устройствах в ходе продвижения и доработки технологии дополненной реальности. Технология дополненной реальности позволяет улучшить иммерсивное ощущение пользователя путем комбинирования виртуальной информации с реальной сценой. Команды, отражающие действия пользователя, могут фиксироваться датчиком или экраном камеры.

Стандартные системы человеко-машинного взаимодействия на компьютерной основе обычно базируются на использовании устройств типа мыши и клавиатуры. Однако в том случае, когда на мобильном устройстве реализована система дополненной реальности, взаимодействие через клавиатуру сопровождается дрожанием, что значительно влияет на точность взаимодействия. В реальной жизни люди могут гибко манипулировать реальным объектом, таким как сферический объект, используя руки наряду со зрительными ощущениями, осязанием и усилием, и человеческие руки стали наиболее прямым, естественным и практичным средством для общения с внешним миром.

Однако взаимодействия между человеком и сферическим объектом в известном уровне техники обычно делятся на два типа: (1) взаимодействие между человеком и реальной сферой; (2) взаимодействие между человеком и виртуальной сферой, реализуемое путем фиксации местоположения человека с использованием специального устройства физического обнаружения, такого как инфракрасный датчик.

Таким образом имеется потребность в устройстве для имитационного моделирования и управления виртуальной сферой, которое без задержек реализует взаимодействие между пользователем и виртуальной сферой без использования дополнительного устройства.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Согласно одному варианту осуществления настоящее изобретение обеспечивает способ имитационного моделирования и управления виртуальной сферой в мобильном устройстве, содержащий: получение изображений с использованием блока получения изображений в мобильном устройстве, с тем чтобы получить последовательность непрерывных изображений; анализ содержания изображений; в последовательности полученных изображений, выполнение согласно конкретному правилу взаимодействия между виртуальной сферой и содержанием изображений, а также пользователем; и отображение результата взаимодействия на экране мобильного устройства.

Предпочтительно, анализ содержания изображений содержит: вычисление краев изображений в окрестности виртуальной сферы; вычисление скорости и направления соударения; обновление местоположения виртуальной сферы; и отображение виртуальной сферы.

Предпочтительно, правила взаимодействия содержат по меньшей мере одно из следующего: появление неупругого соударения между сферой и цветовыми границами в изображении; появление неупругого соударения между сферой и левым, правым и нижним краями экрана; на экране сфера испытывает воздействие виртуального гравитационного поля и в результате как бы «падает» в направлении нижней части экрана, причем виртуальное гравитационное поле направлено от верхней части экрана к нижней части экрана; появление неупругого соударения между сферой и пальцем пользователя, причем угол и сила соударения между сферой и пальцем учитывается при появлении указанного соударения; сфера вылетает с экрана вверх, и свободно падает просто в направлении нижней части экрана после вылета из экрана; учет только соударения между нижней частью сферы и содержанием изображения, а также пальцем пользователя.

Предпочтительно, вычисление краев изображения в окрестности виртуальной сферы содержит: преобразование входного изображения в изображение в оттенках серого; вычисление гистограммы оттенков серого нижней части виртуальной сферы; построение кривой вероятности оттенков серого с использованием упомянутой гистограммы; и принятие построенной кривой вероятности в качестве основы для оценки упомянутых краев.

Предпочтительно, край изображения представляет собой соединение областей, имеющих разные вероятности оттенков серого.

Предпочтительно, скорости соударения в поперечном и продольном направлениях не зависят друг от друга, причем упомянутая скорость в поперечном направлении пропорциональна расстоянию между точкой контакта в поперечном направлении до центра виртуальной сферы, а упомянутая скорость в продольном направлении обратно пропорциональна расстоянию от точки контакта в продольном направлении до центра сферы.

Согласно раскрытой здесь сущности изобретения и согласно соответствующим подробным описаниям чертежей специалистам в данной области техники станут очевидными другие цели, признаки и преимущества настоящего изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Чертежи иллюстрируют варианты осуществления настоящего изобретения и используются вместе с описанием изобретения для разъяснения его принципов. На чертежах:

фиг. 1 – иллюстрирует способ имитационного моделирования и управления виртуальной сферой согласно варианту осуществления настоящего изобретения;

фиг. 2 - схема, иллюстрирующая сценарий применения варианта осуществления настоящего изобретения;

фиг. 3 - блок-схема последовательности операций, иллюстрирующая, каким образом можно реализовать этап анализа содержания изображения по фиг. 1;

фиг. 4 - блок-схема последовательности операций иллюстрирующая, каким образом можно вычислить края изображения в окрестности сферы;

фиг. 5 - изображение в оттенках серого при отсутствии какого-либо другого объекта, вошедшего в пространство сферы;

фиг. 6 - изображение в оттенках серого в случае, когда в пространство сферы вошел другой объект.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В вариантах осуществления согласно настоящему изобретению раскрыт способ имитационного моделирования и управления виртуальной сферой для мобильного устройства. В иллюстративных целях в последующих описаниях использованы конкретные детали, с тем, чтобы обеспечить исчерпывающее понимание вариантов осуществления настоящего изобретения. Однако специалистам в данной области техники очевидно, что варианты осуществления настоящего изобретения можно реализовать без указанных конкретных деталей.

В настоящем изобретении фиксация ординарных изображений выполняется с использованием известного пользователям устройства получения изображений, такого как сотовый телефон, планшетный компьютер и домашняя камера, а эффект взаимодействия между человеком и виртуальной сферой достигается путем использования результата интеллектуального анализа изображений. В частности, в настоящем изобретении раскрыта система, которая получает информацию об изображении путем использования устройства получения изображений (такого как камера), создает виртуальную сферу с использованием вычислительного устройства (такого как персональный компьютер, сотовый телефон, планшетный компьютер и т.д.), выполняет интеллектуальный анализ содержания полученного изображения, с использованием способа обработки изображения, взаимодействует с виртуальной сферой на основе упомянутого анализа и, наконец, отображает результат взаимодействия и упомянутое изображение на устройстве отображения (таком как сотовый телефон, дисплей и т.д.).

На фиг. 1 показан способ 100 имитационного моделирования и управления виртуальной сферой согласно варианту осуществления настоящего изобретения. Способ 100 в основном содержит три этапа: получение изображений, анализ содержания изображений и отображение результата взаимодействия.

В частности, в ходе получения изображений получают последовательность непрерывных изображений путем использования известного устройства получения изображений (такого как сотовый телефон и камера настольного персонального компьютера). Устройство получения изображений является мобильным устройством, которое не влияет на результат взаимодействия с виртуальной сферой.

В ходе анализа содержания изображений согласно настоящему изобретению предполагается, что виртуальная сфера взаимодействует с содержанием изображения и пользователем в последовательности полученных изображений согласно конкретному правилу. Далее в качестве примера будет описано виртуальное жонглирование мячом. Заметим, что виртуальное жонглирование мячом используется здесь просто для объяснения того, как виртуальная сфера взаимодействует с содержанием изображений и пользователем (но не как какое-либо ограничение настоящего изобретения в смысле вариантов его осуществления), и поэтому в объем настоящего изобретения попадает любое приложение, содержащее взаимодействия между виртуальной сферой и изображением, а также пользователем.

На фиг. 2 представлена схема, иллюстрирующая сценарий применения варианта осуществления настоящего изобретения. Как показано на фиг. 2, пользователь держит в руках устройство (такое как сотовый телефон), нацеливает камеру телефона на выполнение конкретного сценария S и ориентирует экран дисплея в сторону пользователя. Затем пользователь помещает свой палец в сценарий S, на выполнение которого ориентировано устройство получения изображений (такое как камера сотового телефона), чтобы взаимодействовать с мячом для виртуального жонглирования. Правила взаимодействия состоят в следующем:

(1) возникает неупругое соударение сферы с цветными границами в изображении;

(2) возникает неупругое соударение указанной сферы с левым, правым и нижним краями экрана;

(3) на экране указанная сфера подвергается воздействию виртуального гравитационного поля в направлении от верхней части экрана к нижней части экрана, в результате чего она «падает» в направлении нижней части экрана;

(4) возникает неупругое соударение указанной сферы с пальцем пользователя, причем при возникновении соударения необходимо учесть угол и силу соударения сферы и пальца;

(5) сфера вылетает с экрана вверх и свободно падает в направлении нижней части экрана после вылета с экрана;

(6) засчитывается только соударение нижней части сферы с содержанием изображения, а также с пальцем пользователя, а соударение верхней части сферы не засчитывается;

(7) термин «сфера» используется просто для указания на виртуальную сферу, которая в действительности отображается на экране в виде правильного круга.

Специалистам в данной области техники должно быть очевидно, что вид взаимодействия согласно настоящему изобретению включает в себя любое устройство взаимодействия, удовлетворяющее перечисленным правилам, и любой вид взаимодействия на основе обработки изображений. Например, виртуальная сфера, использованная в настоящем изобретении, не ограничивается мячом для виртуального жонглирования, то есть, это может быть виртуальный камень для керлинга, виртуальный пинг-понг, виртуальный баскетбол и т.д.

На фиг. 3 представлена блок-схема последовательности операций, иллюстрирующая способ реализации этапа анализа содержания изображения по фиг. 1. На этапе 31 вводится следующий кадр изображения. На этапе 32 вычисляют края изображения в окрестности сферы. На этапе 33 вычисляют скорость и направление соударения. На этапе 34 обновляют местоположение упомянутой сферы. На этапе 35 выполняют отображение упомянутой сферы. На этапе 36 определяют, выполнен ли анализ содержания изображения. Если выполнен, то процесс обработки завершается. Если нет, то процесс возвращается к этапу 31.

Вычисление краев изображения в окрестности сферы

На фиг.4 представлена блок-схема последовательности операций, иллюстрирующая процесс вычисления краев изображения в окрестности сферы. Принцип вычисления краев изображения в окрестности сферы состоит в следующем: в настоящем приложении цвет нижней части сферы рассматривается как один цвет. При наличии двух или более оттенков серого считается, что некоторые объекты входят в пространство сферы для взаимодействия со сферой. Конкретный вычислительный процесс включает вычисление гистограммы и построение кривой вероятности.

Как показано на фиг. 4, сначала входное изображение преобразуют в изображение в оттенках серого. Затем вычисляют гистограмму H, показывающую оттенки серого нижней части сферы. Затем гистограмму H, показывающую оттенки серого, используют для построения кривой вероятности, показывающей оттенки серого. И, наконец, выполняют оценку краев в соответствии с построенной кривой вероятности.

А. Вычисление гистограммы

На фиг. 5 представлено изображение в оттенках серого, когда в пространство сферы не вошел никакой другой объект. В этом изображении серая область является пространством, в котором вычисляют гистограмму цвета.

Способ вычисления гистограммы цвета:

H обозначает матрицу, состоящую из 256 элементов, каждый из которых представляет несколько пикселей со значением оттенка серого, равным i, в изображении в оттенках серого. Области значений серого на изображении в оттенках серого пересекаются для каждого пикселя P(j), j представляет j-й пиксель, а N - общее количество пикселей в области оттенков серого. Если значение P(j)=i, то H(i)= H(i)+1.

B. Построение кривой вероятности

На фиг. 6 представлено изображение в оттенках серого в том случае, когда в пространство сферы входит другой объект. Как было установлено выше, после вычисления H согласно настоящему изобретению в качестве основного оттенка серого для фона принимается оттенок серого, присутствующий в подавляющем большинстве пикселей, а пиксели других оттенков серого представляют интерактивный объект, который входит в объем тела сферы.

Вероятность появления вычисляется как:

D(j) представляет значение оттенка серого каждого пикселя кривой малой вероятности, j представляет j-й пиксель, H_Max представляет максимальное значение среди 256 элементов гистограммы. В полученном изображении D, чем больше значение оттенка серого, тем меньше цветов в объеме тела сферы, то есть, тем выше вероятность того, что указанные пиксели представляют собой взаимодействующий объект, входящий в упомянутую сферу. Тогда края изображения представляют соединение двух областей, имеющих разные вероятности появления, то есть соединение областей, имеющих разные вероятности оттенков серого.

Вычисление скорости и направления соударения

Согласно настоящему изобретению в кривой D вероятности появления, построенной на предыдущем этапе, центр тяжести области, имеющей большую вероятность того, что пиксели представляют собой взаимодействующий объект, является точкой P_Int взаимодействия взаимодействующего объекта и сферы, а отклонение P_Int относительно центра сферы между горизонтальной и вертикальной координатами (пиксели) представляет силу в интерактивном горизонтальном и вертикальном направлениях, причем скорости в горизонтальном и вертикальном направлениях не зависят друг от друга.

Способ вычисления точки взаимодействия заключается в следующем:

P_Int(X_C, Y_C)

X и Y представляют горизонтальную координату и вертикальную координату области, имеющей большую вероятность, D(j) -вероятность, вычисленная на предыдущем этапе, X_C и Y_C - координаты центра тяжести. Скорость в поперечном направлении пропорциональна расстоянию от точки контакта в направлении X до центра сферы, причем, чем больше расстояние от точки контакта до центра сферы, тем выше скорость контакта. Продольная скорость обратно пропорциональна расстоянию от точки контакта в направлении Y до центра сферы, причем, чем короче расстояние от точки контакта до центра сферы, тем выше скорость контакта.

Нижний индекс Max представляет максимальные скорости в поперечном направлении и в продольном направлении, которые имеют предварительно установленные фиксированные значения.

Обновление местоположения сферы

Согласно настоящему изобретению местоположение сферы перемещается независимо в поперечном направлении и продольном направлении, начиная с начального статичного состояния. В поперечном направлении сфера перемещается равномерно по прямой со скоростью V_X соударения после каждого возникновения взаимодействия (в результате соприкосновения с рукой, краями изображения и границами экрана). В продольном направлении сфера подбрасывается вертикально вверх с начальной скоростью, равной скорости V_Y соударения после возникновения взаимодействия в продольном направлении (смотри:

http://baike.baidu.com/link?url=tJ8e6IfmpCZqSxfLM98X7_qCWeuq2JQBHDCRJfb8GxDqZHhCqxeHuJ_9GokBCSzZ)

Текущее местоположение сферы выражается как:

Где нижний индекс t представляет t-ое соударение, X_t и Y_t представляют горизонтальную и вертикальную координаты t-го соударения, g - ускорение свободного падения, а T представляет временной интервал между текущим моментом времени и моментом возникновения t-го соударения.

Отображение сферы

Виртуальная сфера отображается на экране с текущими координатами X, Y. Затем все операции заканчиваются.

В настоящем изобретении ординарные изображения фиксируются с использованием общеизвестного потребительского устройства получения изображений (такого как сотовый телефон, планшетный компьютер и домашняя камера), а эффект взаимодействия человека с виртуальной сферой достигается путем использования результата интеллектуального анализа изображений, так что результат взаимодействия человека с указанной сферой отображается пользователю с использованием способа дополненной реальности на основе обработки изображений. Таким образом, настоящее изобретение дает возможность обычному пользователю взаимодействовать с виртуальной сферой, создаваемой на основе технологии дополненной реальности, с использованием обычного устройства получения изображений и устройства отображения, например, сотового телефона и планшетного компьютера, так что пользователь получает более иммерсивное восприятие реальных сцен и лучше приспосабливается к системе дополненной реальности, реализуя тем самым уникальный способ взаимодействия, который невозможно осуществить в известном уровне техники.

Вышеописанный вариант осуществления изобретения является просто предпочтительным вариантом, который не подразумевает ограничения настоящего изобретения. Специалистам в данной области техники очевидно, что в данный вариант осуществления настоящего изобретения можно ввести различные изменения и корректировки, не выходя за рамки существа и объема настоящего изобретения. Таким образом, настоящее изобретение преследует свей целью охват всех возможных корректировок и модификаций, которые вписываются в объем настоящего изобретения, определенный формулой изобретения.

Изобретение относится к системе дополненной реальности. Технический результат заключается в повышении эффективности имитационного моделирования и управления виртуальной сферой в мобильном устройстве. Технический результат достигается за счет получения изображений с использованием блока получения изображений в мобильном устройстве, с тем чтобы получить последовательность непрерывных изображений; анализ содержания изображений; в последовательности полученных изображений выполнения, согласно конкретному правилу, взаимодействия между виртуальной сферой и содержанием изображений, а также пользователем; и отображения результата взаимодействия на экране мобильного устройства; причем правила взаимодействия содержат по меньшей мере одно из следующего: наличие неупругого соударения между сферой и цветовыми границами в изображении; наличие неупругого соударения между сферой и левым, правым и нижним краями экрана; на экране сфера испытывает воздействие виртуального гравитационного поля, причем виртуальное гравитационное поле направлено от верхней части экрана к нижней части экрана; наличие неупругого соударения между сферой и пальцем пользователя; сфера вылетает с экрана вверх и свободно падает в направлении нижней части экрана после вылета из экрана. 4 з.п. ф-лы, 6 ил.

1. Способ имитационного моделирования и управления виртуальной сферой в мобильном устройстве, содержащий:

получение изображений с использованием блока получения изображений в мобильном устройстве, с тем чтобы получить последовательность непрерывных изображений;

анализ содержания изображений;

в последовательности полученных изображений выполнение, согласно конкретному правилу, взаимодействия между виртуальной сферой и содержанием изображений, а также пользователем и

отображение результата взаимодействия на экране мобильного устройства,

причем правила взаимодействия содержат по меньшей мере одно из следующего:

наличие неупругого соударения между сферой и цветовыми границами в изображении;

наличие неупругого соударения между сферой и левым, правым и нижним краями экрана;

на экране сфера испытывает воздействие виртуального гравитационного поля и в результате как бы «падает» в направлении нижней части экрана, причем виртуальное гравитационное поле направлено от верхней части экрана к нижней части экрана;

наличие неупругого соударения между сферой и пальцем пользователя, причем угол и сила соударения между сферой и пальцем учитывается при наличии указанного соударения;

сфера вылетает с экрана вверх и свободно падает в направлении нижней части экрана после вылета из экрана;

учет только соударения между нижней частью сферы и содержанием изображения, а также пальцем пользователя.

2. Способ по п. 1, в котором анализ содержания изображений содержит:

вычисление краев изображений в окрестности виртуальной сферы;

вычисление скорости и направления соударения;

обновление местоположения виртуальной сферы и

отображение виртуальной сферы.

3. Способ по п. 2, в котором вычисление краев изображения в окрестности виртуальной сферы содержит:

преобразование входного изображения в изображение в оттенках серого;

вычисление гистограммы оттенков серого нижней части виртуальной сферы;

построение кривой вероятности оттенков серого с использованием упомянутой гистограммы и

принятие построенной кривой вероятности в качестве основы для оценки упомянутых краев.

4. Способ по п. 3, в котором край изображения представляет собой соединение областей, имеющих разные вероятности оттенков серого.

5. Способ по п. 2, в котором скорости соударения в поперечном и продольном направлениях не зависят друг от друга, причем упомянутая скорость в поперечном направлении пропорциональна расстоянию от точки контакта в поперечном направлении до центра виртуальной сферы, а упомянутая скорость в продольном направлении обратно пропорциональна расстоянию от точки контакта в продольном направлении до центра сферы.