СПОСОБ, УСТРОЙСТВО И СИСТЕМА ОБЕСПЕЧЕНИЯ ВЗАИМОСВЯЗИ МЕЖДУ ВИДЕОИЗОБРАЖЕНИЕМ И ВИТРУАЛЬНОЙ СЕТЕВОЙ СРЕДОЙ Российский патент 2014 года по МПК G06T7/00 G06K9/00 G06K9/78 

Область изобретения

[0001] Настоящее изобретение относится к компьютерным методам, в частности к способу, устройству и системе обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой.

Уровень техники

[0002] Благодаря быстрому развитию Интернета пользователи имеют возможность пользоваться различными интернет-услугами, такими как онлайн-офис и онлайн-развлечения. При реализации услуг, в том числе онлайн-офиса и онлайн-развлечений, для улучшения восприятия пользователем услуг, предоставляемых через Интернет, и расширения области их действия в существующих методах используется виртуальная сетевая среда. Например, когда несколько пользователей играют в сетевую игру, они воспринимают свое присутствие в ней благодаря виртуальной среде сетевой игры, которая значительно улучшает восприятие пользователей и повышает степень их удовлетворения от использования сетевой услуги. Виртуальная сетевая среда может использоваться, в частности, в сетевой игре, онлайн-конференции и прочих интернет-услугах.

Раскрытие изобретения

[0003] В настоящем изобретении предложены способ, устройство и система обеспечения взаимосвязи между видеоизображением и виртуальной сетевой услугой, которые позволяют усилить взаимозависимость видеоизображения и сетевой услуги в виртуальной сетевой среде, реализовать взаимосвязь между видеоизображением и сетевой услугой и установить точное соответствие между реальным внешним видом пользователя и внешним видом его виртуального персонажа и, таким образом, улучшить восприятие пользователя, использующего сетевую услугу.

Пользователь может видеть только виртуальных людей в виртуальной среде, но не может видеть реальной действительности и не может видеть, как в действительности выглядят люди, участвующие в использовании сетевой услуги. Пользователь во время использования сетевой услуги не имеет возможности показывать себя другим людям через сеть, в результате чего его поведение не может отражаться сетевой услугой в виртуальной сетевой среде, и восприятие пользователем сетевой услуги ухудшается.

Раскрытие изобретения

[0004] В настоящем изобретении предложены способ, устройство и система обеспечения взаимосвязи между видеоизображением и виртуальной сетевой услугой, которые позволяют усилить взаимозависимость видеоизображения и сетевой услуги в виртуальной сетевой среде, реализовать взаимосвязь между видеоизображением и сетевой услугой и улучшить восприятие пользователя.

[0005] Согласно одному из вариантов настоящего изобретения предложен способ обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой. Предлагаемый способ содержит следующие этапы:

получают видеоданные пользователя;

отображают на клиенте видеоизображение, соответствующее указанным видеоданным, путем внедрения указанного видеоизображения в виртуальную сетевую среду или

отображают видеоизображение, соответствующее указанным видеоданным, в виртуальной сетевой среде согласно видеоданным.

[0006] Согласно другому варианту настоящего изобретения предложено устройство обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой. Предлагаемое устройство содержит:

средства получения видеоданных пользователя;

средства отображения видеоизображения, соответствующего указанным видеоданным пользователя, в виртуальной сетевой среде на клиенте пользователя путем внедрения указанного видеоизображения в виртуальную среду или средства отображения видеоизображения, соответствующего указанным видеоданным, в виртуальной сетевой среде на клиенте.

[0007] Согласно еще одному варианту настоящего изобретения, предлагается система обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой. Предлагаемая система содержит сервер для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой и по меньшей мере два клиента для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой, причем

каждый из по меньшей мере двух клиентов собирает видеоданные пользователя, отображает видеоизображение пользователя на клиенте согласно видеоданным пользователя, распознает информацию о действии пользователя по его видеоданным и применяет указанную информацию в виртуальной сетевой среде для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой; причем

сервер передает видеоданные между клиентами и управляет виртуальной сетевой средой после передачи информации об управлении указанной средой между клиентами.

[0008] Согласно еще одному варианту настоящего изобретения, предлагается машиночитаемый носитель информации. В указанном носителе информации хранятся компьютерные программы, позволяющие одному или нескольким процессорам:

получать видеоданные пользователя,

отображать на клиенте видеоизображение, соответствующее указанным видеоданным, в виртуальной сетевой среде за счет внедрения указанного видеоизображения в виртуальную сетевую среду, или

отображать соответствующее видеоданным видеоизображение в виртуальной сетевой среде клиента.

[0009] Ниже указаны преимущества технического решения, предлагаемого в настоящем изобретении.

[0010] Благодаря привязке видеоизображения к сетевой услуге в виртуальной сетевой среде удается усилить взаимозависимость видеоизображения и сетевой услуги в виртуальной сетевой среде. Кроме того, обеспечивается взаимосвязь между видеоизображением и сетевой услугой, а также улучшается восприятие пользователей.

Краткое описание чертежей

[0011] На фиг. 1 показана блок-схема предлагаемого способа обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой.

[0012] На фиг. 2 схематично проиллюстрирована прикладная среда способа обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой согласно первому варианту осуществления настоящего изобретения.

[0013] На фиг. 3 показана блок-схема способа обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой согласно первому варианту осуществления настоящего изобретения.

[0014] На фиг. 4 схематично проиллюстрирован процесс взаимодействия пользователей при использовании предлагаемого способа обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой согласно первому варианту осуществления настоящего изобретения.

[0015] На фиг. 5 показана структурная схема устройства обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой согласно второму варианту осуществления настоящего изобретения.

[0016] На фиг. 6 схематично представлена система обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой согласно третьему варианту осуществления настоящего изобретения.

Подробное описание изобретения

[0017] Ниже приведено подробное описание настоящего изобретения со ссылкой на прилагаемые чертежи и варианты его реализации, которое служит для разъяснения предлагаемого технического решения и его преимуществ.

[0018] Чтобы усилить взаимозависимость между видеоизображением и сетевой услугой в виртуальной сетевой среде, обеспечить взаимосвязь между видеоизображением и сетевой услугой и улучшить восприятие пользователей, в настоящем изобретении предложен способ обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой. Предлагаемый способ содержит следующие этапы: получают видеоданные пользователя, отображают на клиенте видеоизображение, соответствующее указанным видеоданным, в виртуальной сетевой среде путем внедрения указанного видеоизображения в виртуальную сетевую среду, или отображают видеоизображение, соответствующее указанным видеоданным, в виртуальной сетевой среде на клиенте согласно видеоданным. Так называемое отображение соответствующего видеоданным видеоизображения в виртуальной сетевой среде на клиенте означает, что видеоизображение пользователя "плавает" в виртуальной сетевой среде при отображении. Тем самым достигается задача обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой. Под виртуальной сетевой средой понимается, в частности, сетевая игра, онлайн-конференция и прочее.

[0019] Как показано на фиг. 1, при использовании виртуальной сетевой среды несколькими пользователями предлагаемый способ содержит следующие этапы.

[0020] На этапе S1 собирают видеоданные текущего пользователя.

[0021] На этапе S2 видеоизображение текущего пользователя отображают на клиентах текущего и других пользователей согласно собранным видеоданным текущего пользователя.

[0022] На этапе S3 по видеоданным текущего пользователя получают информацию о его действии.

[0023] На этапе S4 информацию о действии текущего пользователя применяют в виртуальной сетевой среде для обеспечения взаимосвязи между видеоизображением указанного пользователя и виртуальной сетевой средой.

[0024] На этапе S4, на котором информацию о действии текущего пользователя применяют в виртуальной сетевой среде для обеспечения взаимосвязи между видеоизображением и виртуальной средой, выполняют следующие операции:

S4A - в соответствии с информацией о действии текущего пользователя и заранее заданным отношением отображения между текущим пользователем и виртуальным персонажем в виртуальной сетевой среде отображают действие текущего пользователя с виртуальным персонажем указанного пользователя в виртуальной сетевой среде, и/или

S4B - в соответствии с информацией о действии текущего пользователя осуществляют управление виртуальной сетевой средой.

[0025] На этапе S3, на котором согласно собранным видеоданным текущего пользователя получают информацию о его действии, выполняют следующие операции: согласно собранным видеоданным текущего пользователя, используя метод обнаружения лица, фиксируют видеоданные лица указанного пользователя и получают информацию о действии его лица; и/или согласно собранным видеоданным текущего пользователя, используя методы анализа движений и отслеживания объектов, фиксируют видеоданные действия указанного пользователя и получают информацию о действии его тела.

[0026] При использовании предлагаемого способа обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой благодаря привязке видеоизображения к сетевой услуге в виртуальной сетевой среде удается усилить взаимозависимость видеоизображения и сетевой услуги в указанной среде, обеспечить взаимосвязь между видеоизображением и сетевой услугой и улучшить восприятие пользователей.

[0027] Чтобы техническое решение, используемое в предлагаемом способе обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой, стало понятнее, ниже подробно рассматриваются предпочтительные варианты его осуществления. Для упрощения описания в представленных ниже вариантах в качестве виртуальной сетевой среды используется часто применяемая виртуальная среда сетевой игры.

[0028] Вариант 1

[0029] Чтобы усилить взаимозависимость видеоизображения и сетевой услуги в виртуальной среде сетевой игры, обеспечить взаимосвязь между видеоизображением и сетевой услугой и улучшить восприятие пользователей, в рассматриваемом варианте настоящего изобретения предложен способ обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой.

[0030] Как указано выше, для упрощения описания в данном варианте используется виртуальная среда сетевой игры. На фиг. 2 схематично проиллюстрирована прикладная архитектура способа согласно первому варианту настоящего изобретения. Как показано на фиг. 2, предполагается, что пользователями в виртуальной среде сетевой игры являются пользователи A, B и C, а соответствующими им виртуальными персонажами - виртуальные объекты a, b и c. Как видно из фиг. 3, способ согласно первому варианту настоящего изобретения предусматривает выполнение следующих этапов.

[0031] Этап 101, на котором клиент A пользователя A собирает видеоданные пользователя A.

[0032] На практике клиентом A может быть компьютер, оснащенный устройством, способным фиксировать видеоданные (например, камера), или терминал портала с аналогичным устройством. В рассматриваемом варианте тип клиента A не ограничен.

[0033] Этап 102, на котором клиент A распознает действие пользователя A по полученным от него видеоданным.

[0034] Видеоданные соответствуют действию, отображаемому на устройстве, способном фиксировать видеоданные. Указанное действие представляет собой, например, действие лица пользователя и тела пользователя.

[0035] Если пользователь A представляет на клиенте A свое лицо, то клиент A, используя метод обнаружения лица, выделит видеоданные лица пользователя A из собранных видеоданных пользователя А. По видеоданным лица пользователя A можно распознать действие лица данного пользователя.

[0036] Если пользователь A представляет на клиенте A действие своего тела, то клиент A, используя методы анализа движений и отслеживания объектов, выделит из собранных видеоданных пользователя А видеоданные его тела. По видеоданным тела пользователя A можно распознать действие тела данного пользователя.

[0037] Этап 103, на котором клиент A передает информацию о распознанном действии пользователя A на заранее заданный сетевой сервер.

[0038] Сетевым сервером может быть сервер видеоигры. Клиент A может передать информацию о распознанном действии пользователя A на заранее заданный сетевой сервер посредством опорных значений, представляющих конкретные действия. Например, в отношении действий лица можно определить, что значение XX1 соответствует морганию, а значение XX2 соответствует недовольному взгляду и прочее.

[0039] Этап 104, на котором сетевой сервер отображает действие пользователя A на виртуальный персонаж a согласно распознанному действию пользователя A и согласно отношению отображения между пользователем A и виртуальным персонажем а в виртуальной среде сетевой игры.

[0040] Как указано выше, между реальным пользователем и виртуальным персонажем в виртуальной среде сетевой игры существует отношение отображения. Для повышения эффективности обработки сетевой услуги в данном варианте, как показано на фиг. 2, предполагается, что существует сетевой сервер (сервер видеоигры), предоставляющий услугу виртуальной сетевой игры множеству пользователей, причем указанное выше отношение отображения хранится на указанном сервере. Таким образом, получив от клиента A сообщение о действии пользователя A (возможно, идентификатор действия), сетевой сервер применяет данное действие к виртуальному персонажу a, соответствующему пользователю A. Например, предположим, что сетевой сервер распознал, что действием пользователя A является моргание (идентификатор указанного действия - XX1). В результате, виртуальный персонаж a в виртуальной среде сетевой игры также моргнет. На практике это может быть реализовано методами анализа движений и отслеживания объектов.

[0041] При выполнении описанных выше этапов 101 - 104 обеспечивается взаимосвязь между видеоизображением пользователя и виртуальной средой сетевой игры. Кроме того, виртуальной средой сетевой игры можно управлять согласно информации о действии. В рассматриваемом варианте клиент A распознает действие пользователя A по видеоданным этого пользователя и передает сообщение о действии пользователя A на сетевой сервер. На практике для повышения эффективности обработки данных клиент A может передать на сетевой сервер также полученные видеоданные пользователя A. Сетевой сервер получает информацию о действии пользователя A на основании принятых видеоданных. В данном варианте изобретения нет ограничений на применение того или другого из двух указанных выше способов. При передаче видеоданных их можно также кодировать и сжимать для повышения эффективности передачи по сети. В настоящем изобретении нет ограничений на такую обработку.

[0042] По аналогии, выполняя этапы 101 - 104, можно обеспечить взаимосвязь между видеоизображением и средой сетевой игры и для пользователей B и C. В результате, улучшается восприятие пользователей. Каждый пользователь может видеть на своем локальном клиенте других участвующих в сетевой игре пользователей так, как они выглядят в действительности. Кроме того, каждый клиент может предоставить пользователю функцию демонстрации самого себя, то есть пользователь может также видеть на локальном клиенте себя в реальном виде.

[0043] Кроме того, для улучшения восприятия пользователей способ согласно рассматриваемому варианту изобретения может также предусматривать выполнение следующих действий: клиент A получает запускающий сигнал от пользователя A и фиксирует видеоизображения на экранах пользователей B и C, которых в текущий момент видит пользователь A, чтобы получить текущий снимок экрана X пользователя B и текущий снимок экрана Y пользователя C, причем на текущих снимках экранов содержится информация о лицах пользователей B и C, соответственно. По информации о лицах, содержащейся в текущих снимках экранов X и Y, клиент A вычисляет степень соответствия между информацией о лице пользователя B и информацией о лице пользователя C, чтобы получить степень соответствия между текущим снимком экрана X и текущим снимком экрана Y. Вычисленный результат можно также вернуть каждому пользователю для дополнительного улучшения их восприятия.

[0044] Кроме того, если при использовании сетевой услуги в виртуальной среде сетевой игры в течение заранее заданного интервала времени создается выборка видеоизображения пользователя, в способе согласно данному варианту изобретения для усиления взаимозависимости видеоизображения и сетевой услуги в виртуальной среде сетевой игры можно определить, зафиксировано ли видеоизображение, удовлетворяющее заранее заданному требованию (в частности, видеоизображение лица конкретного пользователя). Если да, то пользователю возвращается положительный ответ, например он получает награду в сетевой игре. В противном случае пользователю возвращается отрицательный ответ, например он получает наказание в сетевой игре типа запрета выполнять определенное действие в сетевой игре.

[0045] Кроме того, если при использовании сетевой услуги в виртуальной среде сетевой игры в течение заранее заданного интервала времени создается выборка видеоизображения пользователя, можно определить, зафиксировано ли видеоизображение, удовлетворяющее заранее заданному требованию (в частности, видеоизображение лица конкретного пользователя). Если да, то для данного пользователя устанавливается значение демонстрации, и может быть также создан план накопления. Чем больше накопленное значение демонстрации, тем больше вероятность того, что пользователь хочет показывать себя. Может также накапливаться время присутствия пользователя на видеоизображении (в частности, время, в течение которого на видеоизображении присутствует лицо пользователя); чем больше это время, тем больше вероятность того, что пользователь хочет показывать себя.

[0046] Кроме того, можно заранее задать характерную точку обнаружения на лице. По зафиксированным видеоданным лица текущего пользователя и характерной точке обнаружения на лице определяется, можно ли получить значение обнаружения, соответствующее характерной точке на лице текущего пользователя. Если да, то пользователю возвращается положительный ответ, например он получает награду в сетевой игре. В противном случае пользователю возвращается отрицательный ответ, например он получает наказание в сетевой игре типа запрета выполнять определенное действие. Например, предположим, что заранее заданной характерной точкой обнаружения на лице является нос. Тогда по фиксированным видеоданным лица пользователя A можно определить, существует ли характерная точка обнаружения - нос. Если значение обнаружения, соответствующее характерной точке обнаружения, получить можно, то пользователь получает награду в сетевой игре. В противном случае пользователю запрещается выполнять определенное действие в сетевой игре (например, ему запрещается продолжать игру или он наказывается снятием некоторого количества очков) или предлагается повернуть свое лицо к устройству фиксации видеоизображения и прочее.

[0047] Кроме того, для улучшения восприятия пользователей клиент может также предоставлять цифровые элементы, местоположение которых может изменяться на лице пользователя методом отслеживания объектов. Например, пользователь A выбирает пару очков. Получив запускающий сигнал, указывающий, что пользователь A выбрал очки, клиент A выбирает очки, выбранные пользователем A, и добавляет их в окно для вывода видеоизображения. В указанном окне независимо от того, опускает ли пользователь A голову или поднимает ее, очки всегда будут следовать за положением его лица. Элементы настраиваются для пользователя заранее или добавляются пользователем из других мест. В рассматриваемом варианте изобретения ограничений на это не накладывается.

[0048] Кроме того, для улучшения восприятия пользователей в рассматриваемом варианте изобретения пользователь также может выбрать одно или несколько любимых целевых окон для вывода видеоизображений после просмотра окон для вывода видеоизображений других пользователей. Пользователь может отобразить картинку выражения лица или воспроизвести анимацию в выбранных целевых окнах для вывода видеоизображений, чтобы выразить свои чувства и изобразить действие, которое он хочет выполнить. Например, пользователь A выбирает картинку со смеющимся лицом и указывает, чтобы она была показана в окне для вывод видеоизображения пользователя B. Клиент A, получив команду выбора, инициированную пользователем A, показывает такую картинку в окне для вывода видеоизображения пользователя B через сетевой сервер. Картинка выражения лица или анимация может быть настроена для пользователя заранее или определена самим пользователем.

[0049] Кроме того, каждый пользователь, посмотрев видеоизображение другого пользователя, может подарить ему виртуальный подарок. Для каждого типа виртуальных подарков задается идентификатор. Например, пользователь A, посмотрев видеоизображение пользователя B, решает сделать ему виртуальный подарок (предположим, что существует два типа виртуальных подарков, причем FFF означает цветок, а WWW - напиток). Анимацию передачи подарка можно вызвать в окне для вывода видеоизображения пользователя A, а анимацию получения подарка - в окне для вывода видеоизображения пользователя B (анимацию можно также вызвать только на одном конце). Взаимосвязь передачи и получения подарка можно обеспечить посредством передачи значения.

[0050] В приведенном выше варианте для иллюстрации использована взаимосвязь между видеоизображением и сетевой услугой в виртуальной среде сетевой игры. Рассмотренный вариант можно также применить к взаимосвязи между аудиоданными и сетевой услугой в виртуальной среде сетевой игры. В этом случае клиентское устройство производит выборку голоса пользователя, распознает аудиоданные для получения информации, которую пользователь хочет сообщить, и применяет эту информацию в виртуальной среде сетевой игры или к виртуальному персонажу в виртуальной среде сетевой игры. Например, клиент A получает от пользователя A команду "моргнуть", распознает действие моргания путем распознавания голоса и применяет это действие к виртуальному персонажу пользователя A. В другом примере клиент A получает от пользователя A команду "двинуться вперед", распознает действие движения вперед путем распознавания голоса и применяет действие движения вперед к виртуальному персонажу пользователя A. Затем виртуальный персонаж выполняет действие движения вперед в виртуальной среде сетевой игры.

[0051] Таким образом, в соответствии с рассмотренным вариантом в настоящем изобретении предложен способ обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой, причем под термином "видеоизображение" может пониматься изображение, голос и прочее. На фиг. 4 схематично проиллюстрирован процесс взаимодействия пользователей согласно данному варианту настоящего изобретения. В качестве метода обнаружения лица можно использовать, например, низкоуровневый метод обнаружения образов, реализованный на основе полутоновых изображений OpenCv, методы распознавания образов на основе алгоритма Хаара и другие методы. В способе согласно данному варианту изобретения в виртуальную среду сетевой игры внедряется окно для вывода видеоизображения. Таким образом, обеспечивается взаимосвязь между видеоизображением и виртуальной сетевой средой. Кроме того, в предложенном способе для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой применяется метод обнаружения лица, метод анализа движений и метод отслеживания объектов. Может также применяться метод смешивания видеоизображений для улучшения взаимосвязи путем смешивания видеоизображения с анимацией.

[0052] В описанном выше варианте изобретения в качестве примера была рассмотрена виртуальная среда сетевой игры. Предложенный в данном варианте изобретения способ можно также применить и к другим средам, например к виртуальной среде онлайн-конференции. Использованные здесь термины, описания и чертежи предназначены только для иллюстрации и не ограничивают настоящее изобретение.

[0053] Вариант 2

[0054] Для усиления взаимозависимости видеоизображения и сетевой услуги в виртуальной среде сетевой игры, обеспечения взаимосвязи между видеоизображением и сетевой услугой и улучшения восприятия пользователей, в данном варианте настоящего изобретения предложено устройство обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой. Устройство получает видеоданные пользователя, отображает на клиенте видеоизображение, соответствующее указанным видеоданным, в виртуальной сетевой среде путем внедрения указанного видеоизображения в виртуальную сетевую среду или отображает соответствующее видеоданным видеоизображение в виртуальной сетевой среде на клиенте согласно видеоданным. Так называемое отображение видеоизображения в виртуальной сетевой среде означает, что видеоизображение пользователя "плавает" в виртуальной сетевой среде при отображении. Как показано на фиг. 5, устройство содержит: модуль 501 сбора, предназначенный для сбора видеоданных текущего пользователя; модуль 502 отображения, предназначенный для отображения видеоизображения текущего пользователя на клиентах текущего и других пользователей согласно видеоданным текущего пользователя; модуль 503 распознавания, предназначенный для распознавания информации о действии текущего пользователя по его видеоданным; модуль 504 взаимосвязи, применяющий в виртуальной сетевой среде информацию о действии текущего пользователя, распознанную модулем 503 распознавания, для обеспечения взаимосвязи между видеоизображением текущего пользователя и виртуальной сетевой средой.

[0055] Модуль 504 взаимосвязи содержит: блок отображения, предназначенный для отображения распознанного действия текущего пользователя на виртуальный персонаж текущего пользователя в виртуальной сетевой среде согласно информации о действии текущего пользователя, распознанной модулем 503 распознавания, и согласно отношению отображения между текущим пользователем и виртуальным персонажем в виртуальной сетевой среде; блок управления, предназначенный для управления виртуальной сетевой средой согласно информации о действии текущего пользователя, распознанной модулем 503 распознавания.

[0056] Модуль 503 распознавания содержит: первый блок распознавания, предназначенный для фиксации видеоданных лица текущего пользователя согласно видеоданным указанного пользователя, собранным модулем 501 сбора, и для распознавания информации о действии лица текущего пользователя посредством метода обнаружения лица, и/иливторой блок распознавания, предназначенный для фиксации видеоданных действия текущего пользователя согласно видеоданным указанного пользователя, собранным модулем 501 сбора, и для распознавания информации о действии тела текущего пользователя посредством методов анализа движений и отслеживания объектов.

[0057] Устройство также содержит: первый модуль определения, предназначенный для определения, зафиксированы ли в заранее заданное время сбора видеоданные текущего пользователя, удовлетворяющие заранее заданному требованию; первый модуль награждения и наказания, который возвращает текущему пользователю положительный ответ, если модуль определения определяет, что зафиксированы видеоданные текущего пользователя, удовлетворяющие заранее заданному требованию, и возвращает текущему пользователю отрицательный ответ, если модуль определения определяет, что видеоданные текущего пользователя, удовлетворяющие заранее заданному требованию, не зафиксированы.

[0058] Если модуль 503 распознавания содержит первый блок распознавания, то предлагаемое устройство также содержит: первый модуль награждения, предназначенный для накопления времени, в течение которого фиксируются видеоданные лица текущего пользователя согласно видеоданным его лица, зафиксированным модулем фиксации, и для награждения текущего пользователя в зависимости от времени, накопленного модулем накопления, и/или второй модуль определения, предназначенный для получения значения обнаружения, соответствующего характерной точке обнаружения на лице текущего пользователя, согласно видеоданным его лица и заранее заданной характерной точке обнаружения на лице, и для возврата текущему пользователю положительного или отрицательного ответа в зависимости от обнаруженного значения.

[0059] Кроме того, для улучшения восприятия пользователей предлагаемое устройство может также содержать: модуль приема, предназначенный для приема передаваемого текущим пользователем сигнала о добавлении виртуального элемента; модуль выбора, который, после того как модуль приема принимает сигнал о добавлении элемента, выбирает элемент, который намерен добавить текущий пользователь.

[0060] Модуль 502 отображения может отображать на клиентах текущего и других пользователей собранные видеоданные текущего пользователя и элемент, который указанный пользователь намерен добавить.

[0061] Когда модуль 502 отображает указанный элемент, положение указанного элемента изменяется вместе с положением лица текущего пользователя.

[0062] Кроме того, для улучшения восприятия пользователей предлагаемое устройство может также содержать: модуль фиксации изображения экрана, предназначенный для приема выдаваемого текущим пользователем сигнала о фиксации изображения на экране и для фиксации на экране видеоизображений по меньшей мере двух пользователей, отображаемых на клиенте текущего пользователя, чтобы получить по меньшей мере два снимка экрана, содержащих информацию о лицах пользователей; модуль обработки, предназначенный для вычисления степени соответствия между информацией о лицах по меньшей мере двух пользователей по информации о лицах указанных пользователей, содержащейся по меньшей мере в двух снимках экрана, полученных модулем фиксации изображения экрана, и для возврата вычисленного результата каждому пользователю.

[0063] На практике указанные модули, обеспечивающие взаимосвязь между видеоизображением и виртуальной сетевой средой, могут находиться в одном устройстве (например, модуль сбора, модуль отображения, модуль распознавания и модуль взаимосвязи могут быть расположены на клиенте) или в разных устройствах (например, модуль сбора и модуль отображения находятся на клиенте, а модуль распознавания и модуль взаимосвязи - на сервере). Указанные в приведенном выше варианте модули могут быть интегрированы в один модуль согласно требованию. Каждый модуль в приведенном выше варианте может также быть разделен на несколько подмодулей.

[0064] Таким образом, в данном варианте изобретения предложено устройство для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой. Предлагаемое устройство может обеспечивать взаимосвязь между видеоизображением и виртуальной сетевой средой. Способ, предлагаемый в данном варианте настоящего изобретения, обеспечивает указанную взаимосвязь за счет использования метода распознавания лица, методов анализа движений и отслеживания объектов и метода фиксации информации о действии. Взаимодействие между пользователями может быть улучшено за счет применения смешанной анимации, в которой используются методы смешивания видеоизображений.

[0065] Вариант 3

[0066] Для усиления взаимозависимости видеоизображения и сетевой услуги в виртуальной среде сетевой игры, обеспечения взаимосвязи между видеоизображением и сетевой услугой и улучшения восприятия пользователей в данном варианте настоящего изобретения предложена система обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой. Как показано на фиг. 6, система содержит сервер 601 для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой и множество клиентов 602 для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой.

[0067] Каждый из клиентов 602 собирает видеоданные текущего пользователя, отображает видеоизображение текущего пользователя на клиентах 602 текущего и других пользователей согласно видеоданным текущего пользователя, распознает информацию о действии текущего пользователя по собранным от него видеоданным и применяет указанную информацию в виртуальной сетевой среде для обеспечения взаимосвязи между видеоизображением текущего пользователя и виртуальной сетевой средой.

[0068] Сервер 601 передает видеоданные между клиентами 602 и управляет виртуальной сетевой средой после передачи информации об управлении указанной средой между клиентами 602.

[0069] Опционально, помимо передачи сервером 601, видеоданные и информация об управлении виртуальной сетевой средой могут также передаваться между клиентами 602 в режиме одноранговой сети. Видеоданные и виртуальные сетевые данные (например, виртуальные данные сетевой игры) могут передаваться отдельно.

[0070] В частности, на практике для повышения эффективности передачи по сети и сохранения ее полосы пропускания предлагаемая система может также содержать клиент, видеосервер и игровой сервер.

[0071] Указанный клиент собирает видеоданные текущего пользователя, отображает видеоизображение текущего и других пользователей, распознает информацию о действии текущего пользователя по собранным от него видеоданным и отображает виртуальную сетевую среду.

[0072] Указанный видеосервер получает собранные клиентом видеоданные, передает их, собирает полученную клиентом информацию о действии и применяет ее в виртуальной сетевой среде через сервер виртуальной среды для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой.

[0073] Сервер виртуальной среды выполняет алгоритм виртуальной сетевой среды и применяет в ней полученную видеосервером информацию о действии для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой. Если виртуальной средой является сетевая игра, то указанный выше сервер виртуальной среды представляет собой игровой сервер.

[0074] Для поддержки популярной в настоящее время структуры одноранговой сети предлагаемая система может содержать: клиент для сбора видеоданных текущего пользователя, отображения видеоизображений текущего и других пользователей, распознавания информации о действии текущего пользователя по собранным от него видеоданным и отображения виртуальной сетевой среды; видеосервер для получения собранных клиентом видеоданных, передачи указанных видеоданных, сбора распознанной клиентом информации о действии и применения указанной информации в виртуальной сетевой среде через сервер виртуальной среды для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой; сервер виртуальной среды для выполнения алгоритма виртуальной сетевой среды и применения в ней полученной видеосервером информации о действии для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой, причем если виртуальной средой является сетевая игра, то указанный выше сервер виртуальной среды представляет собой игровой сервер; сервер одноранговой сети для резервирования данных видеосервера и сервера виртуальной среды с целью реализации функций восстановления после сбоя и резервного копирования.

[0075] Данный вариант настоящего изобретения не ограничивает архитектуру системы. Любое решение, обеспечивающее взаимосвязь между видеоизображением и виртуальной сетевой средой посредством объединения видеоизображения и виртуальной сетевой среды, подпадает под объем защиты настоящего изобретения.

[0076] Таким образом, в данном варианте настоящего изобретения предложена система обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой. Предлагаемая система позволяет обеспечить взаимосвязь между видеоизображением и виртуальной сетевой средой путем внедрения окна для вывода видеоизображения в виртуальную среду сетевой игры. Способ, рассмотренный в данном варианте изобретения, обеспечивает указанную взаимосвязь за счет применения метода обнаружения лица, методов анализа движений и отслеживания объектов, а также метода фиксации информации о действии. Взаимодействие между пользователями может быть улучшено за счет метода смешивания видеоизображений.

[0077] Техническое решение, предложенное в данном варианте изобретения, удовлетворяет требованиям пользователей сетевой услуги в виртуальной сетевой среде, позволяет пользователю, пользующемуся сетевой услугой в данной среде, видеть реальную действительность и людей, использующих сетевую услугу, так как они выглядят в действительности, а также позволяет другим пользователям видеть самого пользователя при использовании сетевой услуги. Усиливается взаимозависимость видеоизображения и сетевой услуги в виртуальной сетевой среде, а также обеспечивается взаимосвязь между видеоизображением и сетевым сервером.

[0078] Под терминами "прием" и "получение" следует понимать получение информации от других модулей по запросу или просто получение информации от других модулей.

[0079] На прилагаемых чертежах варианты настоящего изобретения проиллюстрированы схематично. Не все модули и потоки, представленные на чертежах, необходимы для реализации настоящего изобретения.

[0080] Модули устройства, предложенного в рассмотренном варианте настоящего изобретения, могут быть расположены в одном таком устройстве или их можно модифицировать и расположить в одном или нескольких таких устройствах. Модули могут быть интегрированы в один модуль или разделены на несколько подмодулей.

[0081] Использованные выше порядковые номера вариантов изобретения предназначены только для упрощения описания, а не для указания их предпочтения.

[0082] Вариант 4

[0083] Некоторые действия в данном варианте изобретения могут быть реализованы посредством программ, хранящихся на машиночитаемом носителе информации, например на компакт-диске или жестком диске.

[0084] Для усиления взаимозависимости видеоизображения и сетевой услуги в виртуальной сетевой среде, обеспечения взаимосвязи между видеоизображением и сетевой услугой и улучшения восприятия пользователей в данном варианте настоящего изобретения предложен машиночитаемый носитель информации, в которой хранятся компьютерные программы, позволяющие одному или нескольким процессорам выполнять следующие действия: получать видеоданные пользователя, отображать на клиенте видеоизображение, соответствующее указанным видеоданным, в виртуальной сетевой среде за счет внедрения указанного видеоизображения в виртуальную сетевую среду или отображать соответствующее видеоданным видеоизображение в виртуальной сетевой среде клиента, или управлять виртуальной сетевой средой либо воздействовать на нее согласно видеоданным.[0085] Программы позволяют также одному или нескольким процессорам выполнять следующие действия: собирать видеоданные текущего пользователя, отображать указанные видеоданные на клиентах текущего и других пользователей, распознавать информацию о действии текущего пользователя по его видеоданным и применять указанную информацию в виртуальной сетевой среде для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой.

[0086] Программы позволяют также одному или нескольким процессорам выполнять следующие действия: фиксировать видеоданные лица текущего пользователя согласно видеоданным указанного пользователя посредством метода обнаружения лица, распознавать информацию о действии лица пользователя, и/или фиксировать видеоданные действия текущего пользователя согласно его видеоданным посредством методов анализа движений и отслеживания объектов и распознавать информацию о действии тела текущего пользователя.

[0087] Программы позволяют также одному или нескольким процессорам выполнять следующие действия: отображать действие текущего пользователя на виртуальный персонаж указанного пользователя в виртуальной сетевой среде согласно информации о действии текущего пользователя и заранее заданному отношению отображения между текущим пользователем и виртуальным персонажем в виртуальной сетевой среде и/или управлять виртуальной сетевой средой согласно информации о действии текущего пользователя.

[0088] Выше представлены предпочтительные варианты осуществления настоящего изобретения и некоторые варианты их модификации. Использованные здесь термины, описание и чертежи предназначены только для иллюстрации и не ограничивают настоящее изобретение. Возможны различные модификации, не выходящие за рамки сущности и области применения настоящего изобретения, определяемого представленными ниже пунктами его формулы (и их эквивалентами), в которых все термины используются в самом широком подходящем смысле, если не указано иное.

Изобретение относится к средствам обработки видеоизображений в виртуальной сетевой среде. Техническим результатом является обеспечение точного соответствия между реальными видеоданными пользователя и его виртуального персонажа в виртуальной сетевой среде. В способе получают видеоданные пользователя, отображают на экране клиента видеоизображение, соответствующее указанным видеоданным в виртуальной среде, в заранее заданное время сбора определяют, зафиксированы ли видеоданные пользователя, удовлетворяющие заранее заданному требованию, запрещают пользователю выполнять действие в виртуальной сетевой среде, если видеоданные пользователя, удовлетворяющие заранее заданному требованию, не зафиксированы. 4 н. и 21 з.п. ф-лы, 6 ил.

1. Способ обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой, используемой при реализации сетевой услуги, содержащий этапы, на которых:
получают видеоданные пользователя;
отображают на экране клиента видеоизображение, соответствующее указанным видеоданным, в виртуальной сетевой среде;
определяют, в заранее заданное время сбора, зафиксированы ли видеоданные пользователя, удовлетворяющие заранее заданному требованию; и
запрещают пользователю выполнять действие в виртуальной сетевой среде, если видеоданные пользователя, удовлетворяющие заранее заданному требованию, не зафиксированы.

2. Способ по п.1, дополнительно содержащий этапы, на которых:
распознают информацию о действии пользователя согласно собранным видеоданным пользователя; и
применяют к виртуальной сетевой среде информацию о действии пользователя.

3. Способ по п.2, в котором на этапе распознавания информации о действии пользователя согласно собранным видеоданным пользователя выполняют следующие операции:
фиксируют видеоданные лица пользователя согласно собранным видеоданным пользователя и распознают информацию о действии лица пользователя с использованием метода обнаружения лица, и/или
фиксируют видеоданные действия пользователя согласно собранным видеоданным пользователя и распознают информацию о действии тела пользователя с использованием методов анализа движений и отслеживания объектов.

4. Способ по п.2, в котором на этапе применения к виртуальной сетевой среде информации о действии пользователя выполняют следующие операции:
отображают действие пользователя на виртуальный персонаж в виртуальной сетевой среде согласно информации о действии пользователя и заранее заданному отношению отображения между пользователем и виртуальным персонажем в виртуальной сетевой среде, и/или
управляют виртуальной сетевой средой согласно информации о действии пользователя.

5. Способ по п.1, в котором на этапе определения, зафиксированы ли видеоданные пользователя, удовлетворяющие заранее заданному требованию, выполняют следующие операции:
определяют, зафиксированы ли видеоданные лица пользователя, причем если видеоданные лица пользователя зафиксированы, то определяют, что видеоданные пользователя, удовлетворяющие заранее заданному требованию, зафиксированы; в противном случае определяют, что видеоданные пользователя, удовлетворяющие заранее заданному требованию, не зафиксированы.

6. Способ по п.3, дополнительно содержащий этапы, на которых:
при распознавании информации о действии лица пользователя согласно видеоданным лица пользователя используют метод обнаружения лица, накапливают время, в течение которого могут фиксироваться видеоданные лица пользователя согласно видеоданным лица пользователя, и награждают пользователя в соответствии с накопленным временем, и/или
получают значения обнаружения характерных точек обнаружения лица пользователя согласно видеоданным лица пользователя и заранее заданным характерным точкам обнаружения лица и возвращают пользователю положительный или отрицательный ответ в зависимости от значений обнаружения.

7. Способ по любому из пп.2-4, дополнительно содержащий этапы, на которых:
принимают передаваемый пользователем сигнал о добавлении виртуального элемента и выбирают виртуальный элемент, который пользователь намерен добавить;
после отображения собранного видеоизображения пользователя отображают на клиенте видеоданные пользователя и виртуального элемента, который пользователь намерен добавить.

8. Способ по п.7, в котором при отображении виртуального элемента, который пользователь намерен добавить, указанный виртуальный элемент движется синхронно вместе с положением лица пользователя.

9. Способ по любому из пп.2-3, дополнительно содержащий этапы, на которых:
принимают запускаемый пользователем сигнал о фиксации изображения экрана;
фиксируют снимок видеоизображений по меньшей мере двух пользователей, отображаемых на клиенте пользователя, для получения по меньшей мере двух снимков экрана, которые содержат информацию о лицах по меньшей мере двух пользователей;
вычисляют степень соответствия между информацией о лицах по меньшей мере двух пользователей согласно информации о лицах, содержащейся в указанных по меньшей мере двух снимках экрана, и возвращают вычисленный результат по меньшей мере двум пользователям.

10. Способ по п.1, в котором на этапе отображения в виртуальной сетевой среде видеоизображения, соответствующего видеоданным, выполняют следующие операции:
отображают видеоизображение, соответствующее видеоданным, путем внедрения видеоизображения в виртуальную сетевую среду, или
отображают видеоизображение, соответствующее видеоданным, в окне, плавающем в виртуальной сетевой среде.

11. Устройство обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой, используемой при реализации сетевой услуги, содержащее:
модуль сбора, конфигурированный для сбора видеоданных пользователя;
модуль отображения, конфигурированный для отображения видеоизображения, соответствующего указанным видеоданным пользователя, в виртуальной сетевой среде на экране клиента пользователя;
первый модуль определения, конфигурированный для определения, зафиксированы ли в заранее заданное время сбора видеоданные пользователя, удовлетворяющие заранее заданному требованию; и
первый модуль награждения и наказания, конфигурированный для запрета пользователю выполнять действие в виртуальной сетевой среде, если указанный модуль определения определяет, что видеоданные пользователя, удовлетворяющие заранее заданному требованию, не зафиксированы.

12. Устройство по п.11, дополнительно содержащее:
модуль распознавания, конфигурированный для распознавания информации о действии пользователя согласно видеоданным пользователя, собранным указанным модулем сбора; и модуль взаимосвязи, конфигурированный для применения к виртуальной сетевой среде информации о действии пользователя, распознанной модулем распознавания.

13. Устройство по п.12, в котором модуль распознавания содержит;
первый блок распознавания, конфигурированный для фиксации видеоданных лица пользователя согласно видеоданным пользователя, собранным модулем сбора, и для распознавания информации о действии лица пользователя с использованием метода обнаружения лица, и/или
второй блок распознавания, конфигурированный для фиксации видеоданных действия пользователя согласно видеоданным пользователя, собранным модулем сбора, и для распознавания информации о действии тела пользователя с использованием методов анализа движений и отслеживания объектов.

14. Устройство по п.12, в котором модуль взаимосвязи содержит:
модуль отображения, конфигурированный для отображения действия пользователя на виртуальный персонаж пользователя в виртуальной сетевой среде согласно информации о действии пользователя, распознанной модулем распознавания, и согласно заранее заданному отношению отображения между пользователем и виртуальным персонажем в виртуальной сетевой среде;
блок управления, конфигурированный для управления виртуальной сетевой средой согласно информации о действии пользователя, распознанной модулем распознавания.

15. Устройство по п.14, причем, если модуль распознавания содержит первый блок распознавания, предлагаемое устройство дополнительно содержит:
первый модуль награждения, конфигурированный для накопления времени, в течение которого могут фиксироваться видеоданные лица пользователя согласно видеоданным лица пользователя, зафиксированным модулем фиксации, и для награждения пользователя согласно накопленному времени, и/или
второй модуль определения, конфигурированный для получения значения обнаружения характерной точки обнаружения лица пользователя согласно видеоданным лица пользователя и заранее заданной характерной точке обнаружения лица и для возврата пользователю положительного или отрицательного ответа в зависимости от значения обнаружения.

16. Устройство по п.12 или 13, дополнительно содержащее:
модуль приема, конфигурированный для приема передаваемого пользователем сигнала о добавлении виртуального элемента;
модуль выбора, конфигурированный для выбора элемента, который пользователь намерен добавить, после того как модуль приема принимает сигнал о добавлении элемента;
модуль отображения, дополнительно конфигурированный для отображения на клиенте пользователя видеоданных пользователя и элемента, который пользователь намерен добавить.

17. Устройство по п.16, в котором, при отображении указанного элемента модулем отображения, указанный элемент движется синхронно вместе с положением лица пользователя.

18. Устройство по п.12 или 13, дополнительно содержащее:
модуль фиксации изображения экрана, конфигурированный для приема сигнала о фиксации изображения на экране, запущенного пользователем, для фиксации снимка видеоизображений по крайней мере двух пользователей, отображаемых на клиенте пользователя, чтобы получить по меньшей мере два снимка экрана, которые содержат информацию о лицах по меньшей мере двух пользователей;
модуль обработки, конфигурированный для вычисления степени соответствия между информацией о лицах по меньшей мере двух пользователей согласно информации о лицах, содержащейся в указанных по меньшей мере двух снимках экрана, полученных модулем фиксации изображения экрана, и для возврата вычисленного результата пользователю.

19. Устройство по п.11, в котором модуль отображения конфигурирован для отображения видеоизображения, соответствующего видеоданным, путем внедрения видеоизображения в виртуальную сетевую среду или для отображения видеоизображения, соответствующего видеоданным, в окне, плавающем в виртуальной сетевой среде.

20. Система обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой, используемой при реализации сетевой услуги, содержащая: сервер для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой и по меньшей мере два клиента для обеспечения взаимосвязи между видеоизображением и виртуальной сетевой средой, причем
каждый из по меньшей мере двух клиентов конфигурирован для сбора видеоданных пользователя, отображения видеоизображения пользователя в виртуальной сетевой среде на экране клиента согласно видеоданным пользователя, распознавания информации о действии пользователя согласно видеоданным пользователя и для применения указанной информации о действии пользователя к виртуальной сетевой среде; и
сервер конфигурирован для передачи видеоданных между клиентами, управления виртуальной сетевой средой после передачи информации об управлении виртуальной сетевой средой между клиентами, определения, в заранее заданное время сбора, зафиксированы ли видеоданные пользователя, удовлетворяющие заранее заданному требованию, и для запрета пользователю выполнять действие в виртуальной сетевой среде, если видеоданные пользователя, удовлетворяющие заранее заданному требованию, не зафиксированы.

21. Машиночитаемый носитель информации, содержащий компьютерные команды, выполняемые одним или несколькими процессорами, причем указанные компьютерные команды позволяют одному или нескольким процессорам:
получать видеоданные пользователя,
отображать на экране клиента видеоизображение, соответствующее указанным видеоданным, в виртуальной сетевой среде, используемой при реализации сетевой услуги,
определять, в заранее заданное время сбора, зафиксированы ли видеоданные пользователя, удовлетворяющие заранее заданному требованию, и
запрещать пользователю выполнять действие в виртуальной сетевой среде, если видеоданные пользователя, удовлетворяющие заранее заданному требованию, не зафиксированы.

22. Машиночитаемый носитель информации по п.21, дополнительно содержащий компьютерные команды, позволяющие одному или нескольким процессорам:
распознавать информацию о действии пользователя согласно видеоданным пользователя, и
применять к виртуальной сетевой среде информацию о действии пользователя.

23. Машиночитаемый носитель информации по п.22, дополнительно содержащий компьютерные команды, позволяющие одному или нескольким процессорам:
фиксировать видеоданные лица пользователя согласно видеоданным пользователя и распознавать информацию о действии лица пользователя посредством метода обнаружения лица, и/или
фиксировать видеоданные действия пользователя согласно видеоданным пользователя и распознавать информацию о действии тела пользователя посредством методов анализа движений и отслеживания объектов.

24. Машиночитаемый носитель информации по п.22, дополнительно содержащий компьютерные команды, позволяющие одному или нескольким процессорам:
отображать действие пользователя на виртуальный персонаж пользователя в виртуальной сетевой среде согласно информации о действии пользователя и заранее заданному отношению отображения между пользователем и виртуальным персонажем в виртуальной сетевой среде, и/или
управлять виртуальной сетевой средой согласно информации о действии пользователя.

25. Машиночитаемый носитель информации по п.21, дополнительно содержащий компьютерные команды, позволяющие одному или нескольким процессорам:
отображать видеоизображение, соответствующее видеоданным, путем внедрения видеоизображения в виртуальную сетевую среду или отображать видеоизображение, соответствующее видеоданным, в окне, плавающем в виртуальной сетевой среде.