СПОСОБ СОЗДАНИЯ ВИДЕОПРОГРАММ (ВАРИАНТЫ) И СИСТЕМА ДЛЯ ОСУЩЕСТВЛЕНИЯ СПОСОБА Российский патент 2000 года по МПК H04N5/272 

Изобретение относится к телевидению, в том числе интерактивному телевидению, пользовательским интерфейсам, видеоконференциям, телекоммуникационным сетям и более конкретно к способу и системе для создания видеопрограмм, в том числе игровых шоу-программ с интерактивным взаимодействием актеров с объектами, генерируемыми компьютерной программой.

Общеизвестны способ и система для создания видеопрограмм, при которых изображения чередуются и отображаются в самостоятельных окнах (оконный интерфейс, картинка в картинке). Для этого снимают видеокамерой участника видеопрограммы, формируют изображение при помощи компьютера с соответствующим программным обеспечением и отображают сформированное изображение участнику. Отображают зрителям последовательно или одновременно в разных окнах одного экрана видеоизображение и компьютерное изображение, причем изображение одного из окон не зависит явно от другого.

Также широко известен способ для создания видеопрограмм, при котором пользователя-участника видеопрограммы и изображение, генерируемое компьютером, снимают в процессе взаимодействия пользователя с компьютером. При этом используют разные варианты съемки пользователя, отличающиеся выбором ракурса и монтажа. При съемке со стороны компьютера зрители могут наблюдать эмоции пользователя - участника видеопрограммы, его действия, но при этом не видно экрана компьютера и реакции объектов компьютерных программ на действия пользователя. Если съемка ведется с показом экрана компьютера, то зрители могут наблюдать дополнительно только затылок пользователя, но не видят его эмоций, мимики, реакции и жестов. Наиболее распространенный вариант - это съемка сбоку, когда частично виден экран, изображение на котором получается, как правило, с низким качеством, и при этом пользователь виден в профиль. В других вариантах съемки используют послесъемочный монтаж, когда на разделенном экране совмещают несколько картинок, снятых под разными ракурсами. Для специализированных телепередач, основанных на взаимодействии пользователя с объектами компьютерной программы (игры, задачи, тесты, обучение), этот способ недостаточно эффективен. Описанные подходы не обеспечивают отображения на одном экране пользователя, объектов программы и процесса их взаимодействия.

Известна система для создания видеопрограмм, содержащая видеокамеру, связанную с блоком совмещения изображений, компьютер с блоком генерации изображений, также связанный с блоком совмещения изображений, имеющим выход для видеосигнала, пригодного для записи или выдачи в эфир (см. журнал "Сети", Июнь 1998, издательство "Открытые системы", c.52-56). Известная система позволяет создавать видеоизображения согласно вышеописанным способам. Эта система не обеспечивает формирование изображения пользователя во взаимодействии с объектами компьютерной программы, с которыми пользователь взаимодействует в процессе съемки.

Известен способ создания видеопрограмм для пространственно разнесенных участников (режим видеоконференции), при котором с помощью видеокамер формируют видеоизображение пользователей компьютеров, взаимосвязанных посредством телекоммуникационной сети и использующих при этом, как правило, одно и то же программное обеспечение или работающих над одним приложением (см. журнал "LAN", Июнь 1998, т.4, издательство "Открытые системы", с. 81-86). Видеоизображение участника видеоконференции пересылается через сеть и выводится в отдельном окне (кадр в кадре), накладываемом поверх основного окна в одном из углов. Такой способ дистанционного взаимодействия с возможностью видеть и слышать партнера позволяет совместно решать различные задачи. Недостатком этого способа является визуальная несогласованность реакции отображаемого в отдельном окне пользователя-партнера с изображением на основном экране и изменениями этого изображения. Партнер видеоконференции здесь выступает как внешний советчик, а не как соучастник действий, разворачивающихся на основном экране. При этом, если изменения происходят динамично и одновременно отображается несколько объектов, невозможно идентифицировать реакцию партнера на изменение отдельных объектов, отображаемых на основном экране.

Задачей настоящего изобретения является создание способов и системы для съемки видеопрограмм вышеописанного типа, обеспечивающих возможность съемки участника видеопрограммы в процессе его взаимодействия с отображаемыми объектами компьютерной программы таким образом, чтобы зрители могли наблюдать на экране реакцию участника на изменения в компьютерной программе, его мимику, жесты и одновременно наблюдать отображаемые на том же экране результаты работы компьютерной программы.

Достигаемым техническим результатом является повышение качества создаваемых видеопрограмм за счет повышения достоверности и качества отображения для зрителей изображений, формируемых компьютером, и реакции актера-участника на изменение этих изображений. Кроме того, качество создаваемых изображений повышается за счет обеспечиваемой изобретением возможности отображения формируемых компьютером изображений объектов компьютерных программ, с которыми взаимодействует участник видеопрограммы, в пространстве между участником и зрителем, в результате чего создается эффект соучастия зрителей в разворачивающемся представлении, повышается зрелищность и привлекательность видеопрограммы, что способствует повышению интереса зрителей к создаваемым таким образом видеопрограммам, причем видеопрограммы могут использоваться для исследования процесса взаимодействия участника с объектами, генерируемыми компьютером.

Указанный технический результат достигается тем, что в способе создания видеопрограмм, основанном на видеосъемке и формировании компьютерных изображений, при котором формируют компьютером изображение, включающее в себя изображение объектов переднего плана и фоновое изображение, осуществляют съемку участника видеопрограммы видеокамерой и получают соответствующее видеоизображение, формируют выходной видеосигнал с использованием видеоизображения участника видеопрограммы и изображения, сформированного компьютером, в соответствии с изобретением отображают участнику видеопрограммы изображение по меньшей мере объектов переднего плана изображения, формируемого компьютером, съемку участника видеопрограммы осуществляют в процессе отображения участнику видеопрограммы по меньшей мере объектов переднего плана изображения, формируемого компьютером, с ракурсом съемки, обеспечивающим возможность воспроизведения в получаемом видеоизображении реакции участника видеопрограммы на отображаемые объекты компьютерной программы, совмещают изображение, формируемое компьютером, с видеоизображением участника видеопрограммы путем наложения на видеоизображение участника изображения по меньшей мере объектов переднего плана и используют совмещенное изображение для последующего отображения пользователю.

При этом съемку участника видеопрограммы предпочтительно осуществляют на хромакейном фоне, а при совмещении изображения объектов переднего плана, формируемых компьютером, с видеоизображением участника видеопрограммы хромакейный фон заменяют упомянутым фоновым изображением или любым другим изображением, причем обеспечивают участнику видеопрограммы возможность взаимодействия с отображаемыми объектами, формируемыми компьютером, и изменения изображения указанных объектов.

Предпочтительно также, что по меньшей мере видеоизображение участника видеопрограммы, снимаемое видеокамерой в студии, и данные, необходимые для формирования изображения компьютером, передают через телекоммуникационную сеть на пользовательское устройство, в пользовательском устройстве на основании данных, полученных из студии, формируют изображение, включающее в себя изображение объектов переднего плана и фоновое изображение, осуществляют совмещение видеоизображения участника видеопрограммы и сформированного пользовательским устройством изображения путем наложения изображения объектов переднего плана на видеоизображение участника и отображают пользователю совмещенное изображение.

Причем на пользовательском устройстве могут осуществлять ввод управляющих команд, используемых при формировании изображения в пользовательском устройстве, передают управляющие команды через телекоммуникационную сеть в студию и используют их при формировании изображения компьютером.

Дополнительно может осуществляться съемка пользователя видеокамерой, передача видеоизображения пользователя по телекоммуникационной сети в студию, совмещение принятого в студии видеоизображение пользователя с объектами переднего плана путем наложения изображения указанных объектов на видеоизображение пользователя и отображение участнику видеопрограммы совмещенного изображения, которое могут использовать для отображения другим пользователям.

Указанный технический результат достигается также тем, что система для создания видеопрограмм, сочетающая видеосъемку и формирование изображений компьютером преимущественно телевизионных программ, содержащая размещенные в студии видеокамеру для съемки участника видеопрограммы и средство для формирования изображения, включающего в себя объекты переднего плана и фоновое изображение, в соответствии с изобретением содержит средство для отображения участнику изображения по меньшей мере объектов переднего плана, соединенное со средством для формирования изображения, и средство для совмещения изображений, первый вход которого соединен с выходом видеокамеры, а второй вход - с выходом средства для формирования изображения, при этом упомянутое средство для совмещения изображений выполнено с возможностью наложения изображения объектов переднего плана на видеоизображение участника. Предпочтительно, чтобы одежда участника (участников) была нейтрального цвета или цветов, не совпадающих с объектами, тогда объекты не будут сливаться с фоном (участником).

При этом средство для отображения предпочтительно выполнено так, что отображенное участнику изображение пересекает линию съемки. В частности, упомянутое средство для отображения предпочтительно содержит экран, связанный со средством для формирования изображений и размещенный за пределами поля зрения видеокамеры, и полупрозрачное зеркало, оптически сопряженное с упомянутым экраном и размещенное на линии съемки участника видеокамерой, под углом к указанной линии с обеспечением возможности формирования отраженного изображения, отображаемого участнику, в плоскости, по существу перпендикулярной линии съемки.

Кроме того система предпочтительно содержит средство для интерактивного взаимодействия участника с объектами отображаемого изображения, связанное со средством для формирования изображения, выполненное, например, в виде средства для определения положения и ориентации участника.

В одном из вариантов осуществления система дополнительно содержит канал телекоммуникационной сети, блок соединения, связанный двусторонними связями с каналом телекоммуникационной сети, средством для формирования изображений и средством для совмещения изображений, и по меньшей мере одно пользовательское устройство, содержащее пользовательское средство для формирования изображения объектов переднего плана и фонового изображения, пользовательский блок соединения, связанный двусторонними связями с каналом телекоммуникационной сети и пользовательским средством для формирования изображения, пользовательское средство для совмещения изображений переднего плана с видеоизображением участника видеопрограммы, переданным по каналу телекоммуникационной сети, выполненное с возможностью наложения изображения объектов переднего плана на видеоизображение участника видеопрограммы, и пользовательское средство для отображения совмещенного изображения, при этом первый вход пользовательского средства для совмещения изображений соединен с выходом пользовательского блока соединения, второй вход соединен с выходом средства для формирования изображений, а выход соединен с входом блока отображения совмещенного изображения.

В указанном варианте осуществления система предпочтительно содержит также пользовательский блок управления, выход которого соединен с соответствующим входом пользовательского блока соединения, и/или размещенный в студии блок обработки управляющих команд пользователей, соединенный двусторонними связями с блоком соединения и со средством для формирования изображения.

Указанный технический результат обеспечивается также тем, что в способе создания видеопрограмм в режиме видеоконференций, основанном на видеосъемке и формировании компьютером изображений, при котором формируют компьютерами для каждого из по меньшей мере двух пространственно разнесенных участников видеопрограммы изображение, включающее в себя изображение объектов переднего плана и фоновое изображение, причем указанные компьютеры связаны через телекоммуникационную сеть, отображают каждому из участников видеопрограммы по меньшей мере изображение объектов переднего плана, формируемых компьютером, обеспечивают каждому из участников видеопрограммы возможность взаимодействия с отображаемыми объектами и изменения отображаемых объектов, осуществляют съемку каждого из по меньшей мере двух участников видеопрограммы видеокамерой, передают видеоизображение каждого участника через телекоммуникационную сеть и отображают другому участнику, в соответствии с изобретением съемку каждого участника видеопрограммы осуществляют в процессе его взаимодействия по меньшей мере с объектами переднего плана изображения, формируемого компьютером, для каждого из участников совмещают изображение объектов переднего плана, отображаемых данному участнику, с принятым видеоизображением другого участника видеопрограммы путем наложения упомянутого изображения объектов переднего плана на упомянутое принятое видеоизображение участника видеопрограммы и отображают каждому из участников видеопрограммы совмещенное видеоизображение, при этом фон, на котором снимают видеокамерой участника видеопрограммы, вычитают из принятого видеоизображения и заменяют его фоновым изображением, формируемым компьютером, или любым другим изображением.

Кроме того указанный выше технический результат достигается, тем, что в способе создания видеопрограмм для регистрации реакции пользователя на представляемое изображение для исследования и оптимизации интерфейсов компьютерных программ и монтажа видеофильмов, при котором формируют изображение, отображают пользователю формируемое изображение, осуществляют съемку пользователя видеокамерой и получают соответствующее видеоизображение, формируют выходной видеосигнал с использованием видеоизображения пользователя и сформированного изображения для последующего анализа, в соответствии с изобретением съемку пользователя осуществляют в процессе отображения пользователю формируемого изображения с ракурсом съемки, обеспечивающим возможность воспроизведения в получаемом видеоизображении реакции пользователя на отображаемые ему изображения, создают в формируемом изображении прозрачные зоны, совмещают сформированное изображение с видеоизображением пользователя путем наложения сформированного изображения с прозрачными зонами на видеоизображение пользователя.

При этом изображение, формируемое компьютером, включает в себя изображение объектов и фоновое изображение, причем фоновое изображение при совмещении с видеоизображением пользователя формируют прозрачным.

Кроме того, обеспечивают пользователю возможность взаимодействия с объектами отображаемого изображения, формируемого компьютером.

Полезно дополнительно регистрировать данные психофизиологического состояния пользователя в процессе отображения ему формируемого изображения, причем показатели регистрируемых данных совмещают с изображениями видеопрограммы.

Изобретение поясняется на примерах осуществления, иллюстрируемых чертежами.

На фиг. 1 представлена блок-схема системы для создания видеопрограмм, соответствующей изобретению.

На фиг. 2 представлены варианты реализации средства отображения изображения, формируемого компьютером, участнику видеопрограммы.

На фиг. 3 представлена блок-схема системы для создания видеопрограмм, обеспечивающая возможность интерактивного взаимодействия пользователя с участником видеопрограммы и/или с объектами, генерируемыми компьютером.

На фиг. 4 представлена блок-схема системы для создания видеопрограмм в режиме видеоконференций.

Система для создания видеопрограмм, преимущественно ТВ программ, представленная на фиг. 1, содержит видеокамеру 1, предназначенную для съемки участника 2 видеопрограммы, средство формирования 3 изображения, отображаемого участнику 2 с помощью средства отображения 4, блок совмещения 5 изображений, один из входов которого соединен с выходом видеокамеры 1, другой вход - с выходом средства формирования 3 изображения, а выход блока совмещения 5 является выходом окончательно сформированного видеосигнала, который может быть использован для передачи на пользовательские терминалы (на фиг.1 не показаны). Со входом средства формирования 3 изображения соединен выход средства взаимодействия 6 участника 2 видеопрограммы с объектами, формируемыми средством 3 (компьютером). В качестве средства взаимодействия 6 могут использоваться всевозможные манипуляторы и датчики: мышь, джойстик, клавиатура, прозрачный сенсорный экран, виртуальные перчатки, игровые консоли, датчики движения частей тела, микрофон для приема голосовых команд.

На фиг. 2а-г представлены варианты реализации средства отображения 4 изображения, формируемого средством 3. На фиг.2(а) представлен экран 7, например экран монитора, на который выводятся изображения, формируемые средством 3. Экран 7 установлен таким образом, что он не является препятствием для съемок участника, то есть находится за пределами поля зрения видеокамеры. На линии съемки О-О', проходящей через видеокамеру 1 и участника 2, установлено под углом к линии О-О' стекло 8 (или полупрозрачное зеркало), формирующее мнимое (или реальное) изображение 7' предпочтительно под углом около 90 градусов к линии О-О' в соответствии с тем, как обычно ориентирован дисплей стандартного средства отображения.

На фиг. 2(б) представлен вариант выполнения средства отображения 4 для случаев съемки участника в полный рост (вид сверху). В этом варианте выполнения средство отображения 4 содержит экран 7, установленный вне поля зрения видеокамеры 1, полупрозрачное зеркало 8, установленное на линии съемки О-О', и проектор 9, связанный со средством 3 формирования изображения и оптически сопряженный с экраном 7.

На фиг. 2(в) и (г) представлены варианты для реализации средства отображения 4 для внестудийных условий использования. В варианте по фиг. 2(в) средство отображения 4 представляет собой стандартный монитор 10, на котором установлена видеокамера 11 малых размеров, выдвинутая перед экраном монитора 10, обеспечивающая режим видеоконференций. Бинокулярность зрения пользователя обеспечивает то, что видеокамера 11 не будет ему закрывать какие-либо из объектов изображения одновременно для обоих глаз пользователя. В варианте по фиг. 2(г) средством отображения 4 служит монитор 12 ноутбука, расположенный в одной плоскости с его клавиатурой 13. Изображение с монитора 12 отображается пользователю через стекло 8, создавая мнимое изображение 12'.

Система для создания видеопрограмм, показанная на фиг. 3, обеспечивает передачу создаваемых телевизионных программ через телекоммуникационные сети и обеспечивает возможность интерактивного взаимодействия пользователей-зрителей с объектами видеопрограммы и/или участником. В системе по фиг. 3 второй выход блока совмещения 5 изображений связан с телекоммуникационной сетью 14 через соответствующий блок соединения 15, например модем. С блоком соединения 15 двусторонней связью связано средство формирования 3 изображения. Телекоммуникационная сеть 14 соединена с пользовательским устройством 16, содержащим соответствующий блок соединения, функции которого в рассматриваемом варианте выполняет процессорное устройство 17, выходы которого соединены соответственно с входом пользовательского средства формирования 18 изображения и с одним из входов пользовательского блока совмещения 19 изображений. Выход средства формирования 18 соединен с другим входом блока совмещения 19 изображений, выход которого соединен с входом блока отображения 20 совмещенного изображения. Пользовательское устройство 16 содержит также блок управления 21, соединенный с входом процессорного устройства 17 для ввода управляющих команд пользователя, которые могут передаваться через телекоммуникационную сеть 14 и блок соединения 15 в студию.

В варианте выполнения заявленной системы, предусматривающем передачу сигнала совмещенного изображения из студии через эфир, кабель или другие каналы, система содержит соответствующее приемное устройство с антенной 22. В этом случае к пользователю через эфир приходит совмещенное изображение и данные, описывающие параметры изображения, формируемого компьютером в студии. Благодаря этим данным на пользовательском устройстве 16 пользователь при помощи блока управления 21 может взаимодействовать с объектами, управление которыми предоставлено пользователю. При этом обратный сигнал от пользователя, содержащий управляющие команды, может передаваться в студию через телекоммуникационную сеть 14.

В варианте системы, представленном на фиг. 3, система также содержит блок обработки 23 управляющих команд пользователей, который связан двусторонними связями с блоком соединения 15 и средством формирования 3 изображений. Управляющие команды пользователей могут использоваться для получения индивидуальной информации от пользователей: для управления объектами, генерируемыми при помощи программного обеспечения компьютером, для определения рейтингов пользователей, распределения мнений групп пользователей, их предпочтений, индивидуальной оценки действий пользователей, организации соревнования актера с одним или несколькими удаленными пользователями. В соответствии с информацией о пользователях на пользовательские устройства может направляться индивидуализированная специальная информация: задания, реклама, оценка, предложения, результаты обработки обобщенной информации от всех пользователей. Такая индивидуальная информация может отображаться для каждого пользователя в отдельных окнах общего для всех изображения.

Система для создания видеопрограмм в режиме видеоконференций, показанная на фиг.4, обеспечивает возможность нескольким партнерам видеть друг друга во время взаимодействия с объектами компьютерных программ, которые отображаются им на фоне видеоизображения партнера. Система содержит видеокамеры 1, 1' для съемки участников 2, 2' соответственно, средства формирования 3, 3' изображения компьютером, средства отображения 4, 4' участникам видеоконференции принимаемых видеоизображений из сети 14 и формируемых изображений, блоки совмещения 5, 5' видеоизображений участников видеоконференции и формируемых изображений и блоки соединения 15, 15' с сетью 14, связанные с блоками совмещения 5, 5' и со средствами формирования 3, 3' изображения.

Система для создания видеопрограмм, выполненная согласно изобретению, работает следующим образом.

В телевизионной студии, как изображено на фиг. 1, помещают участника 2, которого снимают по меньшей мере одной телекамерой 1. Как правило, участника снимают в анфас сидящим за столом, как обычно снимают ведущих телепередач, или в полный рост, обеспечивая участнику возможность передвигаться в ограниченном пространстве. При этом одновременно со съемками участнику видеопрограммы отображают изображения, формируемые средством 3, например компьютерную игру. Видеоизображение участника, получаемое видеокамерой, и изображение со средства формирования 3 совмещают в блоке совмещения 5 изображений. Изображения, формируемые средством 3, фактически представляют собой результат работы на компьютере соответствующей программы и, как правило, состоят из двух частей (двух слоев): фонового изображения и объектов. Фоновое изображение и объекты, в свою очередь, сами также могут состоять из нескольких слоев. При помощи соответствующего блока программы можно выводить любой слой отдельно. Изображение объектов отделяется от изображения фона и в блоке совмещения 5 накладывается на видеоизображение участника, формируемого видеокамерой. Как изображение объектов, так и фоновое изображение можно сделать полупрозрачным, чередуя пикселы изображения и прозрачные пикселы. При наложении такого изображения на видеоизображение пользователя последний будет наблюдаться зрителем через (сквозь) изображение, формируемое компьютером. Если изображения совмещаются телевизионными аналоговыми микшерами, то те части формируемого компьютером изображения, которые должны быть прозрачными, заполняют хромакейным цветом, чтобы при наложении использовать метод рир-проекций. В этом случае хромакейный цвет вычитается, и место, которое он занимал в изображении, становится прозрачным. Совмещение изображений производят таким образом, чтобы зритель видел участника, наблюдающего за объектами, формируемыми средством 3. При совмещении изображений любой из слоев изображений можно делать полупрозрачным, то есть менять степень его прозрачности от нуля до единицы при решении определенных задач. Такая регулировка степени прозрачности одного из слоев может осуществляться в студии режиссером или в пользовательском устройстве пользователем. При этом для зрителя, наблюдающего за совмещенным изображением, создается ощущение соучастия. Ему представляется, что объекты, формируемые компьютером и отображаемые на экране, находятся между ним и участником видеопрограммы. Для того чтобы средство отображения 4 не мешало съемке участника и не попадало в поле зрения видеокамеры, оно выполняется так, как показано на фиг. 2а-г Изображения, формируемые средством 3, находящимся вне поля зрения видеокамеры, отображают участнику, являющемуся пользователем средства отображения 4, таким образом, чтобы они не заслоняли телекамере снимаемого участника.

Как показано на фиг. 2(а), на экран 7 отображается по меньшей мере изображение объектов, сформированных средством 3. Установленное над экраном (сбоку или сверху от экрана) 7 стекло (или полупрозрачное зеркало) 8 обеспечивает формирование изображения 7', являющегося отражением экрана 7, поперек оси О-О', проходящей по линии съемки участника (или участников) видеопрограммы. В этом случае участник 2 наблюдает изображение-отражение 7' изображения с экрана 7. При этом взгляд участника будет одновременно направлен и на экран 7' и в сторону видеокамеры. Если на время отключить изображение, формируемое компьютером на экране 7, участник сможет сконцентрировать свой взгляд на объективе телекамеры, как в традиционной съемке. С учетом размеров экрана 7, расстояния от плоскости формирования изображения 7' до участника 2, расстояния от участника 2 до видеокамеры 1 и ее параметров, законов перспективы при создании изображений можно обеспечить точное совпадение реакций участника на изображение 7' в совмещенном изображении для телезрителей (например, направления его взгляда на объект или движения руки по сенсорному экрану вслед за отображаемым объектом). Изображение, содержащее надписи, корректируют таким образом, чтобы надписи на совмещенном изображении, отображаемые зрителям и отображаемые участнику в плоскости формирования изображения 7', выглядели естественно.

При съемке участника в полный рост (фиг. 2б - вид сверху) на большом просвечивающем экране 7 изображение формируется при помощи проектора 9, соединенного со средством формирования 3 изображения. Участник 2 наблюдает отраженное от полупрозрачного зеркала 8 изображение 7' изображение с экрана 7.

Если создание видеоизображений предназначено для одного или нескольких пользователей, то может быть реализован режим видеоконференции, при котором пользователи не только видят друг друга, но и могут управлять отображаемыми ими объектами, которые они наблюдают между собой и партнером. Согласно фиг. 2(в) режим видеоконференции реализуется с использованием компьютера и видеокамеры, при этом программное обеспечение обеспечивает отображение изображения партнера не в отдельном окне, а на фоне объектов, генерируемых средством формирования изображений (компьютером). Партнеры, участвующие в видеоконференции, наблюдают перед собой одни и те же объекты, каждый со своей стороны, и могут совместно обсуждать эти объекты или вносить в них изменения. Такой вариант реализации видеоконференций особенно эффективен для игры с партнером в компьютерные игры или как компьютерный вариант реализации "настольных" игр. Партнерам будет казаться, что они играют за одним столом; они будут видеть и слышать друг друга, наблюдать реакцию друг друга на соответствующие ходы, хотя в этот момент их будут разделять тысячи километров. Во внестудийных условиях так же легко можно реализовать вышеописанный вариант отражения изображения от полупрозрачного зеркала 8 с использованием компьютера типа "ноутбук" (фиг. 2г).

Вариант системы, обеспечивающей интерактивное взаимодействие зрителя с объектами, генерируемыми компьютером, и/или с участником (фиг. 3), работает следующим образом. Сигнал, содержащий видеоизображение участника, и данные, необходимые для формирования изображения пользовательским компьютером, из студии передаются через телекоммуникационную сеть 14 на пользовательское устройство 16. Пользовательское средство формирования 18 формирует изображение объектов. Далее, при помощи пользовательского блока совмещения 19 переданное по сети видеоизображение участника видеопрограммы и изображение объектов, сформированное средством 18, совмещают, накладывая изображение объектов на видеоизображение участника. Затем совмещенное изображение отображается зрителю-пользователю с помощью средства отображения 20. Если зритель- пользователь использует блок управления 21, то средство формирования 18 формирует изображение объектов с учетом данных, получаемых из студии и управляющих команд с блока 21. При этом управляющие команды передаются в студию и обрабатываются в студии блоком 23. Возможны различные варианты обеспечения зрителю интерактивного взаимодействия с объектами, формируемыми компьютером. Например, может использоваться обратная связь со студией через телекоммуникационную сеть. Без использования такой обратной связи совмещенное изображение и данные о формируемом компьютером изображении зритель получает, например, через эфир или кабель. Необходимые в большинстве случаях средства для синхронизации, оцифровки, архивирования, сжатия изображений и обратных операций на чертежах не показаны.

Система для создания видеопрограмм в режиме видеоконференции (фиг.4) обеспечивает удаленным друг от друга пользователям возможность наблюдать объекты, формируемые компьютером, как бы между собой. Для этого видеоизображение одного пользователя 2, снимаемое камерой 1, пересылается через телекоммуникационную сеть 14 для совмещения с объектами, формируемыми средством 3', другого пользователя 2', после чего объекты, формируемые средством 3', накладываются на видеоизображение пользователя 2 в блоке совмещения 5' изображения. Те же самые операции одновременно производятся для другого пользователя 2'. При этом изображение, формируемое компьютером, делается прозрачным на отдельных участках и накладывается на видеоизображение другого пользователя. Каждый пользователь будет видеть, таким образом, между собой и партнером по видеоконференции объекты, формируемые компьютером.

В предпочтительном варианте осуществления изобретения в студии используют видеокамеру, снимающую через полупрозрачное зеркало (стекло) 8, установленное под углом 45 градусов к линии съемки О-О', отражающее участнику экран монитора, на котором отображается компьютерная игра, в которую во время съемок играет участник. При этом съемка участника может производиться на хромакейном фоне, а отображение объектов компьютерной игры и участника - на фоне, формируемом той же программой, которая формирует объекты компьютерной программы, или на любом другом фоне, который можно менять в любой момент съемок. Совмещение объектов, формируемых компьютером, с видеоизображением пользователя осуществляется в режиме реального времени. При этом объекты, формируемые компьютером, накладываются на видеоизображение участника. И если участника снимали на хромакейном фоне, то, в свою очередь, видеоизображение участника (с уже прозрачным фоном) накладывается на фоновое изображение.

В качестве программного обеспечения, используемого для съемок, можно использовать традиционные компьютерные и видеоигры. Для этого необходимо вносить в них небольшие изменения, обеспечивающие раздельный вывод изображения объектов и фонового изображения.

Следует отметить, что понятие "видеопрограммы", использованное в настоящем описании, должно пониматься шире, чем программы для стандартного телевизионного вещания. Видеопрограммы, созданные способом, соответствующим настоящему изобретению, можно помещать в компьютерные сети и передавать через компьютерные сети, в том числе с предоставлением возможности интерактивного взаимодействия со "зрителем". Заявленный способ может использоваться для организации видеоконференций, создания образовательных видеопрограмм и видеопрограмм для исследования реакций пользователей.

Особенно полезно использование заявленного способа для исследования и оптимизации пользовательских интерфейсов компьютерных программ, чтобы программы были интуитивно понятными и удобными для пользователей. Можно отслеживать и хронометрировать все действия пользователя во время работы на компьютере с программой с определенным интерфейсом при полном протоколировании его действий. Сам пользователь не может контролировать и осознанно описать все свои действия. Очень часто эти действия реализуются на уровне подсознания. Многие реакции не контролируются самим пользователем, например мелкие движения его глаз и рефлекторные реакции. Для регистрации зоны, на которую направлен взгляд пользователя, могут использоваться специальные датчики, и эта зона будет отображаться на соответствующем месте изображения объектов. Глаз человека может видеть четко и резко только очень маленькую область, попадающую в центр угла обзора, так называемую зону Фоля. Изображение в целом кажется человеку резким благодаря неосознаваемым микродвижениям глаз. При этом зрение человека особенно остро реагирует на изменения в наблюдаемом изображении, постоянно передавая информацию об этом в мозг и получая в ответ управляющие команды на уровне подсознания. В видеопрограммах, создаваемых согласно изобретению, будет регистрироваться большинство реакций пользователя, осознаваемых и неосознаваемых. Совершенствование компьютерных программ с учетом результатов исследований видеоматериалов поможет повысить объем продаж этих программ, повысить их конкурентоспособность на рынке за счет подбора оптимальных функций и пользовательского интерфейса. Оптимизация интерфейса и структуры программы, в свою очередь, сэкономит время и упростит работу конечного пользователя, повысит производительность труда. Дополнительную пользу при исследовании видеопротоколов (видеопрограмм) работы пользователя на компьютере может дать применение датчиков движения глаз пользователя, эмоциональных реакций и др., и соответствующее наложение их показателей на видеопрограмму.

Изобретение, соответствующее заявленному способу, может быть использовано для медицинского и профессионального тестирования и тренинга пользователей. Для специалистов по психофизиологическому тестированию обеспечивается возможность фиксировать не только действия испытуемых, но и исследовать реакцию пользователей, в том числе и подсознательную, записанную в виде видеопрограммы. В видеопрограмме фиксируются реакции пользователей на фоне отображаемых ему изображений раздражителей и данные динамического контроля состояния пользователей-испытуемых. При этом можно проводить мониторинг психофизиологического состояния испытуемого различными видами датчиков: датчиком эмоционального состояния ("детектор лжи", полиграф), давления, пульса и отображать их на тот же экран. Такой метод может использоваться более широко не только при работе пользователя с компьютером, но и при исследовании реакции зрителя при просмотре кинофильма или анимационного фильма. Для этого вместо изображения, генерируемого компьютером, воспроизводят изображение видеофильма. Объединенные результаты исследования реакции репрезентативной выборки зрителей на определенный видеофильм согласно изобретению фактически дадут объективную оценку самого видеофильма на основе объективных психофизиологических данных. Исследование реакции зрителей в контрольных группах перед выпуском в прокат фильма позволит получить данные для анализа реакции массового зрителя и более точно выбирать лучшие варианты развития сюжета и монтажа для получения предсказуемых результатов. Достижение необходимых показателей в соответствии с результатами исследований поможет повысить кассовость фильмов и получить необходимую реакцию массового зрителя. При необходимости может быть получена информация, передающая реакцию зрителя, на отдельный конкретный кадр, позволяющая отследить движения взгляда зрителя по плоскости отображаемого изображения.

Изобретение относится к телевидению, интерактивному телевидению, пользовательским интерфейсам, видеоконференциям и может быть использовано при создании видеопрограмм с интерактивным взаимодействием участников видеопрограмм с объектами, генерируемыми компьютерной программой. Технический результат заключается в повышении достоверности и качества отображения для зрителей изображений, формируемых компьютером, и реакции участников видеопрограммы на изменение изображений. Участника 2 видеопрограммы снимают видеокамерой 1, при этом одновременно участники 2 отображают изображение, формируемое средством 3 (компьютером), на линии съемки видеокамеры. Совмещают в блоке совмещения 5 по меньшей мере изображение об объектов переднего плана, формируемое средством 3, накладывая их на видеоизображение участника, получаемое видеокамерой, таким образом, что зритель видит участника 2, наблюдающего за объектами переднего плана и взаимодействующего с ними при помощи средства 6. Техническим результатом изобретения является формирование видеопрограмм, включающих отображение реакции участника съемки на передаваемые изображения. 4 с. и 17 з.п.ф-лы, 4 ил.

1. Способ создания видеопрограмм, основанный на видеосъемке и формировании компьютерных изображений, при котором формируют компьютером изображение, включающее в себя изображение объектов переднего плана и фоновое изображение, осуществляют съемку участника видеопрограммы видеокамерой и получают соответствующее видеоизображение, формируют выходной видеосигнал с использованием видеоизображения участника видеопрограммы и изображения, сформированного компьютером, отличающийся тем, что отображают участнику видеопрограммы изображение по меньшей мере объектов переднего плана изображения, формируемого компьютером, съемку участника видеопрограммы осуществляют в процессе отображения участнику видеопрограммы по меньшей мере объектов переднего плана изображения, формируемого компьютером, с ракурсом съемки, обеспечивающим возможность воспроизведения в получаемом видеоизображении реакции участника видеопрограммы на отображаемые объекты компьютерной программы, совмещают изображение, формируемое компьютером, с видеоизображением участника видеопрограммы путем наложения на видеоизображение участника изображения по меньшей мере объектов переднего плана и используют совмещенное изображение для последующего отображения пользователю. 2. Способ по п.1, отличающийся тем, что съемку участника видеопрограммы осуществляют на хромакейном фоне, при этом при совмещении изображения объектов переднего плана, формируемых компьютером, с видеоизображением участника видеопрограммы хромакейный фон заменяют упомянутым фоновым изображением или любым другим изображением. 3. Способ по п.1, отличающийся тем, что обеспечивают участнику видеопрограммы возможность взаимодействия с отображаемыми объектами, формируемыми компьютером, и изменения изображения указанных объектов. 4. Способ по любому из пп.1 - 3, отличающийся тем, что по меньшей мере видеоизображение участника видеопрограммы, снимаемое видеокамерой в студии, и данные, необходимые для формирования изображения компьютером, передают через телекоммуникационную сеть на пользовательское устройство, в пользовательском устройстве на основании данных, полученных из студии, формируют изображение, включающее в себя изображение объектов переднего плана и фоновое изображение, осуществляют совмещение видеоизображения участника видеопрограммы и сформированного пользовательским устройством изображения, путем наложения изображения объектов переднего плана на видеоизображение участника, отображают пользователю совмещенное изображение. 5. Способ по п.4, отличающийся тем, что на пользовательском устройстве осуществляют ввод управляющих команд и используют полученные управляющие команды при формировании изображения в пользовательском устройстве, передают управляющие команды через телекоммуникационную сеть в студию и используют принятые в студии управляющие команды при формировании изображения компьютером. 6. Способ по п.5, отличающийся тем, что осуществляют съемку пользователя видеокамерой, пересылают видеоизображение пользователя по телекоммуникационной сети в студию, совмещают принятое в студии видеоизображение пользователя с объектами переднего плана изображения, формируемого компьютером в студии, путем наложения изображения указанных объектов переднего плана на видеоизображение пользователя, отображают участнику видеопрограммы совмещенное изображение. 7. Способ по п. 6, отличающийся тем, что совмещенное видеоизображение пользователя и объектов переднего плана изображения, формируемого компьютером, используют для отображения другим пользователем. 8. Система для создания видеопрограмм, сочетающая видеосъемку и формирование изображений компьютером, преимущественно телевизионных программ, содержащая размещенные в студии видеокамеру для съемки участника видеопрограммы и средство для формирования изображения, включающего в себя объекты переднего плана и фоновое изображение, отличающаяся тем, что содержит средство для отображения участнику изображения по меньшей мере объектов переднего плана, соединенное со средством для формирования изображения, и средство для совмещения изображений, первый вход которого соединен с выходом видеокамеры, а второй вход - с выходом средства для формирования изображения, при этом упомянутое средство для совмещения изображений выполнено с возможностью наложения изображения объектов переднего плана на видеоизображение участника. 9. Система по п.8, отличающаяся тем, что упомянутое средство для отображения выполнено так, что отображенное участнику изображение пересекает линию съемки участника видеокамерой. 10. Система по п.9, отличающаяся тем, что упомянутое средство для отображения содержит экран, связанный со средством для формирования изображений и размещенный за пределами поля зрения видеокамеры, и полупрозрачное зеркало, оптически сопряженное с упомянутым экраном и размещенное на линии съемки участника видеокамерой, под углом к указанной линии с обеспечением возможности формирования отраженного изображения, отображаемого участнику, в плоскости, по существу перпендикулярной линии съемки. 11. Система по любому из пп.8 - 10, отличающаяся тем, что содержит средство для интерактивного взаимодействия участника с объектами отображаемого изображения, связанное со средством для формирования изображения. 12. Система по п.11, отличающаяся тем, что упомянутое средство для интерактивного взаимодействия выполнено в виде средства для определения положения и ориентации участника. 13. Система по любому из пп.8 - 12, отличающаяся тем, что содержит канал телекоммуникационной сети, блок соединения, связанный двусторонними связями с каналом телекоммуникационной сети, средством для формирования изображений и средством для совмещения изображений, по меньшей мере одно пользовательское устройство, содержащее пользовательское средство для формирования изображения объектов переднего плана и фонового изображения, пользовательский блок соединения, связанный двусторонними связями с каналом телекоммуникационной сети и пользовательским средством для формирования изображения, пользовательское средство для совмещения изображений переднего плана с видеоизображением участника видеопрограммы, переданным по каналу телекоммуникационной сети, выполненное с возможностью наложения изображения объектов переднего плана на видеоизображение участника видеопрограммы и пользовательское средство для отображения совмещенного изображения, при этом первый вход пользовательского средства для совмещения изображений соединен с выходом пользовательского блока соединения, второй вход соединен с выходом средства для формирования изображений, а выход соединен с входом блока отображения совмещенного изображения. 14. Система по п.13, отличающаяся тем, что дополнительно содержит пользовательский блок управления, выход которого соединен с соответствующим входом пользовательского блока соединения, и размещенный в студии блок обработки управляющих команд пользователей, соединенный двусторонними связями с блоком соединения и со средством для формирования изображения. 15. Способ создания видеопрограмм в режиме видеоконференций, основанный на видеосьемке и формировании компьютером изображений, при котором формируют компьютерами для каждого из по меньшей мере пространственно разнесенных участников видеопрограммы изображение, включающее в себя изображение объектов переднего плана и фоновое изображение, причем указанные компьютеры связаны через телекоммуникационную сеть, отображают каждому из участников видеопрограммы по меньшей мере изображение объектов переднего плана, формируемых компьютером, обеспечивают каждому из участников видеопрограммы возможность взаимодействия с отображаемыми объектами и изменения отображаемых объектов, осуществляют съемку каждого из по меньшей мере двух участников видеопрограммы видеокамерой, передают видеоизображение каждого участника через телекоммуникационную сеть и отображают другому участнику, отличающийся тем, что съемку каждого участника видеопрограммы осуществляют в процессе его взаимодействия по меньшей мере с объектами переднего плана изображения, формируемого компьютером, для каждого из участников совмещают изображение объектов переднего плана, отображаемых данному участнику, с принятым видеоизображением другого участника видеопрограммы путем наложения упомянутого изображения объектов переднего плана на упомянутое принятое видеоизображение участника видеопрограммы и отображают каждому из участников видеопрограммы совмещенное видеоизображение. 16. Способ по п.15, отличающийся тем, что фон, на котором снимают видеокамерой участника видеопрограммы, вычитают из принятого видеоизображения и заменяют его фоновым изображением, формируемым компьютером, или любым другим изображением. 17. Способ создания видеопрограмм для регистрации реакций пользователя на отображаемое пользователю изображение для исследования и оптимизации интерфейсов компьютерных программ и монтажа видеофильмов, при котором формируют изображение, отображают пользователю формируемое изображение, осуществляют съемку пользователя видеокамерой и получают соответствующее видеоизображение, формируют выходной видеосигнал с использованием видеоизображения пользователя и сформированного изображения для последующего анализа, отличающийся тем, что съемку пользователя осуществляют в процессе отображения пользователю формируемого изображения с ракурсом съемки, обеспечивающим возможность воспроизведения в получаемом видеоизображении реакции пользователя на отображаемые ему изображения, создают в формируемом изображении прозрачные зоны, совмещают сформированное изображение, с видеоизображением пользователя путем наложения сформированного изображения с прозрачными зонами на видеоизображение пользователя. 18. Способ по п.17, отличающийся тем, что изображение формируют компьютером, при этом изображение включает в себя изображение объектов и фоновое изображение, причем фоновое изображение при совмещении с видеоизображением пользователя формируют прозрачным. 19. Способ по п. 18, отличающийся тем, что обеспечивают пользователю возможность взаимодействия с объектами отображаемого изображения, формируемого компьютером. 20. Способ по любому из пп.17 - 19, отличающийся тем, что дополнительно регистрируют данные психофизиологического состояния пользователя в процессе взаимодействия с отображаемыми объектами изображения, формируемого компьютером. 21. Способ по п. 20, отличающийся тем, что показатели регистрируемых данных совмещают с изображениями видеопрограммы.