Изобретение относится к телевидению, в том числе интерактивному телевидению, анимации, пользовательским телекоммуникационным сетям, и более конкретно к способу и системе для создания видеопрограмм в виртуальной студии, в том числе игровых и анимационных программ с интерактивным взаимодействием актеров с объектами виртуальной реальности.
Как новая технология виртуальные студии породили новые термины и понятия.
Виртуальная студия - это новая технология съемки людей на фоне виртуальных декораций, формируемых при помощи компьютеров. Виртуальная студия в отличие от традиционных студий основывается на использовании построенных компьютером изображений. Элементы виртуальной студии находятся в памяти компьютера в виде моделей виртуального пространства. Виртуальную студию можно использовать как в прямом эфире и режиме реального времени, так и для съемок с дальнейшей обработкой. Часто виртуальной студией называют весь комплекс оборудования для реализации этой возможности или непосредственно само виртуальное пространство, в которое вживляется человек.
Синяя Комната (хромакейная комната, blue-box) представляет из себя обычную телевизионную студию все стены и пол которой окрашены однородным синим цветом. Все съемки пользователя (актера, ведущего) телевизионными камерами происходят в этой студии. Съемка в ней производится несколькими камерами, камеры попеременно становятся активными, меняя точку съемки. Изображение передается в компьютер. В компьютере изображение пользователя отделяется от синего фона и совмещается с декорациями смоделированного виртуального пространства под углом обзора виртуальных камер (метод рир-проекций). Для координации действий ведущего на полу синей комнаты возможна определенная разметка и расстановка вспомогательных предметов: кубов, стоек и т.д. Подобные приемы помогают ведущему хотя бы приближенно оценить геометрию виртуального пространства.
Виртуальный Сет - это аналог трехмерной сцены в классических пакетах для компьютерной графики, содержащий информацию обо всех виртуальных декорациях, их анимации и преобразовании во времени, звуках, количестве виртуальных камер, наборе текстур и о живых источниках видеоизображения.
Виртуальная камера - это камера в виртуальном сете, которой присваиваются параметры телевизионной камеры в настоящей студии. Эти параметры поступают с датчиков, укрепленных на объективе камеры и определяющих положение, ориентацию и фокус камеры. Благодаря этому перспектива, под которой виден человек в телевизионной камере, совпадает с перспективой декораций для виртуальной камеры.
Линейка камера-компьютер - это часть комплекса виртуальной студии, включающая видеокамеру с датчиками, компьютер с блоком необходимого программного обеспечения и блок сведения изображения актера, снимаемого в хромакейной комнате, с виртуальными декорациями. Данная автономная цепочка позволяет оператору просматривать актера в виртуальном сете постоянно. Наличие нескольких таких цепочек позволяет делать микширование планов с разных виртуальных камер.
Известен способ съемки телепрограмм с использованием виртуальной студии, при котором датчики, установленные на все видеокамеры, непрерывно передают информацию о положении каждой из видеокамер в пространстве, направлении и фокусном расстоянии объектива; полученные данные поступают на компьютер в блок расчета изображения виртуального пространства под углом обзора виртуальной камеры (см. Cyberset О, High-end Virtual Sel. каталог фирмы ORAD Inc., 1997).
В синей комнате виртуальной студии, в которой снимают актера, он может лишь имитировать взаимодействие с объектами виртуального пространства. И только оператор видит актера и виртуальное пространство совместно. Актеру необходимо напомнить примерное расположение объектов в виртуальном пространстве, и во время съемок он может только имитировать взаимодействие с виртуальными объектами. Он может заранее репетировать свои движения и взаимодействие с объектами виртуальной реальности, чтобы добиться при съемках необходимого соответствия.
Недостатком известного способа является то, что истинного взаимодействия с объектами виртуального пространства не происходит, так как сам актер не видит эти объекты. Интерактивное взаимодействие объектов виртуального пространства с актером также не может осуществляться, поскольку в компьютере, в котором моделируется виртуальное пространство, отсутствует информация о действиях живого актера, о его положении и ориентации. Пользователь (актер) может перемещаться только в пределах хромакейной комнаты. Без дополнительных приспособлений он не может имитировать свободное хождение на большие расстояния, например по коридорам бесконечных лабиринтов.
Известен также способ создания анимационных фильмов, при котором используют информацию о движениях живых существ, в частности человека (см. MotionAnalysis, Animation Performance Capture for Film, Video and Games Production, каталог фирмы Motion Analysis Corporation, 1996). С движущегося человека с помощью системы датчиков снимают в динамике данные о положении и ориентации. Эти данные собираются в библиотеки движений и используются в анимации созданного художником образа. На современных мощных компьютерах такую анимацию можно получать в режиме реального времени. Двигающийся соответствующим образом человек может наблюдать на экране компьютера, что его компьютерный образ точно повторяет реальные движения, а при наличии особых датчиков и мимику человека. Далее с помощью программы редактора соединяют заранее созданные таким образом части эпизодов и эпизоды мультфильмов в единое целое. Это длительная и трудоемкая процедура.
Задачей настоящего изобретения является создание способа и системы для создания видеопрограмм, в частности телевизионных и анимационных программ, не имеющих отмеченных выше недостатков. Достигаемым при этом техническим результатом является обеспечение интерактивного взаимодействия актера с объектами виртуального пространства и естественного передвижения актера в виртуальном пространстве на любые расстояния, в любую сторону, а также упрощение и ускорение процедуры создания анимационных программ, которые могли бы в идеальном случае идти в прямой эфир в режиме реального времени одновременно с их созданием.
Указанный результат достигается тем, что в способе создания видеопрограмм, при съемке телевизионной программы, при котором моделируют виртуальное пространство, в котором должен отображаться актер, осуществляют съемку актера телекамерой в хромакейной комнате студии, определяют текущие параметры телекамеры, формируют изображение виртуального пространства под углом обзора виртуальной камеры с параметрами реальной телекамеры, совмещают изображение актера со сформированным изображением виртуального пространства,
в соответствии с изобретением определяют угол обзора актера, формируют изображение виртуального пространства, соответствующее углу обзора актера, и отображают сформированное изображение виртуального пространства актеру.
При этом предпочтительно осуществляют взаимодействие актера с объектами виртуального пространства с помощью манипулятора с шестью степенями свободы, отслеживают положение и ориентацию актера и полученные данные используют для внесения изменений в отображаемое виртуальное пространство, причем при осуществлении съемки обеспечивают актеру возможность имитации перемещений на любые расстояния в любом направлении.
Кроме того съемку актера и отображение ему виртуального пространства осуществляют на основе стробоскопического эффекта, при этом съемку и отображение актеру виртуального пространства чередуют с заданной частотой.
Кроме того изображение актера, снятое реальной камерой, параметры камеры и данные об изменениях в виртуальном пространстве предпочтительно передают через телекоммуникационную сеть на пользовательское устройство, где формируют изображение виртуального пространства под углом обзора виртуальной камеры с параметрами реальной камеры и совмещают принятое пользовательским устройством изображение актера со сформированным изображением виртуального пространства, при этом в пользовательском устройстве осуществляют ввод управляющих команд, передаваемых по телекоммуникационной сети в студию для соответствующего изменения виртуального пространства.
Указанный технический результат достигается также тем, что система для создания видеопрограмм, преимущественно съемки телевизионных программ, содержащая хромакейную комнату, телекамеры, снабженные датчиками параметров, блок модели виртуального пространства, связанный с ним блок формирования изображения виртуального пространства под углом обзора телекамеры и блок совмещения изображений, при этом выходы датчиков параметров телекамеры соединены с соответствующим входом блока формирования изображения виртуального пространства под углом обзора телекамеры, выход телекамеры соединен с первым входом блока совмещения изображений, второй и третий входы которого соединены соответственно с выходом альфа-маски и с выходом фона блока формирования изображения виртуального пространства под углом обзора телекамеры, а выход блока совмещения изображений является выходом сформированного сигнала изображения,
в соответствии с изобретением содержит средство для определения угла обзора актера, блок формирования изображения виртуального пространства под углом обзора актера, связанный двусторонней связью с блоком модели виртуального пространства, и средство для отображения актеру виртуального пространства, предпочтительно выполненное и виде виртуального шлема, при этом выход средства определения угла обзора актера соединен с соответствующим входом блока формирования виртуального пространства под углом обзора актера, выход которого соединен с входом средства отображения актеру виртуального пространства.
При этом предпочтительно содержит средство для интерактивного взаимодействия актера и объектов виртуального пространства и средство для определения положения и ориентации актера, связанные с блоком модели виртуального пространства.
Кроме того система предпочтительно содержит канал телекоммуникационной сети, блок соединения, связанный с каналом телекоммуникационной сети и с блоком модели виртуального пространства, и, по меньшей мере, одно пользовательское устройство, содержащее
пользовательское процессорное устройство, связанное с каналом телекоммуникационной сети, пользовательский блок формирования виртуального пространства под углом обзора телекамеры, пользовательский блок совмещения изображений и блок отображения совмещенного изображения, при этом первый выход пользовательского процессорного устройства соединен с входом пользовательского блока формирования виртуального пространства, второй выход пользовательского процессорного устройства соединен с первым входом пользовательского блока совмещения изображений, второй и третий входы которого соединены с соответствующими выходами пользовательского блока формирования виртуального пространства, а выход соединен с входом блока отображения совмещенного изображения.
При этом система предпочтительно содержит также пользовательский блок управления, выход которого соединен с соответствующим входом пользовательского процессорного устройства, и блок обработки управляющих команд пользователей, соединенный двусторонними связями с блоком соединения и блоком модели виртуального пространства.
Указанный технический результат достигается тем, что в способе создания видеопрограмм, преимущественно анимационных программ, при котором формируют модель виртуального пространства, регистрируют данные о положении и ориентации актера в динамике, анимируют объекты виртуального пространства, с использованием зарегистрированных данных о положении и ориентации актера,
в соответствии с изобретением при регистрации данных о положении и ориентации актера, определяют угол обзора актера, формируют и отображают виртуальное пространство под его углом обзора, а регистрацию данных о положении и ориентации актера осуществляют при его взаимодействии с объектами виртуального пространства.
При этом актера предпочтительно размещают на средстве для имитации перемещений на любые расстояния в любом направлении.
Кроме того данные об изменениях в виртуальном пространстве, в том числе регистрируемые данные о положении и ориентации актера и взаимодействии с объектами виртуального пространства, предпочтительно передают через телекоммуникационную сеть на пользовательское устройство, для формирования изображения виртуального пространства с анимированными объектами и отображения их пользователю, причем угол обзора для формирования изображения виртуального пространства предпочтительно выбирает пользователь.
Вышеуказанный технический результат достигается также тем, что система для создания видеопрограмм, преимущественно анимационных фильмов, содержащая анимационную студию, включающую блок модели виртуального пространства, связанный с ней блок формирования изображения виртуального пространства, средство для определения положения и ориентации актера, связанное с блоком модели виртуального пространства, в соответствии с изобретением содержит средство для определения угла обзора актера, блок формирования виртуального пространства под углом обзора актера, связанный с блоком модели виртуального пространства, и средство для отображения актеру виртуального пространства, при этом выход средства определения угла обзора актера соединен с соответствующим входом блока формирования виртуального пространства под углом обзора актера, выход которого соединен с входом средства отображения актеру виртуального пространства.
При этом система дополнительно содержит канал телекоммуникационной сети, блок соединения, связанный с каналом телекоммуникационной сети и с блоком модели виртуального пространства, и пользовательское устройство, содержащее пользовательское процессорное устройство, связанное с каналом телекоммуникационной сети, пользовательский блок формирования виртуального пространства и блок отображения, при этом вход пользовательского блока формирования виртуального пространства соединен с выходом пользовательского процессорного устройства, а его выход - с входом блока отображения.
Кроме того анимационная студия предпочтительно содержит также блок обработки управляющих команд пользователей, связанный с блоком соединения и с блоком модели виртуального пространства, а пользовательское устройство содержит блок управления, первый выход которого соединен с входом пользовательского процессорного устройства, а второй выход - с вторым входом пользовательского блока формирования виртуального пространства.
Изобретение поясняется на примерах его осуществления, иллюстрируемых чертежами.
На фиг. 1 представлена блок-схема системы для создания телевизионных программ, соответствующей изобретению.
На фиг. 2 представлена блок-схема системы для создания телевизионных программ, соответствующей изобретению, обеспечивающей передачу видеоизображения актера, параметров телекамеры через телекоммуникационные сети, генерацию виртуальных декораций и совмещение их с видеоизображением актера на компьютере пользователя.
На фиг. 3,4 представлены варианты устройств, обеспечивающих актеру возможность имитации хождения на большие расстояния в любую сторону.
На фиг.5 представлена блок-схема системы для создания анимационных программ, соответствующей изобретению.
Система для создания телевизионных программ, показанная на фиг. 1, содержит хромакейную комнату 1, предназначенную для съемки актера 2, по меньшей мере, одну телекамеру 3, на которой размещены датчики 4. Выходы датчиков 4 соединены с блоком формирования изображения 5 виртуального пространства под углом обзора камеры 3. Выходы телекамер 3 соединены с входами блока переключения 6 телекамер. Блок переключения 6 соединен двусторонней связью с блоком формирования изображения 5. Система также содержит блок модели 7 виртуального пространства, соединенный двусторонними связями с блоком формирования изображения 5 виртуального пространства под углом обзора телекамер и с блоком формирования изображения 8 виртуального пространства под углом обзора актера. Блок модели 7 виртуального пространства по существу представляет собой компьютер с соответствующим программным обеспечением. Выходы блока 5 и блока 6 соединены с соответствующими входами блока совмещения изображений 9, который имеет выход окончательно сформированного видеосигнала, направляемого также соответствующей телекамерой 3. Актер 2 снабжен средством 10 для определения угла обзора актера, средством 11 для отображения виртуального пространства под углом обзора актера, средством 12 для определения положения и ориентации актера и средством 13 имитации воздействия объектов виртуального пространства на актера. В качестве средства 10 определения угла обзора пользователя могут использоваться датчики, которые располагаются на голове актера. Эти датчики должны определять координаты головы актера в пространстве и вектор направленности лица актера (угол обзора актера в пространстве). В качестве средства 11 отображения виртуального пространства под углом обзора актера целесообразно использовать виртуальный шлем, позволяющий отображать для каждого глаза свое изображение и видеть виртуальное пространство в объеме. В качестве средства 12 определения положения и ориентации пользователя в пространстве можно использовать систему по заявке N 96116414 от 14.08.96, того же заявителя, по которой вынесено положительное решение о выдаче патента Российской Федерации. Выход средства 10 определения угла обзора актера соединен с входом блока 8 формирования изображения под углом обзора актера. Вход средства 11 для отображения виртуального пространства под углом обзора актера соединен с выходом блока 8 формирования виртуального пространства под углом обзора актера. Выход средства 12 определения положения и ориентации актера соединен с соответствующим входом блока модели 7 виртуального пространства, дополнительный выход которого соединен со входом блока 13 имитации воздействия объектов виртуального пространства на актера.
Система для создания телевизионных программ, показанная на фиг.2, обеспечивает передачу видеопрограмм, создаваемых в виртуальной студии, через телекоммуникационные сети и интерактивное взаимодействие пользователей-зрителей с объектами виртуального пространства. В системе по фиг.2 выход блока переключения 6 телекамер связан с телекоммуникационной сетью 14 через соответствующий блок соединения 15 (например, модем). Телекоммуникационная сеть 14 соединена с пользовательским устройством 16 посредством процессорного устройства 17, выходы которого соединены соответственно с входом блока 5' формирования виртуального пространства под углом обзора телекамеры и с входом блока 9' совмещения изображений. Выходы блока 5' соединены с входами блока 9' совмещения изображения, выход которого соединен с входом блока 18 отображения совмещенного изображения. Пользовательское устройство 16 содержит также блок управления 19, соединенный с входом процессорного устройства 17 для передачи управляющих команд пользователя через телекоммуникационную сеть 14 и блок соединения 15.
В варианте системы, представленном на фиг.2, система дополнительно содержит блок обработки управляющих команд 20 пользователей, который связан двусторонней связью с блоком соединения 15 и блоком модели 7 виртуального пространства. Управляющие команды пользователей могут использоваться для получения следующей информации: рейтинги пользователей, распределение мнения групп пользователей, их предпочтений, индивидуальная оценка действий пользователей. В соответствии с информацией о пользователях на пользовательские устройства может направляться индивидуализированная специальная информация, задания, реклама, оценка, предложения. Такая индивидуальная информация может отображаться в специальных окнах на фоне общего для всех изображения.
В варианте на фиг.2 элементы системы, обозначенные ссылочными позициями 1, 5-9, 20, относятся к виртуальной студии.
На фиг.3 представлен вариант устройства, представляющего собой платформу 21, на которой может размещаться актер 2 (см. заявку N 96109689 от 06.05.96, того же заявителя, по которой вынесено положительное решение о выдаче патента Российской Федерации).
На фиг. 4 представлен вариант устройства, представляющего собой прозрачную сферу 22, которая может быть использована для размещения внутри нее актера 2. Сфера 22 имеет возможность вращения вокруг своего центра на подвижных опорах 23 (см. заявку N 95113085 от 14.07.95, того же заявителя, по которой вынесено решение о выдаче патента Российской Федерации).
Система для создания анимационных программ, показанная на фиг.5, содержит средство 10 для определения угла обзора актера 2, средство 11 для отображения виртуального пространства под углом обзора актера, средство 12 для определения положения и ориентации актера. Выход средства 10 определения угла обзора актера соединен с входом блока 8 формирования изображения под углом обзора актера. Вход средства 11 для отображения виртуального пространства актеру под углом обзора актера соединен с выходом блока 8 формирования виртуального пространства под углом обзора актера. Выход средства 12 определения положения и ориентации актера соединен с соответствующим входом блока модели 7 виртуального пространства. Блок модели 7 виртуального пространства соединен двусторонними связями с блоком 8 формирования виртуального пространства под углом зрения актера и блоком 24 формирования виртуального пространства под углом обзора, выбираемым режиссером с использованием соответствующего входа управления. Блок 24 имеет выход сформированного изображения виртуального пространства, представляющего собой готовый анимационный фильм.
Для использования возможностей передачи анимационных программ через телекоммуникационные сети и обеспечения интерактивного взаимодействия пользователей с объектами виртуального пространства блок модели 7 виртуального пространства связан с телекоммуникационной сетью 14 через соответствующий блок соединения 15. Телекоммуникационная сеть 14 соединена с пользовательским устройством 16' посредством процессорного устройства 17, выход которого соединен с входом блока 25 формирования виртуального пространства под углом обзора, выбираемым пользователем при помощи блока 19, выход которого соединен с входом блока 25, или по умолчанию под углом обзора, выбираемым режиссером в студии. Выход блока 25 соединен с входом блока 18 отображения изображения виртуального пространства. Блок управления 19, соединенный с входом процессорного устройства 17, может также использоваться для передачи управляющих команд пользователя через телекоммуникационную сеть 14, блок соединения 15, блок обработки управляющих команд 20 пользователей в блок модели 7 виртуального пространства. В системе по фиг.5 элементы, обозначенные ссылочными позициями 7, 8, 10-12, 20, 24, относятся к анимационной студии.
Система для создания телевизионных программ, выполненная согласно изобретению, работает следующим образом.
В хромакейную комнату 1 (фиг. 1) помещают актера 2. Хромакейная комната представляет собой декорации с определенным одноцветным фоном. По меньшей мере одна телекамера 3 снимает актера 2 на фоне такой хромакейной декорации. Сигналы с телекамер 3 поступают через блок переключения 6 телекамер (по выбору режиссера) в блок 9 совмещения изображения. При этом положение, ориентацию, фокус телекамеры определяют с помощью датчиков 4, связанных с соответствующей камерой 3. Обычно для этих целей используют набор специальных датчиков, соединенных с объективом телекамеры. Положение, ориентация, фокус телекамеры могут определяться программными средствами, с использованием программы распознавания изображений, поступающих с телекамеры. Таким же методом можно определять и положение пользователя в студии. Измеренные данные необходимых параметров телекамеры поступают в блок 5 формирования изображения виртуального пространства под углом обзора телекамеры, на основании данных блока модели 7 виртуального пространства. При помощи модели виртуального пространства в блоке 5 формируется изображение виртуального пространства в соответствии с текущими параметрами телекамеры 3, измеряемыми датчиками 4 (т.е. данными, на основании которых моделируется виртуальная камера). Сформированное изображение виртуального пространства, т.е. изображение фонового виртуального пространства и изображения виртуальных объектов, перекрывающих изображение пользователя для камеры (так называемая альфа-маска), с выхода блока 5 передается в блок 9 совмещения изображений, где осуществляется совмещение изображения актера, снятого реальной телекамерой 3, с изображением виртуального пространства, сформированного блоком 5. Фактически в блоке 9 в изображении, полученном с блока 6, вырезают хромакейный фон, и полученное изображение актера накладывают на фоновое изображение, сформированное в блоке 5, а поверх полученного изображения накладывают альфа-маску, также сформированную в блоке 5. С учетом того, что параметры виртуальной камеры и реальной телекамеры идентичны, то полученное изображение пользователя на фоне виртуального пространства получается правдоподобным. Полученное в блоке 9 изображение может передаваться в эфир конечным пользователям (зрителям) для отображения на пользовательских устройствах, записи в память, или других применений. Полученное изображение с блока 9 передается также на соответствующую телекамеру 3 для отображения оператору.
Чтобы актер мог видеть то же самое виртуальное пространство, на фоне которого его отображают, и мог интерактивно взаимодействовать с объектами виртуального пространства, ему тоже отображают виртуальное пространство, но под собственным углом обзора актера. Для этого используют средство 10 для определения угла обзора актера. Информация об угле обзора пользователя передается на блок 8 формирования виртуального пространства под углом обзора актера. В блоке 8, соединенном с блоком модели 7 виртуального пространства, формируется изображение в соответствии с той же моделью виртуального пространства, что и в блоке 5, но под углом обзора актера. Изображение, сформированное в блоке 8, отображается актеру при помощи средства отображения 11. В качестве средства отображения 11 могут использоваться виртуальные шлемы или виртуальные очки, способные отображать объемные изображения (стереоизображение). Изображение, поступающее на средство 11, видит только актер, и оно может отличаться по качеству от изображения, поступающего из блока 5 в блок 9, и содержать изображение некоторых вспомогательных деталей, необходимых для съемок. Это могут быть подсказки для актера, специальные метки, изображение телекамер, устройств и ограничений в студии (например, для того чтобы актер со шлемом на голове мог знать о текущем расположении устройств в студии, типа показанных на фиг.3). Таким образом, актер погружается в виртуальное пространство, на фоне которого его в конечном итоге снимают. Это означает, что он точно и адекватно сможет действовать в соответствии с обстановкой окружающего его виртуального пространства, в котором могут находиться объекты, действующие соответствующим образом. Причем объекты виртуального пространства могут управляться пользователями в режиме реального времени.
Виртуальное пространство может отображаться актеру многими способами, например проецироваться на стенах виртуальной студии. Чтобы такое изображение в студии не попало в кадр, его отображают по очереди со съемкой. Долю секунды проецируют на стенах студии, затем выключают изображение и следующую долю ведут съемку, затем цикл повторяется. Если такая периодичность будет чередоваться не менее 25 раз в секунду, то актер будет видеть непрерывное изображение благодаря стробоскопическому эффекту, а камера будет вести съемку на чистом хромакейном фоне.
Актер 2 может быть дополнительно снабжен средством 12 определения положения и ориентации актера в виртуальном пространстве, позволяющем актеру интерактивно взаимодействовать с объектами виртуального пространства. В простейшем случае в качестве средства 12 может использоваться трехмерный манипулятор или виртуальная перчатка. Предпочтительным вариантом средства 12 будет система датчиков, определяющая положение и ориентацию основных частей тела актера, так называемый виртуальный костюм (см. вышеуказанную заявку N 96116414 от 14.08.96). С выхода средства 12 сигналы для обеспечения интерактивного взаимодействия актера и объектов виртуального пространства поступают в блок модели 7 виртуального пространства. То есть в соответствии с действиями пользователя будет изменяться виртуальное пространство, например объекты начнут двигаться, притягиваться или, наоборот, разлетаться. Разумеется, эти изменения будут отображаться и в блоках 5 и 8. Тогда актер увидит результат своих действий, и пользователь- зритель, получающий информацию с блока 9, также увидит действия пользователя и отклик на них объектов виртуального пространства. Актер так же может изменить свое поведение и действия в соответствии с поведением объектов виртуального пространства. В результате обеспечивается интерактивное взаимодействие актера и объектов виртуальной реальности. Управление некоторыми объектами виртуального пространства может осуществляться не компьютерной программой, а пользователями в режиме реального времени. В студии может осуществляться съемка двух и более взаимодействующих актеров. Для реализации физического воздействия на актера в качестве средства 13 может использоваться так называемый костюм со средствами обратной связи, соединенный с блоком 7, или некоторые внешние объекты, обеспечивающие возможность воздействия на актера. Например, восприятие актером удара виртуального объекта может быть обеспечено воздействием на него со стороны блока 13. Соответствующая обратная связь может быть реализована с помощью пьезораздражителя или низкочастотного динамика. Может также использоваться одежда, обеспечивающая жидкостное или воздушное давление на соответствующие участки тела в нужный момент.
В настоящее время большинство пользователей не обладают широкополосным доступом к сетям типа Internet и не могут получать полноформатные видеоизображения. Изображение, получаемое в виртуальной студии, состоит из двух частей: собственно видеоизображение пользователя, снимаемого телекамерой, и фоновое изображение виртуального пространства, генерируемого компьютером. В современных виртуальных студиях эти два изображения складываются и передаются пользователю как одно целое по традиционным телевизионным каналам вещания. Такое изображение в потоковом режиме даже в сжатом виде не может передаваться большинству пользователей, подключенных к телекоммуникационным сетям при помощи узкополосных каналов. Однако при выполнении пользовательского устройства в виде компьютера, способного генерировать графику, функции блоков 5, 9 и 7 можно полностью или частично продублировать на компьютерах пользователей (зрителей). Тогда информация о действиях актера, текущих параметрах виртуального пространства, параметрах виртуальной камеры будет передаваться из блока модели 7 виртуального пространства через блок сопряжения 15 и телекоммуникационную сеть 14 на пользовательское устройство 16 (фиг.2). Полученная информация через процессорное устройство 17 поступает в блок 5' формирования виртуального пространства под углом обзора телекамеры 3. Аналогичным образом сжатое изображение с телекамеры из блока 6 через блоки 15, 14, 17, например в формате MPEG-2, поступает в блок 9' совмещения изображений. Блок 5' пользовательского устройства будет формировать изображение виртуального пространства под углом обзора телекамеры 3 и передавать его в блок 9' совмещения изображений пользовательского устройства. Блок 9' будет совмещать изображение пользователя, снимаемого в синей комнате студии, полученное по сети и декодированное, например, декодером MPEG-2, и изображение виртуального пространства, полученное с блока 5'. Сформированное в блоке 9' совмещенное изображение отображается пользователю с помощью блока отображения 18.
Пользователь при помощи блока управления 19 может передать управляющие команды через телекоммуникационную сеть в студию на блок обработки 20 управляющих команд пользователей. С выхода блока обработки 20 информация передается на блок модели 7 виртуального пространства. Получаемая от пользователя информация может представлять собой информацию о ставках, о голосовании пользователей по поводу выбора дальнейшего варианта сюжета или решение о судьбе героя, она может отображаться на виртуальном табло и представляться актеру. Это могут быть управляющие команды для конкретного объекта виртуального пространства или виртуального спарринг-партнера актера. Компьютерная программа или режиссер может подключать к управлению объектами виртуального пространства любого пользователя случайным образом или в соответствии с тестами или рейтингом его управляющих команд. Любой пользователь может быть подключен и для голосового диалога с актером или другими пользователями, в том числе в режиме телеконференций. Блок обработки управляющих команд 20 пользователей играет важную роль в реализации интерактивного взаимодействия пользователей с объектами виртуального пространства. В результате обработки управляющих команд пользователей и всей полученной о них информации будет формироваться и отображаться индивидуальная реплика для каждого пользователя или групп пользователей. Такая индивидуальная информация может отображаться в специальных окнах на фоне общего для всех изображения. Информация от отдельных пользователей может поступать в виде видеоизображений в студию в режиме видеоконференций, что позволило бы брать интервью у пользователей в режиме реального времени.
Объем информации, поступающей с блока 6, может быть уменьшен с использованием одежды хромакейного цвета, надеваемой на актера, при одновременном расширении возможностей съемок. Тогда в качестве видеоизображения с блока 6 будет передаваться, например, изображение головы, кистей рук, объекта в руках. При этом тело актера, а точнее его образ, будет анимироваться в соответствии с данными с блока 12 определения положения и ориентации пользователя. Трехмерный образ актера, анимирующийся в соответствии с его действиями, может предварительно создаваться художником и не обязательно должен совпадать с реальным образом актера.
На фиг.3 представлен вариант устройства, представляющего собой платформу 21, лента которого предназначена для размещения на ней актера 2. Платформа устроена таким образом, что ее поверхность способна смещаться по горизонтали в обратную сторону от направления передвижения по ней актера. Актер сможет перемещаться в любую сторону на любые расстояния, а платформа будет компенсировать его перемещения, сдвигая ленту таким образом, чтобы актер оставался все время на поверхности платформы. Если актер сделает несколько шагов в каком-то направлении, поверхность ленты сместится на такое же расстояние только в обратную сторону. При этом актер останется в том же реальном пространстве, хотя в виртуальном пространстве он переместился. Это удобно для операторов, снимающих актера, имеющего возможность перемещаться по лабиринтам виртуального пространства, но остающегося все время перед объективами телекамеры на фоне хромакейных декораций. Необходимо только учитывать компенсирующее смещение платформы для уточнения положения в виртуальном пространстве виртуальных камер.
На фиг. 4 представлен вариант устройства, представляющего собой прозрачную сферу 22, установленную в хромакейной комнате, способную вращаться вокруг своего центра на подвижных опорах 23 для обеспечения актеру, находящемуся в ней, возможности имитации хождения на большие расстояния в любую сторону. Если актер делает шаги по внутренней поверхности сферы, то сфера под действием силы тяжести актера будет проворачиваться и обратную сторону от движения актера. При этом актер будет все время оставаться в нижней части сферы, в точке устойчивого равновесия.
Система для создания анимационных программ, выполненная согласно изобретению, изображенная на фиг. 5, работает следующим образом.
В студии актера обеспечивают средством 10 определения угла обзора для отображения ему с помощью средства 11 виртуального пространства под углом обзора актера. При этом средством 12 определяют положение и ориентацию актера. С выхода средства 12 определения положения и ориентации актера информация поступает на вход блока модели 7 виртуального пространства. В блоке 7, соединенном с блоками 8 и 24, постоянно пересчитывается текущее состояние модели виртуального пространства в соответствии со всей поступающей информацией. В блоке 8 формируется виртуальное пространство под углом зрения актера и отображается актеру при помощи средства 11. В блоке 24 формируется виртуальное пространство под углом обзора (ракурсом), выбираемым режиссером. С соответствующего выхода блока 24 сформированное изображение виртуального пространства, представляющее собой готовый анимационный фильм, в котором актер взаимодействует с объектами виртуального пространства и/или с другими актерами, может визуализироваться на средствах отображения, записываться в память, использоваться для дальнейшего редактирования, идти в виде телевизионного сигнала для визуализации на средствах отображения конечных пользователей (зрителей). С учетом того, что актер может визуализироваться в виртуальном пространстве в разных образах, при помощи даже одного актера можно создать сцены, где взаимодействуют множество персонажей. Для этого в одной и той же сцене виртуального пространства актер действует сначала за одного из персонажей и сцену записывают, затем эту сцену последовательно прогоняют еще раз, а актер действует в этой же сцене за другой персонаж. Таким образом, за несколько циклов записи сцена заполнится всеми необходимыми персонажами. В предпочтительном варианте актеры, которые могут находиться даже в разных городах, погружаются каждый в своем образе в одно виртуальное пространство и взаимодействуют в нем. Тогда сцена взаимодействия будет происходить в режиме реального времени и более естественно.
Для использования возможностей передачи анимационных программ через телекоммуникационные сети и обеспечения интерактивного взаимодействия пользователей с объектами виртуального пространства блок модели 7 виртуального пространства связывают через соответствующий блок соединения 15 и телекоммуникационную сеть 14 с пользовательским устройством 16'. В блоке 25 формируется виртуальное пространство под углом обзора, выбираемым пользователем при помощи блока 19, выход которого соединен с входом блока 25, или по умолчанию под углом обзора, выбираемым режиссером в студии. С выхода блока 25 сигнал поступает в блок 18 для отображения изображения виртуального пространства пользователю. С блока 19 соответствующие управляющие команды через процессорное устройство 17, телекоммуникационную сеть 14, блок соединения 15 поступают на блок обработки 20 управляющих команд пользователей и затем в блок модели 7 виртуального пространства. Обработанные в блоке 20 команды используются для обеспечения интерактивного взаимодействия пользователей с объектами виртуального пространства.
Способами, описанными выше, можно будет снимать за один проход в режиме реального времени сцены, в которых происходит интерактивное взаимодействие актера и объектов виртуального пространства. Такой способ позволит удешевить, упростить и улучшить создание сцен взаимодействия актера и виртуальных объектов, устранив трудоемкие операции редактирования и объединения ранее анимированных персонажей в одну сцену. Это будет происходить таким же образом, как при съемках игровых фильмов, когда весь эпизод снимается сразу. Так как пользователи, с которых будет сниматься информация об их движениях, уже погружены в виртуальную реальность, то их движения будут соответствовать истинным действиям с объектами виртуального пространства, а не их имитированию. Для режиссеров появляются дополнительные возможности для управления объектами виртуального пространства. Можно будет менять размеры объектов относительно друг друга и относительно пользователя, а также задавать масштаб динамики, временных характеристик поведения объектов.
При погружении в виртуальное пространство актер может взаимодействовать не только с объектами, управляемыми компьютерной программой или другими актерами, но и объектами, управляемыми сторонними пользователями (зрителями).
Наиболее предпочтительным вариантом реализации настоящего изобретения является использование стандартного комплекта виртуальной студии с добавлением блока отображения пользователю виртуального пространства и устройств для осуществления интерактивного взаимодействия пользователя с объектами виртуальной реальности.
Следует отметить, что понятие "видеопрограммы", использованное в настоящем описании, должно пониматься шире, чем программы для стандартного телевизионного вещания. Видеопрограммы, созданные способом, соответствующим настоящему изобретению, можно помещать в компьютерные сети и передавать через компьютерные сети, в том числе с предоставлением интерактивного взаимодействия со "зрителем". Заявленный способ может использоваться для съемок кинокартин и мультфильмов. Предлагаемые технологии могут служить основой для трансляции, например, через Internet, поединков боксеров, каратистов между собой или с виртуальными партнерами. При помощи предлагаемой технологии можно снимать актера, действующего в лабиринтах популярных компьютерных игр. Заявленный способ может служить основой для создания различных новых видов видеопрограмм, интерактивных сериалов.
Изобретение относится к способу и системе для создания видеопрограмм в виртуальной студии, обеспечивающему интерактивное взаимодействие актеров с объектами виртуальной реальности, а также упрощение и ускорение процедуры создания анимационных программ. При съемке актера 2 в виртуальной студии совмещают изображение актера с изображением виртуального пространства, сформированного под углом обзора виртуальной камеры с параметрами, которые соответствуют параметрам телекамеры 3. При этом обеспечении интерактивного взаимодействия актера с объектами виртуального пространства с помощью средства 10 определяют угол обзора актера и отображают ему при помощи средства 11 изображение виртуального пространства, сформулированное в блоке 8 в соответствии с углом обзора актера. Техническим результатом изобретения является создание изображения актеров на фоне виртуального пространства с учетом угла оборота актера. 4 с. и 16 з.п. ф-лы, 5 ил.
| Способ размножения копий рисунков, текста и т.п. | 1921 |
|
SU89A1 |
| Дорожная спиртовая кухня | 1918 |
|
SU98A1 |
| Бесколесный шариковый ход для железнодорожных вагонов | 1917 |
|
SU97A1 |
| Бесколесный шариковый ход для железнодорожных вагонов | 1917 |
|
SU97A1 |
| Устройство выделения видеосигнала объекта из фона | 1985 |
|
SU1412001A1 |
