Изобретение относится к области изготовления и использования видеоизображений и статических изображений и, в частности, к способу и устройству, которые позволяют первому пользователю готовить изображения и которые позволяют второму пользователю с легкостью взаимодействовать с этими изображениями.
Описание предшествующего уровня техники
Традиционные пассивные медиа-индустрии, такие как телевидение, музыкальная индустрия, киностудии и телевизионная реклама, уступают в своих возможностях новым интерактивным медиа-индустриям, таким как индустрия видеоигр и Интернет. Хотя некоторые устройства, такие как Цифровые Видеомагнитофоны (Digital Video Recorder, DVR), позволяют потребителям сдвигать по времени контент, они являются пассивными и не дают возможности потребителям создавать их собственный новый контент.
Между тем, доступным становится все большее число инструментов, которые позволяют потребителю стать создателем контента. Цифровые фотокамеры и видеокамеры позволяют захватывать изображения. Эти захваченные изображения с легкостью обрабатываются мощным программным обеспечением на персональных компьютерах. Эти изображения можно объединить и распечатать, отобразить на телевизионных экранах, записать на DVD-диск и даже переслать по электронной почте друзьям и членам семьи. В то же время, мощные цифровые инструменты создания музыки позволяют потребителям создавать новые музыкальные произведения, которые можно объединить с цифровыми изображениями потребителей. В настоящее время любой может стать создателем контента. Даже сотовые телефоны захватывают статические изображения, а также видеоизображения высокого качества. Этот создаваемый контент обычно размещается на Интернет-сайтах, популярность которых непрерывно растет. Таким образом, любой потребитель может быть "звездой", но это не отвергает желания общества взаимодействовать с медиа-знаменитостями и/или получать прибыль от своих собственных медиа-произведений. Одним из путей реализации этой потребности является предоставление креативного контента, который позволяет потребителю "взаимодействовать" со знаменитостями. Настоящее изобретение сочетает тенденции в области персональных медиа-произведений с этой любовью к знаменитостям. Вместе с тем, настоящее изобретение предоставляет средство, с помощью которого создатели и рекламодатели более традиционного контента могут получить прибыль от профессионального и персонального создания медиа-произведений.
Настоящее изобретение предоставляет средство связи, которое позволяет создателям контента и Правообладателям предоставлять исходное изображение пользователю и любому другому лицу, которое пожелает взаимодействовать с исходным изобретением посредством системы шаблона и системы виртуального набора/рирпроекции изображения. Два или более отдельных потоков видеоизображений/статических изображений могут быть объединены в реальном масштабе времени дома или в любом другом месте, где есть доступ к видео контенту. Видео контент может распространяться различными способами, такими как через Интернет, DVD-диски, CD-диски и другие цифровые носители. Система позволяет использовать метаданные в видео контенте, которые описывают, что делала камера во время снятия конкретного кадра. Эта информация определяет то, каким образом видео/изображение переднего плана должно быть комбинировано с кадром, используя систему шаблонов. Получающаяся в результате композиция производит убедительную иллюзию, в которой пользователь/объект вживую взаимодействует с контентом. Например, представим видеозапись рок концерта, доступную в сети Интернет. Пользователь захватывает свое собственное изображение посредством видеокамеры, соединенной с компьютером (который включает в себя широкий спектр вычислительных устройств, таких как персональные компьютеры и игровые консоли). Это изображение пользователя-потребителя комбинируется с видео контентом, используя программное обеспечение реального масштаба времени, чтобы произвести финальное видеоизображение, в котором пользователь выглядит так, как будто он находится на этом рок концерте. В результате производится записываемое взаимодействие видео-в-видео профессионального или любительского цифрового видео контента ("Создателя Контента (или заднего плана)") и цифрового видео потребителя ("Создателя-Потребителя (или переднего плана"). Схожим образом, для рекламных целей с легкостью могут быть подобраны изображения: афиша в фильме или видеоигре может показывать рекламу компании Coke в США и рекламу компании Nike в Европе, девушки и юноши могут получать разную рекламу и т.д. То же самое применимо к очень талантливым любителям, видеозаписи которых просматриваются миллионы раз в сети Интернет. С помощью настоящего изобретения они могут продавать рекламное пространство в их собственных видеозаписях. Реклама может быть незаметно и креативно интегрирована с исходным контентом, будучи ненавязчивой и без нарушения процесса просмотра.
Этот процесс в реальном масштабе времени обеспечивает возможность рекламодателю и потребителю реализовать взаимодействие по схеме видео-в-видео/изображение-в-изображении с прямым эфиром, локально сохраненными видео файлами, компьютерными играми и видеоконференциями. Потребителю или рекламодателю предоставляется возможность взаимодействовать с широким спектром Развлекательного Программирования (вещание, художественные фильмы, коммерческие ролики, музыкальные клипы, телевизионные сериалы, веб-фильмы, онлайн игры и генерируемые потребителем медиа-произведения) или образовательного программирования, такого как уроки танцев, уроки музыки, уроки пения, уроки актерского мастерства, медицинские тренинги и т.п. Хотя нижеописанная реализация является потребительским приложением, настоящее изобретение также может быть использовано как образовательный инструмент, научный инструмент, а также рекламный инструмент и инструмент продакт-плейсмента.
Сущность изобретения
Существует необходимость в приложениях, которые позволяют потребителям некоторым образом взаимодействовать со знаменитостью или звездой. Приложение, которое позволит потребителям многократно взаимодействовать с коммерческим контентом и передавать результат любому другому лицу, удовлетворит потребность, которая до сих пор оставалась совершенно неудовлетворенной. Аналогично, в настоящее время нет какого-либо эффективного способа для простого добавления рекламы в видео контент, сгенерированный потребителем и профессионально. Это, возможно, изменит способ, по которому будет создаваться и распространяться медиа-контент в будущем. Для рекламодателей, а также продюсеров музыкальной индустрии, индустрии видеоигр и киноиндустрии будет создана возможность управлять потоками прибыли для контента, созданного в новых моделях распространения медиа-данных.
Создаются возможности для владельцев фотоизображений и видеоизображений, поскольку потребители ищут задние планы для своих собственных музыкальных клипов или для создания проектов "путешествуя по миру", фактически оставаясь дома. Кроме потребителей, настоящее изобретение полезно в области образования, где оно обеспечивает возможность участия, например, в уроках музыки, уроках танцев и физических тренировках. В области медицины настоящее изобретение позволяет с легкостью вставлять язык жестов в любое видеоизображение, а также реализовать ролевые игры для психиатрического лечения. В тюрьме настоящее изобретение обеспечивает возможность связи с далеко находящимися людьми, что делает их ближе и способствует процессу психического возвращения заключенных в общество. В качестве инструмента рекламы и продакт-плейсмента настоящее изобретение может быть выгодным как рекламодателям, так и создателю контента. Настоящее изобретение также позволяет конечным пользователям загружать свое изображение и применять его к герою компьютерной игры, то есть участвовать в игре в роли самих себя. Это поднимает специальные аватары на новый уровень без необходимости перезаписи программного обеспечения игры.
В настоящем изобретении используется "коммерческий" видеопоток, подготовленный "Создателем Контента", и видеопоток, произведенный потребителем (видео "Потребителя"), который с легкостью комбинируется с видео Создателя Контента. В изобретательском процессе создается составное видео, которое может быть записано (если на то есть разрешение Создателя Контента) в реальном масштабе времени, и талант потребителя (лицо или объект) включается в результирующее видео, то делает контент Создателя Контента уникальным во множестве версий - каждое видео потребителя (видео Создателя Контента плюс видео Потребителя) создает новую персонализированную версию. Эти уникальные новые видео могут быть загружены, например, в сеть Интернет и мобильные устройства для их просмотра другими.
Взаимодействие в масштабе реального времени обеспечивается программным приложением Создателя Контента, которое доступно через компьютер или эквивалентное устройство, такое как игровой движок или приставка. Это программное приложение может быть относительно простой двумерной системой, где объединение реализуется в двумерном пространстве, либо упомянутое программное обеспечение имеет трехмерные возможности, так что составное изображение движется в трехмерном пространстве вместе с перемещением камеры Создателя Контента, в результате чего обеспечивается гораздо более убедительная иллюзия.
Программное приложение Создателя Контента способно объединять в масштабе реального времени локальный видеопоток или файл изображения, например, с веб-камеры или внешнего источника, например, из сети Интернет, с внешним видеоизображением или локально сохраненным видео файлом. Видео файлы комбинируются посредством программного приложения, которое способно в масштабе реального времени обрабатывать два или более слоев видео и/или изображений, двумерных и трехмерных объектов, текст и потоки данных камер, и объединять локальный видеопоток/изображение путем наложения или рирпроекции изображения.
Описание чертежей
Фиг.1 - блок-схема изобретательской системы;
Фиг.2 - схема последовательности операций в процессе согласно настоящему изобретению;
Фиг.3 - ряд схем последовательности операций, иллюстрирующих этапы предоставления метаданных;
Фиг.4 - схема, иллюстрирующая порядок позиционирования изображений относительно шаблонов;
Фиг.5 - разъяснение использования информации высоты;
Фиг.6 - блок-схема настоящего изобретения для целей рекламы;
Фиг.7 - схема последовательности операций (схожая с Фиг.2), иллюстрирующая процесс для целей рекламы;
Фиг.8 - схема, разъясняющая использование соотношения сторон и формата изображения; и
Фиг.9 - дополнительная схема, разъясняющая использование информации высоты вместе с информацией формата/отношения сторон.
Подробное описание изобретения
Следующее описание приведено для того, чтобы специалисты в данной области техники получили возможность использовать настоящее изобретение, и в нем показаны лучшие варианты осуществления, предполагаемые настоящим изобретателем. Тем не менее, специалистам в данной области техники будут очевидны различные модификации, поскольку в настоящем документе определены главные принципы настоящего изобретения, по которым можно реализовать систему для предоставления видео контента, в который с легкостью можно вставить видео контент потребителя, а также инструменты для такой вставки.
Фиг.1 и 6 представляют собой общие виды всего процесса. Фиг.1 иллюстрирует версию системы, где контент потребителя комбинируется с видео Создателя Контента. Фиг.6 иллюстрирует рекламный контент, который вставляется в видео Создателя Контента. Как указано выше, Создатель Контента создает видео контент, в который Создатель-Потребитель (создатель "переднего плана") вставляет свой видео/фото контент, чтобы создать комбинированное видео, в результате чего Создатель-Потребитель/объект выглядит как часть исходного видео Создателя Контента. Фиг.1 разделена на сторону (A) Создателя Контента и сторону (B) Создателя-Потребителя, чтобы упростить описание того, что происходит в каждой части процесса. Во-первых, Создатель Контента использует устройство 20 создания изображения, чтобы захватить основное видеоизображение. На данном чертеже в качестве устройства 20 создания изображения показана камера, однако, может быть использована любая система создания видео, включая компьютерную или обычную (рисованную) анимацию и обычные статические изображения, а также статические изображения с дополнительными эффектами движения и панорамирования (например, эффект Кена Бернса).
Форматы цифрового видео и изображения обычно кодируются по схеме RGB, но иногда используется схема RGBA, где A обозначает альфа-канал. Это означает, что в добавление к Красному, Зеленому и Синему каналам, видео включает в себя альфа-канал. Видео с альфа-каналом важно, когда создатель контента, например, загружает видео, включающее в себя альфа-канал, где человек (или некоторый объект) находится впереди афиши, в которую создатель контента хочет разместить рекламу. Использование альфа-канала обеспечит видимость того, что реклама находится позади этого человека и занимает пространство афиши. Тот же подход применяется для удаления аудитории на переднем плане в записи концерта, чтобы вставленное изображение выглядело как находящееся позади аудитории, на сцене с рок группой. Альфа-канал может быть сформирован несколькими разными способами например путем ротоскопинга. В индустрии визуальных эффектов термин ротоскопинг обозначает способ ручного создания маски для элемента в плоскости действия, так чтобы его можно было перемещать на другой задний план. Также существуют способы создания альфа-каналов/каналов маски в масштабе реального времени, включая рирпроекцию, распознавание образа и т.п.
Устройство создания изображения создает изображение 22 заднего плана, в которое в конечном итоге Создатель-Потребитель будет вставлять изображение, произведенное вторым устройством 32 захвата изображения (как и в случае устройства 20 захвата, здесь также может быть использована любая система создания видео). Видеоизображение 22 заднего плана обрабатывается вычислительным устройством (таким как персональный компьютер или игровая консоль), на котором выполняется программное обеспечение 26 Создателя Контента. Программное обеспечение 26 может находиться на локальном компьютере или к нему может быть выполнен доступ на сервере. В последнем случае часть или вся обработка файла может происходить на удаленном серверном компьютере. Это программное обеспечение 26 позволяет Создателю Контента обрабатывать видео 22 заднего плана, либо включать в их состав метаданные 24 (угол обзора камеры, положение и т.п.), либо получить подобные метаданные из видео 22 заднего плана. Программное обеспечение 26 Создателя Контента также позволяет Создателю Контента внедрять шаблон 28 в видео контент. Шаблон 28 представляет собой справку, указывающую, где и как будет вставлено видеоизображение Создателя-Потребителя в видео 22 Создателя Контента (Фиг.6, 126). Шаблон 28 распознается и интерпретируется как программным обеспечением 26 заднего плана (Создателя), так и программным обеспечением 38 переднего плана (Потребителя), и он определяет контур, тень или трехмерный объект в видео 22 заднего плана. Элементы управления позволяют Создателю Контента перемещать шаблон 28 от сцены к сцене и определять, как, когда и где оно появится, чтобы обеспечить наиболее реалистическое и наилучшее креативное положение для видеоизображения Создателя-Потребителя (переднего плана) в каждой сцене/кадре. Доступны шаблоны разных размеров (все тело, верхняя часть тела крупным планом, прямоугольник, квадрат, круг, трехмерные объекты и т.п.), чтобы позволить Создателю Контента выбрать шаблон, который является наиболее подходящим для этого видео. В данном примере шаблон используется для размещения изображения "переднего плана", однако, шаблон также может управлять размещением изображения или изображений "заднего плана" согласно пожеланиям Создателя Контента. В случае рекламы (Фиг.6) шаблоны 28 часто принимают форму, подходящую для вставки изображений продуктов или сообщений.
Например, если видео 22 заднего плана показывает выступление рок группы на сцене, то подходящим будет шаблон всего тела того же размера, что и исполнители. Далее, этот шаблон позиционируется на сцене рядом с другими исполнителями. Если видео 22, далее, переходит к крупному плану исполнителей, то шаблон перемещается и масштабируется в соответствующее положение, и для данной последовательности он выглядит как крупный план верхней части тела. Программное обеспечение 38 Создателя-Потребителя изменяет вставленный шаблон 28 соответствующим образом, на основании информации метаданных 24, предоставленной Создателем Контента, чтобы создать иллюзию перемещения камеры и переключения на изображение 34 Заднего Плана, которое фактически произведено одним (обычно фиксированным) устройством 32 захвата изображения. Создатель-Потребитель, далее, может просмотреть измененный шаблон и при необходимости выполнить "точную настройку" его положения. Позиционирование включает в себя не только то, где в потоке изображения появляется шаблон, но и когда он появляется. Финальный файл 30 данных создателя контента содержит исходное видео 22 заднего плана вместе с внедренным шаблоном (шаблонами) и соответствующими метаданными. Далее, этот файл распространяется Создателю Потребителю посредством DVD-диска, сети Интернет или любого другого способа распространения.
Создатель-Потребитель также имеет устройство 32 захвата изображения, например, видеокамеру, которая имеет соответствующий интерфейс с персональным компьютером или подходящим вычислительным устройством. Создатель-Потребитель/Конечный Пользователь может воспроизвести финальный файл данных (видео) 30 Создателя Контента на персональном компьютере/вычислительном устройстве, используя программное обеспечение 38 Создателя-Потребителя/Конечного Пользователя. (Как и в предыдущем случае, это программное обеспечение может быть получено с удаленного сервера, и некоторые или все операции обработки могут происходить на удаленном компьютере). Это программное обеспечение позволяет Создателю-Потребителю (Переднего Плана) просматривать изображение 22 заднего плана и видеть позицию шаблона 28 в этом видео. В тех случаях, где финальный файл 30 данных Создателя Контента использует шаблон для продакт-плейсмента или рекламы (см. ниже), конечному пользователю может быть не обеспечена возможность взаимодействия с этими видео файлами. В тех случаях, где файл 30 данных настроен для взаимодействия и есть выбор возможных шаблонов, закодированных в этот файл 30 данных, Создатель-Потребитель может выбрать шаблон, который является наиболее подходящим для его пространства и камеры. Программное обеспечение 38 Создателя-Потребителя (переднего плана) способно принимать изображение/видео 34 переднего плана, захваченное устройством 32 создания изображений, и комбинировать его с финальным видео 30, используя наложение или рирпроекцию, чтобы объединить или вставить изображение переднего плана в позицию "элемента-заполнителя", созданного шаблоном.
Рирпроекция является широко известным процессом, который используется для наложения или объединения двух или более потоков изображений или видео. В графике "наложение" является размещением изображения или видео поверх уже существующего изображения или видео, что обычно выполняется для добавления эффекта изображения, но иногда и для скрытия некоторого объекта (например, использование левой стороны экрана для изображения заднего плана и правой стороны для изображения переднего плана). Рирпроекция представляет собой процесс, в котором часть одного видеоизображения изолируется от своего заднего плана, так чтобы оно могло быть объединено или скомбинировано с другим изображением. Обычно используется хроматическая рирпроекция. Хроматическая рирпроекция представляет собой способ смешения двух изображений, где цвет (или некоторый цветовой диапазон) удаляется из одного изображения (или делается прозрачным), раскрывая другое изображение. Этот способ также называют цветовой рирпроекцией, цветовой электронной рирпроекцией, зеленым-экраном и синим-экраном. Данная технология обычно используется для прогнозов погоды, где диктор находится на переднем плане перед большой картой, тогда как в действительности он стоит перед синим или зеленым задним планом.
Результаты объединения видео схожи со старым процессом "синего-экрана", используемым в фильмах, где актер фотографируется напротив синего экрана, и изображение актера впоследствии вставляется в другую сцену. Этот фотографический процесс является исключительно сложным, и он включает в себя генерацию "фотографических масок", чтобы обеспечить возможность множественной печати на фотопленке.
Система рирпроекции в действительности гораздо более проще, чем фотографическая система, в силу растровой природы видеоизображения. Для каждой линии сканирования, которая образует изображение, электронный переключатель получает видео данные с изображения заднего плана при условии, что сигнал рирпроекции в одном состоянии (например, указывается, что сканирование с изображения переднего плана показывает цвет рирпроекции). Когда сканирование переднего плана останавливает показ цвета рирпроекции, сигнал рирпроекции меняет состояние, и электронный переключатель получает видеоданные с изображения переднего плана. Таким образом, изображения связываются вместе по каждой линии сканирования без необходимости фотографических масок или других сложных технологий. Иллюзия заключается в том, что нижележащее изображение (заднего плана) "раскрыто" в определенных выбранных областях. Одним примером Хроматической Рирпроекции является разбиение каждого пикселя на его красный, зеленый и синий каналы, после чего эти величины преобразуются в пространство тона, насыщенности и цвета. Посредством минимального и максимального значения тона можно определить, должен ли данный пиксель быть прозрачным или нет. Существует множество других способов генерации сигнала рирпроекции. Одним из этих способов является "рирпроекция по яркости", где сигнал рирпроекции основан на характеристиках яркости и темноты изображения переднего плана, например, каждый пиксель может быть преобразован в черно-белый, и результирующая величина используется для дополнительных вычислений, чтобы определить прозрачность. Первый результат сохранит цвет исходного пикселя. Если пользователь специфицировал белый задний план, то любой пиксель, величина которого больше определенного порогового значения, будет прозрачным. Если пользователь специфицировал черный задний план, то любой пиксель, величина которого меньше определенного порогового значения, будет прозрачным. В случае "дифференциальной рирпроекции" изображение переднего плана сначала анализируется без объекта, а после этого анализируется с объектом. Те элементы, которые присутствуют в обоих анализах, определяются как задний план. Процесс дифференциальной рирпроекции требует, чтобы камера не перемещалась со своей исходной позиции в течение всего процесса рирпроекции, поскольку пользователь должен снять "чистый кадр" до начала. Чистый кадр является снимком заднего плана без каких-либо элементов, которые должны остаться непрозрачными. Этот чистый кадр сохраняется в памяти. Для каждого кадра вычислительное устройство захватывает новое изображение посредством устройства захвата изображений, и вычитает цветовые каналы каждого пикселя этого изображения и соответствующих цветовых каналов в изображении чистого кадра. Если сумма абсолютных величин разностей меньше специфицированного диапазона, то этот пиксель делается прозрачным. Проще говоря, если пиксель имеет примерно тот же цвет, который он имел в чистом кадре, то этот пиксель делается прозрачным.
Программное обеспечение 38 Создателя-Потребителя (Переднего Плана) выполняет функцию рирпроекции на изображении 34 переднего плана и, далее, вставляет изображение в позицию шаблона. Следует отметить, что метаданные 24 Создателя позволяют шаблону появляться, перемещаться и трансформироваться согласно углу обзора шаблона и камеры, позиции и т.п. Программное обеспечение 38 Создателя-Потребителя трансформирует наложенное или подвергнутое рирпроекции изображение в его позицию с соответствующим соотношением сторон, и оно перемещается согласно перемещениям камеры и ее углу обзора. Для улучшения этой обработки программному обеспечению 38 Создателя-Потребителя могут потребоваться метаданные 36 Создателя-Потребителя. Эти метаданные могут содержать широкий диапазон информации относительно камеры, линзы и положения камеры, которые использовались Создателем-Потребителем для захвата изображения 34 переднего плана, такие как высота камеры и детализация поля обзора. При масштабировании изображений для программного обеспечения 38 полезно иметь сведения о размере или высоте изображения 34 переднего плана относительно размера шаблона, вставленного в финальное видео 30. Например, в упомянутом выше видео рок группы, средний рост исполнителей может быть равен 6 футам, так что вставленный шаблон позиционируется так, чтобы представлять человека ростом 6 футов. Программное обеспечение 38 Создателя-Потребителя отмасштабирует изображение 34 переднего плана потребителя (обработанное для рирпроекции), чтобы привести его в соответствие с внедренным шаблоном. Это дает хорошие результаты, если человек в изображении 34 переднего плана имеет рост примерно 6 футов. Однако если этот человек имеет рост только 5 футов, то вставленное изображение будет чрезмерно увеличено, и результат не будет реалистичным. Путем вставки информации высоты изображения 34 переднего плана можно избежать этой ошибки и обеспечить реалистичный результат. Следовательно, эта информация является важной и подлежит включению в состав метаданных 36 Создателя-Потребителя.
Программное обеспечение 38 Создателя-Потребителя выполняет рирпроекцию и объединение в реальном масштабе времени, так что Создатель-Потребитель или Конечный Пользователь может просматривать объект (самого себя, продакт-плейсмент или рекламу) на мониторе вычислительного устройства (финальный вывод 40), фактически взаимодействуя с изображением 22 заднего плана на основании дополнительных Метаданных 24. Создатель-Потребитель может не только выполнять совершенные "движения" в ответ видеоизображению, но также (при разрешении Создателя Контента) настраивать метаданные 36 таким образом, чтобы обеспечивались наиболее реалистичные отклики.
Программное обеспечение 38 Создателя-Потребителя также действует как видеомагнитофон, так что выступление может быть сохранено для загрузки в онлайн-службы, отправки электронной почты или даже записи на DVD-диск или другой носитель записи (при наличии разрешения Создателя Контента). Если финальный файл 30 данных создателя контента включает в себя звук 20, то система также может включать звук пользователя в состав финального продукта. В случае рок выступления, финальный файл 30 данных Создателя Контента может включать в себя выступление целиком, за исключением конкретной вокальной дорожки или инструментальной дорожки. Создатель-Потребитель, тогда, поет или играет на инструменте, и программное обеспечение 38 Создателя-Потребителя объединяет это аудио с аудио из финального файла 30 данных создателя контента. В случае пения программное обеспечение 38 Создателя-Потребителя может отображать соответствующие слова (часть метаданных в финальном файле 30 данных) и направлять пение пользователя по принципу караоке.
Важной частью настоящего изобретения является то, каким образом Создатель Контента обрабатывает видеоданные, в которые будет вставлено изображение пользователя. Создатель Контента может включать в состав метаданные и информацию о позициях и углах одного или более объектов, которые перемещаются в изображении 22 заднего плана (а также информацию времени, относящуюся к моментам, когда в видео потоке появляется объект). Кроме того, Создатель Контента может включать в состав метаданные и информацию относительно перспективы камеры и линзы, которая использовалась для съемки контента. Когда Создатель Контента включает в состав информацию камеры или схожие метаданные, это сильно облегчает размещение видео Создателя-Потребителя в видео Создателя Контента с оптимальной перспективой. Тогда исходные перемещения камеры будут учитываться, и видео Создателя-Потребителя будет двигаться синхронно с перемещениями камеры Создателя Контента. Специалистам в данной области техники будет очевидно, что изображение заднего плана может быть изображением, захваченным Создателем-Потребителем, и подвергаемое рирпроекции изображение переднего плана предоставляется Создателем Контента. Это позволяет создавать иллюзию того, что некоторая знаменитость посетила жилище пользователя. Создатель Контента обычно имеет контроль над тем, являются ли изображения, предоставляемые Создателем-Потребителем, изображениями заднего плана или изображениями переднего плана.
Информация метаданных камеры может быть захвачена вживую путем вычисления и отслеживания перемещений камеры в реальном масштабе времени с применением доступных аппаратных и программных систем отслеживания, или эти данные могут быть созданы после производства посредством компьютерного программного обеспечения, которое отслеживает положение камеры и вычисляет корректную перспективу в каждый момент времени. Подобное программное обеспечение может быть включено в состав программного обеспечения 26 Создателя Контента. Все метаданные включаются в состав видео 30 Создателя Контента в формате, который используется/воспринимается программным обеспечением 38 Создателя-Потребителя.
В оптимальном случае существует четыре типа информации, содержащейся в метаданных, которые получает конечный пользователь.
1) Изображение/видео заднего плана (или переднего плана) - Создатель контента специфицирует изображение или видео, которое должно использоваться в процессе композиции. В состав метаданных включается фактическое изображение или ссылка.
2) Рекомендуемый шаблон - Создатель Контента выбирает шаблон, в который Создатель-Потребитель вмещает свой материал (либо переднего плана, либо заднего плана). Эти шаблоны представляют разные типы снимков камеры, такие как дальний план, средний план или крупный план. Шаблон также может представлять человека или другой тип объекта, например, двумерный или трехмерный объект, рисунок, картину, рекламу, иллюстрацию, текст или трехмерную компьютерную модель. В состав метаданных включается фактический шаблон или ссылка.
3) Высота объекта - Это указывает, насколько высоким должен быть объект для рекомендуемого шаблона. Заданная высота не равна высоте видимой части объекта. Это высота всего объекта от точки контакта с полом до верхушки объекта. Эти данные позволяют программному обеспечению 38 Создателя-Потребителя автоматически масштабировать изображение 34 переднего плана, чтобы сохранять должное отношение высоты между изображением 34 переднего плана и изображением 30 заднего плана. Масштабирование изображения 34 переднего плана Создателя-Потребителя выполняется от точки контакта с полом или от верхушки объекта. Информация относительно формата изображения и отношения сторон шаблона 28 также может быть включена в состав, чтобы сохранить корректные пропорции изображения 34 переднего плана, которое замещается или вставляется в Шаблон 28.
4) Место, ориентация и время показа шаблона - Создатель Контента позиционирует выбранный шаблон таким образом, что объект Создателя-Потребителя выглядит так, как будто он вмещается в изображение 22 заднего плана, чтобы произвести реалистичный финальный вывод 40, который соответствует креативному видению Создателя-Потребителя. Существует, по меньшей мере, три способа, по которым может быть специфицировано место и ориентация шаблона. Если доступны метаданные камеры и/или объекта, то для местоположения шаблона в каждом кадре изображения могут быть заданы трехмерные координаты. Также в состав могут быть включены данные ротации и информация масштабирования. Метаданные камеры включают в себя, но не ограничиваются перечисленным, координаты X, Y и Z камеры, углы панорамирования, наклона и поворота камеры, а также поле зрения камеры. Метаданные объекта включают в себя, но не ограничиваются перечисленным, трансляционные и ротационные координаты X, Y и Z объекта, а также координаты масштабирования X, Y и Z. Если изображение заднего плана является движущимся изображением, то данные камеры могут быть заданы для каждого кадра. Если изображение заднего плана имеет движущиеся объекты, то данные объекта могут быть заданы для каждого кадра отслеживаемого объекта. Если данные камеры или объекта недоступны, то для каждого кадра Создатель Контента может вставить в метаданные двумерные координаты для четырех углов полигона шаблона. Эти координаты могут быть достигнуты путем процесса отслеживания пикселей или плоскости, либо путем ручного ввода, и они позволяют программному обеспечению 38 Создателя-Потребителя преобразовывать полигон переднего плана в соответствующую перспективу. Если камера не перемещается в течение снятия кадра (или если это не имеет значения для создателя контента), то масштаб, а также двумерные и трехмерные позиции шаблона могут быть введены вручную и включены в состав метаданных только один раз. Момент, указывающий, когда шаблон появляется и/или исчезает, также контролируется Создателем Контента.
Фиг.2 представляет структуру с Фиг.1 в форме схемы последовательности операций. На левой стороне (A) представлен процесс, выполняемый Создателем Контента. На первом этапе 42 "Создать изображение заднего плана" Создатель Контента создает изображение (видео) заднего плана. Когда это изображение окончательно обрабатывается и публикуется, оно становится одним из задних планов, которые могут быть выбраны для взаимодействия Создателем-Потребителем (конечным пользователем). На втором этапе 44 "Выбрать соответствующий шаблон" Создатель Контента выбирает подходящий шаблон, который наилучшим образом представляет объект внутри кадра шаблона, например, фигуру целиком, среднюю часть, среднюю часть крупным планом. В добавление, доступные шаблоны, которые соответствуют формату изображения (4:3, 16:9 или другие подходящие пропорции видео/изображения, как описано ниже со ссылкой на Фиг.8 и 9). На третьем этапе 46 "Метаданные" Создатель Контента предоставляет и/или выбирает метаданные (при их доступности), описывающие позицию объекта изображения заднего плана и камеры, моменты съемки и/или поле обзора в течение съемки изображения заднего плана. Это может быть выполнено посредством различных доступных способов, таких как отслеживание камеры и объекта в реальном масштабе времени, данные камеры/анимации для программного обеспечения компьютерной графики, программное отслеживание камеры/объекта или визуальный контроль (см. Фиг.3). Следует понимать, что качество окончательных результатов обычно повышается путем предоставления метаданных. На четвертом этапе 48 "Ввести информацию высоты" Создатель Контента может предоставить опциональную информацию о высоте объекта, что позволяет программному обеспечению автоматически регулировать положение и масштаб изображения переднего плана на основании введенной высоты. На пятом этапе 50 "Разместить, отмасштабировать, определить моменты появления/исчезновения и синхронизировать шаблон" Создатель Контента размещает и масштабирует шаблон для каждого кадра камеры в соответствующей позиции, чтобы наилучшим образом обеспечивать соответствие креативному видению создателя контента, например, в части корректной перспективы изображения заднего плана и того, как и когда шаблон должен появляться и исчезать. При необходимости, Создатель Контента синхронизирует данные камеры с перемещением камеры изображения заднего плана, чтобы обеспечить синхронное воспроизведение добавленного изображения переднего плана с изображением заднего плана. Очевидно, что если позиция камеры статична, то, по существу, в синхронизации нет необходимости. Тем не менее, если камера перемещается, потребуется синхронизация, чтобы вставленный шаблон отслеживал движения камеры. Синхронизация также требуется, если изображение переднего плана должно отслеживать объект в изображении заднего плана. На последнем шестом этапе 52 "Опубликовать", когда Создатель Контента удовлетворен полученным видео, оно публикуется, чтобы обеспечить доступность изображения заднего плана и метаданных для конечного пользователя и создателя изображения переднего плана. Как упомянуто выше, публикация может включать в себя распространение посредством любых средств, таких как сеть Интернет, 3G, CD-диски или DVD-диски.
На правой стороне (B) Фиг.2 показан общий процесс, выполняемый Создателем-Потребителем. На первом этапе 54 "Выбрать изображение заднего плана для взаимодействия" Создатель-Потребитель выбирает видео/изображение заднего плана из доступного контента на своем вычислительном устройстве. Этот выбор определяется интересами Создателя-Потребителя и типом активности, которую готов предпринять Создатель-Потребитель. На втором этапе 56 "Привести в соответствие шаблону" Создатель-Потребитель регулирует камеру/изображение переднего плана так, чтобы изображение пользователя на видео/статическом изображении переднего плана соответствовало выбранному шаблону. Следует напомнить, что финальное видео 30 содержит шаблоны, предлагаемые Создателем Контента для обеспечения идеального кадрирования объекта внутри шаблона, например, целого тела. Тем не менее, в случае, если объект невозможно согласовать с рекомендуемым шаблоном, например, из-за ограниченного пространства в доме пользователя, конечный пользователь может выбрать шаблон, который наилучшим образом подходит к изображению, которое может быть захвачено его устройством создания изображения. На третьем этапе 58 "Опционально предоставить информацию высоты" Создатель-Потребитель может ввести высоту объекта, тем самым позволяя программному обеспечению 38 корректно отмасштабировать и автоматически подогнать объект в сцене, сохраняя корректное отношение высоты, установленное Создателем Контента. Например, если Создатель Контента формировал шаблон на основе человека ростом 6 футов, а объект имеет рост только 5 футов, то программное обеспечение автоматически отрегулирует размер и позицию шаблона, чтобы сохранить точку контакта с полом и отношение роста. Как описано выше, информация высоты используется в течение перемещения камеры, чтобы сохранить реалистичные отношения размера. Тем не менее, если Создатель Контента рекомендует определенные шаблоны, такие как средний план, то введенная информация высоты может не использоваться, поскольку если более низкий объект будет отмасштабирован, то часть этого объекта появится вне границ экрана.
На четвертом этапе 60 "Опциональная рирпроекция" Создатель-Потребитель (то есть конечный пользователь) имеет выбор либо наложить видео переднего плана на видео 30, оставляя его полностью непрозрачным, или подвергнуть видео переднего плана рирпроекции с использованием различных доступных способов, таких как хроматическая рирпроекция, которая удаляет цвет заднего плана позади и вокруг объекта, и заменяет его изображением заднего плана. Очевидно, что практически во всех случаях будет использована рирпроекция, поскольку она производит более реалистичную иллюзию. Тем не менее, если шаблон используется для наложения рекламы, то непрозрачность изображения (с опцией прозрачности) во многих случаях будет корректна, и конечный пользователь не будет иметь возможности изменения. Наложение также эффективно, если процессом предусмотрены прямые нарезки, например, монолог в фильме, где есть прямые нарезки между полноэкранным изображением Создателя-Потребителя и полноэкранным изображением героя фильма. На пятом этапе 62 "Опциональная окраска" конечный пользователь получает выбор окрасить корректное изображение переднего плана, чтобы обеспечить более точное соответствие цветам заднего плана. Например, это применимо в случаях, где задний план снят черно-белым, и конечный пользователь также делает видео переднего плана черно-белым, или когда изображение заднего плана было снято на закате или рассвете и имеет очень теплый цветовой баланс, и в этом случае изображение переднего плана должно быть в более теплых тонах, чтобы совпадать с задним планом.
На шестом этапе 64 "Опциональное позиционирование/масштабирование изображения переднего плана" конечный пользователь имеет выбор переместить, отмасштабировать и обрезать изображение переднего плана вокруг заднего плана, например, чтобы переместить себя в более выделяющуюся позицию. Это может выходить за рамки креативного видения Создателя Контента и может создать креативное видение для конечного пользователя. На седьмом этапе 66 "Установить таймер задержки видео/аудио" Создатель-Потребитель/конечный пользователь имеет опциональную возможность задержать начало видео и аудио изображения заднего плана. Это может быть использовано, например, для обеспечения десятисекундной задержки, чтобы успеть подготовиться к взаимодействию с видео 30 контентом, и также чтобы обеспечить синхронность между действиями переднего плана и заднего плана. На восьмом этапе 68 "Индивидуализация" конечный пользователь имеет возможность отобразить на экране имена или другой контент как накладываемую графику, например, текст, рисунки или видео. Это похоже на добавление видимого цифрового "водяного знака" к видео, чтобы идентифицировать источник, например, имя автора и т.п. На девятом этапе 70 "Взаимодействовать/записать процесс", после того как пользователь удовлетворен всеми настройками и взаимодействием изображения переднего плана/заднего плана, результирующее видео 40 сохраняется и распространяется. Во многих случаях видео 30 заднего плана от Создателя Контента остается в вычислительном устройстве конечного пользователя, что позволяет конечному пользователю любое количество раз репетировать и взаимодействовать. Тем не менее, если видео 30 заднего плана является прямой потоковой передачей, то конечный пользователь может взаимодействовать только в течение этого вещания. В любой момент времени конечный пользователь может записать результаты взаимодействия, чтобы иметь возможность воспроизвести эти результаты позже. На десятом этапе 72 "Опционально записать, отредактировать и по отдельности скомпоновать аудио и видео потоки" конечный пользователь может записать изображение 22 заднего плана и изображение 34 переднего плана и их соответствующие видео и аудио файлы по отдельности. Это обеспечивает больше гибкости и управления для конечного пользователя, чтобы улучшить качество композиции, в особенности в части синхронизации аудио и видео файлов, совпадения цвета и рирпроекции. На одиннадцатом этапе 82 "Завершить/опубликовать" конечный пользователь записывает взаимодействие и создает видео файл, доступный для воспроизведения. Далее, конечный пользователь может загрузить результат для его просмотра другими, включая, но не ограничиваясь перечисленным, распространение в сети Интернет и через мобильные телефоны. Пользователь также может записать результат на другой носитель, такой как DVD-диск.
Система согласно изобретению также может быть использована для других целей, таких как реклама. Основные этапы соответствуют этапам, которые описаны выше. Фиг.6 представляет собой некую версию Фиг.1, адаптированную для рекламы. На этапе 28 отображаются формы шаблонов, чтобы более эффективно вмещать формы продуктов и рекламные сообщения. Очевидно, что если вовлечены дикторы, то используются "человеческие" шаблоны, как на Фиг.1. Другие этапы соответствуют описанию с Фиг.1, за исключением того, что в этом случае Создатель-Рекламодатель создает видео переднего плана и предоставляет его конечному пользователю для композиции видео потоков.
Фиг.7 представляет собой иллюстрацию процесса (Фиг.2), сконфигурированного для рекламы. Когда целью Создателя Контента или Правообладателя является публикация конечному пользователю только для целей просмотра, например, когда шаблон представляет продакт-плейсмент или рекламу, опубликованный создателем контента файл с метаданными 46 делается доступным для рекламодателей, которые могут "купить" рекламное пространство шаблона. В этом случае создатель-рекламодатель создает изображение 55 переднего плана и публикует 74 результат для Конечного Пользователя (потребителя). Далее, это изображение переднего плана включается в состав метаданных, замещая "элемент-заполнитель" шаблона от создателя контента. Данный шаблон является лишь справкой и ориентиром/"элементом-заполнителем" для других пользователей. В случае рекламодателя, восприятие конечным пользователем может отличаться в зависимости от места, демографических показателей, возраста, пола и другой подходящей информации о потребителе, или в зависимости от контента в видео/изображении заднего плана от создателя контента. Это позволяет создавать "на лету" "специальную" и динамическую рекламу, которая точно совпадает с демографическими показателями, например, посредством веб-страницы. Этот способ также можно использовать для гибкого продакт-плейсмента в важных медиа-изданиях. Например, в фильме "Бэтмен - Темный Рыцарь" компании Warner Bros на одной из афиш в Готам Сити (в фильме) может отображаться реклама Coke для зрителей в Америке, и реклама Nike для зрителей в Европе; девушки будут видеть рекламный контент, который отличается от рекламного контента, наблюдаемого юношами, и т.п. То же самое применимо к очень талантливым любителям, видеозаписи которых просматриваются миллионы раз в сети Интернет. С помощью настоящего изобретения они могут продавать рекламное пространство в своих личных видео и/или фото, и, например, созданное потребителем видео о своей собаке может привлечь рекламодателей корма для собак.
Создатели контента и правообладатели могут продавать пространство шаблона "персонализированной" рекламы в своем собственном контенте, который соответствует их креативному видению, и, таким образом, получать доход путем разделения прибыли. Это позволяет им контролировать выбор рекламодателей, также то, когда, где и как появляется реклама в их контенте. Это увеличит возможности получения дохода на рынках, которые ранее были недоступны. Аудитория (потребители) могут смотреть контент без рекламных пауз, но с встроенной рекламой, которая ненавязчива и не нарушает просмотр. Потребители могут бесплатно смотреть контент с оплаченной рекламой, зная, что создатели контента сами креативно разместили рекламу и получают доход, когда потребители смотрят этот контент. Это делает данный способ рекламы приемлемым для потребителей и зрителей. Рекламодатели и благотворительные организации получают выгоду от лучшей видимости, когда реклама являет собой креативную часть контента. Они могут настроить рекламу под целевую, персонализированную аудиторию путем использования в рекламе языковых вариаций, свойственных определенным местоположениям. Таким образом, они могут обеспечить присутствие на рынках, которые ранее были недоступны.
Рекламодатели могут включать в состав своих сообщений гиперссылки, тем самым позволяя конечному пользователю выполнять щелчок на рекламе, в результате которого открывается новое окно с сообщением от рекламодателя. Рекламодатели также могут включать в состав своих сообщений Систему Связи Ближнего Радиуса Действия (Near Field Communication, NFC), которая осуществляет связь с устройствами отображения и, таким образом, позволяет пользователям выполнять доступ и получать из рекламы, например, информацию, подарки или возможности покупки. По сути, настоящее изобретение позволяет получать рекламу независимо от того, где находится файл создателя контента. Например, если Создатель Контента загрузил контент с метаданными через сервис Youtube, то этот видео контент с метаданными также будет доступен в сервисе Facebook, когда файл внедряется каким-либо пользователем на свой сайт Facebook. Таким образом, реклама следует за файлом, независимо от места размещения последнего.
Например, для этого могут выполняться следующие этапы:
1. Создать онлайн базу данных для рекламодателей, в которой должны зарегистрироваться и пройти утверждение рекламодатели, включая любых людей, которые хотят что-либо продать или прокомментировать. Также могут зарегистрироваться благотворительные организации. Как часть данного процесса, рекламодатели заполняют анкету с указанием целевой аудитории, включая такие данные как:
A. Местоположение (США, Европа, Мой Город и т.п.);
B. Демографические показатели (возраст, пол и т.п.);
C. Онлайн история потребителя (история поисков, привычки и т.п.);
D. Ключевые слова (собака, танцы, музыка, 80-ые и т.п.);
E. Дополнительные факторы и их комбинации.
После этого рекламодатель создает, по меньшей мере, одну рекламу для каждого шаблона. Программное Обеспечение Конечного Пользователя автоматически выберет и получит/загрузит рекламу, которая удовлетворяет критериям создателя контента и создателя-рекламодателя.
Далее, реклама вместе с метаданными, включающими в себя гиперссылки, данные об отображении шаблона и целевой аудитории, загружается. Далее, для рекламодателей создаются ценовые предложения. Например, но не ограничиваясь перечисленным: 100 долларов США за 1000 посещений и/или просмотров; 900 долларов США за 10000 посещений и просмотров; 8000 долларов США за 100000 посещений и просмотров и 70000 долларов США за 1000000 посещений и просмотров. Таким образом, рекламодатели получают возможность отслеживания посещений и выбора только одного создателя контента при желании.
2. Создать онлайн сервер для создателей контента (и/или OEM-продуктов для таких компаний, как Youtube, Facebook, MySpace и т.п.). Создатели контента должны зарегистрироваться и пройти аутентификацию. Создатели контента тогда получают собственный канал контента, а также денежный счет, такой как счет PayPal. Создатели контента также должны заполнить анкету. Они указывают, следует ли Разрешить/Запретить Целевых Рекламодателей и Благотворительные Организации. Рекламодатели и благотворительные организации разделяются на несколько категорий:
Благотворительные организации:
A. Права детей;
B. Права животных;
C. Против наркотиков и алкоголя;
D. Против курения;
E. Сохранение тропического леса;
F. Дополнительные категории.
Рекламодатели:
A. Машины;
B. Электромобили;
C. Лекарства;
D. Дети;
E. Еда/напитки;
6. Здоровье;
7. Политика;
8. Дополнительные категории.
Далее, загружается контент, включающий в себя изображение/видео с метаданными (целевой рекламодатель, данные камеры/объекта, свойства масштабирования, позиции, шаблона и т.п.). Для создателей контента создаются ценовые предложения. Например, но не ограничиваясь перечисленным: прибыль равна 50% от 35 долларов США за 1000 посещений и просмотров. Данная модель основана на разделении Прибыли. Создатели Контента будут иметь возможность отслеживания своих посещений и выбора только одного рекламодателя.
Рекламная база данных предоставляет возможность для больших и малых рекламодателей, например, от международных брендов до локальных магазинов и артистов, настраивать на основе демографических параметров рекламные сообщения под конкретные онлайн компьютеры и IP-адреса на рынке. База данных контента позволяет создателям контента и правообладателям динамически и автоматически продавать и лицензировать одно и то же пространство рекламного шаблона разным клиентам в любом регионе. Потенциальная рентабельность инвестиций для правообладателей существенно увеличивается путем обеспечения новых возможностей продаж на рынках, которые ранее были недоступны. Рентабельность инвестиций также увеличивается путем предложения рекламодателям целевой и настроенной службы, которая специфична для каждого конкретного рынка и которая обеспечивает лучшие результаты, чем обычные маркетинговые подходы.
Поскольку данная модель основана на разделении прибыли, настоящее изобретение может предоставить возможность создателям контента дать разрешение создателям-потребителям использовать охраняемый авторскими правом материал в их медиа-произведениях, в результате чего создатель контента и правообладатель получают прибыль. Например, потребитель может использовать конкретную песню, права на которую принадлежат известному музыканту, в своем медиа-произведении.
Например, только эти этапы могут включать в себя:
Как часть процесса заполнения анкеты относительно авторских прав создатели-потребители/создатели контента/правообладатели заполняют следующие данные:
A. Являетесь ли Вы правообладателем данного контента? Да или нет?
B. Если да - продолжить загрузку.
C. если нет - принадлежат ли Вам права на часть этого контента? Например, изображения или аудио.
C.a. Если нет - кому принадлежать права?
C.a.i. Известно ли Вам, что правообладатель этого контента имеет право на всю прибыль, создаваемую этим контентом, и может запросить эту прибыль или ее часть?
C.a.ii. Если да - продолжить загрузку.
C.a.iii. Если нет - Извините, но Вы не можете загрузить этот контент из-за нарушений авторских прав.
C.b. Если да - Какой частью контента Вы владеете и кто владеет правом на другую часть?
C.b.i. Известно ли Вам, что правообладатель этого контента имеет право на всю прибыль, создаваемую этим контентом, и может запросить эту прибыль или ее часть?
C.b.ii. Если да - продолжить загрузку.
C.b.iii. Если нет - Извините, но Вы не можете загрузить этот контент из-за нарушений авторских прав.
Как описано выше, метаданные 24 Создателя Контента, которые могут способствовать более реалистичному финальному результату, могут быть получены несколькими разными путями. На Фиг.3 представлены этапы в четырех наиболее обычных способах получения этих метаданных 24. На Фиг.3A используется способ Отслеживания Камеры в Реальном Масштабе Времени. На первом этапе 76 предоставляется аппаратное обеспечение отслеживания камеры, чтобы генерировать данные камеры в течение съемки. Камера может быть снабжена либо механическими кодерами по всем осям движения, либо оптическими кодерами, которые получают данные со всех осей движения. Все оси движения включают в себя информацию поля обзора/фокусного расстояния линзы, позиционные данные X, Y и Z, а также ротационные данные X, Y и Z. Существует несколько доступных систем, которые могут считывать и записывать данные камеры и ее связанного оборудования. На втором этапе 78, данные транслируются компьютерным устройством, которое распознает эти данные и создает виртуальную копию камеры в реальном масштабе времени. Способы отслеживания в реальном масштабе времени позволяют получать трехмерную информацию с камеры, чтобы обеспечить возможность вставки виртуальных объектов (например, изображения переднего плана) в реально отснятый материал с корректной позицией, масштабом, ориентацией и движением относительно снимаемых объектов в заданной сцене. Эти решения известны как системы виртуального набора, которые часто используются в индустрии вещаний. Изображение заднего плана может передаваться в прямом эфире путем потоковой передачи, которая включает в себя отдельную передачу данных камеры, чтобы создать интерактивное вещание с компоновкой переднего плана/заднего плана в реальном масштабе времени. На третьем этапе 80 метаданные камеры сохраняются вместе с кадром в виде метаданных 24, и они становятся доступными для интерактивного процесса в любой момент после съемки.
Та же идея применяется в отслеживании объекта в реальном масштабе времени, где метаданные получаются путем так называемой системы захвата движения, в которой данные 78 отслеживания камеры и объекта, включая позиционные данные и ротационные данные xyz, получаются из оптических и механических систем в реальном масштабе времени, а также систем распознавания шаблона и систем GPS. Данные объекта сохраняются и делаются доступными 80.
На Фиг.3B показано использование способа Программного Отслеживания Камеры путем Движения с Совпадением. На первом этапе 82 создается и сохраняется изображение заднего плана. Далее, на втором этапе 84 данные камеры генерируются из информации в изображении заднего плана посредством программного обеспечения, которое распознает и вычисляет позиции пикселей в видеоизображении и создает данные камеры на основе этого способа распознавания образа. На сегодняшний день этот способ является общепринятым способом отслеживания камеры, и он используется во многих фильмах-блокбастерах. Существует несколько компаний, предлагающих решения в этой области, которые также называют движением с совпадением. Инструменты движения с отслеживанием позволяют экстраполировать трехмерную информацию из двумерной фотографии, чтобы обеспечить возможность вставки виртуальных объектов (например, изображения переднего плана) в реально отснятый материал с корректной позицией, масштабом, ориентацией и движением относительно снимаемых объектов в заданной сцене. Далее, на последнем этапе 86 созданные метаданные 24 камеры сохраняются. Что касается программного отслеживания объекта, то программное обеспечение 84 экстраполирует двумерную и/или трехмерную информацию с движущихся объектов в изображении 82 заднего плана путем распознавания и вычисления позиций пикселей объекта в видеоизображении. Далее, созданные данные 86 объекта сохраняются.
На Фиг.3C проиллюстрирован способ Программного Обеспечения Компьютерной Графики. Здесь, на первом этапе 88 программное обеспечение Компьютерной Графики используется, чтобы создать Видео 30 Создателя Контента. В течение второго этапа 90 данные объекта и/или камеры генерируются путем анимации объектов и/или виртуальной камеры в программном обеспечении компьютерной графики. Изображение заднего плана либо формируется в видео, либо формируется в реальном масштабе времени, например, как компьютерная игра. Если оно формируется как видео, то данные объекта и/или камеры сохраняются в отдельности на третьем этапе 92 для использования в процессе композиции/взаимодействия. Если изображение 22 заднего плана является компьютерной игрой, то конечный пользователь управляет движениями камеры, и программное обеспечение вставляет объект/изображение переднего плана, где создатель контента специфицировал шаблон. Например, шаблон может быть использован для замены лица компьютерного героя на Вашу собственную фотографию или Ваш собственный аватар, или используется для произвольной рекламы в игре.
На Фиг.3D проиллюстрирован способ "Визуального контроля". Визуальный контроль часто используется в сочетании с отслеживанием камеры в реальном масштабе времени и программным отслеживанием камеры, если совпадение, сгенерированное посредством этих решений, недостаточно для работы. В постпроизводстве часто используется визуальный контроль, чтобы уточнить данные камеры, и это в особенности эффективно при программном отслеживании, если в течение снятия кадра камера использовала масштабирование. На первом этапе 94 производится видеоизображение заднего плана. Далее, на втором этапе 96 используется визуальный контроль, чтобы создать или усовершенствовать метаданные. В нашем случае визуальный контроль может быть использован Создателем Контента, чтобы привести шаблон в соответствие с кадром заднего плана, когда нет доступных данных объекта или камеры. Создатель Контента сделает это путем перемещения и масштабирования шаблона в наиболее подходящую креативную позицию заднего плана, или в наиболее корректную перспективу на заднем плане, придерживаясь креативного видения Создателя Контента. На третьем этапе 98 полученные метаданные записываются как Метаданные 24 Создателя Контента.
Создатель-Потребитель имеет возможность выбора альтернативного шаблона, если камера и объект не могут быть скомпонованы так, чтобы объект вмещался в шаблон. Примером этого может быть случай, когда создатель контента специфицировал шаблон, который представляет кадр крупным планом (Фиг.4A), тогда как Создатель-Потребитель с доступным устройством создания изображения может обеспечить только кадр среднего плана (Фиг.4B). В этом случае, Создатель-Потребитель может выбрать шаблон среднего плана и вставить в него упомянутый объект. Тогда программное обеспечение 38 позиционирует видеоизображение так, чтобы оно находилось в положении исходного шаблона, однако, в этом случае только часть исходного шаблона может быть заполнена изображением переднего плана. Остальная часть останется пустой, как показано на Фиг.4C. Поскольку часть объекта "плавающего в пространстве" нарушит иллюзию того, что объект потребителя фактически присутствует в видео 30 Создателя Контента, весь видео кадр будет обрезан, чтобы удалить затененную область, показанную на Фиг.4C.
Отношение между высотой объекта и шаблоном описано ниже, со ссылкой на Фиг.5. При создании файла, с которым может работать Создатель-Потребитель, Создатель Контента выбирает шаблон, в который Создатель-Потребитель будет вставлять объект видео 34 переднего плана. Например, когда Создатель Контента выбирает шаблон, который представляет человека, он может специфицировать, чтобы шаблон представлял человека ростом шесть футов. Если Создатель Контента специфицирует высоту, которую представляет шаблон, то Создатель-Потребитель также может специфицировать высоту для своего объекта, чтобы сохранить правильное отношение высоты с задним планом. Если бы объект имел высоту пять футов, то полигон шаблона переднего плана не совпал бы, и потребовалось бы уменьшить его размер. Допустим, что Создатель Контента разместил шаблон в своем проекте, и в программном обеспечении фактическая высота шаблона составляла четыре графические единицы. Если Создатель Контента специфицировал, что шаблон представляет человека ростом шесть футов, то каждая внутренняя графическая единица будет равна 1,5 фута. Если Создатель-Потребитель ввел, что объект имеет рост пять футов, то полигон переднего плана будет отмасштабировать до 3,333 единиц по высоте. Отношение высот корректно сохраняется, поскольку полигон шаблона переднего плана масштабируется от точки контакта с полом или от верхушки объекта, а не от его центра.
Фиг.5 представляет собой иллюстрацию деталей того, как Создатель Контента и Создатель-Потребитель (конечный пользователь) используют информацию относительно физического размера (высоты) объектов в их соответствующих видео. Процесс, используемый Создателем Контента, показан в левой части Фиг.5A. На первом этапе 104 "Позиционировать и масштабировать шаблон" Создатель Контента выбирает подходящий шаблон, который наилучшим образом представляет объект в кадре изображения, например, фигуру целиком, средний план или крупный план. Далее, Создатель Контента вмещает шаблон в задний план путем перемещения, масштабирования и синхронизации, и, во многих случаях, определяет соответствующую точку контакта с полом. На втором этапе 106 "Указать высоту" Создатель Контента должен указать высоту объекта, если точка контакта с полом видна. Например, если Создатель Контента работает с музыкальным видео, и музыкант имеет рост шесть футов, то можно выбрать подходящий шаблон и указать, что высота составляет шесть футов. Схематично это показано в блоке 110. Если точка контакта с полом не видна в видео, например, при кадрах крупным планом, то может потребоваться ввести информацию высоты, чтобы вместить объект. В заключение, на третьем этапе 108 "Опубликовать" Создатель Контента передает в программное обеспечение 26 информацию о том, что шаблон основан на объекте высотой шесть футов.
Действия на правой стороне Фиг.5 выполняются Создателем-Потребителем. На первом этапе 116 "Вставить объект в шаблон" Создатель-Потребитель пытается установить камеру таким образом, чтобы вместить видео объект (предпочтительно, самого себя) в рекомендуемый шаблон. Если это ему удается, то процесс переходит к третьему этапу 120. Однако конечному пользователю может не удастся вместить объект в предлагаемый шаблон из-за ограниченного пространства в доме, характеристик камеры или других факторов. Если вместить шаблон не удается, то на втором этапе 118 "Выбрать другой шаблон" Создатель-Потребитель перебирает ряд шаблонов, пока он не выберет подходящий. Выбирается шаблон, который наиболее точно описывает способности локального устройства 32 создания изображения, например, сравнивается шаблон крупного плана с шаблоном, где представляется тело целиком. Само собой разумеется, этот этап 118 также может включать в себя изменение позиции/угла/линзы камеры, чтобы обеспечить соответствие выбранному шаблону. На четвертом этапе 120 "Если точка контакта с полом видна", в программное обеспечение 38 вводится высота объекта. Это схематически показано в блоке 112, где объект имеет высоту пять футов. Элемент 114 иллюстрирует отношение между исходным шестифутовым шаблоном и пятифутовым объектом изображения 34 переднего плана. Без сведений о высоте объекта программное обеспечение 38 отмасштабировало бы объект как шестифутовый, в результате чего пятифутовый объект выглядел бы непропорционально. Благодаря вводу информации высоты Создателем-Потребителем программное обеспечение автоматически отмасштабирует, выполнит позиционирование и поместит шаблон, чтобы сохранить отношение высоты, то есть объект будет выглядеть как пятифутовый объект рядом с шестифутовым музыкантом. В заключение, на четвертом этапе 122 "Опубликовать" финальное видео 40 отобразит объект, корректно расположенный на экране на основе ввода высоты от Создателя Контента и Создателя Потребителя. Программное обеспечение 38 математически отрегулирует масштаб и позицию изображения 34 переднего плана, чтобы сохранить корректное отношение высоты.
На Фиг.8 проиллюстрировано использование шаблонов для сохранения точных пропорций видео переднего плана, когда формат изображение и отношение сторон шаблона известны как создателю контента, так и создателю-рекламодателю. Когда формат изображения доступен от создателя контента и используется создателем-рекламодателем, изображение, созданное рекламодателем, не искажается и согласуется как с видением создателя контента, так и с видением создателя-рекламодателя. Например, если создатель контента загрузил смешное видео и думает, что это видео можно продать рекламодателям, то программное обеспечение предоставляет возможность выбрать шаблон, который описывает формат изображения, необходимый для точного представления контента рекламодателя в изображении 22 заднего плана создателя контента.
На Фиг.8A показан процесс, выполняемый создателем контента. На первом этапе 170 "Выбрать, позиционировать и масштабировать шаблон" создатель контента выбирает шаблон, который в наибольшей степени соответствует его креативному видению, например, квадрат, прямоугольник или круг. Далее, создатель контента вмещает шаблон в изображение заднего плана путем перемещения, масштабирования, синхронизации и, во многих случаях, определяет, как, когда и где шаблон должен появляться и исчезать с экрана. На втором этапе 172 "Указать отношение сторон", создатель контента должен указать пропорции изображения используемого шаблона. Тем не менее, во многих случаях эта информация делается доступной посредством файла 30 данных создателя контента без необходимости ввода этой информации создателем контента. Это обусловлено тем, что программное обеспечение 26 Создателя Контента обеспечивает конкретное количество доступных шаблонов, где формат изображения для каждого шаблона определяется предварительно и, следовательно, уже известен создателю-рекламодателю. Это схематически показано на этапе 176, где создатель контента выбрал шаблон с соотношением сторон 8×1. В заключение, на этапе 174 "Опубликовать" создатель контента передает рекламодателю эту информацию, указывающую, что данный шаблон основан на отношении сторон 8×1.
Действия на правой стороне Фиг.8B выполняются создателем-рекламодателем. На первом этапе 182 "Создать изображение переднего плана" создатель-рекламодатель создает и готовит рекламу для каждой пропорции шаблона, которая доступна в программном обеспечении 26 создателя контента и, следовательно, уже известна создателю-рекламодателю. Когда программное обеспечение создателя-рекламодателя находит (используя множество критериев поиска, таких как демографические показатели) доступный контент, с которым следует ассоциировать продукт рекламодателя, программное обеспечение Создателя Контента обеспечивает возможность сразу, динамически и автоматически выбрать изображение переднего плана с соответствующими демографическими характеристиками и идентичным отношением сторон шаблона, используемого этим создателем контента. Во многих случаях Создатели-Рекламодатели имеют множество уже подготовленных версий, основанных на разных размерах шаблона. На втором этапе 184 "Опубликовать" создатель-рекламодатель публикует свою рекламу, делая ее доступной для отображения в видео Создателя Контента для просмотра 40 конечными пользователями. Третий этап 186 "Искажение" подчеркивает важность шаблона с тем же форматом изображения, что и изображение переднего плана. Это имеет место тогда, когда шаблон и изображения переднего плана имеют идентичные отношения сторон. Конечный пользователь (аудитория) видит изображение переднего плана, которое не искажено и которое соответствует креативному видению Создателя Контента и Создателя-Рекламодателя. Это схематически показано в блоках 178, 180A, 180B и 180C. В блоке 176 создатель контента выбрал шаблон с отношением сторон 8×1. В блоке 178 Создатель-Рекламодатель создал два изображения переднего плана - одно с соотношением сторон 8×1 и второе с соотношением сторон 1×1. На этапе 180A видно, что изображение переднего плана идеально вмещается в шаблон, выбранный Создателем Контента, и оба имеют идентичное соотношение сторон 8×1. На этапе 180B и 180C видно, что Создатель-Рекламодатель выбрал изображение с отношением сторон 1×1, которое должно вместиться в выбранный Создателем Контента шаблон с соотношением сторон 8×1. Существует два способа, по которым система может обработать это изображение переднего плана. В блоке 180B это изображение растянуто и искажено, чтобы вместиться в границы шаблона, хотя это не соответствует намерению и креативному видению Создателя-Рекламодателя. В блоке 180C изображение переднего плана сохранило пропорции согласно видению рекламодателя, однако оно отличается от креативного видения Создателя Контента. Следовательно, как описано со ссылкой на этап 186, когда шаблон и изображение переднего плана имеют идентичные отношения сторон, наблюдатель/конечный пользователь видят изображение переднего плана, которое не искажено и которое согласуется с креативным видением Создателя Контента и Создателя-Рекламодателя.
Использование информации высоты и формата изображения описано со ссылкой на Фиг.9. Допустим, Создатель Контента создал компьютерную игру и предлагает множеству пользователей принять в ней участие в роли самих себя. Создатель Контента создает двумерных или трехмерных компьютерных героев на основе обычных людей, от детей до взрослых, от азиатов до европеоидов. Далее, Создатель-Потребитель может выбрать героя, который наилучшим образом описывает его, вводит свой рост и загружает свое изображение. Далее герой-шаблон пропорционально приводится в соответствие с высотой Создателя-Потребителя относительно других игроков, а изображение по умолчанию, используемое для лица героя-шаблона, заменяется лицом Создателя-Потребителя. Следовательно, другие игроки фактически будут видеть очень хорошее представление Создателя-Потребителя.
На Фиг.9A проиллюстрированы действия создателя-контента. На первом этапе 190 "Создать, выбрать, позиционировать и масштабировать" создатель контента создает компьютерного героя. В фигуре этого компьютерного героя создатель контента выбирает, позиционирует и масштабирует подходящее изображение, используемое для лица этого героя, и преобразует его в "элемент-заполнитель", в который другие могут вставить свои изображения. На втором этапе 192 "Указать высоту" Создатель Контента указывает и определяет высоту этого героя по умолчанию, как схематично показано на этапе 198. На третьем этапе 194 "Предоставить информацию отношения сторон" создатель контента предоставляет информацию об отношении сторон, используемом для лица шаблона, а также о том, каким образом следует вместить в шаблон лицо, как схематически показано в блоке 202. На четвертом этапе 196 "Опубликовать" создатель контента публикует эту информацию и делает ее доступной для Создателя-Потребителя.
На Фиг.9B проиллюстрированы действия Создателя-Потребителя. На первом этапе 208 "Ввести высоту объекта" Создатель-Потребитель вводит свой рост, как схематически показано на этапе 200. На втором этапе 210 "Создать изображение переднего плана" Создатель-Потребитель согласует отношение сторон шаблона "лица", а также положение своего лица внутри шаблона, как схематически показано в блоке 204. В случае, когда Создатели-Потребители используют свой трехмерный аватар (сгенерированное посредством компьютера лицо), могут потребоваться действительные размеры головы, основанные на фактических измерениях. Например, если высота имеет 10 дюймов в высоту и 7 дюймов в ширину, то эта информация должна быть специфицирована Создателем Контента и предоставлена Создателем-Потребителем, чтобы избежать искажения в конечном результате. Также важно гарантировать, чтобы масштабирование объекта выполнялось с корректной точки обзора. Например, для продакт-плейсмента, где шаблон представляет объект, сидящий на столе, может потребоваться разместить на столе бутылку колы. В этом случае масштабирование выполняется от точки контакта с полом, как описано выше. На третьем этапе 212 "Опубликовать" Создатель-Потребитель публикует информацию, как схематически показано на этапе 206. Отношение этого компьютерного героя пользователя соответствует Вашему герою "реального мира" относительно других игроков в игре.
Существует множество способов "публикации" информации. Во-первых, программное обеспечение 26 Создателя Контента и программное обеспечение потребителя/конечного пользователя должны быть написаны на одном языке программирования (или совместимых языках), и они должны быть доступны всем. Тем не менее, язык программирования может отличаться в зависимости от желаемого результата. Например, в одном случае, где потребитель/конечный пользователь может видеть и слышать себя и взаимодействует с другими лицами в видео контенте, то для наилучшего результата с трехмерной совместимостью упомянутое программное обеспечение может быть написано, но не ограничивается перечисленным, посредством комбинации C++, языка графического программирования (OpenGL или Direct3D) и языка программирования для воспроизведения медиа-контента. В простой двумерной версии, содержащей два или более слоев видеоинформации, может быть возможным использовать только Adobe Flash. Это наилучшим образом подходит для рекламы внутри видео, поскольку в настоящее время большинство онлайн видео-служб используют Adobe Flash. В примере игр и генерируемых компьютером героев возможно использовать доступные игровые движки, такие как Quest3D и Unity3D, или построить приложение с нуля, используя комбинацию C++ и графики (OpenGL или Direct3D) или openFrameworks. Финальный файл 30 данных Создателя Контента, как упомянуто выше, может включать в себя, но не ограничивается перечисленным, видео и аудио, информацию шаблона, данные положения, информацию высоты и формата изображения. Существует несколько форматов для видео, таких как Adobe Flash, AVI, H.264, Theora, Silverlight, HTML5 и Mpeg4, а также несколько форматов для аудио, например, Ogg Vorbis, Mp3 и Aiff. Аналогично, другие данные, такие как данные камеры и данные шаблона, могут иметь различные текстовые форматы и могут быть написаны в разных форматах кодирования, включая html, xml, Flash, ASCII, двоичный формат и т.п. Тем не менее, крайне важно, чтобы все эти разные форматы взаимодействовали и были понятны друг другу. Компания, например, веб-сайт или дистрибьютор, которые получает все загружаемое контент, может преобразовывать разные видео и аудио формы от Создателей Контента в формат по их выбору для улучшения общего процесса.
Рассмотрим процесс согласованной публикации трех примеров. Допустим, что они распространяются конечному пользователю для онлайн доступа к файлам. В первом случае мы говорим о способности конечного пользователя/Создателя-Потребителя взаимодействовать посредством нескольких простых этапов с видео контентом Создателя Контента. Допустим, Создатель Контента публикует видео с аудио, которое также содержит перемещения камеры. Создатель Контента удовлетворен результатами тестов, синхронизировал данные с видео и готов к публикации. Опубликованный файл ссылается на данные камеры и рекомендуемый шаблон. Далее, эти файлы загружаются на Интернет-сервер. Создатель-Потребитель может перебирать ряд видео файлов путем изучения их миниатюрных представлений, выполнять поиск посредством меток и ключевых слов, выполнять поиск на основе последнего просмотренного видео, последнего добавленного видео и видео с наибольшим рейтингом. Тем не менее, в нашем случае файл, который загружается, содержит не только видео с аудио, но также ссылки на информацию, необходимую для взаимодействия с этим видео. Программное обеспечение Создателя-Потребителя загружает или получает потоковым методом видео и аудио, а также файл данных камеры и информацию шаблона. Наиболее удобным способом выполнения этого является выполнение щелчка на миниатюрном изображении видео, в результате которого выполняется ссылка и начинается загрузка текстового файла, который включает в себя или ссылается на информацию шаблона, данные камеры, ссылку на место видео файлов и файлов изображения, а также всю информацию, которую Создатель Контента предоставил для реализации его креативного видения. Этот текстовый файл распределяет соответствующие файлы в соответствующие места в программном обеспечении конечного пользователя. Например, файл видео с аудио может быть найден, например, по адресу, www.thisinteractivecompanyserver.com/videos/thisvideo.video. Эти URL-адресы являются фиктивными примерами для иллюстрации того, каким образом информация может быть упорядочена для Интернет-доступа. Сверх того, этот файл может включать в себя или ссылаться на данные камеры. Если в файле есть ссылка на фактические данные, то последние могут быть найдены по адресу www.thisinteractivecompanyserver.com/cameradata/thiscameradata.text. Данные камеры, если они входят в состав или на них есть ссылка, могут быть применены к программному обеспечению Создателя-Потребителя следующим образом: один элемент строки равен одному кадру видео. Каждый элемент строки содержит информацию о перемещениях камеры по каждому кадру и может быть отделен запятой или точкой с запятой, например, "номер кадра, позиция X, позиция Y, позиция Z, вращение X, вращение Y, вращение Z и поле обзора (фокусное расстояние)". Создатель Контента уже синхронизировал и опубликовал данные камеры вместе с видео, и программному обеспечению Создателя-Потребителя, следовательно, известно, какой элемент строки в данных камеры соответствует какому кадру в видео, и применяется к виртуальной камере программного обеспечения Создателя-Потребителя. Кроме того, поскольку программное обеспечение Создателя Контента и программное обеспечение Создателя-Потребителя уже включают в себя набор шаблонов, которые одинаковы для обоих, тестовый файл должен включать в себя только ссылку на шаблон, который рекомендован Создателем Контента. Это может быть выполнено путем присвоения каждому шаблону уникального номера, например, номер (1) соответствует самому крупному плану, а номер (7) соответствует самому дальнему плану. В добавление, текстовый файл включает в себя информацию о том, как, когда и где шаблон должен появиться в шаблоне. Например, если камера перемещается, может быть достаточным предоставить информацию о масштабе и положении шаблона только один раз на кадр. Это может быть описано в текстовом файле, где каждый элемент строки соответствует новому кадру, и каждый элемент строки включает в себя, но не ограничивается перечисленным, "номер кадра, позицию X, позицию Y, позицию Z, вращение X, вращение Y, вращение Z и поле обзора (фокусное расстояние)" шаблона. В добавление, программное обеспечение применит свое собственное масштабирование и позиционирование на основе информации высоты, заданной Создателем Контента и Создателем-Потребителем, на что в текстовом файле может быть ссылка как "Высота равна в футах: 6'3" или в сантиметрах: 185". Программное обеспечение Создателя Контента и программное обеспечение Создателя-Потребителя включают в себя одинаковые способности для применения цветов и рирпроекции к изображению. То же самое применимо к, например, видео и аудио задержке, при необходимости.
В примерах с Рекламодателем, видео файл и файл данных камеры может обрабатываться тем же образом, что и для первого случая. Здесь также возможно, что шаблон будет следовать позиции объекта в добавление или без движения камеры, например, афиша на такси, которое находится в движении. Схожим образом, файл данных объекта можно найти, например, по адресу www.thisinteractivecompanyserver.com/objectdata/ thisobjectdata.text. Данные объекта, если они включены в состав или на них есть ссылка с загруженного файла Создателя Контента, могут быть применены к программному обеспечению Создателя-Потребителя следующим образом: один элемент строки равен одному кадру видео. Каждый элемент строки содержит информацию о перемещениях объекта по каждому кадру и может быть отделен запятой или точкой с запятой, например, "номер кадра, позиция X, позиция Y, позиция Z, вращение X, вращение Y, вращение Z". Создатель Контента уже синхронизировал и опубликовал данные объекта вместе с видео, и программному обеспечению Создателя-Потребителя, следовательно, известно, какой элемент строки в данных объекта соответствует какому кадру в видео, и оно применяется к объекту шаблона Создателя-Потребителя. Кроме того, поскольку программное обеспечение Создателя Контента и программное обеспечение конечного пользователя уже включают в себя набор шаблонов, которые одинаковы для обоих, тестовый файл должен включать в себя только ссылку на шаблон, который используется Создателем Контента, что обеспечивается простым образом путем их обозначения, например, как 1×1, 8×1, 4×3 или 16×9. В этом случае для Создателя-Рекламодателя может не потребоваться доступ к программному обеспечению 38 Создателя-Рекламодателя, за исключением целей тестирования. Причина заключается в том, что все может быть автоматизировано после того, как Создатель Контента загружает файл 30 данных Создателя Контента. Это обеспечивается в результате того, что Создатель Контента загружает файл со ссылкой на конкретный файл в конкретной папке на сервере. Этот "элемент-заполнитель" постоянно вытягивает/получает следующий доступный контент из папки на конкретном сервере. Например, www.thisadveitisinqcompanyseiver.com/advertising/ mypreferredadvertisers/imaqeformat8x1/available/nextfile.jpq. Эта папка, которая может находиться на сервере рекламной компании, постоянно обновляется новым контентом. Это может быть контент от компании Coca Cola или контент от благотворительной организации.
Если этот шаблон может принимать форматы JPEG, PNG и Adobe Flash (.flv), то инструкция заключается в замене "элемента-заполнителя" шаблона первым, случайным или структурированным контентом из упомянутой папки. Во многих случаях этого будет достаточно для Создателя-Рекламодателя, чтобы загрузить одну рекламу на каждый шаблон в каждой рекламной компании. Рекомендуемым форматом пикселя будет "HD ready", что означает, что Качество рисунка сообщения должно идеально подходить для просмотра в формате HD. Когда сообщение отображается в контенте в других форматах, отличных от HD, например, iPhone, Youtube или разрешениях и форматах SD, система автоматически конвертирует и передаст корректный формат пикселя в отображаемое контент. Конвертация в другой формат может происходить сразу после загрузки рекламы, чтобы обеспечить совместимость с популярными известными форматами и чтобы эти файлы после этого были автоматически доступны в любом месте. Само собой разумеется, что рекламодатель может купить только определенное количество посещений и просмотров для конкретной рекламной компании, и после достижения желаемого количества посещений рекламная компания попытается согласовать еще одну сделку для еще одной рекламной компании или удалит файлы из этой папки. Производители продуктов или благотворительные организации могут ассоциировать свои продукты или цели на основе определенного количества разных категорий, например, места, демографических показателей, возраста и пола, ключевых слов, наибольшего числа просмотров, наивысшего рейтинга и т.п. Аналогично, Создатель Контента может решить не ассоциироваться с определенными продуктами и организациями, например, путем выделения или удаления соответствующий опций в анкете. Далее, это превратится в информацию метаданных, которая будет включена в состав представительских метаданных. Настоящее изобретение создает огромные возможности для благотворительных организаций, поскольку Создатель Контента может выбрать опцию, согласно которой рекламироваться будет некая благотворительная организация, если никто другой не купит рекламное пространство. Кроме того, Создатель Контента может решить, что для каждой пятидесятой рекламы, показанной в его контенте, одна должна быть для рекламы благотворительной организации по выбору создателя контента.
В дополнительном примере Создатель-Потребитель/конечный пользователь участвует в роли самого себя (или того, кого он выбрал) в компьютерной игре путем выбора игрового героя (шаблона), ввода информации роста и загрузки своего изображения на основании формата изображения шаблона, рекомендованного Создателем Контента. В силу природы некоторых компьютерных игр, программное обеспечение не считывает то, что Вы не видите. Это означает, что если игрок находится в определенном месте в игре, то некоторые элементы, которые находятся очень далеко и вне поля зрения, могут не учитываться, в результате чего по ходу игры на эти элементы не тратится вычислительная мощность. Обычно это обозначают термином Уровень Детализации (Level of Detail, LOD), Дискретный Уровень Детализации (Discrete Level of Detail, DLOD) и Иерархический Уровень Детализации (Hierarchical Level of Detail, HLOD). Программному обеспечению известно, когда следует загружать необходимые графически элементы, и это часто основано на вероятности появления этих элементов в поле зрения. Поскольку игра содержит ограниченное количество компьютерных героев (шаблонов), которые используются снова и снова, важно, чтобы герой конкретного игрока однозначно идентифицировался, когда этот герой находится в игре. Аналогично способу, используемому для загрузки графики, которая может появиться в поле зрения, программное обеспечение может загрузить изображение игрока в вычислительные устройства оппонентов, когда этот игрок приближается к их полю зрения. Изображение шаблона игрока может однозначно идентифицироваться с логином игрока, и оно может находиться, например, по адресу www.thisgamecompany.com/thisgame/ thischaracter/thisface/myimage.jpg. Аналогично, обеспечивается возможность автоматического соединения игрока и его выбранных оппонентов через VoIP или Интернет-чата. Это может быть обеспечено, когда герои находятся близко друг к другу (например, в диапазоне шести футов/двух метров) и они согласны принимать сообщения от других. Например, создатель контента/игровая компания может создать VoIP-зону, на основе фактический измерений в игре.
Следующая формула изобретения должна интерпретироваться как включающая в себя то, что конкретно проиллюстрировано и описано выше, то, что концептуально эквивалентно, то, что можно очевидным образом заменить, а также то, что, по существу, использует основную идею настоящего изобретения. Специалистам в данной области техники будет очевидно, что в рамках объема настоящего изобретения могут быть сконфигурированы различные адаптации и модификации вышеописанного предпочтительного варианта осуществления. Проиллюстрированный вариант осуществления был приведен только для целей примера, а не ограничения настоящего изобретения. Соответственно, следует понимать, что в рамках объема прилагаемой формулы изображения, настоящее изобретение может быть реализовано другим способом, отличным от описанного выше.
| название | год | авторы | номер документа |
|---|---|---|---|
| ФРЕЙМВОРК ПРИЕМА ВИДЕО ДЛЯ ПЛАТФОРМЫ ВИЗУАЛЬНОГО ПОИСКА | 2017 |
|
RU2720536C1 |
| ОБНАРУЖЕНИЕ ОБЪЕКТОВ ИЗ ЗАПРОСОВ ВИЗУАЛЬНОГО ПОИСКА | 2017 |
|
RU2729956C2 |
| НЕЛИНЕЙНАЯ ИНТЕРАКТИВНАЯ ВИДЕОНАВИГАЦИЯ | 2004 |
|
RU2338331C2 |
| РАСПРОСТРАНЕНИЕ ПРЕМИАЛЬНОГО КОНТЕНТА СО СПОНСОРСТВОМ РЕКЛАМИРОВАНИЯ | 2009 |
|
RU2477889C2 |
| СПОСОБ ЭЛЕКТРОННОЙ КОММЕРЦИИ ЧЕРЕЗ ОБЩЕСТВЕННУЮ ВЕЩАТЕЛЬНУЮ СРЕДУ | 2020 |
|
RU2754199C1 |
| СПОСОБ И СИСТЕМА ДЛЯ АВТОМАТИЧЕСКОГО ОПРЕДЕЛЕНИЯ НЕЧЕТКИХ ДУБЛИКАТОВ ВИДЕОКОНТЕНТА | 2018 |
|
RU2677368C1 |
| СИСТЕМА И СПОСОБЫ ДЛЯ ФОРМИРОВАНИЯ СЦЕНОВЫХ СТАБИЛИЗИРОВАННЫХ МЕТАДАННЫХ | 2014 |
|
RU2627048C1 |
| ЦЕЛЕВАЯ РЕКЛАМА, ГЕНЕРИРУЕМАЯ ПОЛЬЗОВАТЕЛЕМ | 2010 |
|
RU2531863C2 |
| СПОСОБ И СИСТЕМА ДЛЯ ПОДДЕРЖКИ ТОРГОВ В ЭЛЕКТРОННОЙ СЕТИ | 2010 |
|
RU2504839C2 |
| КОНТЕЙНЕРНОЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ ВИРУСНОГО КОПИРОВАНИЯ ИЗ ОДНОЙ КОНЕЧНОЙ ТОЧКИ В ДРУГУЮ | 2012 |
|
RU2604670C2 |
Изобретение относится к системам предоставления видео контента. Техническим результатом является обеспечение возможности реализовать взаимодействие по схеме видео-в-видео/изображение-в-изображении с прямым эфиром, локально сохраненными видео файлами, компьютерными играми и видеоконференциями. Результат достигается тем, что формируют видео контент заднего плана, приводят в действие первую программу программного обеспечения, чтобы вставить, по меньшей мере, один шаблон в видео контент заднего плана, тем самым создавая первый видео контент, причем упомянутый, по меньшей мере, один шаблон представляет собой элемент-заполнитель для вставки второго видео контента, применяют устройство захвата изображения, чтобы захватить изображение объекта в качестве второго видео контента, причем размеры упомянутого изображения объекта соответствуют упомянутому, по меньшей мере, одному шаблону в первом видео контенте и используют вторую программу программного обеспечения, чтобы вставить изображение объекта из второго видео контента в первый видео контент посредством замены упомянутого, по меньшей мере, одного шаблона, тем самым формируя финальный видео контент, при этом упомянутое изображение объекта выглядит как часть видео контента заднего плана. 14 з.п. ф-лы, 9 ил.
1. Способ создания финального видеоконтента посредством автоматической вставки изображения объекта в, по меньшей мере, один шаблон видеоконтента заднего плана, содержащий этапы, на которых:
формируют видеоконтент заднего плана;
приводят в действие первую программу программного обеспечения, чтобы вставить, по меньшей мере, один шаблон в видеоконтент заднего плана, тем самым создавая первый видеоконтент, причем упомянутый, по меньшей мере, один шаблон представляет собой элемент-заполнитель для вставки второго видеоконтента;
применяют устройство захвата изображения, чтобы захватить изображение объекта в качестве второго видеоконтента, причем размеры упомянутого изображения объекта соответствуют упомянутому, по меньшей мере, одному шаблону в первом видеоконтенте; и
используют вторую программу программного обеспечения, чтобы вставить изображение объекта из второго видеоконтента в первый видеоконтент посредством замены упомянутого, по меньшей мере, одного шаблона, тем самым формируя финальный видеоконтент, при этом упомянутое изображение объекта выглядит как часть видеоконтента заднего плана.
2. Способ по п.1, дополнительно содержащий этап, на котором распространяют упомянутый первый видеоконтент.
3. Способ по п.1, дополнительно содержащий этап, на котором распространяют упомянутый второй видеоконтент.
4. Способ по п.1, в котором упомянутое изображение объекта является изображением переднего плана в финальном видеоконтенте, а видеоконтент заднего плана представляет собой задний план финального видеоконтента.
5. Способ по п.1, в котором упомянутое изображение объекта является изображением заднего плана в финальном видеоконтенте, а видеоконтент заднего плана представляет собой передний план финального видеоконтента.
6. Способ по п.1, в котором на этапе формирования используют физические устройства захвата изображения, чтобы сформировать изображение физических объектов.
7. Способ по п.1, в котором на этапе формирования используют виртуальные устройства захвата изображения, чтобы сформировать изображение объектов, созданных программным обеспечением.
8. Способ по п.1, в котором этап приведения в действие программы содержит этап, на котором вставляют множество шаблонов в видеоконтент заднего плана, чтобы сформировать первый видеоконтент.
9. Способ по п.1, дополнительно содержащий этап, на котором добавляют метаданные к первому видеоконтенту, причем метаданные описывают позиционную информацию устройств захвата изображения, используемых при формировании видеоконтента заднего плана.
10. Способ по п.1, дополнительно содержащий этап, на котором добавляют метаданные к первому видеоконтенту, причем метаданные описывают позиционную информацию, информацию о времени или размере упомянутого, по меньшей мере, одного шаблона.
11. Способ по п.1, в котором этап использования содержит этап, на котором предоставляют метаданные, описывающие позиционную информацию устройства захвата изображения на этапе применения.
12. Способ по п.1, в котором этап использования содержит этап, на котором предоставляют метаданные, описывающие высоту или размер упомянутого объекта.
13. Способ по п.1, в котором этап использования дополнительно содержит этап, на котором выбирают один шаблон, если первый видеоконтент содержит множество шаблонов.
14. Способ по п.1, в котором изображение объекта представляет собой видеоизображение.
15. Способ по п.1, дополнительно содержащий этап, на котором распространяют финальный видеоконтент.
| WO 2005076618 A1, 18.08.2005 | |||
| WO 2007035558 A2, 29.03.2007 | |||
| US 2007283236 A1, 06.12.2007 | |||
| US 2007101267 A1, 03.05.2007 | |||
| СИСТЕМА ДИСПЛЕЯ | 1991 |
|
RU2119187C1 |
