СПОСОБ СЪЕМКИ И ОТОБРАЖЕНИЯ ЗРЕЛИЩНОГО МЕРОПРИЯТИЯ И ПОЛЬЗОВАТЕЛЬСКИЙ ИНТЕРФЕЙС ДЛЯ ОСУЩЕСТВЛЕНИЯ СПОСОБА Российский патент 2016 года по МПК G06F13/00 H04N7/173 

Предлагаемое изобретение относится к мобильным терминалам связи, а также к иным домашним пользовательским устройствам, обеспечивающим отображение транслируемого аудиовизуального ряда.

В настоящее время известны и достаточно широко используются пользовательские устройства воспроизведения, обеспечивающие отображение на экране нескольких визуальных полей, каждое из которых обеспечивает отображение какой-либо самостоятельной информации или же информации из одного и того же источника в различных ракурсах. Таким образом, пользователь может видеть на экране трансляции событий из различных мест, трансляцию событий с текстовыми или визуальными комментариями и т.п. Пример подобного решения приведен в заявке в патентное ведомство Японии JP 2004228699, опубликованной 12.08.2004 и выбранной в качестве ближайшего аналога предлагаемого способа и реализующего способ пользовательского устройства воспроизведения. В заявке JP 2004228699 на стороне сервера осуществляется объединение нескольких потоков видеоинформации и соответственно объединение одной или нескольких аудиодорожек, что обеспечивает пользователя описанной выше трансляцией, отображенной на нескольких полях экрана пользователя. Однако при осуществлении описанной в JP 2004228699 трансляции не предусмотрена синхронизация изображений в канале передачи друг относительно друга, задача синхронизации изображений перекладывается на пользовательское устройство, то есть очевидна вероятность сбоев при трансляции разнородных потоков информации в особенности при нестабильных параметрах канала передачи или изменения параметров трансляции со стороны пользователя. В итоге, описанные выше недостатки не позволяют использовать известную из JP 2004228699 технологию, при трансляциях зрелищных мероприятий с установленным сценарием, то есть спектаклей и т.п. Дополнительно следует отметить, в случае же использования решения по заявке JP 2004228699 для получения изображений на дисплеях мобильных терминалов связи из-за небольшого размера дисплея невозможно осуществить эффективное переключение с одного ракурса на другой. В свою очередь предлагаемые способ и пользовательский интерфейс позволят устранить упомянутые недостатки.

Технический результат заявленного изобретения заключается в обеспечении качественной передачи информации по нестабильным каналам за счет синхронизации нескольких видеоизображений, относящихся к зрелищному мероприятию с заданным сценарием, при этом полоса пропускания для нескольких видеоизображений и звука будет меньше, чем для информации передаваемой раздельно. Ожидаемый технический результат будет достигнут при использовании предложенного способа съемки и отображения зрелищного мероприятия, а также при использовании пользовательского интерфейса для осуществления способа.

Предложен способ съемки и отображения зрелищного мероприятия. То есть предложен способ съемки и отображения мероприятия: спектакля либо иного сценического произведения, массового театрального действа, кинопостановки и т.п., осуществляемого по заданному сценарию с участием персонажей (групп персонажей), согласно данному сценарию (то есть с персонажами в количестве необходимом для его осуществления зрелищного мероприятия). При осуществлении способа одновременно получают аудиовизуальную информацию от, по меньшей мере, двух источников (видеокамер), обеспечивающих получение видеоизображения и звука, относящихся к, по меньшей мере, одному зрелищному мероприятию. Полученную аудиовизуальную информацию передают от указанных источников на пользовательское устройство воспроизведения в едином потоке с обеспечением ее синхронизации и объединением кадров исходных изображений зрелищного мероприятия. Организуют прием аудиовизуальной информации, по меньшей мере, одним пользовательским устройством воспроизведения с разделением аудиовизуальной информации на составляющие, соответствующие источнику, обеспечившему упомянутое получение видеоизображения и звука. Формируют, по меньшей мере, два поля аудиовизуального ряда на экране указанного пользовательского устройства воспроизведения, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника, с одновременной возможностью пользовательской корректировки параметров аудиовизуального ряда. При этом отображают каждого из персонажей, по меньшей мере, одного зрелищного мероприятия на отдельном участке экрана пользовательского устройства воспроизведения, то есть каждому из персонажей зрелищного мероприятия выделяется «свой», «персональный» экран. Помимо самостоятельных одиночных персонажей на отдельном экране может быть отображена группа взаимосвязанных друг с другом персонажей.

Зритель может просматривать все участки экрана одновременно. Также зритель может просматривать выбранный участок экрана, открытый во весь растр, при отображении в поле зрения зрителя прочих участков экрана в уменьшенных размерах. Предпочтительно, что количество участков экрана пользовательского устройства воспроизведения меньше или равно девяти. Предложенный способ может быть реализован при прямой трансляции, например при телевизионной трансляции на домашнее пользовательское устройство. В другом случае предложенный способ реализуется при записи на материальный носитель с последующей трансляцией с данного материального носителя. Также предложенный способ может быть реализован при трансляции на мобильный терминал связи. При трансляции на мобильный терминал на его экране может быть сформировано поле аудиовизуального ряда, отображающего для пользователя аудиовизуальную информацию, полученную от, по меньшей мере, одного из источников такой информации. Одновременно формируют, по меньшей мере, одно поле аудиовизуального ряда, закрытое от взгляда пользователя маской графических примитивов. Пользователь (зритель) выполняет необходимую смену аудиовизуального ряда, доступного взгляду, при воздействии пользователя на интерфейс мобильного терминала связи.

Пользовательский интерфейс обеспечивает трансляцию зрителю зрелищного мероприятия, согласно описанному выше способу и, предпочтительно, будет представлять собой интерфейс мобильного терминала связи, например, типа iPhоnе или iPad.

Таким образом, предложен комплекс технических средств, обеспечивающих проведение полиэкранного видеоспектакля (видеопостановки, видеофильма) либо аналогичного зрелищного мероприятия, осуществляемого в соответствии с заданным сценарием (правилами), при котором каждый персонаж или группа персонажей представлены на отдельном участке экрана («персональном» экране). Всего таких экранов одновременно может быть представлено до девяти (в оптимальном варианте). Как и пояснено выше, зритель может смотреть все персональные экраны персонажей одновременно или выбирать любой из них, и тогда выбранный экран открывается во весь растр, а остальные экраны присутствуют в поле зрения смотрящего в уменьшенных размерах. Предложенный способ может быть использован как при прямой трансляции, так и при тиражировании на материальных носителях, интерфейс которых позволяет производить выбор определенного экрана для просмотра.

Описанное выше техническое решение может быть осуществлено следующим образом (с использованием следующего неисключительного {открытого} перечня вариантов технических средств).

Вариант 1 (домашнее пользовательское устройство воспроизведения)

Пользовательское устройство воспроизведения 1: настольный или переносной персональный компьютер, программируемый терминал мобильной связи, подключаемый к проводной или же беспроводной сети, а также различные бытовые или специализированные мультимедийные устройства (телевизоры, мультимедийные приставки и т.п.) обеспечивают прием аудиовизуальной информации от нескольких источников 2₁…2_n. Такими источниками в подавляющем большинстве случаев будут видеокамеры, отображающие персонажей зрелищного мероприятия, а также дополнительные устройства, обеспечивающие получение фотографических изображений, текстовой информации, независимой звуковой информации и т.п. Источники 2₁…2_n аудиовизуальной информации и пользовательское устройство воспроизведения 1 связаны друг с другом через канал двусторонней связи 3. В канале связи 3 выделяется отдельный модуль по объединению видеоизображений. Полученная итоговая последовательность сформированных кадров представляет собой видеоизображение, которое в дальнейшем сжимается с помощью стандартных видеокодеков и передается по каналу двусторонней связи. За счет объединения кадров исходных видеоизображений и использования особенностей кодирования видеоизображений стандартными алгоритмами достигается экономия требуемой полосы пропускания, а также самосинхронизация изображений друг относительно друга на этапе формирования видеоизображения, до попадания в передающий тракт. Для приема аудиовизуальной информации в пользовательском устройстве 1 выделен соответствующий компонент 1 ч, в качестве которого может быть использован модем, декодер и т.п. Компонент 12 пользовательского устройства 1 обеспечивает разделение аудиовизуальной информации на составляющие, соответствующие своему источнику 2₁…2_n. В качестве этого компонента 1₃ может быть использован участок памяти, выделенный под соответствующее программное обеспечение, встроенный энергонезависимый блок. Компонент 1₃ пользовательского устройства 1 обеспечивает формирование на дисплее 4 пользовательского устройства 1 нескольких полей 4₁…4_n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника 2₁…2_n. Интерфейс 1 обеспечивает пользовательскую корректировку параметров полей аудиовизуального ряда 4₁…4_n.

Решение может быть использовано при съемке зрелищного мероприятия, несколькими видеокамерами 2₁…2_n, от источников - видеокамер 2₁…2_n получают свой ракурс снимаемого события (с выделением и отслеживанием {например при движении камеры} персонажей для отображения на «персональном» экране), который, как может представлять интерес для зрителя, так может оказаться непривлекательным из-за неудачных условий съемки и т.п. Полученная аудиовизуальная информация от источников 2₁…2_n через двусторонний канал связи 3 передается на пользовательское устройство воспроизведение 1 или же на нужное число пользовательских устройств воспроизведения с обеспечением объединения изображений в соответствующем модуле и синхронизации информации, что обеспечивает качественную передачу информации по нестабильным каналам без занятия излишней полосы пропускания.

Формирование объединенного изображения осуществляется выделением каждого кадра из исходных видеоизображений и объединения их в один кадр путем пристыковки кадров исходных изображений друг к другу в определенном порядке. При этом выполняется выравнивание частоты смены кадров в исходных изображениях путем повтора кадров для источников с низкой кадровой частотой. В качестве исходного материала для формирования кадров нового видеоизображения могут быть статические или периодически обновляемые изображения (рисунки, графики). Также следует отметить, что в предложенном решении синхронизация изображений друг относительно друга выполняется до попадания в вещательный тракт, в отличие от известных средств, в которых синхронизация звука и видео осуществляется по меткам аудио/видео пакетов на стороне воспроизводящего устройства. Синхронизация со звуком осуществляется стандартным способом (по меткам). Если задержка в передающем тракте все-таки возникает, она одинаково распространяется сразу на все изображения, что не приводит к их рассинхронизации и не требует специальных мер по ее восстановлению - обратной синхронизации. Дополнительно следует отметить, что известные в настоящее время технологии обеспечивают самостоятельное кодирование нескольких видеоизображений, с дальнейшим их объединением в мультиплекс в виде отдельных потоков; существующие способы, обеспечивающие снижение требуемой полосы пропускания за счет взаимного учета параметров кодирования нескольких видеоизображений через обратную связь видеокодеров, эффективны только при кодировании несвязанных между собой и не требующих синхронизации друг относительно друга изображений, и не могут обеспечить требуемое качество передачи нескольких видеоизображений одного события.

Компонент 1₁ пользовательского устройства воспроизведения 1 обеспечивает прием аудиовизуальной информации. Компонент 1₂ обеспечивает разделение аудиовизуальной информации на составляющие, соответствующие источнику их получения. Таким образом, полученное из тракта видеоизображение преобразуется к формату, удобному для восприятия его пользователем, каждый кадр полученного видеоизображения разделяется на части в соответствии со способом объединения исходных кадров с источников. Порядок следования и количество объединяемых кадров может меняться от канала к каналу (от события к событию), но всегда одинаково на стороне формирования и стороне приема, что определяется форматом канала (события). Компонент 1₃ пользовательского устройства 1 обеспечивает формирование на его экране 4 нескольких полей 4₁…4_n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника. Таким образом, полученные части кадра объединяются в отдельные видеоизображения, каждая часть в свой поток, которые в дальнейшем воспроизводятся (4₁…4_n). Типовыми средствами пользовательского интерфейса 1₄ обеспечивается пользовательская корректировка параметров аудиовизуального ряда, пользователь может выбирать интересный для себя видеоряд, скрывая остальные, масштабировать видеоряды в соответствии со своими предпочтениями, ну и, конечно, осуществлять подстройку громкости звука.

Вариант 2 (мобильный терминал связи)

Под пользовательским устройством воспроизведения - мобильным терминалом связи 1 подразумевается программируемый терминал мобильной связи типа iPhone или iPad, подключаемый к сети связи и обеспечивающий прием аудиовизуальной информации от нескольких источников 2₁…2_n. Такими источниками в подавляющем большинстве случаев будут видеокамеры, отображающие зрелищное мероприятие в различных ракурсах (с выделением и отслеживанием {например при движении камеры} персонажей для отображения на «персональном» экране), а также дополнительные устройства, обеспечивающие получение фотографических изображений, текстовой информации, независимой звуковой информации и т.п. Источники 2₁…2_n аудиовизуальной информации и мобильный терминал связи 1 связаны друг с другом через канал двусторонней связи 3. В канале связи 3 выделяется отдельный модуль по объединению видеоизображений. Полученная итоговая последовательность сформированных кадров представляет собой видеоизображение, которое в дальнейшем сжимается с помощью стандартных видеокодеков и передается по каналу двусторонней связи. За счет объединения кадров исходных видеоизображений и использования особенностей кодирования видеоизображений стандартными алгоритмами достигается экономия требуемой полосы пропускания, а также самосинхронизация изображений друг относительно друга на этапе формирования видеоизображения, до попадания в передающий тракт. Для приема аудиовизуальной информации в пользовательском устройстве 1 выделен соответствующий компонент 1₁, в качестве которого может быть использован модем, декодер и т.п. Компонент 1₂ пользовательского устройства 1 обеспечивает формирование на его экране 4, по меньшей мере одного поля 4₁…4_n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника 2₁…2_n. В свою очередь не интересующие пользователя аудиовизуальные ряды закрываются маской графических примитивов, то есть маской, расположенной поверх потоков аудиовизуальной информации. Интерфейс 1₃ обеспечивает пользовательскую корректировку параметров полей аудиовизуального ряда 4₁…4_n, то есть переключение с одного интересующего пользователя поля на другое.

При съемке какого-либо зрелищного действия или мероприятия от каждого источника - видеокамеры 2₁…2_n получают свой ракурс снимаемого события, который, как может представлять интерес для зрителя, так может оказаться непривлекательным из-за неудачных условий съемки и т.п. Полученная аудиовизуальная информация от источников 2₁…2_n через двусторонний канал связи 3 передается на пользовательское устройство воспроизведение - мобильный терминал связи 1 или же на нужное число терминалов 1 с обеспечением объединения изображений в соответствующем модуле и синхронизации информации. Таким образом, обеспечивается качественная передача информации по нестабильным каналам без занятия излишней полосы пропускания.

Как и пояснено выше, формирование объединенного изображения осуществляется выделением каждого кадра из исходных видеоизображений и объединения их в один кадр путем пристыковки кадров исходных изображений друг к другу в определенном порядке. При этом выполняется выравнивание частоты смены кадров в исходных изображениях путем повтора кадров для источников с низкой кадровой частотой. В качестве исходного материала для формирования кадров нового видеоизображения могут быть статические или периодически обновляемые изображения (рисунки, графики). Также следует отметить, что в предложенном решении синхронизация изображений друг относительно друга выполняется до попадания в вещательный тракт, в отличие от известных средств, в которых синхронизация звука и видео осуществляется по меткам аудио/видео пакетов на стороне воспроизводящего устройства. Синхронизация со звуком осуществляется стандартным способом (по меткам). Если задержка в передающем тракте все-таки возникает, она одинаково распространяется сразу на все изображения, что не приводит к их рассинхронизации и не требует специальных мер по ее восстановлению - обратной синхронизации. Известные в настоящее время технологии обеспечивают самостоятельное кодирование нескольких видеоизображений, с дальнейшим их объединением в мультиплекс в виде отдельных потоков; существующие способы, обеспечивающие снижение требуемой полосы пропускания за счет взаимного учета параметров кодирования нескольких видеоизображений через обратную связь видеокодеров, эффективны только при кодировании несвязанных между собой и не требующих синхронизации друг относительно друга изображений, и не могут обеспечить требуемое качество передачи нескольких видеоизображений одного события.

Компонент 1₁ пользовательского устройства воспроизведения 1 обеспечивает прием аудиовизуальной информации. Порядок следования и количество объединяемых кадров может меняться от канала к каналу (от события к событию), но всегда одинаково на стороне формирования и стороне приема, что определяется форматом канала (события). Компонент 1₂ пользовательского устройства 1 обеспечивает формирование на его экране 4, по меньшей мере одного поля 4₁…4_n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника. При этом, по меньшей мере один, доступный взгляду пользователя аудиовизуальный ряд, интересующий пользователя, отображается на соответствующем ему поле, например поле, занимающем большую часть дисплея. В свою очередь, не интересующие пользователя аудиовизуальные ряды закрываются маской графических примитивов, то есть маской расположенной поверх потоков аудиовизуальной информации. Типовыми средствами пользовательского интерфейса 1_i обеспечивается пользовательская корректировка параметров аудиовизуального ряда, пользователь может выбирать интересный для себя видеоряд, скрывая остальные, масштабировать видеоряды в соответствии со своими предпочтениями, ну и, конечно, осуществлять подстройку громкости звука. Также производится смена положения и/или размера полей 4₁…4_n. Таким образом, обеспечивается переключение с одного ракурса на другой.

Изобретение относится к пользовательским устройствам для обработки видеоизображений. Технический результат заключается в качественной передаче видеоданных, полученных от нескольких источников, по нестабильным каналам за счет синхронизации этих видеоизображений. Способ съемки и отображения зрелищного мероприятия с участием персонажей в количестве, необходимом для его осуществления, и пользовательский интерфейс для осуществления способа предусматривают отображение каждого из персонажей либо группы взаимосвязанных друг с другом персонажей на отдельном участке экрана пользовательского устройства воспроизведения. Осуществляют прием аудиовизуальной информации, по меньшей мере, одним пользовательским устройством воспроизведения с разделением аудиовизуальной информации на составляющие, соответствующие источнику, обеспечившему упомянутое получение видеоизображения и звука и формирование, по меньшей мере, двух полей аудиовизуального ряда на экране указанного пользовательского устройства воспроизведения, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника, с одновременной возможностью пользовательской корректировки параметров аудиовизуального ряда. В качестве пользовательского устройства воспроизведения может быть выбран мобильный терминал связи типа iPhone или iPad. 2 н. и 9 з.п. ф-лы, 1 ил.

1. Способ съемки и отображения зрелищного мероприятия с участием персонажей в количестве, необходимом для его осуществления, предусматривающий:
одновременное получение аудиовизуальной информации от, по меньшей мере, двух источников, представляющих собой видеокамеры, обеспечивающих получение видеоизображения и звука, относящихся к, по меньшей мере, одному зрелищному мероприятию, при этом видеокамеры отражают мероприятие в различных ракурсах при движении камеры с выделением и отслеживанием персонажей,
передачу полученной аудиовизуальной информации от указанных источников на пользовательское устройство воспроизведения в едином потоке с обеспечением ее синхронизации и объединением кадров исходных изображений зрелищного мероприятия,
прием аудиовизуальной информации, по меньшей мере, одним пользовательским устройством воспроизведения с разделением аудиовизуальной информации на составляющие, соответствующие источнику, обеспечившему упомянутое получение видеоизображения и звука,
формирование, по меньшей мере, двух полей аудиовизуального ряда на экране указанного пользовательского устройства воспроизведения, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника, с одновременной возможностью пользовательской корректировки параметров аудиовизуального ряда,
с отображением каждого из персонажей, по меньшей мере, одного зрелищного мероприятия на отдельном участке экрана пользовательского устройства воспроизведения.

2. Способ по п. 1, отличающийся тем, что на отдельном экране отображают группу взаимосвязанных друг с другом персонажей.

3. Способ по п. 1, отличающийся тем, что зритель просматривает все участки экрана одновременно.
4 Способ по п. 1, отличающийся тем, что зритель просматривает выбранный участок экрана, открытый во весь растр, при отображении в поле зрения зрителя прочих участков экрана в уменьшенных размерах.

5. Способ по п. 1, отличающийся тем, что количество участков экрана пользовательского устройства воспроизведения меньше или равно девяти.

6. Способ по п. 1, отличающийся тем, что реализуется при прямой трансляции, например при телевизионной трансляции на домашнее пользовательское устройство.

7. Способ по п. 1, отличающийся тем, что реализуется при трансляции на мобильный терминал связи.

8. Способ по п. 7, отличающийся тем, что на экране мобильного терминала связи формируют поле аудиовизуального ряда, отображающего для пользователя аудиовизуальную информацию, полученную от, по меньшей мере, одного из источников такой информации,
при одновременном формировании, по меньшей мере, одного поля аудиовизуального ряда, закрытого от взгляда пользователя маской графических примитивов,
с необходимой сменой аудиовизуального ряда, доступного взгляду, при воздействии пользователя на интерфейс мобильного терминала связи.

9. Способ по п. 1, отличающийся тем, что реализуется при записи на материальный носитель с последующей трансляцией с данного материального носителя.

10. Пользовательский интерфейс, отличающийся тем, что обеспечивает трансляцию зрителю зрелищного мероприятия по любому из пп. 1÷10.

11. Пользовательский интерфейс по п. 10, отличающийся тем, что представляет собой интерфейс мобильного терминала связи, например, типа iPhone или iPad.