Предшествующий уровень техники
[0001] Система мультимедийной конференц-связи обычно позволяет множественным участникам связываться и совместно использовать различные типы медиа (аудио-визуального) контента при совместной работе и встрече в реальном времени по сети. Система мультимедийной конференц-связи может отображать различные типы медиа контента, используя различный графический пользовательский интерфейс (GUI) или виды. Например, один вид GUI может включать в себя видео изображения участников, другой вид GUI может включать в себя слайды презентации, еще один вид GUI может включать в себя текстовые сообщения между участниками и т.д. Таким образом различные географически разнесенные участники могут взаимодействовать и обмениваться информацией в среде виртуальной встречи, аналогичной физической среде встречи, где все участники находятся в пределах одной комнаты.
[0002] В виртуальной среде встречи, однако, может быть затруднительно идентифицировать различных участников встречи. Эта проблема обычно возрастает, когда увеличивается количество участников встречи, таким образом потенциально достигается беспорядок и неловкость среди участников. Методики, направленные на улучшение методик идентификации в виртуальной среде встречи, могут увеличить опыт и удобство пользователя.
Сущность изобретения
[0003] Различные варианты осуществления могут быть в общем направлены на системы мультимедийных конференц-связей. Некоторые варианты осуществления могут быть особенно направлены на методики автоматической идентификации участников для события мультимедийной конференц-связи. Событие мультимедийной конференц-связи может включать в себя множественных участников, некоторые из которых могут собраться в конференц-зале, в то время как другие могут участвовать в событии мультимедийной конференц-связи из удаленного местоположения.
[0004] В одном варианте осуществления, например, устройство может содержать компонент аннотации, основанный на контенте, работающий на прием списка участников, приглашенных к встрече для события мультимедийной конференц-связи. Компонент аннотации, основанный на контенте, может принимать множественные медиа (аудио-визуальные) потоки ввода от множественных консолей встречи. Компонент аннотации, основанный на контенте, может аннотировать медиа кадры каждого медиа потока ввода идентифицирующей информацией для каждого участника в пределах каждого медиа потока ввода для формирования соответствующего аннотированного медиа потока. Другие варианты осуществления описаны и заявлены.
[0005] Эта сущность изобретения предоставлена для введения выбора понятий в упрощенной форме, которые дополнительно описаны ниже в подробном описании. Эта сущность изобретения не предназначена для идентификации ключевых особенностей или существенных признаков заявленного объекта изобретения, и при этом она не предназначена для использования, чтобы ограничить область заявленного объекта изобретения.
Краткое описание чертежей
[0006] Фиг. 1 иллюстрирует вариант осуществления системы мультимедийной конференц-связи.
[0007] Фиг. 2 иллюстрирует вариант осуществления компонента аннотации, основанного на контенте.
[0008] Фиг. 3 иллюстрирует вариант осуществления сервера мультимедийной конференц-связи.
[0009] Фиг. 4 иллюстрирует вариант осуществления логического потока.
[0010] Фиг. 5 иллюстрирует вариант осуществления вычислительной архитектуры.
[0011] Фиг. 6 иллюстрирует вариант осуществления изделия.
Подробное описание
[0012] Различные варианты осуществления включают в себя физические или логические структуры, скомпонованные для выполнения некоторых операций, функций или служб. Структуры могут содержать физические структуры, логические структуры или их комбинации. Физические или логические структуры реализуются, используя элементы аппаратного обеспечения, элементы программного обеспечения или их комбинации. Описания вариантов осуществления с ссылкой на конкретные элементы аппаратного обеспечения или элементы программного обеспечения, однако, предназначаются в качестве примеров, а не ограничений. Решения использовать элементы аппаратного обеспечения или элементы программного обеспечения для реализации на практике вариантов осуществления зависят от многих внешних факторов, таких как желаемая вычислительная скорость, уровни мощности, теплостойкость, запас цикла обработки, скорости передачи данных ввода, скорости передачи данных вывода, ресурсы памяти, скорости шины данных, и других структур или ограничений производительности. Кроме того, физические или логические структуры могут иметь соответствующие физические или логические соединения для обмена информацией между структурами в форме электронных сигналов или сообщений. Соединения могут содержать проводные и/или беспроводные соединения в качестве подходящих для информации или конкретной структуры. Необходимо отметить, что любая ссылка на "один вариант осуществления" или "вариант осуществления" означает, что конкретный признак, структура или характеристика, описанная в соединении с вариантом осуществления, включается по меньшей мере в один вариант осуществления. Появления фразы "в одном варианте осуществления" в различных местах в спецификации не обязательно означает ссылку на одинаковые варианты осуществления.
[0013] Различные варианты осуществления могут в общем быть направлены на системы мультимедийной конференц-связи, скомпонованные для предоставления служб встречи и общих служб для множественных участников по сети. Некоторые системы мультимедийной конференц-связи могут быть разработаны для работы с различными сетями, основанными на пакетной передаче, такими как Интернет или Всемирная Паутина ("сеть"), для предоставления служб конференц-связи, основанных на сети. Такие реализации иногда называются системами web-конференции. Пример системы web-конференции может включать в себя MICROSOFT(R) OFFICE LIVE MEETING, разработанную Microsoft Corporation, Редмонд, Вашингтон. Другие системы мультимедийной конференц-связи могут быть разработаны для работы для частной сети, бизнеса, организации или предприятия, и могут использовать сервер мультимедийной конференц-связи, такой как MICROSOFT OFFICE COMMUNICATIONS SERVER, разработанный Microsoft Corporation, Редмонд, Вашингтон. Должно быть оценено однако, что реализации не ограничиваются этими примерами.
[0014] Система мультимедийной конференц-связи может включать в себя, помимо других элементов сети, сервер мультимедийной конференц-связи или другое устройство обработки, скомпонованное для предоставления службы web-конференции. Например, сервер мультимедийной конференц-связи может включать в себя, помимо других элементов сервера, компонент сервера встречи, работающий для управления и смешивания различных типов медиа (аудио-визуального) контента для участников встречи и событий совместной работы, таких как web-конференция. События встречи и общей работы могут ссылаться на любое событие мультимедийной конференц-связи, предлагающей различные типы мультимедийной информации в реальном времени или в «живой» среде в режиме он-лайн иногда упоминаются здесь просто как "событие встречи", "мультимедийное событие" или "событие мультимедийной конференц-связи".
[0015] В одном варианте осуществления система мультимедийной конференц-связи может дополнительно включать в себя один или более вычислительных устройств, реализованных как консоли встречи. Каждая консоль встречи может быть скомпонована для участия в мультимедийном событии посредством соединения с сервером мультимедийной конференц-связи. Различные типы медиа информации от различных консолей встречи могут быть приняты сервером мультимедийной конференц-связи во время мультимедийного события, которое в свою очередь распределяет медиа информацию на некоторые или все остальные консоли встречи, участвующие в мультимедийном событии. Как таковая, любая заданная консоль встречи может иметь дисплей с видами множественных медиа контентов различных типов медиа контента. Таким образом, различные географически распределенные участники могут взаимодействовать и обмениваться информацией в среде виртуальной встречи, аналогично физической среде встречи, где все участники располагаются в пределах одной комнаты.
[0016] В среде виртуальной встречи может быть трудно идентифицировать различных участников встречи. Участники события мультимедийной конференц-связи обычно перечисляются в виде GUI со списком участников. Список участников может иметь некоторую идентифицирующую информацию для каждого участника, включающую в себя имя, местоположение, изображение, название и т.д. Информация об участниках и идентифицирующая информация для списка участников, однако, обычно получается из консоли встречи, используемой для присоединения к событию мультимедийной конференц-связи. Например, участник обычно использует консоль встречи для присоединения к конференц-залу виртуальной встречи для события мультимедийной конференц-связи. Перед присоединением участнику предоставляются различные типы идентифицирующей информации для выполнения операций аутентификации в сервере мультимедийной конференц-связи. Как только сервер мультимедийной конференц-связи аутентифицирует участника, участнику разрешается доступ к конференц-залу виртуальной встречи, и сервер мультимедийной конференц-связи добавляет идентифицирующую информацию к списку участников. В некоторых случаях, однако, множественные участники могут собраться в конференц-зале и совместно использовать различные типы мультимедийного оборудования, подсоединенного к локальной консоли встречи для связи с другими участниками, имеющими удаленные консоли встречи. В силу того, что есть единственная локальная консоль встречи, единственный участник в конференц-зале обычно использует локальную консоль встречи, чтобы присоединиться к событию мультимедийной конференц-связи от имени всех участников в конференц-зале. Во многих случаях участник, использующий локальную консоль встречи, может не обязательно быть зарегистрирован в локальной консоли встречи. Следовательно, сервер мультимедийной конференц-связи, возможно, не имеет никакой идентифицирующей информации для любого из участников конференц-зала и поэтому не может обновить список участников.
[0017] Сценарий конференц-зала определяет дополнительные проблемы для идентификации участников. Список участников и соответствующая идентифицирующая информация для каждого участника обычно показывается в отдельном виде GUI от других видов GUI с мультимедийным контентом. Нет никакого прямого соответствия между участником из списка участников и изображением участника в потоковом видео контенте. Следовательно, когда видео контент для конференц-зала содержит изображения для множественных участников в конференц-зале, становится трудным установить соответствие между участником и идентифицирующей информации с участником в видео контенте.
[0018] Для разрешения этих и других проблем, некоторые варианты осуществления направлены на способы автоматической идентификации участников для события мультимедийной конференц-связи. Более конкретно, некоторые варианты осуществления направлены на способы автоматической идентификации множественных участников в видео контенте, записанном из конференц-зала. В одном варианте осуществления, например, устройство, такое как сервер мультимедийной конференц-связи, может содержать компонент аннотации, основанный на контенте, для приема списка приглашенных к встрече для события мультимедийной конференц-связи. Компонент аннотации, основанный на контенте, может принять множественные входные медиа потоки от множественных консолей встречи, один из которых может исходить из локальной консоли встречи в конференц-зале. Компонент аннотации, основанный на контенте, может аннотировать медиа кадры каждого входного медиа потока идентифицирующей информацией для каждого участника в пределах каждого входного медиа потока для формирования соответствующего аннотированного медиа потока. Компонент аннотации, основанный на контенте, может аннотировать, определять местонахождение или позиционировать идентифицирующую информацию в непосредственной близости к участнику в видео контенте, и перемещать идентифицирующую информацию, когда участник перемещается в пределах видео контента. Таким образом, методика автоматической идентификации может позволить участникам события мультимедийной конференц-связи с большей легкостью идентифицировать друг друга в виртуальном конференц-зале. В результате способ автоматической идентификации может улучшить возможности, масштабируемость, модульность, расширяемость или способность к взаимодействию для оператора, устройства или сети.
[0019] Фиг. 1 иллюстрирует блок-схему для системы 100 мультимедийной конференц-связи. Система 100 мультимедийной конференц-связи может представлять общую архитектуру системы, подходящей для реализации различных вариантов осуществления. Система 100 мультимедийной конференц-связи может содержать множественные элементы. Элемент может содержать любую физическую или логическую структуру, скомпонованную для выполнения некоторых операций. Каждый элемент может быть реализован как аппаратное обеспечение, программное обеспечение, или любая их комбинация, как предпочтительнее для данного набора параметров структуры или ограничений производительности. Примеры элементов аппаратного обеспечения могут включать в себя устройства, компоненты, процессоры, микропроцессоры, схемы, элементы схемы (например, транзисторы, резисторы, конденсаторы, катушки индуктивности, и т.д.), интегральные схемы, специализированные интегральные схемы (ASIC), программируемые логические устройства (PLD), цифровые сигнальные процессоры (DSP), программируемую пользователем вентильную матрицу (FPGA), блоки памяти, логические вентили, регистры, устройства полупроводники, элементы сигнала, микроэлементы сигнала, микропроцессорные наборы, и т.д. Примеры программного обеспечения могут включать в себя любые компоненты программного обеспечения, программы, приложения, компьютерные программы, прикладные программы, системные программы, машинные программы, программное обеспечение операционной системы, промежуточное программное обеспечение, программно-аппаратное обеспечение, модули программного обеспечения, стандартные программы, стандартные подпрограммы, функции, способы, интерфейсы, интерфейсы программного обеспечения, интерфейсы прикладного программирования (API), наборы команд, вычислительный код, компьютерный код, сегменты кода, сегменты компьютерного кода, слова, значения, символы или любую их комбинацию. Хотя система 100 мультимедийной конференц-связи, как показано на Фиг. 1, имеет ограниченное количество элементов в некоторой топологии, должно быть оценено, что система 100 мультимедийной конференц-связи может включать в себя больше или меньше элементов в дополнительной топологии, как желательно для данной реализации. Варианты осуществления не ограничены этим контекстом.
[0020] В различных вариантах осуществления система 100 мультимедийной конференц-связи может содержать или являться частью системы проводной связи, системы беспроводной связи или их комбинации. Например, система 100 мультимедийной конференц-связи может включать в себя один или более элементов, скомпонованных для передачи информации по одному или более типу проводной линии связи. Примеры проводной линии связи могут включать в себя, без ограничения, провод, кабель, шину, плату с печатной схемой (PCB), соединение Ethernet, одноранговое соединение (P2P), системную плату, коммутируемую сеть устройств, полупроводниковый материал, провод витой пары, коаксиальный кабель, волоконно-оптическое соединение, и т.д. Система 100 мультимедийной конференц-связи также может включать в себя один или более элементов, скомпонованных для передачи информации по одному или более типам линий беспроводной связи. Примеры беспроводных линий связи могут включать в себя, без ограничения, радио-канал, инфракрасный канал, радиочастотный канал (RF), канал технологии беспроводного доступа (WiFi), часть РЧ спектра и/или один или более лицензированных или нелицензированных диапазонов частот.
[0021] В различных вариантах осуществления система 100 мультимедийной конференц-связи может быть скомпонована для передачи, управления или обработки различных типов информации, таких как медиа информация и информация управления. Примеры медиа информации могут в общем включать в себя любые данные, представляющие контент, предназначенный для пользователя, такой как голосовая информация, видео информация, аудио информация, информация изображения, текстовая информация, числовая информация, информация приложения, алфавитно-цифровые символы, графика, и т.д. Медиа информация может также иногда называться «медиа контент». Информация управления может относиться к любым командам, представляющим данные, инструкциям или словам управления, предназначенными для автоматической системы. Например, информация управления может использоваться для маршрутизации медиа информации по системе для установки соединения между устройствами, выдачи команды устройству на обработку медиа информации заранее определенным способом и т.д.
[0022] В различных вариантах осуществления система 100 мультимедийной конференц-связи может включать в себя сервер 130 мультимедийной конференц-связи. Сервер 130 мультимедийной конференц-связи может содержать любой логический или физический объект, который скомпонован для установки, регулирования или управления вызовом мультимедийной конференц-связи между консолями 110-1-m встречи по сети 120. Сеть 120 может содержать, например, сеть с коммутацией пакетов, сеть с коммутацией каналов или их комбинацию. В различных вариантах осуществления сервер 130 мультимедийной конференц-связи может содержать или быть реализован как любое устройство обработки или вычислительное устройство, такое как компьютер, сервер, набор серверов или ферма серверов, рабочая станция, миникомпьютер, основной компьютер, суперкомпьютер и т.д. Сервер 130 мультимедийной конференц-связи может содержать или реализовывать общую или конкретную вычислительную архитектуру, подходящую для вычисления и обработки мультимедийной информации. В одном варианте осуществления, например, сервер 130 мультимедийной конференц-связи может быть реализован, используя вычислительную архитектуру, как описано со ссылкой на Фиг. 5. Примеры для сервера 130 мультимедийной конференц-связи могут включать в себя без ограничения MICROSOFT OFFICE COMMUNICATIONS SERVER, сервер MICROSOFT OFFICE LIVE MEETING и т.д.
[0023] Конкретная реализация для сервера 130 мультимедийной конференц-связи может изменяться в зависимости от набора протоколов или стандартов связи, которые должны использоваться для сервера 130 мультимедийной конференц-связи. В одном примере сервер 130 мультимедийной конференц-связи может быть реализован в соответствии с рядом стандартов и/или вариантов таких, как Internet Engineering Task Force (IETF), Multiparty Multimedia Session Control (MMUSIC) Working Group Session Initiation Protocol (SIP). SIP - это предложенный стандарт для инициирования, изменения и прекращения интерактивной пользовательской сессии, которая содержит мультимедийные элементы, такие как видео, голос, мгновенная передача сообщений, игры по сети и виртуальную реальность. В другом примере сервер 130 мультимедийной конференц-связи может быть реализован в соответствии с рядом стандартов и/или вариантов Международного Телекоммуникационного Союза (ITU) H.323. Стандарт H.323 определяет многоточечный блок управления (MCU) для координирования работы конференц-вызовов. В частности MCU включает в себя многоточечный контроллер (МС), который обрабатывает сигнализацию H.245, и один или более многоточечных процессоров (MP) для смешивания и обработки потоков данных. И SIP и стандарты H.323 - это преимущественно протоколы сигнализации для передачи голоса по интернет-Протоколу (VoIP) или передачи голоса посредством пакетной передачи (VOP), операций мультимедийных конференц-вызовов. Должно быть оценено, что другие протоколы сигнализации могут быть реализованы для сервера 130 мультимедийной конференц-связи, однако, и также находятся в пределах объема охраны согласно вариантам осуществления.
[0024] В обычной работе система 100 мультимедийной конференц-связи может быть использована для вызовов мультимедийной конференц-связи. Вызовы мультимедийной конференц-связи обычно включают передачу голоса, видео, и/или информацию данных между множественными оконечными точками. Например, общественная или частная сеть 120 пакетной передачи может быть использована для аудио вызовов конференц-связи, видео вызовов конференц-связи, аудио/видео вызовов конференц-связи, совместной работы над документом при совместном использовании и редактировании и т.д. Сеть 120 пакетной передачи может также быть соединена с коммутируемой телефонной сетью общего пользования (PSTN) с помощью одного или более подходящих шлюзов VoIP, скомпонованных для преобразования между информацией с коммутацией каналов и информацией пакета.
[0025] Чтобы установить вызов мультимедийной конференц-связи по сети 120 пакетной передачи, каждая консоль 110-1-m встречи может подсоединиться к серверу 130 мультимедийной конференц-связи с помощью сети 120 пакетной передачи, используя различные типы проводных или беспроводных линий связи, работающих на различных скоростях соединения или полосах пропускания, таких как телефонное соединение с низкой полосой пропускания PSTN, модемное соединение со средней полосой пропускания DSL или кабельное модемное соединение, и интранет-соединение с более высокой полосой пропускания по локальной сети (ЛВС), например.
[0026] В различных вариантах осуществления сервер 130 мультимедийной конференц-связи может устанавливать, контролировать и управлять вызовами мультимедийной конференц-связи между консолями 110-1-m встречи. В некоторых вариантах осуществления вызовы мультимедийной конференц-связи могут содержать основанный на web конференц-вызов «вживую», используя приложение web-конференции, которое предоставляет возможности полной совместной работы. Сервер 130 мультимедийной конференц-связи работает как центральный сервер, который управляет и распределяет медиа информацию при конференц-связи. Он принимает медиа информацию от различных консолей 110-1-m встречи, выполняет операции смешивания для множественных типов медиа информации и направляет медиа информацию к некоторым или всем остальным участникам. Одна или более консолей 110-1-m встречи может присоединиться к конференции посредством подсоединения к серверу 130 мультимедийной конференц-связи. Сервер 130 мультимедийной конференц-связи может реализовать различные способы управления разрешениями для аутентификации и добавления консолей 110-1-m встречи безопасным и управляемым способом.
[0027] В различных вариантах осуществления система 100 мультимедийной конференц-связи может включать в себя одно или более вычислительных устройств, реализованных как консоли 110-1-m встречи, для подсоединения к серверу 130 мультимедийной конференц-связи по одному или более соединениям связи с помощью сети 120. Например, вычислительное устройство может реализовать клиентское приложение, которое может хостировать множественные консоли встречи, где каждая представлена отдельной конференцией в одно и то же время. Аналогично клиентское приложение может принять множество потоков аудио, видео и данных. Например, видео потоки от всех или поднабора участников могут быть отображены как мозаика на дисплее участника с главным окном с видео для текущего активного диктора, и панорамным видом других участников в других окнах.
[0028] Консоли 110-1-m встречи могут содержать любой логический или физический объект, который может быть скомпонован для участия или для входа в мультимедийный вызов конференц-связи, которым управляет сервер 130 мультимедийной конференц-связи. Консоли 110-1-m встречи могут быть реализованы как любое устройство, которое включает в себя, в своей наиболее основной форме, систему обработки, включающую в себя процессор и память, один или более компонентов ввода/вывода (I/O) мультимедийной информации, и соединение беспроводной и/или проводной сети. Примеры компонентов (I/O) мультимедийной информации могут включать в себя аудио компоненты (I/O) (например, микрофоны, динамики), видео компоненты (I/O) (например, видео камера, дисплей), тактильные компоненты (I/O) (например, вибропреобразователь), компоненты (I/O) пользовательских данных (например, клавиатура, трекбол, вспомогательная клавиатура, сенсорный экран), и т.д. Примеры консолей 110-1-m встречи могут включать в себя телефон с функцией VoIP или телефон с функцией VOP, телефон пакетной передачи, разработанный для работы на PSTN, интернет-телефон, видео телефон, мобильный телефон, персональный цифровой ассистент (PDA), комбинированный мобильный телефон и PDA, мобильное вычислительное устройство, смартфон, односторонний пейджер, двусторонний пейджер, устройство передачи сообщений, компьютер, персональный компьютер (PC), настольный компьютер, портативный компьютер, ноутбук, переносной компьютер, сетевое устройство и т.д. В некоторых реализациях консоли 110-1-m встречи могут быть реализованы, используя общую или конкретную вычислительную архитектуру, подобную вычислительной архитектуре, описанной со ссылкой на Фиг. 5.
[0029] Консоли 110-1-m встречи могут содержать или реализовать соответствующие клиентские компоненты 112-1-n встречи. Клиентские компоненты 112-1-n встречи могут быть разработаны для взаимодействия с серверным компонентом 132 встречи сервера 130 мультимедийной конференц-связи для установки, контроля или управления событием мультимедийной конференц-связи. Например, клиентские компоненты 112-1-n встречи могут содержать или реализовать соответствующие прикладные программы и управление пользовательским интерфейсом, чтобы разрешить соответствующим консолям 110-1-m встречи участвовать в web-конференции, облегченной посредством сервера 130 мультимедийной конференц-связи. Они могут включать в себя оборудование ввода (например, видео камера, микрофон, клавиатура, мышь, контроллер, и т.д.) для захвата медиа информации, предоставленной оператором консоли 110-1-m встречи и оборудование вывода (например, дисплей, динамик, и т.д.) для воспроизведения медиа информации операторами другой консоли 110-1-m встречи. Примеры клиентских компонентов 112-1-n встречи могут включать в себя без ограничения MICROSOFT OFFICE COMMUNICATOR или Базовую Консоль Встречи Windows MICROSOFT OFFICE LIVE MEETING и т.д.
[0030] Как показано в иллюстрированном варианте осуществления на Фиг. 1, система 100 мультимедийной конференц-связи может включать в себя конференц-зал 150. Предприятие или бизнес обычно используют конференц-залы для проведения встреч. Такие встречи включают в себя события мультимедийной конференц-связи, имеющее участников, локально расположенных внутри в конференц-зале 150, и удаленных участников, расположенных вне конференц-зала 150. Конференц-зал 150 может иметь различные вычислительные ресурсы и ресурсы связи для поддержки мультимедийных событий конференц-связи и для предоставления мультимедийной информации между одной или более удаленными консолями 110-2-m встреч, и локальной консолью 110-1 встреч. Например, конференц-зал 150 может включать в себя локальную консоль 110-1 встречи, располагающуюся внутри конференц-зала 150.
[0031] Локальная консоль 110-1 встречи может быть подсоединена к различным устройствам мультимедийного ввода и/или устройствам мультимедийного вывода, способным к захвату, обмену или воспроизведению мультимедийной информации. Устройства мультимедийного ввода могут содержать любое логическое или физическое устройство, скомпонованное для захвата или приема информации мультимедийного ввода от операторов в пределах конференц-зала 150, включающие в себя устройства ввода аудио, устройства ввода видео, устройства ввода изображения, устройства ввода текста, и другое оборудование мультимедийного ввода. Примеры устройств мультимедийного ввода могут включать в себя, без ограничения, видео камеры, микрофоны, наборы микрофонов, телефоны конференц-связи, проекционное оборудование для презентаций, интерактивное проекционное оборудование для презентаций, компоненты преобразования голос-в-текст, компоненты преобразования текста в голос, системы голосовой идентификации, устройства указания, клавиатуру, сенсорные экраны, планшетные компьютеры, устройства распознавания почерка, и т.д. Пример видео камеры может включать в себя ringcam, такой как MICROSOFT ROUNDTABLE, разработанной Microsoft Corporation, Редмонд, Вашингтон. MICROSOFT ROUNDTABLE - это устройство для видео конференц-связи с камерой с углом обзора в 360 градусов, которая предоставляет удаленным участникам встречи панорамное видео всех сидящих за столом конференц-связи. Устройства мультимедийного вывода могут содержать любое логическое или физическое устройство, скомпонованное для воспроизведения или отображения информации мультимедийного вывода от операторов удаленной консоли 110-2-m встречи, включая в себя устройства вывода аудио, устройства вывода видео, устройства вывода изображения, устройства ввода текста и другое оборудование мультимедийного вывода. Примеры устройств мультимедийного вывода могут включать в себя, без ограничения, электронные дисплеи, видео проекторы, динамики, модули вибропреобразования, принтеры, факсимильный аппарат, и т.д.
[0032] Локальная консоль 110-1 встречи в конференц-зале 150, может включать в себя различные устройства мультимедийного ввода, скомпонованные для захвата медиа контента из конференц-зала 150, включающего в себя участников 154-1-p, и потоки медиа контента к серверу 130 мультимедийной конференц-связи. В иллюстрированном варианте осуществления, показанном на Фиг. 1, локальная консоль 110-1 встречи включает в себя видео камеру 106 и набор микрофонов 104-1-r. Видео камера 106 может захватывать видео контент, включающий в себя видео контент участников 154-1-p, присутствующих в конференц-зале 150, и направлять поток видео контента к серверу 130 мультимедийной конференц-связи с помощью локальной консоли 110-1 встречи. Точно так же, набор микрофонов 104-1-r могут захватывать аудио контент, включающий в себя аудио контент от участников 154-1-p, присутствующих в конференц-зале 150, и направлять поток аудио контента к серверу 130 мультимедийной конференц-связи с помощью локальной консоли 110-1 встречи. Локальная консоль встречи может также включать в себя различные устройства медиа вывода, такие как дисплей или видео проектор для показа одного или более видов GUI с видео контентом или аудио контентом от других участников, использующих удаленные консоли 110-2-м встречи, принятым с помощью сервера 130 мультимедийной конференц-связи.
[0033] Консоли 110-1-m встречи и сервер 130 мультимедийной конференц-связи могут передавать медиа информацию и управлять информацией, используя различные медиа соединения, установленные для заданного события мультимедийной конференц-связи. Медиа соединения могут быть установлены, используя различные протоколы сигнализации VoIP, такие как наборы SIP протоколов. Наборы SIP протоколов - это протокол управления (сигнализацией) уровнем приложений для создания, модификации и прекращения сеанса передачи данных с одним или более из участников. Эти сеансы включают в себя мультимедийные интернет-конференции, интернет-телефонные вызовы и распределение мультимедийной информации. Члены в сеансе передачи данных могут передавать данные с помощью мультивещания или с помощью сети одноадресных отношений или их комбинации. SIP разработан как часть полных мультимедийных данных IETF и архитектуры управления, в настоящее время объединяющей протоколы, такие как протокол резервирования ресурсов (RSVP) (IEEE RFC 2205) для резервирования ресурсов сети, транспортный протокол реального времени (RTP) (IEEE RFC 1889) для транспортировки данных в реальном времени и обеспечения Качества обслуживания (QOS) обратной связи, протокол потоковой передачи в реальном времени (RTSP) (IEEE RFC 2326) для управления поставкой медиа потоков, протокол объявления сеансов передачи данных (SAP) для рекламирования сеансов мультимедийных передач данных с помощью мультивещания, протокол описания сеанса передачи данных (SDP) (IEEE RFC 2327) для описания сеансов мультимедийных передач данных и других. Например, консоли 110-1-m встречи могут использовать SIP как канал сигнализации для установки медиа соединений, и RTP как медиа канал для транспортировки медиа информации по медиа соединениям.
[0034] В обычной работе устройство 108 планирования может быть использовано для создания резервирования события мультимедийной конференц-связи для системы 100 мультимедийной конференц-связи. Устройство 108 планирования может содержать, например, вычислительное устройство, имеющее соответствующее аппаратное обеспечение и программное обеспечение для планирования события мультимедийной конференц-связи. Например, устройство 108 планирования может содержать компьютер, использующий программное приложение MICROSOFT OFFICE OUTLOOK (R), разработанное Microsoft Corporation, Редмонд, Вашингтон. Программное приложение MICROSOFT OFFICE OUTLOOK содержит передачу сообщений и клиентское программное обеспечение совместной работы, которое может использоваться для планирования события мультимедийной конференц-связи. Оператор может использовать MICROSOFT OFFICE OUTLOOK для преобразования запроса планирования в событие MICROSOFT OFFICE LIVE MEETING, которое послано в список приглашенных к встрече. Запрос планирования может включать в себя гиперссылку на виртуальную комнату для события мультимедийной конференц-связи. Приглашенный может нажать на гиперссылку, и консоль 110-1-m встречи запускает web-браузер, который подсоединяется к серверу 130 мультимедийной конференц-связи и соединяется с виртуальной комнатой. Затем, участники могут представить презентацию слайдов, документы аннотации или проводить коллективное обсуждение на встроенном проекционном оборудовании для презентаций, среди прочих инструментов.
[0035] Оператор может использовать устройство 108 планирования для создания резервирования события мультимедийной конференц-связи для события мультимедийной конференц-связи. Резервирование события мультимедийной конференц-связи может включать в себя список приглашенных к встрече для события мультимедийной конференц-связи. Список приглашенных к встрече может содержать список людей, приглашенных на событие мультимедийной конференц-связи. В некоторых случаях список приглашенных к встрече может включать в себя только людей, приглашенных и принятых для мультимедийного события. Клиентское приложение, такое как почтовый клиент Microsoft Outlook, направляет запрос резервирования на сервер 130 мультимедийной конференц-связи. Сервер 130 мультимедийной конференц-связи может принять резервирование события мультимедийной конференц-связи и извлечь список приглашенных к встрече и ассоциировать информацию для приглашенных к встрече из устройства сети, такого как каталог 160 ресурсов предприятия.
[0036] Каталог 160 ресурсов предприятия может содержать сетевое устройство, которое публикует общественный каталог операторов и/или ресурсов сети. Обычный пример ресурсов сети, публикуемых посредством каталога 160 ресурсов предприятия, включает в себя принтеры в сети. В одном варианте осуществления, например, каталог 160 ресурсов предприятия может быть реализован как MICROSOFT ACTIVE DIRECTORY (R). Active Directory - это реализация службы каталогов протокола облегченного доступа к каталогам (LDAP) для обеспечения служб централизованной аутентификации и авторизации для компьютеров сети. Active Directory также позволяет администраторам назначать политику, развертывать программное обеспечение и применять критические обновления к организации. Active Directory хранит информацию и параметры настройки в центральной базе данных. Сети Active Directory могут изменяться от маленькой установки с несколькими сотнями объектов, до большой установки с миллионами объектов.
[0037] В различных вариантах осуществления каталог 160 ресурсов предприятия может включать в себя идентифицирующую информацию для различных приглашенных к встрече на событие мультимедийной конференц-связи. Идентифицирующая информация может включать в себя любой тип информации, способной к уникальной идентификации каждого из приглашенных к встрече. Например, идентифицирующая информация может включать в себя, без ограничения, название, местоположение, контактную информацию, номера учетных записей, профессиональную информацию, организационную информацию (например, название), персональную информацию, информацию соединения, информацию присутствия, адрес сети, адрес управления доступом к среде (MAC), адрес Интернет-Протокола (IP), номер телефона, адрес электронной почты, адрес протокола (например, адрес SIP), идентификаторы оборудования, конфигурации аппаратного обеспечения, конфигурации программного обеспечения, проводные интерфейсы, беспроводные интерфейсы, поддерживаемые протоколы и другую желаемую информацию.
[0038] Сервер 130 мультимедийной конференц-связи может принять резервирование события мультимедийной конференц-связи, включающее в себя список приглашенных к встрече, и извлекает соответствующую идентифицирующую информацию из каталога 160 ресурсов предприятия. Сервер 130 мультимедийной конференц-связи может использовать список приглашенных к встрече, чтобы помочь автоматической идентификации участников события мультимедийной конференц-связи.
[0039] Сервер 130 мультимедийной конференц-связи может реализовать различное аппаратное обеспечение и/или компоненты программного обеспечения для автоматической идентификации участников для события мультимедийной конференц-связи. Более подробно, сервер 130 мультимедийной конференц-связи может реализовать методы для автоматической идентификации множественных участников видео контента, записанного из конференц-зала, таких как участники 154-1-p в конференц-зале 150. В иллюстрированном варианте осуществления, показанном на Фиг. 1, например, сервер 130 мультимедийной конференц-связи включает в себя модуль 134 основанной на контенте аннотации медиа. Компонент 134 основанной на контенте аннотации может быть скомпонован для приема списка приглашенных к встрече на событие мультимедийной конференц-связи из каталога 160 ресурсов предприятия. Компонент 134 основанной на контенте аннотации может также принять множественные входные медиа потоки от множественных консолей 110-1-m встречи, один из которых может исходить из локальной консоли 110-1 встречи в конференц-зале 150. Компонент 134 основанной на контенте аннотации может аннотировать один или более медиа кадров каждого входного медиа потока идентифицирующей информацией для каждого участника в пределах каждого входного медиа потока для формирования соответствующего аннотированного медиа потока. Например, компонент 134 основанной на контенте аннотации может аннотировать один или более медиа кадров входного медиа потока, принятого из локальной консоли 110-1 встречи, идентифицирующей информацией для каждого участника 154-1-p в пределах входного медиа потока для формирования соответствующего аннотированного медиа потока. Компонент 154-1-р основанной на контенте аннотации может аннотировать, определять местонахождение или помещать идентифицирующую информацию в относительную близость к участникам 154-1-p в медиа потоке ввода и перемещать идентифицирующую информацию, когда участник 154-1-p перемещается в пределах медиа потока ввода. Компонент 134 основанной на контенте аннотации может быть описан более подробно со ссылкой на Фиг. 2.
[0040] Фиг. 2 иллюстрирует блок-схему для компонента 134 основанной на контенте аннотации. Компонент 134 основанной на контенте аннотации может содержать часть или подсистему сервера 130 мультимедийной конференц-связи. Компонент 134 основанной на контенте аннотации может содержать множественные модули. Модули могут быть реализованы, используя элементы аппаратного обеспечения, элементы программного обеспечения, или комбинацию элементов аппаратного обеспечения и элементов программного обеспечения. Хотя компонент 134 основанной на контенте аннотации, как показано на Фиг. 2, имеет ограниченное количество элементов в некоторой топологии, можно оценить, что компонент 134 основанной на контенте аннотации может включать в себя больше или меньше элементов в альтернативной топологии, как желательно для данного выполнения. Варианты осуществления не ограничены в этом контексте.
[0041] В иллюстрированном варианте осуществления, показанном на Фиг. 2, компонент 134 основанной на контенте аннотации может содержать модуль 210 анализа медиа, подсоединенный к модулю 220 идентификации участника и хранилищу 260 данных сигнатур с возможностью передачи данных. Хранилище 260 данных сигнатур может хранить различные типы информации 262 приглашенных к встрече. Модуль 220 идентификации участника подсоединен к модулю 230 аннотации медиа и хранилищу 260 данных сигнатур с возможностью передачи данных. Модуль 230 аннотации медиа подсоединен с возможностью передачи данных к модулю 240 смешивания медиа и модулю 232 определения местоположения. Модуль 232 определения местоположения подсоединен к модулю 210 анализа медиа с возможностью передачи данных. Модуль 240 смешивания медиа может включать в себя один или более буферов 242.
[0042] Модуль 210 анализа медиа компонента 134 основанной на контенте аннотации может быть скомпонован для приема в качестве ввода различных медиа потоков 204-1-f ввода. Медиа потоки 204-1-f ввода каждый может содержать медиа поток контента, поддерживаемый консолями 110-1-m и сервером 130 мультимедийной конференц-связи. Например, первый медиа поток ввода может представить видео поток и/или аудио поток от удаленной консоли 110-2-m. Первый медиа поток ввода может содержать видео контент, содержащий только одного участника, использующего консоль 110-2-m встречи. Второй медиа поток 204-2 ввода может представить видео поток от видео камеры, такой как камера 106, и аудио поток от одного или более микрофонов 104-1-r, подсоединенных к локальной консоли 110-1 встречи. Второй медиа поток 204-2 ввода может содержать видео контент, содержащий множество участников 154-1-p, использующих локальную консоль 110-1 встречи. Другие медиа потоки ввода 204-3-f могут иметь меняющиеся комбинации медиа контента (например, аудио, видео или данные) с меняющимся количеством участников.
[0043] Модуль 210 анализа медиа может определять количество участников 154-1-p, присутствующих в каждом медиа потоке 204-1-f ввода. Модуль 210 анализа медиа может определять количество участников 154-1-p, используя различные характеристики медиа контента в пределах медиа потоков 204-1-f ввода. В одном варианте осуществления, например, модуль 210 анализа медиа может определять количество участников 154-1-p, используя способы анализа изображения в отношении видео контента из медиа потоков 204-1-f ввода. В одном варианте осуществления, например, модуль 210 анализа медиа может определять количество участников 154-1-p, используя методы анализа голоса в отношении аудио контента из медиа потоков 204-1-f ввода. В одном варианте осуществления, например, модуль 210 анализа медиа может определять количество участников 154-1-p, используя и анализ изображения, и анализ голоса в отношении аудио контента из медиа потоков 204-1-f ввода. Другие типы контента носителей могут также использоваться.
[0044] В одном варианте осуществления модуль 210 анализа медиа может определять количество участников, используя анализ изображения в отношении видео контента из медиа потоков 204-1-f ввода. Например, модуль 210 анализа медиа может выполнить анализ изображения для определения некоторых характеристик людей, используя любые обычные способы, разработанные для определения человека в изображении или последовательности изображений. В одном варианте осуществления, например, модуль 210 анализа медиа может реализовать различные типы методик определения лица. Определение лица - это компьютерная технология, которая определяет местоположения и размеры человеческих лиц в произвольных цифровых изображениях. Она определяет лицевые признаки и игнорирует все остальные, также как здания, деревья и тела. Модуль 210 анализа медиа может быть скомпонован для реализации алгоритма определения лиц, способный определять локальные визуальные признаки из участков, которые включают в себя различимые части человеческого лица. Когда лицо определено, модуль 210 анализа медиа может обновить счетчик изображений, указывающий количество участников, определенных для данного медиа потока 204-1-f ввода. Модуль 210 анализа медиа может затем выполнять различные дополнительные постоперации по обработке части данных изображения с контентом изображения определенного участника при подготовке к операциям распознавания лица. Примеры таких постопераций по обработке могут включить в себя видео контент извлечения, представляющий лицо из изображения или последовательности изображений, нормализацию извлеченного видео контента к некоторому размеру (например, матрице 64Ч64), и однородно квантуя пространство цветов RGB (например, 64 цвета). Модуль 210 анализа медиа может вывести значение счетчика изображения и каждую обработанную часть данных изображения к модулю 220 идентификации участника.
[0045] В одном варианте осуществления модуль 210 анализа медиа может определять количество участников, используя анализ голоса в отношении аудио контента из медиа потоков 204-1-f ввода. Например, модуль 210 анализа медиа может выполнить анализ голоса для определения некоторых характеристик человеческой речи, используя любые обычные способы, разработанные для определения человека в пределах аудио сегмента или последовательности аудио сегментов. В одном варианте осуществления, например, модуль 210 анализа медиа может реализовать различные типы методик определения голоса или речи. Когда человеческий голос определен, модуль 210 анализа медиа может обновить голосовой счетчик, указывающий количество определенных участников для данного медиа потока 204-1-f ввода. Модуль 210 анализа медиа может произвольно выполнять различные операции постобработки в отношении части данных аудио с контентом аудио от определенного участника при подготовке к операциям голосовой идентификации.
[0046] Как только часть данных аудио с аудио контентом от участника идентифицирована, модуль 210 анализа медиа может затем идентифицировать часть данных изображения, соответствующих частям данных аудио. Это может быть достигнуто, например, сравнивая последовательности времени для частей данных аудио с последовательностями времени для частей данных изображения, сравнивая части данных аудио с движением губ из частей данных изображения, и другими соответствующими способами сопоставления аудио/видео. Например, видео контент обычно захватывает ряд медиа кадров (например, неподвижные изображения) в секунду (обычно порядка 15-60 кадров в секунду, хотя другие скорости передачи могут использоваться). Эти медиа кадры 252-1-g, также как соответствующий аудио контент (например, каждые 1/15 к 1/60 секунд аудио данных) используются как кадр для операций определения местоположения модулем 232 определения местоположения. При записи аудио, это аудио обычно дискретизируется на более высокой скорости передачи, чем видео (например в то время как 15-60 изображений могут захватываться каждую секунду для видео, тысячи аудио выборок могут быть захвачены). Аудио выборки могут соответствовать конкретному видео кадру множеством различных способов. Например, аудио выборки, изменяющиеся от того, когда видео кадр захвачен, до того, когда следующий видео кадр захвачен, могут быть аудио кадром, соответствующим этому видео кадру. В качестве другого примера, аудио выборки, сосредоточенные около времени захвата видео кадра, могут быть аудио кадром, соответствующим этому видео кадру. Например, если видео захвачено при 30 кадрах в секунду, аудио кадр может изменяться от 1/60 секунды до того как видео кадр будет захвачен, до 1/60 секунды после того, как видео кадр захвачен. В некоторых ситуациях аудио контент может включать в себя данные, которые не соответствуют непосредственно видео контенту. Например, аудио контент может быть аудио дорожкой музыки, а не голосами участников видео контента. В этих ситуациях модуль 210 анализа медиа отбрасывает аудио контент как ошибочный, и возвращается к предшествующему состоянию для методик определения лица.
[0047] В одном варианте осуществления, например, модуль 210 анализа медиа может определять количество участников 154-1-p, используя и анализ изображения и анализ голоса в отношении аудио контента из медиа потоков 204-1-f ввода. Например, медиа анализ 210 может выполнять анализ изображения для определения количества участников 154-1-p в качестве начального прохода и затем выполнять анализ голоса для подтверждения определения количества участников 154-1-p в качестве последующего прохода. Использование множественных методик определения может предоставить расширенную выгоду посредством улучшения точности операций определения, за счет потребления большего количества вычислительных ресурсов.
[0048] Модуль 220 идентификации участника может быть скомпонован для отображения приглашенного к встрече каждому обнаруженному участнику. Модуль 220 идентификации участника может принять три ввода, включая в себя список 202 приглашенных участников из каталога 160 ресурсов предприятия, значения медиа счетчика (например значение счетчика изображений или значение счетчика голоса) из модуля 210 анализа медиа, и части медиа данных (например, части данных изображения или части данных аудио) из модуля 210 анализа медиа. Модуль 220 идентификации участника может затем использовать алгоритм идентификации участника и один или более из этих трех вводов для отображения приглашенных к встрече каждому определенному участнику.
[0049] Как описывалось ранее, список 202 приглашенных к встрече может содержать список людей, приглашенных к событию мультимедийной конференц-связи. В некоторых случаях, список 202 приглашенных к встрече может включать в себя только тех людей, которые приглашены и приняты для мультимедийного события. Кроме того, список 202 приглашенных к встрече может также включать в себя различные типы информации, ассоциированной с данным приглашенным к встрече. Например, список 202 приглашенных к встрече может включать в себя идентифицирующую информацию для данного приглашенного к встрече, информацию аутентификации для данного приглашенного к встрече, идентификатор консоли встречи, используемый приглашенным к встрече и т.д.
[0050] Алгоритм идентификации участника может быть разработан для относительно быстрой идентификации участников встречи, используя пороговое решение на основании значений медиа счетчиков. Пример псевдокода для такого алгоритма идентификации участника показывается следующим образом:
Прием списка присутствующих на встрече
Для каждого медиа потока:
Определение количества участников (N):
Если N= =1, то участник является медиа источником,
иначе, если N>1, то
Запрашивается в хранилище данных сигнатур информация приглашенного к встрече,
Сравнение сигнатур с частями данных медиа
Конец
[0051] В соответствии с алгоритмом идентификации участника модуль 220 идентификации участника определяет, равно ли количество участников первого медиа потока 204-1 ввода одному участнику. Если значение = TRUE (истина) (например, N = = 1), модуль 220 идентификации участника сопоставляет приглашенного к встрече из списка 202 приглашенных к встрече с участником в первом медиа потоке 204-1 ввода, на основании медиа источника для первого медиа потока 204-1 ввода. В этом случае, медиа источник для первого медиа потока 204-1 ввода может содержать одну из удаленных консолей 110-2-m встречи, как идентифицировано в списке 202 приглашенных к встрече или хранилище 260 данных сигнатур. Так как имеется только один определенный участник в первом медиа потоке 204-1 ввода, алгоритм идентификации участника предполагает, что участник не находится в конференц-зале 150, и поэтому сопоставляет участника в части медиа данных, непосредственно с медиа источником. В этом способе модуль 220 идентификации участника уменьшает или избегает необходимости выполнять дополнительный анализ частей медиа данных, принятых от модуля 210 анализа медиа, таким образом экономя вычислительные ресурсы.
[0052] В некоторых случаях, однако, множественные участники могут собраться в конференц-зале 150 и совместно использовать различные типы мультимедийного оборудования, подсоединенного к локальной консоли 110-1 встречи, для обмена данными с другими участниками, имеющими удаленные консоли 110-2-m. Так как имеется единственная локальная консоль 110-1 встречи, единственный участник (например участник 154-1) в конференц-зале 150 обычно использует локальную консоль 110-1 встречи для присоединения к событию мультимедийной конференц-связи от имени всех участников 154-2-р в конференц-зале 150. Следовательно, сервер 130 мультимедийной конференц-связи может иметь идентифицирующую информацию для участника 154-1, но не иметь какую-нибудь идентифицирующую информацию для других участников 154-2-р в конференц-зале 150.
[0053] Чтобы оперировать с этим сценарием, модуль 220 идентификации участника определяет, больше ли количество участников второго медиа потока 204-2 ввода, чем один участник. Если значение = TRUE (например, N> 1), модуль 220 идентификации участника сопоставляет каждого приглашенного к встрече с каждым участником во втором медиа потоке 204-2 ввода на основании сигнатур лица, голосовых сигнатур или комбинации сигнатур лица и голосовых сигнатур.
[0054] Как показано на Фиг. 2, модуль 220 идентификации участника может быть подсоединен к хранилищу 262 данных сигнатур с возможностью передачи данных. Хранилище 262 данных сигнатур может хранить информацию 262 приглашенных к встрече для каждого приглашенного к встрече в списке 202 приглашенных к встрече. Например, информация 262 приглашенных к встрече может включать в себя различные записи приглашенных к встрече, соответствующие каждому приглашенному к встрече, в списке 202 приглашенных к встрече, причем записи приглашенных к встрече имеют идентификаторы 264-1-a приглашенных к встрече, сигнатуры 266-1-b лица, голосовые сигнатуры 268-1-c и идентифицирующую информацию 270-1-d. Различные типы информации, сохраненной посредством записей приглашенных к встрече, могут быть получены из различных источников, таких как список 202 приглашенных к встрече, база 260 данных ресурсов предприятия, предыдущие события мультимедийных конференций, консоли 110-1-м встречи, сторонние базы данных или другие доступные ресурсы сети.
[0055] В одном варианте осуществления модуль 220 идентификации участника может реализовать систему распознавания лица, скомпонованную для выполнения распознавания лица для участников, на основании сигнатур 266-1-b лица. Система распознавания лица - это компьютерное приложение для автоматической идентификации или верификации человека согласно цифровому изображению или медиа кадру видео из видео источника. Один из способов сделать это является сравнение признаков выбора лица из изображения и базы данных лиц. Это может быть достигнуто, используя любое количество систем распознавания лиц, таких как система eigenface, система sherface, система скрытой Марковской модели, нейронная система сопоставления мотивированных динамических связей и т.д. Модуль 220 идентификации участника может принять части данных изображения от модуля 210 анализа медиа, и извлечь различные признаки лица из частей данных изображения. Модуль 220 идентификации участника может извлечь одну или более сигнатур 266-1-b лица из хранилища 260 данных сигнатур. Сигнатуры 266-1-b лица могут содержать различные лицевые признаки, извлеченные из известного изображения участника. Модуль 220 идентификации участника может сравнивать лицевые признаки из частей данных изображения для различных сигнатур 266-1-b лица, и определять, имеются ли совпадения. Если есть совпадение, модуль 220 идентификации участника может извлечь идентифицирующую информацию 270-1-d, которая соответствует сигнатуре 266-1-b лица, и вывести часть медиа данных и идентифицирующую информацию 270-1 к модулю 230 медиа аннотации. Например, предполагая, что признаки лица из части данных изображения соответствуют сигнатуре 266-1 лица, модуль 220 идентификации участника может затем извлечь идентифицирующую информацию 270-1, соответствующую сигнатуре 266-1 лица, и вывести часть медиа данных и идентифицирующую информацию 270-1 к модулю 230 аннотации медиа.
[0056] В одном варианте осуществления модуль 220 идентификации участника может реализовать систему голосовой идентификации, скомпонованную для выполнения голосовой идентификации для участников на основании голосовых сигнатур 268-1-c. Система голосовой идентификации - это компьютерное приложение для автоматической идентификации или верификации человека согласно аудио сегменту или множественным сегментам аудио. Система голосовой идентификации может идентифицировать людей на основании их голосов. Система голосовой идентификации извлекает различные признаки из речи, моделирует их, и использует их для распознавания человека на основании его/ее голоса. Модуль 220 идентификации участника может принять аудио выборки из модуля 210 анализа медиа, и извлечь различные аудио признаки из частей данных изображения. Модуль 220 идентификации участника может извлечь голосовую сигнатуру 268-1-c из хранилища данных сигнатуры 260. Голосовая сигнатура 268-1-c может содержать различные признаки речи или голоса, извлеченные из известного образца речи или голоса участника. Модуль 220 идентификации участника может сравнивать аудио признаки из частей данных изображения с голосовой сигнатурой 268-1-c, и определять, имеются ли совпадения. Если имеются совпадения, модуль 220 идентификации участника может извлечь идентифицирующую информацию 270-1-d, которая соответствует голосовой сигнатуре 268-1-c, и вывести соответствующие части данных изображения и идентифицирующую информацию 270-1-d к модулю 230 аннотации медиа.
[0057] Модуль 230 аннотации медиа может быть работающим для аннотации медиа кадров 252-1-g каждого медиа потока 204-1-f ввода идентифицирующей информацией 270-1-d для каждого отображаемого участника в пределах каждого медиа потока 204-1-f ввода для формирования соответствующего аннотированного медиа потока 205. Например, модуль 230 аннотации медиа принимает различные части данных изображения и идентифицирующую информацию 270-1-d от модуля 220 идентификации участника. Модуль 230 аннотации медиа затем аннотирует один или более медиа кадров 252-1-g идентифицирующей информацией 270-1-d в относительной близости к сопоставленному участнику. Модуль 230 аннотации медиа может определить точно, где аннотировать один или более медиа кадров 252-1-g идентифицирующей информацией 270-1-d, используя информацию определения местоположения, принятую от модуля 232 определения местоположения.
[0058] Модуль 232 определения местоположения подсоединен к модулю 230 аннотации медиа и модулю 210 анализа медиа с возможностью передачи данных и работает для определения информации местоположения для сопоставленного участника 154-1-p в пределах медиа кадра или последовательных медиа кадров 252-1-g медиа потока 204-1-f ввода. В одном варианте осуществления, например, информация определения местоположения может включать в себя координату 256 центра и граничную область 258 для сопоставленного участника 154-1-p.
[0059] Модуль 232 определения местоположения управляет и обновляет информацию определения местоположения для каждой области в медиа кадрах 252-1-g медиа потока 204-1-f ввода, который включает в себя, или потенциально включает в себя, человеческое лицо. Области в медиа кадрах 252-1-g могут быть получены из частей данных изображения, выведенных из модуля 210 анализа медиа. Например, модуль 210 анализа медиа может вывести информацию определения местоположения для каждой области в медиа кадрах 252-1-g, которые используются для формирования частей данных изображения с обнаруженными участниками. Модуль 232 определения местоположения может поддерживать список идентификаторов частей данных изображения для частей данных изображения, и ассоциировать информацию определения местоположения для каждой части данных изображения в пределах медиа кадров 252-1-g. Дополнительно или альтернативно, области в медиа кадрах 252-1-g могут быть получены собственно модулем 232 определения местоположения, анализируя медиа кадры 204-1-f ввода независимо от модуля 210 анализа медиа.
[0060] В иллюстрированном примере информация определения местоположения для каждой области описана посредством координаты 256 центра и граничной области 258. Области видео контента, которые включают в себя лица участников, определены посредством координаты 256 центра и граничной области 258. Координата 256 центра представляет приблизительный центр области, в то время как граничная область 258 представляет любую геометрическую форму вокруг координаты центра. Геометрическая форма может иметь любой желаемый размер, и может изменяться согласно заданному участнику 154-1-p. Примеры геометрических форм могут включать в себя без ограничения прямоугольник, круг, эллипс, треугольник, пятиугольник, шестиугольник или другие фигуры свободной формы. Граничная область 258 определяет область в медиа кадрах 252-1-g, которые включают в себя лицо и отслеживаются посредством модуля 232 определения местоположения.
[0061] Информация местоположения может дополнительно включать в себя идентифицирующее местоположение 272. Идентифицирующее 272 местоположение может содержать позицию в пределах граничной области 258 для аннотирования идентифицирующей информации 270-1-d. Идентифицирующая информация 270-1-d для отображенного участника 154-1-p может быть помещена где-нибудь в пределах граничной области 258. В приложении, идентифицирующая информация 270-1-d должна быть достаточно близко к сопоставленному 154-1-p участнику для облегчения соединения между видео контентом для участника 154-1-p и идентифицирующей информацией 270-1-d для участника 154-1-p с перспективы человека, просматривающего медиа кадры 252-1-g, в то же время уменьшая или избегая возможности частично или полностью закрывать видео контент для участника 154-1-p. Идентифицирующее 272 местоположение может быть статическим местоположением или может динамически изменяться согласно коэффициентам, таким как размер участника 154-1-p, движение участника 154-1-p, изменения во второстепенных объектах в медиа кадрах 252-1-g и т.д.
[0062] Как только модуль 230 аннотации медиа принимает различные части данных изображения и идентифицирующую информацию 270-1-d от модуля 220 идентификации участника, модуль 230 аннотации медиа извлекает информацию определения местоположения для частей данных изображения из модуля 232 определения местоположения. Модуль 230 аннотации медиа аннотирует один или более медиа кадров 252-1-g каждого медиа потока 204-1-f ввода идентифицирующей информацией 270-1-d для каждого сопоставленного участника в пределах каждого медиа потока ввода 204-1-f на основании информации определения местоположения. Посредством примера, предположим, что медиа кадры 252-1 могут включать в себя участников 154-1, 154-2 и 154-3. Далее предположим, что сопоставленный участник - это участник 154-2. Модуль 230 аннотации медиа может принять идентифицирующую информацию 270-2 от модуля 220 идентификации участника и информацию определения местоположения для области в пределах медиа кадра 252-1. Модуль 230 аннотации медиа может затем аннотировать медиа кадр 252-1 из второго медиа потока 204-2 ввода идентифицирующей информацией 270-2 для сопоставленного участника 154-2 в пределах граничной области 258 вокруг координаты 256 центра в идентифицирующем 272 местоположении. В иллюстрированном варианте осуществления, показанном на Фиг. 1, граничная область 258 имеет прямоугольную форму и модуль 230 аннотации медиа позиционирует идентифицирующую информацию 270-2 в идентифицирующее местоположение 272, содержащее правый верхний угол граничной области 258 в пространстве между видео контентом для участника 154-2 и краем граничной области 258.
[0063] Как только область медиа кадров 252-1-g была аннотирована идентифицирующей информацией 270-1-d для сопоставленного участника 154-1-p, модуль 232 определения местоположения может контролировать и отслеживать движения участника 154-1-p для последующих медиа кадров 252-1-g медиа потоков 204-1-f ввода, используя список отслеживания. После определения, модуль 232 определения местоположения отслеживает каждую из идентифицированных областей для сопоставленных участников 154-1-p в списке отслеживания. Модуль 232 определения местоположения использует различные визуальные сигналы для отслеживания области от кадра к кадру в видео контенте. Каждое из лиц в отслеживаемой области является изображением по меньшей мере части человека. Как правило, люди могут двигаться, в то время как видео контент генерируется, например, вставать, садиться, гулять вокруг, совершать движения во время сидения на стуле и т.д. Вместо того, чтобы выполнить определение лица в каждом медиа кадре 252-1-g медиа потока 204-1-f ввода, модуль 232 определения местоположения отслеживает области следов, которые включают в себя лица (когда-то определенные) от кадра к кадру, которые обычно менее в вычислительном отношении дороги, чем выполнение повторного определения лица.
[0064] Модуль 240 смешивания медиа может быть подсоединен к модулю 230 аннотации медиа. Модуль 240 смешивания медиа, может быть скомпонован для приема множественных аннотированных медиа потоков 205 от модуля 230 аннотации медиа, и объединения множества аннотированных медиа потоков 205 в смешанный медиа поток 260 вывода для отображения множественной консолью 110-1-m встречи. Модуль 240 смешивания медиа может произвольно использовать буфер 242 и различные модули задержки для синхронизации различных аннотированных медиа потоков 205. Модуль 240 смешивания медиа может быть реализован как MCU в качестве части компонента 134 основанной на контенте аннотации. Дополнительно или альтернативно, модуль 240 смешивания медиа может быть реализован как MCU в качестве части компонента 132 сервера встречи для сервера 130 мультимедийной конференц-связи.
[0065] Фиг. 3 иллюстрирует блок-схему для сервера 130 мультимедийной конференц-связи. Как показано на Фиг. 3, сервер 130 мультимедийной конференц-связи может принять различные медиа потоки 204-1-m ввода, обрабатывать различные медиа потоки 204-1-m ввода, используя компонент 134 основанной на контенте аннотации, и выводить множественные смешанные медиа потоки 206 вывода. Медиа потоки 204-1-m ввода могут представлять различные медиа потоки, исходящие из различных консолей 110-1-m встречи, и смешанные медиа потоки 206 вывода могут представлять идентичные медиа потоки, заканчивающиеся на различных консолях 110-1-m встречи.
[0066] Компонент 302 вычисления может представлять различные вычислительные ресурсы для поддержки или реализации компонента 134 основанной на контенте аннотации. Примеры для компонента 302 вычисления могут включать в себя без ограничения процессоры, блоки памяти, шины, наборы микросхем, контроллеры, генераторы, системные часы, и другую вычислительную платформу или оборудование архитектуры системы.
[0067] Компонент 304 связи может представлять различные ресурсы связи для приема медиа потоков 204-1-m ввода и посылки смешанных медиа потоков 206 вывода. Примеры для компонента 304 связи могут включать в себя без ограничения приемники, передатчики, приемопередатчики, интерфейсы сети, карты интерфейса сети, радиостанции, процессоры основной полосы частот, фильтры, усилители, модуляторы, демодуляторы, мультиплексоры, микшеры, переключатели, антенны, стеки протоколов, или другую платформу связи или оборудование архитектуры системы.
[0068] Компонент 132 сервера встречи может представлять различные ресурсы мультимедийной конференц-связи для установки, контроля или управления событием мультимедийной конференц-связи. Компонент сервера 132 встречи может содержать, помимо всего прочего, другие элементы MCU. MCU - это устройство, обычно используется для организации моста для соединений мультимедийных конференц-связей. MCU обычно является оконечной точкой в сети, которая обеспечивает возможность для трех или более консолей 110-1-m встречи и шлюзам участвовать в многоточечной конференц-связи. MCU обычно содержит многоточечный контроллер (MC) и различные многоточечные процессоры (процессоры MP). В одном варианте осуществления, например, компонент 132 сервера встречи может реализовать аппаратное обеспечение и программное обеспечение для MICROSOFT OFFICE LIVE MEETING или СЕРВЕРА СВЯЗЕЙ ОФИСА MICROSOFT. Должно быть оценено, однако, что реализации не ограничиваются этими примерами.
[0069] Операции для вышеописанных вариантов осуществления могут быть далее описаны со ссылкой на один или более логических потоков. Должно быть оценено, что представительные логические потоки не обязательно должны быть выполнены в представленном порядке или в любом конкретном порядке, если не обозначено иначе. Кроме того, различные действия, описанные относительно логических потоков, могут быть выполнены последовательным или параллельным способом. Логические потоки могут быть реализованы, используя один или более элементов аппаратного обеспечения и/или элементов программного обеспечения описанных вариантов осуществления или альтернативных элементов, как желательно для данного набора ограничений производительности и структуры. Например, логические потоки могут быть реализованы как логика (например, командами компьютерной программы) для выполнения логическим устройством (например, компьютером общего назначения или компьютером специального назначения).
[0070] Фиг. 4 иллюстрирует один вариант осуществления логического потока 400. Логический поток 400 может быть представляющим некоторые или все операции, выполняемые одним или более вариантами осуществления, описанными в настоящем описании.
[0071] Как показано на Фиг. 4, логический поток 400 может принять список приглашенных к встрече для события 402 мультимедийной конференц-связи. Например, модуль 220 идентификации участника компонента 134 основанной на контенте аннотации сервера 130 мультимедийной конференц-связи может принять список 202 приглашенных к встрече и сопровождающую информацию для события мультимедийной конференц-связи. Весь или часть списка 202 приглашенных к встрече и сопровождающая информация могут быть приняты от устройства 108 планирования и/или каталога 160 ресурсов предприятия.
[0072] Логический поток 400 может принять множественные медиа потоки ввода от множественных консолей встречи на этапе 404. Например, модуль 210 анализа медиа может принять медиа потоки 204-1-f ввода и вывести различные части данных изображения с участниками к модулю 220 идентификации участника. Модуль 220 идентификации участника может отобразить участников приглашенных 264-1-a к встрече из списка 202 приглашенных к встрече используя части данных изображения и различные способы распознавания лица и/или способы голосовой идентификации, и вывести части данных изображения и соответствующую идентифицирующую информацию 270-1-d к модулю 230 аннотации медиа.
[0073] Логический поток 400 может аннотировать медиа кадры каждого медиа потока ввода идентифицирующей информацией для каждого участника в пределах каждого медиа потока ввода для формирования соответствующего аннотированного медиа потока на этапе 406. Например, модуль 230 аннотации медиа может принять части данных изображения и соответствующую идентифицирующую информацию 270-1-d от модуля 220 идентификации участника, извлечь информацию определения местоположения соответствующей части данных изображения их модуля 232 определения местоположения и аннотировать один или более медиа кадров 252-1-g каждого медиа потока 204-1-f ввода идентифицирующей информацией 270-1-d для каждого участника 154-1-p в пределах каждого медиа потока 204-1-f ввода для формирования соответствующего аннотированного медиа потока 205.
[0074] Фиг. 5 дополнительно иллюстрирует более детально блок-схему вычислительной архитектуры 510, подходящей для реализации консолей 110-1-m встречи или сервера 130 мультимедийной конференц-связи. В базовой конфигурации вычислительная архитектура 510 обычно включает в себя по меньшей мере один блок 532 обработки и память 534. Память 534 может быть реализована, используя любые считываемые машиной или считываемые компьютером носители, способные к хранению данных, включая в себя и энергозависимую и энергонезависимую память. Например, память 534 может включать в себя постоянную память (ROM), память с произвольным доступом (RAM), динамическую RAM (DRAM), DRAM c двойной скоростью передачи данных (DDRAM), синхронную DRAM (SDRAM), статическую RAM (SRAM), программируемую ROM (PROM), программируемую стираемую ROM (EPROM), электрически стираемую программируемую ROM (EEPROM), флэш-память, память на полимере, такую как сегнетоэлектрическая полимерная память, ЗУ на аморфных полупроводниках, память с изменением фазы или на сегнетоэлектриках, память на оксиде кремния-оксиде нитрида-кремнии (SONOS), магнитные или оптические карты, или любой другой тип медиа, подходящий для хранения информации. Как показано на Фиг. 5, память 534 может хранить различные программы, такие как одна или более прикладных программ 536-1-t и сопровождающие данных. В зависимости от выполнения, примеры прикладных программ 536-1-t могут включать в себя серверный компонент 132 встречи, клиентские компоненты 112-1-n встречи или компонент 134 основанной на контенте аннотации.
[0075] Вычислительная архитектура 510 может также иметь дополнительные признаки и/или функциональные возможности вне ее базовой конфигурации. Например, вычислительная архитектура 510 может включать в себя сменное хранилище 538 и несменное хранилище 540, которое может также содержать различные типы считываемых машиной или считываемых компьютером носителей, как описывалось ранее. Вычислительная архитектура 510 может также иметь одно или более устройств 544 ввода, таких как клавиатура, мышь, перо, устройство ввода голоса, устройство ввода касанием, устройства измерения, датчики и т.д. Вычислительная архитектура 510 может также включать в себя одно или более устройств 542 вывода, такие как дисплеи, динамики, принтеры и т.д.
[0076] Вычислительная архитектура 510 может дополнительно включать в себя одно или более соединений 546 связи, которые позволяют вычислительной архитектуре 510 связываться с другими устройствами. Соединения 546 связи могут включать в себя различные типы стандартных элементов связи, такие как один или более интерфейсов связи, интерфейсов сети, карт интерфейса сети (NIC), радиостанции, беспроводные передатчики/приемники (приемопередатчики), проводной и/или беспроводной коммуникационные носители, физические соединения и т.д. Коммуникационные носители обычно воплощают считываемые компьютером инструкции, структуры данных, модули программы или другие данные в модулированном сигнале данных, таком как несущая волна или другой транспортный механизм, и включают в себя любые носители доставки информации. Термин "модулированный сигнал данных" означает сигнал, который имеет одну или более из его характеристик установленную или измененную таким образом, чтобы закодировать информацию в сигнале. Посредством примера, и не ограничиваясь им, коммуникационные носители включают в себя проводные коммуникационные носители и беспроводные коммуникационные носители. Примеры проводных коммуникационных носителей могут включать в себя провод, кабель, металлическую проводку, плату с печатной схемой (PCB), системные платы, коммутируемую сеть устройств, полупроводниковый материал, провод витой пары, коаксиальный кабель, волоконно-оптическое соединение, распространяемый сигнал и т.д. Примеры беспроводных коммуникационных носителей могут включать в себя, без ограничения, акустические, радиочастотного спектра (РЧ), инфракрасные и другие носители. Используемые в настоящем описании термины считываемые машиной носители и считываемые компьютером носители предназначаются для включения в себя и запоминающие носители и коммуникационные носители.
[0077] Фиг. 6 иллюстрирует диаграмму продукта 600 изготовления, подходящего для хранения логики для различных вариантов осуществления, включая в себя логический поток 400. Как показано, продукт 600 может содержать запоминающий носитель 602 для хранения логики 604. Примеры запоминающих носителей 602 могут включать в себя один или более типов считываемых компьютером носителей, способных к хранению электронных данных, включающих в себя энергозависимую память или энергонезависимую память, сменную или встроенную память, стираемую или нестираемую память, с возможностью записи или с возможностью перезаписи и т.д. Примеры логики 604 могут включать в себя различные элементы программного обеспечения, такие как компоненты программного обеспечения, программы, приложения, компьютерные программы, прикладные программы, системные программы, машинные программы, программное обеспечение операционной системы, промежуточное программное обеспечение, программно-аппаратное обеспечение, модули программного обеспечения, стандартные программы, стандартные подпрограммы, функции, методы, процедуры, программные интерфейсы, интерфейсы прикладного программирования (API), наборы команд, вычислительный код, компьютерный код, сегменты кода, сегменты компьютерного кода, слова, значения, символы или любую их комбинацию.
[0078] В одном варианте осуществления, например, продукт 600 и/или считываемый компьютером запоминающий носитель 602 может хранить логику 604, содержащую выполняемые компьютером инструкции программы, которые при выполнении компьютером заставляют компьютер выполнять способы и/или операции в соответствии с описанными вариантами осуществления. Выполняемые компьютером инструкции программы могут включать в себя любой подходящий тип кода, такой как исходный код, скомпилированный код, интерпретированный код, выполняемый код, статический код, динамический код и т.п. Выполняемые компьютером инструкции программы могут быть реализованы согласно заранее заданному компьютерному языку, способу или синтаксису для инструктирования компьютера выполнять некоторую функцию. Инструкции могут быть реализованы, используя любой подходящий язык высокого уровня, низкого уровня, объектно-ориентированный, визуальный, компилирующий и/или интерпретированный язык программирования, такой как C, C ++, Java, Basic, Perl, Matlab, Pascal, Visual Basic, assembler и другие.
[0079] Различные варианты осуществления могут быть реализованы, используя элементы аппаратного обеспечения, элементы программного обеспечения, или комбинацию обоих. Примеры элементов аппаратного обеспечения могут включать в себя любой из примеров, которые ранее были предоставлены для логического устройства, и дополнительно включает в себя микропроцессоры, схемы, схемные элементы (например, транзисторы, резисторы, конденсаторы, катушки индуктивности и т.д.), интегральные схемы, логические вентили, регистры, полупроводниковые устройства, схемы, микросхемы, микропроцессорные наборы и т.д. Примеры элементов программного обеспечения могут включать в себя компоненты программного обеспечения, программы, приложения, компьютерные программы, программные приложения, системные программы, машинные программы, программное обеспечение операционной системы, промежуточное программное обеспечение, программно-аппаратное обеспечение, модули программного обеспечения, стандартные программы, стандартные подпрограммы, функции, методы, процедуры, интерфейсы программного обеспечения, интерфейсы прикладного программирования (API), наборы команд, вычислительный код, компьютерный код, сегменты кода, сегменты компьютерного кода, слова, значения, символы, или любую их комбинацию. Определение, реализован ли вариант осуществления, используя элементы аппаратного обеспечения и/или элементы программного обеспечения, может изменяться в соответствии с любым количеством факторов, таких как желаемая вычислительная скорость передачи, уровни мощности, теплостойкость, запас цикла обработки, скорости ввода данных, скорости вывода данных, ресурсы памяти, скорости шины данных и другую структуру или ограничения производительности, как желательно для данного выполнения.
[0080] Некоторые варианты осуществления могут быть описаны, используя выражение “подсоединен с возможностью передачи данных” и "подсоединен" из числа их производных. Эти термины не обязательно предназначены для использования как синонимы друг для друга. Например, некоторые варианты осуществления могут быть описаны, используя термины “подсоединен с возможностью передачи данных” и/или "подсоединен" для указания, что два или более элементов находятся в непосредственном физическом контакте или электрическом контакте друг с другом. Термин "подсоединен с возможностью передачи данных", однако, может также означать, что два или более элементов не находятся в непосредственном контакте друг с другом, но все еще совместно работают или взаимодействуют друг с другом.
[0081] Следует заметить, что Реферат раскрытия предоставлен для выполнения в соответствии с 37 C.F.R Секции 1.72 (b), требующей наличия реферата, который позволит читателю быстро установить сущность технического раскрытия. Он представлен с пониманием того, что не будет использоваться для интерпретации или ограничения области или значения формулы изобретения. Кроме того, в предшествующем подробном описании, можно заметить, что различные признаки группируются в единственном варианте осуществления с целью упрощения раскрытия. Этот способ раскрытия не должен интерпретироваться как отражение намерения того, что требуемые варианты осуществления требуют большего количества признаков, чем явно указано в каждом пункте формулы. Вместо этого, как указано в последующей формуле изобретения, изобретенный объект изобретения заключается в меньше чем всех признаках единственного раскрытия варианта осуществления. Таким образом следующая формула изобретения тем самым включена в подробное описание, причем каждый пункт формулы, стоящим самостоятельно как отдельный вариант осуществления. В приложенной формуле изобретения, термины " включать в себя" и "в котором" используются как простые английские эквиваленты соответствующих терминов "содержать" и "в котором", соответственно. Кроме того, термины "во-первых", "во-вторых", "в-третьих", и т.д. использованы просто как обозначения, и не предназначены для наложения числовых требований на их объекты.
[0082] Хотя предмет изобретения был описан на языке, конкретном для структурных признаков и/или методологических действий, необходимо понимать, что предмет, определенный в приложенной формуле изобретения, не обязательно ограничен конкретными признаками или действиями, описанными выше. Вместо этого конкретные признаки и действия, описанные выше, раскрыты как примеры форм осуществления формулы изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| СПОСОБЫ ДЛЯ ГЕНЕРАЦИИ ВИЗУАЛЬНОЙ КОМПОЗИЦИИ ДЛЯ СОБЫТИЯ МУЛЬТИМЕДИЙНОЙ КОНФЕРЕНЦ-СВЯЗИ | 2009 |
|
RU2518402C2 |
| СПОСОБЫ УПРАВЛЕНИЯ ЭЛЕКТРОННОЙ ДОСКОЙ ДЛЯ СОБЫТИЙ МУЛЬТИМЕДИЙНОЙ КОНФЕРЕНЦИИ | 2009 |
|
RU2505852C2 |
| МЕТОДИКИ УПРАВЛЕНИЯ МУЛЬТИМЕДИЙНЫМ СОДЕРЖИМЫМ ДЛЯ СОБЫТИЯ МУЛЬТИМЕДИЙНОЙ КОНФЕРЕНЦИИ | 2009 |
|
RU2518423C2 |
| СОЕДИНЕНИЕ НЕЗАВИСИМЫХ МУЛЬТИМЕДИЙНЫХ ИСТОЧНИКОВ В КОНФЕРЕНЦ-СВЯЗЬ | 2007 |
|
RU2398362C2 |
| УПРАВЛЕНИЕ КОМПОНОВКОЙ КОНФЕРЕНЦИИ И ПРОТОКОЛ УПРАВЛЕНИЯ | 2007 |
|
RU2396730C2 |
| ИНТЕЛЛЕКТУАЛЬНЫЙ СПОСОБ, СИСТЕМА И УЗЕЛ ОГРАНИЧЕНИЯ АУДИО | 2007 |
|
RU2398361C2 |
| ИДЕНТИФИКАЦИЯ АКТИВНОГО ГОВОРЯЩЕГО УЧАСТНИКА | 2008 |
|
RU2483452C2 |
| ОПРЕДЕЛЕНИЕ МЕСТОПОЛОЖЕНИЙ СОБЫТИЙ ДОСТАВКИ МУЛЬТИМЕДИА ДЛЯ ТРАНСПОРТИРОВКИ МУЛЬТИМЕДИА | 2017 |
|
RU2718170C2 |
| СОЗДАНИЕ И РАСПРОСТРАНЕНИЕ АННОТИРОВАННОЙ ИНФОРМАЦИИ | 2011 |
|
RU2562437C2 |
| ПОСТАНОВКА НА ОЖИДАНИЕ И ВОЗОБНОВЛЕНИЕ МНОГОМОДАЛЬНОЙ БЕСЕДЫ | 2010 |
|
RU2574846C2 |
Изобретение относится к системам мультимедийной конференц-связи, позволяющим множественным участникам связываться и совместно использовать различные типы медиа (аудиовизуального) контента при совместной работе и встрече в реальном времени по сети. Технический результат - более легкая идентификация участников в виртуальном конференц-зале. Устройство для автоматической идентификации участников для события мультимедийной конференц-связи, содержащее компонент основанной на контенте аннотации, работающий для приема списка приглашенных к встрече для события мультимедийной конференц-связи, приема множественных медиа потоков ввода от множественных консолей встречи, и аннотирования видеоконтента из каждого медиа потока ввода идентифицирующей информацией для каждого участника в пределах каждого медиапотока ввода для формирования соответствующего аннотированного медиапотока, причем идентифицирующая информация для каждого участника перемещается с этим участником, когда участник перемещается в пределах видеоконтента. 3 н. и 17 з.п. ф-лы, 6 ил.
1. Способ автоматической идентификации участников для события мультимедийной конференц-связи, содержащий:
прием списка приглашенных к встрече для события мультимедийной конференц-связи;
прием множественных медиа потоков ввода от множественных консолей встречи; и
аннотирование, с помощью процессора, видео контента каждого медиа потока ввода идентифицирующей информацией для каждого участника в пределах каждого медиа потока ввода для формирования соответствующего аннотированного медиа потока, причем идентифицирующая информация для каждого участника перемещается с этим участником, когда участник перемещается в пределах видео контента.
2. Способ по п.1, содержащий:
определение количества участников в каждом медиа потоке ввода;
сопоставление приглашенного к встрече каждому определенному участнику;
извлечение идентифицирующей информации для каждого сопоставленного участника; и
аннотирование видео контента каждого медиа потока ввода идентифицирующей информацией для каждого сопоставленного участника в пределах каждого медиа потока ввода для формирования аннотированного медиа потока.
3. Способ по п.2, содержащий:
определение, что количество участников в первом медиа потоке ввода равно одному участнику; и
сопоставление приглашенного к встрече с участником в первом медиа потоке ввода на основании медиа источника для первого медиа потока ввода.
4. Способ по п.2, содержащий:
определение, что количество участников во втором медиа потоке ввода больше, чем один участник; и
сопоставление приглашенного к встрече с участником во втором медиа потоке ввода на основании сигнатур лица или голосовых сигнатур.
5. Способ по п.2, содержащий информацию определения местоположения для сопоставленного участника в пределах медиа кадра или последовательных медиа кадрах медиа потока ввода, причем информация определения местоположения содержит координату центра и граничную область для сопоставленного участника.
6. Способ по п.2, содержащий аннотирование видео контента каждого медиа потока ввода идентифицирующей информацией для каждого сопоставленного участника на основании информации определения местоположения для каждого сопоставленного участника.
7. Способ по п.2, содержащий аннотирование медиа кадров каждого медиа потока ввода идентифицирующей информацией для каждого сопоставленного участника в пределах граничной области вокруг координаты центра для определенного местоположения сопоставленного участника.
8. Способ по п.2, содержащий объединение множественных аннотированных медиа потоков в смешанный медиа поток вывода для отображения множественными консолями встречи.
9. Изделие для автоматической идентификации участников для события мультимедийной конференц-связи, содержащее запоминающий носитель, содержащий команды, которые, если выполняются, то позволяют системе:
принимать список приглашенных к встрече для события мультимедийной конференц-связи;
принимать множественные медиа потоки ввода от множественных консолей встречи; и
аннотировать видео контент каждого медиа потока ввода идентифицирующей информацией для каждого участника в пределах каждого медиа потока ввода для формирования соответствующего аннотированного медиа потока, причем идентифицирующая информация для каждого участника перемещается вместе с участником, когда участник перемещается в пределах видео контента.
10. Изделие по п.9, дополнительно содержащее инструкции, которые если выполняются, то позволяют системе:
определять количество участников в каждом медиа потоке ввода;
сопоставлять приглашенного к встрече с каждым определенным участником;
извлекать идентифицирующую информацию для каждого сопоставленного участника; и
аннотировать видео контент каждого медиа потока ввода идентифицирующей информацией для каждого сопоставленного участника в пределах каждого медиа потока ввода для формирования соответствующего аннотированного медиа потока.
11. Изделие по п.9, дополнительно содержащее инструкции, которые если выполняются, то позволяют системе:
определять, что количество участников первого медиа потока ввода равно одному участнику; и
сопоставлять приглашенного к встрече с участником в первом медиа потоке ввода на основании медиа источника для первого медиа потока ввода.
12. Изделие по п.9, дополнительно содержащее инструкции, которые если выполняются, то позволяют системе:
определять, что количество участников второго медиа потока ввода больше, чем один участник; и
сопоставлять приглашенного к встрече с участником во втором медиа потоке ввода на основании сигнатур лица или голосовых сигнатур.
13. Устройство для автоматической идентификации участников для события мультимедийной конференц-связи, содержащее компонент основанной на контенте аннотации, работающий для приема списка приглашенных к встрече для события мультимедийной конференц-связи, приема множественных медиа потоков ввода от множественных консолей встречи, и аннотирования видео контента из каждого медиа потока ввода идентифицирующей информацией для каждого участника в пределах каждого медиа потока ввода для формирования соответствующего аннотированного медиа потока, причем идентифицирующая информация для каждого участника перемещается с этим участником, когда участник перемещается в пределах видео контента.
14. Устройство по п.13, в котором компонент основанной на контенте аннотации содержит:
модуль анализа медиа, работающий для определения количества участников каждого медиа потока ввода;
модуль идентификации участника, подсоединенный с возможностью передачи данных к модулю анализа медиа, причем модуль идентификации участника работает для сопоставления приглашенных к встрече с каждым определенным участником, и извлечения идентифицирующей информации для каждого сопоставленного участника; и
модуль аннотации медиа, подсоединенный с возможностью передачи данных к модулю идентификации участника, причем модуль аннотации медиа работает для аннотирования видео контента каждого медиа потока ввода идентифицирующей информацией для каждого сопоставленного участника в пределах каждого медиа потока ввода для формирования соответствующего аннотированного медиа потока.
15. Устройство по п.14, в котором модуль идентификации участника работает для определения, что количество участников в первом медиа потоке ввода равно одному участнику, и сопоставления приглашенного к встрече с участником в первом медиа потоке ввода на основании медиа источника для первого медиа потока ввода.
16. Устройство по п.14, в котором модуль идентификации участника работает для определения, что количество участников во втором медиа потоке ввода больше, чем один участник, и сопоставления приглашенного к встрече с участником во втором медиа потоке ввода на основании сигнатур лица, голосовых сигнатур, или комбинации сигнатур лица и голосовых сигнатур.
17. Устройство по п.14, содержащее модуль определения местоположения, подсоединенный с возможностью обмена к модулю аннотации медиа, причем модуль определения местоположения работает для определения информации местоположения для сопоставленного участника в пределах медиа кадра или последовательных медиа кадров медиа потока ввода, причем информация определения местоположения содержит координату центра и граничную область для сопоставленного участника.
18. Устройство по п.14, в котором модуль аннотации медиа служит для аннотации видео контента каждого медиа потока ввода идентифицирующей информацией для каждого сопоставленного участника на основании информации определения местоположения.
19. Устройство по п.14, содержащее модуль смешивания медиа данных, подсоединенный с возможностью обмена к модулю аннотации медиа, причем модуль смешивания медиа данных служит для приема множественных аннотированных медиа потоков и объединения множественных аннотированных медиа потоков в смешанный медиа поток вывода для отображения множественными консолями встречи.
20. Устройство по п.14, в котором сервер мультимедийной конференц-связи работает для управления операциями мультимедийной конференц-связи для события мультимедийной конференц-связи между множественными консолями встречи, причем сервер мультимедийной конференц-связи содержит компонент основанной на контенте аннотации.
| Пресс для выдавливания из деревянных дисков заготовок для ниточных катушек | 1923 |
|
SU2007A1 |
| Пресс для выдавливания из деревянных дисков заготовок для ниточных катушек | 1923 |
|
SU2007A1 |
| СПОСОБ И УСТРОЙСТВО ДЛЯ УПРАВЛЕНИЯ ВВОДОМ УЧАСТНИКОВ В СИСТЕМУ КОНФЕРЕНЦ-СВЯЗИ | 1996 |
|
RU2144283C1 |
